Som dess namn antyder var Småland ursprungligen en samlingsbenämning på flera olika små "land" söder om Östgötaslätten. Dessa var Ydre, Kinda, Tveta, Vista, Vedbo, Tjust, Sevede, Aspeland, Handbörd, Möre, Värend, Finnveden och Njudung. Det nordvästra hörnet av dagens Småland, Mo härad, var under hela medeltiden en del av Västergötland. Det finns en teori att begreppet Småland från början bara avsåg de mindre landen i norra Småland, och inte de större landen Finnveden, Värend och Njudung som under medeltiden utgjorde en egen lagsaga som kallades antingen för Värends lagmansdöme eller (vanligen) för Tiohärads lagmansdöme. Dess lag, Tiohäradslagen, kallas ibland felaktigt för Smålandslagen. Men bortsett från tiohäradsbygden i sydvästra Småland var de småländska landen delar av Östergötlands lagsaga samt Linköpings stift, och de var därför under medeltiden mer en förlängning av Östergötland än ett eget landskap.

Trots att Småland, med undantag för åren 1679-80, aldrig har varit en politisk enhet utan varit splittrat i olika lagsagor, län och stift så utvecklade dess invånare en gemensam identitet som gjorde det till ett landskap. Förklaringen till detta är främst geografisk. Det skogiga och kuperade Småland skiljde sig alltför mycket från Östgötaslätten för att de regionerna skulle kunna uppfattas som samma landskap. Å andra sidan innebar de geografiska likheterna mellan de olika små landen att de av utomstående betraktare sågs som en enhetlig region och att dess invånare därmed utvecklade en gemensam identitet. Men även om Smålands tillkomst inte har någonting med de administrativa indelningarna att göra så är det länsindelningen som har bestämt dess gränser. När smålanden Ydre och Kinda ingick i vasatidens östgötska hertigdömen och sedan i Östergötlands län kom de att uppfattas som en del av Östergötland. På samma sätt ledde länsindelningen till att det västgötska Mo härad kom att överföras till Småland genom att det blev en del av Jönköpings län.

År 1634 förvaltades Småland av två landshövdingar, dessa var "landshöfdingen i Småland öfver Tihäreds lagsagu och Jöneköpings län, residerandes i Croneberg" och "landshöfdingen öfver Calmare län och Öland, residerandes i Calmare". Det förstnämnda länet delades 1639 i Jönköpings och Kronobergs län, men länsindelningen förblev instabil under hela 1600-talet och de två länen var återigen förenade 1654-58 och 1669-74. Den östra halvan av Kronoberg var förenad med Kalmar län 1670-74. Under en kort period 1679-80 hade hela Småland en gemensam landshövding, men Kalmar fick 1680 återigen en egen landshövding som fram till 1683 även styrde över Blekinge. Jönköping och Kronobergs län delades slutligen 1687 varefter Smålands länsindelning i stort sett har varit oförändrad. Enda undantaget var 1817-1824 då Öland utgjorde ett eget län styrt av en vice landshövding. De stora kommunsammanslagningarna under 1960- och 70-talet ledde också till olika justeringar av länsgränserna, bland annat överfördes en remsa av Kalmar län till Östergötlands län och Hyltebruk överfördes från Jönköpings län till Hallands län. När Västra Götalands län bildades 1998 valde Habo och Mullsjö kommuner som tidigare hade tillhört Skaraborgs län att ingå i Jönköpings län istället.

Med undantag av Mo härad som alltid har tillhört Skara stift utgjorde hela dagens Småland tillsammans med Östergötland, Öland och Gotland Linköpings stift. Omkring 1170 bröts dock Värends fem härader ut och bildade ett eget litet stift (Växjö stift). Under resten av medeltiden var stiftsindelningen oförändrad men under 1500-talet och början av 1600-talet utvidgades Växjö stift successivt så att det även kom att omfatta Finnveden, Njudung, Tveta och Vista. Genom en delning av Linköpings stift 1602 bildades dessutom ett nytt stift lett av en superintendent i Kalmar som kom att bestå av Handbörd, Möre och Öland. Under de första decennierna ingick även den norra delen av Kalmar län i stiftet men den återbördades sedan till Linköping. Titeln superintendent ersattes av biskop 1678 och 1678-1680 ingick östra Blekinge i stiftet. Kalmar stift upplöstes 1915 och dess område införlivades då med Växjö stift.

Det första kända omnämnandet av småländska folk gjordes möjligen av Jordanes på 500-talet. Hans "Finnaithae" och "Theustes" kan syfta på invånarna i Finnveden och Tjust. Namnet Småland nämns dock först i samband med gränsdragningen mellan Danmark och Sverige i mitten av 1000-talet. Enligt sjöfararen Wulfstans reseberättelse var Möre (Meore) en del av svearnas rike under 800-talet, så åtminstone Smålands kustland blev i ett tidigt skede en del av Sveariket. Det inre Smålands avlägsna läge från Sveriges kärnbygder har dock fått vissa historiker att hävda att området långt in på 1200-talet utgjordes av en från kungamakten självständig bygd. Bristen på källor gör det svårt att bemöta sådana tanke-experiment, men när gränsen mellan Danmark och Sverige förhandlades fram i mitten av 1000-talet hamnade hela Småland på den svenska sidan, och bland de sex män som ingick i den svenska delegationen fanns också en smålänning. I Florensdokumentet från ca 1120 där de svenska biskopsdömena räknades upp nämns Tjust, Värend och eventuellt också Finnveden som delar av det svenska riket. Den äldre västgötalagen från ca 1220 säger dessutom att en smålänning "var en man från kungariket". Till detta kan det också tilläggas att utöver den som låg på Visingsö i Vättern hade Finnveden, Värend, Möre och Handbörd alla varsin husaby, och dessa kungsgårdar är intimt förknippade med den svenska centralmakten under sen vikingatid och tidig medeltid.

Visserligen lämnar källäget som sagt mycket att önska, men de källor som finns visar ändå entydigt på att hela Småland var en del av det svenska riket från 1000-talet. Fast med en tillräckligt nitiskt källkritik kan man förstås ifrågasätta alla dessa källors tillförlitlighet, och i vilket fall som helst hade smålänningarna förmodligen ett mycket omfattande självstyre under medeltiden. Men detta ska inte med någon automatik tolkas som att kungen helt och hållet saknade makt över dem eftersom denne var då i första hand en militär ledare och inte en civil. Det är visserligen först 1296 när Upplandslagen skrevs som vi har ett säkert belägg på att även Tiohärads lagsaga hade rätt att delta i kungavalen. Men något samband med att tillhöra det svenska riket och deltagande i kungavalen fanns inte. När Magnus Erikssons landslag utfärdades 1347 hade till exempel Gotland, Öland, Värmland och Finland fortfarande inget inflytande över det svenska kungavalet.

Den första predikningen av kristendom i Småland skall enligt Sigfridslegenden ha ägt rum i början av 1000-talet av samme Sigfrid som döpte Olof Skötkonung. Sigfridslegenden är emellertid en tvivelaktig källa som nedtecknades först på 1200-talet och även om Sigfrid trots allt bedrev mission i Småland så var framgången kanske inte så stor. Den isländske historikern Snorre Sturlasson skrev nämligen i sitt verk Heimskringla att Smålandskusten utsattes för ett korståg av den norske kungen Sigurd Jorsalafare 1123. I sin skildring av denna händelse hävdade han att "de som bodde där höll sig inte till kristendomen även om några av dem hade låtit kristna sig". Moderna forskare har dock ifrågasatt ifall denna så kallade "Kalmare ledung" verkligen har ägt rum. Det stora antalet kyrkor vid denna trakt talar emot utbredd hedendom och Snorre Sturlassons berättelse kan vara resultatet av en felaktigt tolkad källa kombinerat med isländska fördomar mot svenskar. Ett annat krigståg mot Småland vars existens inte är ifrågasatt ägde rum vintern 1153-54 när Danmarks kung Svend Grathe ville hämnas ett illdåd som den svenske prins Hans hade gjort. Prinsen hade rövat bort frun och svägerskan till den danske ståthållaren i Halmstad och sedan skändat dem. Krigståget gick genom Finnveden vars befolkning lovade att förse den danska hären med förnödenheter i utbyte mot att slippa plundring. Befolkningen i Värend ville däremot göra motstånd och blev därför utsatt för härjningar av danskarna. En del av den danska hären återvände hem genom Finnveden men blev där svekfullt innebrända i en stor lada av lokalbefolkningen.

Under andra halvan av 1100-talet grundades även Kalmar som var en av Sveriges mest betydelsefulla städer fram till 1700-talet. Det var i Kalmar som Erik av Pommern kröntes till kung över de tre skandinaviska rikena varmed Kalmarunionen föddes. Den starka borgen i Kalmar gjorde också området till en viktig krigsskådeplats under de dansk-svenska krigen, varav Kalmarkriget 1611-13 kan nämnas. Andra småländska städer med medeltida anor är Västervik (1275), Jönköping (1284), Växjö (1342) Vimmerby och Eksjö (båda ca 1400). Smålands ställning som gränsbygd kan illustreras av att medeltida handlingar nämner att Vimmerby brändes ned för tredje gången av danskarna 1192, vilket också skedde 1454. Växjö brändes ned av danskarna 1277, 1570 och 1612. Eksjö utsattes för detta öde 1568 och Västervik brändes 1452, 1517 och 1612. Nedbränningen av Västervik 1517 var särskilt brutal då ca 200 invånare dödades och ögonvittnen berättade att såväl försvarande soldater som stadsbefolkningen i övrigt blev ihjälslagna till sista man och kvinna. Den hårdhänta behandlingen av Västervik är en av förklaringarna till att motståndet mot Kristian II ("Tyrann") var mycket utbrett i Småland. Detta landskap befriade därför sig självt från honom utan hjälp av Gustav Vasa och dalkarlar.

Men smålänningarnas främsta bidrag till Sveriges historia får nog Dackefejden 1542-43 anses vara. Detta var det största bondeupproret i Nordens historia och orsakades av missnöjet mot den stärkning av centralmakten som Gustav Vasa genomförde. Målet med upproret som leddes av Nils Dacke sammanfattades av upprorsmännen själva som "en kamp för det som gammalt och fornt hade varit". Först efter stora svårigheter lyckades Gustav Vasa slå ner upproret och avrätta dess ledare. Men trots misslyckandet fick upproret en betydelse för framtiden genom att böndernas inledande framgångar mot kungens legoknektar inspirerade Gustav Vasa att ersätta dem med en stående nationell armé, vilken var en viktig faktor till Sveriges territoriella expansion under de följande hundra åren.

Efter Dackefejden styrdes en del av Småland som ett hertigdöme av tronföljaren Erik (XIV) 1557-60, området motsvarade ungefär Kronobergs och Kalmar län. Det Nordiska sjuårskriget 1563-70 och Kalmarkriget 1611-13 drabbade som vanligt Småland hårt på grund av dess utsatta läge som gränsprovins. Detta förändrades dock med freden i Roskilde 1658 då Skånelandskapen blev svenska och under de följande århundradena har Smålands inre utveckling varit lugn. En stor andel av emigrationen till Amerika i slutet av 1800-talet utgick från Småland och det har även därefter varit en avfolkningsbygd. Framförallt Kalmar län är hårt drabbat av detta och dess problem är fullt jämförbara med Norrlands, länets befolkning är idag mindre än vad den var 1880 trots att Sveriges befolkning har fördubblats under samma period.

Det första småländska universitetet inrättades 1999 när Växjö högskola fick universitetsstatus, men långt tidigare hade Småland fått ett viktigt ämbetsverk i Jönköping när Göta hovrätt inrättades 1634. Dess domkrets omfattade till en början hela det dåvarande Götaland (det vill säga även Värmland) samt efter frederna i Brömsebro och Roskilde också Skåne, Blekinge, Halland och Bohuslän. Under 1800-talet minskades dess domkrets genom att Värmland överfördes till Svea hovrätt 1815 och att Skåne och Blekinge fick en egen hovrätt 1820. Domkretsen reducerades ytterligare 1948 när Halland, Älvsborgs och Göteborg & Bohus län fick en egen hovrätt i Göteborg. Slutligen blev Göta hovrätts domkrets utökad igen när Örebro län överfördes från Svea hovrätt 1992.