{"id":13572,"date":"2022-10-18T19:26:02","date_gmt":"2022-10-18T16:26:02","guid":{"rendered":"https:\/\/teatmik.eki.ee\/teatmik\/?p=13572"},"modified":"2026-05-25T21:44:46","modified_gmt":"2026-05-25T18:44:46","slug":"mis-on-tekstikorpus","status":"publish","type":"post","link":"https:\/\/teatmik.eki.ee\/teatmik\/mis-on-tekstikorpus\/","title":{"rendered":"Mis on tekstikorpus?"},"content":{"rendered":"\r\n
\r\n

L\u00fchidalt<\/h4>\r\n<\/div>\n\n\n

Tekstikorpus on mahukas kirjalikest v\u00f5i suulistest tekstidest koosnev elektrooniline andmekogu. Tekstikorpusi kasutatakse keele uurimisel, kirjeldamisel ja keelemuutuste j\u00e4lgimisel, n\u00e4iteks uute s\u00f5nade ja t\u00e4henduste tuvastamiseks, ent ka loomuliku keele t\u00f6\u00f6tluses.<\/p>\n\n\n\r\n

\r\n\r\n

Pikemalt<\/h4>\r\n\r\n<\/div>\n\n\n

Korpust kasutatakse t\u00e4nap\u00e4eval ka s\u00f5naraamatute koostamisel, et saada keele kohta autentset infot. Keeleandmete uurimiseks korpuses kasutatakse spetsiaalseid programme ehk korpusp\u00e4ringus\u00fcsteeme (nt Sketch Engine<\/a>, KORP<\/a>), mis v\u00f5imaldavad mitmek\u00fclgselt anal\u00fc\u00fcsida s\u00f5nade kasutust ja s\u00f5nakasutuse muutumist. Korpustest avaneb keeleuurijale ja s\u00f5naraamatukoostajale pilt tegelikust keelekasutusest.<\/p>\n\n\n\n

Korpused v\u00f5ivad sisaldada \u00fche keele tekste (siis on tegemist \u00fckskeelse korpusega) v\u00f5i mitme keele tekste (mitmekeelne korpus). Esimene digitaalne kirjaliku keele korpus oli 1960. aastatel loodud Browni korpus (t\u00e4isnimi: A Standard Corpus of Present-Day Edited American English for Use with Digital Computers<\/em>), mis sisaldas 1961. aastal avaldatud kirjalikest tekstidest kogutud \u00fchte miljonit Ameerika inglise s\u00f5na. Esimene eesti keele korpus oli baaskorpus<\/a>, mille Tartu \u00dclikool l\u00f5i 1990. aastatel Browni korpuse eeskujul. See sisaldab 1980-ndatel avaldatud tekstikatkeid samuti \u00fche miljoni s\u00f5na mahus.<\/p>\n\n\n\n

Eesti keele \u00fchendkorpuste sari<\/h2>\n\n\n\n

Eesti keele \u00fchendkorpus on kaasaegseim, mahukaim ja \u017eanriliselt mitmekesiseim eestikeelsete digitekstide kogu. Esimese \u00fchendkorpuse kogusime Eesti Keele Instituudi ja tarkvarafirma Lexical Computing Ltd. koost\u00f6\u00f6s kokku 2013. aastal. J\u00e4tkuvas koost\u00f6\u00f6s on \u00fchendkorpuste sarjas valminud praeguseks juba viis versiooni: eesti keele \u00fchendkorpus 2013, 2017, 2019, 2021 ja 2023 (vt tabel 1). Uuendame \u00fchendkorpust iga kahe aasta tagant.<\/p>\n\n\n\n

Seni uusim, 2023. aasta versioon sisaldab 3,8 miljardit s\u00f5net. See on nii mahukas, et annab esindusliku \u00fclevaate t\u00e4nap\u00e4eva eesti keele kasutusest. Samuti on sealt v\u00f5imalik kasutus\u00adn\u00e4iteid leida ka v\u00e4ga madala sagedusega keelen\u00e4htuste kohta.<\/p>\n\n\n\n


Tabel 1. <\/strong>Eesti keele \u00fchendkorpuste suurused<\/p>\n\n\n\n

 <\/strong><\/td>s\u00f5nesid*<\/strong><\/td>lauseid<\/strong><\/td>l\u00f5ike<\/strong><\/td>dokumente<\/strong><\/td><\/tr>
\u00fchendkorpus 2023<\/strong><\/td>3,8 mld<\/td>255 mln<\/td>83 mln<\/td>15 mln<\/td><\/tr>
\u00fchendkorpus 2021<\/strong><\/td>2,9 mld<\/td>197 mln<\/td>64 mln<\/td>12 mln<\/td><\/tr>
\u00fchendkorpus 2019<\/strong><\/td>1,8 mld<\/td>120 mln<\/td>35 mln<\/td>6 mln<\/td><\/tr>
\u00fchendkorpus 2017<\/strong><\/td>1,3 mld<\/td>88 mln<\/td>27 mln<\/td>3 mln<\/td><\/tr>
\u00fchendkorpus 2013<\/strong><\/td>563 mln<\/td>38 mln<\/td>7,5 mln<\/td>700 tuh<\/td><\/tr><\/tbody><\/table><\/figure>\n\n\n\n

* S\u00f5ne ehk tekstis\u00f5na on tekstis esinev s\u00f5na (nt jooksma<\/em>) v\u00f5i selle muutevorm (nt jooksin<\/em>, joostud<\/em>). Tekstikorpuse suuruse m\u00f5\u00f5t\u00fchikuna kasutataksegi tavaliselt s\u00f5nesid.<\/p>\n\n\n\n

Kuidas tekstid korpusesse saavad?<\/h2>\n\n\n\n

S\u00f5nastikukoostajad on s\u00f5nade t\u00e4henduste ja kasutusmustrite uurimisel ikka toetunud keeleandmetele. Algselt kasutati keeleallikana sedelkartoteeke, mis sisaldasid k\u00e4sitsi \u00fcles kirjutatud s\u00f5nasedeleid. Arvutite tulekuga hakati sisse skaneerima paberil avaldatud tekste, et need masinloetaval kujul \u00e4ra m\u00e4rgendada ning korpusesse \u00fcles laadida. T\u00e4nap\u00e4eval on tekstide kogumise p\u00f5hiallikaks saanud aga hoopis internet, sest erit\u00fc\u00fcbilisi tekste on seal palju, nende allalaadimine kiire ja t\u00f6\u00f6tlemine lihtne. <\/p>\n\n\n\n

Tekste kogub veebist spetsiaalne t\u00f6\u00f6riist ehk kroolija, mis alustab tekstide kogumist usaldusv\u00e4\u00e4rsetelt veebilehtedelt, mille korpusekspert on k\u00e4sitsi tuvastanud. Kokkukogutud tekstid puhastatakse \u00fcleliigsest: kustutatakse muukeelsed ja automaatt\u00f5lkelised tekstid, mittetekstiline materjal (pildid, tabelid, h\u00fcperlingid) jms, samuti eemaldatakse identsed dokumendid.<\/p>\n\n\n\n

K\u00f5ik tekstides esinevad s\u00f5nad varustatakse morfoloogilise infoga: m\u00e4\u00e4ratakse tema algvorm ja s\u00f5naliik, eristatakse muutel\u00f5pud. N\u00e4iteks s\u00f5navormi lambaid<\/em> algvorm on lammas, <\/em>s\u00f5naliik nimis\u00f5na <\/em>ja muutevorm mitmuse osastav.<\/em> Eesti keele \u00fchendkorpus on alates 2021. aastast m\u00e4rgendatud ka s\u00fcntaktiliselt. See t\u00e4hendab seda, et igale s\u00f5nale on lisatud m\u00e4rgend tema s\u00fcntaktilise funktsiooni kohta lauses (nt kas tegemist on aluse, \u00f6eldise v\u00f5i sihitisega).<\/p>\n\n\n\n

Mis tekstid korpuses on?<\/h2>\n\n\n\n

Suure osa \u00fchendkorpuse mahust moodustavad veebist kogutud avalikud tekstid. Oma olemuselt on see niisiis veebikorpus. \u00dchendkorpus sisaldab ka Tartu \u00dclikoolis loodud eesti keele koondkorpust ja tasakaalus korpust, mis sisaldavad tekste 1990. aastate algusest kuni 2008. aastani. Seega saab \u00fchendkorpusest eestlaste keelekasutust v\u00e4hemal v\u00f5i rohkemal m\u00e4\u00e4ral uurida ligikaudu 30 aasta l\u00f5ikes.<\/p>\n\n\n\n

Meediaportaalide ja perioodikav\u00e4ljaannete tekstid.<\/strong> Neid on korpuses k\u00f5ige rohkem. Esikolmikus on Delfi, Postimees ja \u00d5htuleht, viiendal kohal ERRi portaal, k\u00fcmnendal Saarte H\u00e4\u00e4l. Esindatud on  paljud teisedki p\u00e4eva- ja n\u00e4dalalehed ning ajakirjad, n\u00e4iteks Eesti Ekspress, Eesti P\u00e4evaleht, Maaleht, \u00c4rip\u00e4ev, \u00d5petajate Leht, Sirp, Horisont, Tehnikamaailm, Eesti Loodus, Pealinn, Keskn\u00e4dal, L\u00e4\u00e4ne Elu, Eesti Kirik, Hiiu Leht, P\u00f5hjarannik jpm.<\/p>\n\n\n\n

Ametlikud ja haldustekstid.<\/strong> Ametlikud tekstid on kogutud n\u00e4iteks Riigi Teataja, Euroopa Parlamendi, Riigikohtu kodulehelt, aga ka teistelt valitsuse ja riigiametite kodulehtedelt (nt Riigikogu, Vabariigi Valitsus, Vabariigi Presidendi Kantselei, Riigikontroll, \u00d5iguskantsleri Kantselei, V\u00e4lisministeerium, Rahandusministeerium, Haridus- ja Teadusministeerium, Majandus- ja Kommunikatsiooniministeerium, Keskkonnaministeerium, Kaitseministeerium, Siseministeerium, Sotsiaalministeerium, Maksu- ja Tolliamet, Politsei- ja Piirivalveamet, Statistikaamet, T\u00f6\u00f6tukassa, Terviseamet, Maanteeamet, Maa-amet, Transpordiamet, Riigi Infos\u00fcsteemi Amet, Eesti Keele Instituut jm). Lisaks sisaldab korpus n\u00e4iteks Eesti Vabariigi p\u00f5hiseaduse kommenteeritud v\u00e4ljaannet. Palju tekste on kogutud ka n\u00e4iteks linnade jm haldus\u00fcksuste kodulehtedelt (tallinn.ee, tartu.ee).<\/p>\n\n\n\n

Asutuste kodulehed ja veebipoed.<\/strong> Korpus sisaldab ka palju tekste \u00fclikoolide (Tartu \u00dclikool, Eesti Maa\u00fclikool, Tallinna Tehnika\u00fclikool), muuseumide ja teatrite kodulehtedelt (Kirjandusmuuseum, Eesti Kunsti Muuseum, Vanemuine, Linnateater), era- ja suurfirmade kodulehtedelt (TV3, Apollo, LHV), aga ka veebipoodidest (Kaup24, Photopoint, Tradehouse).<\/p>\n\n\n\n

Ilukirjandus.<\/strong>  Selle lisamiseks oleme teinud eraldi j\u00f5upingutusi. Kui vanemad tekstid on autori\u00f5iguste alt vabastatud, siis uuemad mitte. Seep\u00e4rast tuleb enne materjali korpusesse lisamist esmalt tegeleda autori\u00f5iguste ja intellektuaalse omandi \u00f5igusega. EKI koost\u00f6\u00f6 kirjastustega j\u00e4tkub: eesti keele \u00fchendkorpus 2023 sisaldab ligikaudu 1700 kirjandusteost, sh nii uuemat (aastatest 2000\u20132023) kui ka vanemat (aastatest 1864\u20131945) ilukirjandust, nii algup\u00e4raseid kui ka t\u00f5lketeoseid. N\u00e4iteks on seal teoseid August Kitzbergi, Eduard Bornh\u00f6he, Eduard Vilde, A. H. Tammsaare, Juhan Liivi, Indrek Hargla, Andrus Kivir\u00e4ha, Karen Orlau, T\u00f5nu \u00d5nnepalu, Lehte Hainsalu jt sulest. V\u00f5rdluseks: \u00fchendkorpus 2021 sisaldas ligikaudu 400 kirjandusteost. <\/p>\n\n\n\n

Teaduskeel<\/strong>. Seda on kogutud n\u00e4iteks teadusajakirjadest Keel ja Kirjandus, Eesti ja soome-ugri keeleteaduse ajakiri, Eesti Rakenduslingvistika \u00dchingu aastaraamat, L\u00e4hiv\u00f5rdlusi, Methis: Studia Humaniora Estonica, LingVaria, Folklore, Eesti Arst, Eesti Haridusteaduste Ajakiri, Ajalooline Ajakiri, M\u00e4etagused, Estonian Journal of Earth Sciences, Eesti Majanduspoliitilised V\u00e4itlused ning Agraarteadus. Samuti sisaldab \u00fchendkorpus kogu eestikeelset Vikipeediat.<\/p>\n\n\n\n

Blogid ja foorumid.<\/strong> Eesti keelt on kogutud ka blogidest (nt Mallukas, Marimell, Paljas Porgand, P\u00e4evakera; poliitikute jm avaliku elu tegelaste blogidest (nt Tunne Kelam, Kaja Kallas, Henn P\u00f5lluaas, Varro Vooglaid, Yoko Alender, Urmas Paet, Simo Runnel) ning foorumitest (nt Matkafoorum, Fotofoorum, Ulmefoorum, Elektroonikafoorum). Paljudes blogides ja foorumites kasutatakse rohkem toimetamata keelt, mis annab keeleuurijale huvitavat infot tegeliku keelekasutuse kohta. Kuna netis kasutusel oleval kirjalikul keelel on palju suulise keele jooni, korvab blogide ja foorumite keelekasutus m\u00f5nev\u00f5rra suulise keele puudumist \u00fchendkorpusest.<\/p>\n\n\n\n

Kas korpus saab olla esinduslik ja tasakaalus?<\/h2>\n\n\n\n

\u00dchendkorpusele on ette heidetud seda, et see pole piisavalt esinduslik ehk ei sisalda k\u00f5iki tekstit\u00fc\u00fcpe, mis antud kultuuris antud ajavahemikul olemas on, ega tasakaalus ehk nende tekstit\u00fc\u00fcpide esindatus korpuses ei vasta nende esindatusele antud kultuuris. Esinduslikkust ja tasakaalustatust on korpuste puhul aga v\u00e4ga keeruline tagada. Esiteks on keeruline defineerida inimr\u00fchmi, kelle keelekasutust korpus peaks esindama \u2212 nende arv on piiramatu ning omadused teadmata. Kuna iga kultuuri inimr\u00fchmad muutuvad ja kasvavad pidevalt, siis on ka loogiliselt v\u00f5imatu saavutada eri tekstit\u00fc\u00fcpide korrektset vahekorda tekstikorpuses. Ka tasakaalustatuse saavutamine sisaldab endas palju subjektiivseid otsuseid, n\u00e4iteks missuguseid tekste korpusesse v\u00f5tta ning millised finantsilised ja juriidilised faktorid korpuse loomist m\u00f5jutavad.<\/p>\n\n\n\n

Ka 2000. aastatel Tartu \u00dclikoolis loodud koondkorpus \u2212 suurim eesti keele korpus enne \u00fchendkorpuste tulekut \u2212 polnud samuti tasakaalus ega esinduslik. Seal olid \u00fclekaalus ajalehetekstid (u 75%), internetisuhtluse keelekasutus moodustas kogumahust 9%, ilukirjandus ja teadustekstid kumbki 2%. Ka \u00fchendkorpuses on \u00fclekaalus perioodikatekstid, j\u00e4rgnevad foorumite ja blogide keel. Ilukirjandus ja teaduskeel on \u00fchendkorpuses vaeslapse rollis \u2212 esimest neist on \u00fchendkorpuses pisut \u00fcle 4%, teist alla \u00fche protsendi.<\/p>\n\n\n\n

Kuidas korpust kasutatakse s\u00f5naraamatu koostamisel ja keeleuurimisel?<\/h2>\n\n\n\n

S\u00f5naraamatute koostamisel on pidevalt uuenevaid tekstikorpusi kasutatud juba alates 1980-ndatest. Eestis hakati s\u00f5naraamatut\u00f6\u00f6 jaoks alates 1990-ndatest kasutama Tartu \u00dclikoolis loodud tasakaalus korpust (lisaks alates 1955. a kogutud sedelkogule). K\u00e4sitsi koostatud sedelite kogumine l\u00f5petati 2000. aastal, sest see ei suutnud enam v\u00f5istelda keeleandmete kogumisega arvutite abil. 4,3 mln suurust sedelkogu (XX sajandi eesti kirjakeele arhiivi) v\u00f5iks v\u00f5rrelda umbes 50 mln s\u00f5na sisaldava korpusega, kui v\u00f5tta lause keskmiseks pikkuseks 8\u201310 s\u00f5na. S\u00f5naraamatu aluseks oleva andmekogu jaoks on 50-miljoniline korpus kaugelt liiga v\u00e4ike (vrd tekstikorpuste andmeid tabelis 1).<\/p>\n\n\n\n

S\u00f5navara muutub ja t\u00e4ieneb keeles k\u00f5ige kiiremini \u2013 EKI \u00fchends\u00f5nastiku jaoks on k\u00f5ik selle s\u00f5nad anal\u00fc\u00fcsitud eesti keele tekstikorpuse p\u00f5hjal. \u00dchends\u00f5nastikku ei lisata \u00fchtki uut keelendit ilma seda tekstikorpuse najal hindamata.<\/p>\n\n\n\n

Samamoodi kasutatakse korpust keeleuurimisel. Kui n\u00e4iteks s\u00f5namoodustuse uurimine on varem toetunud s\u00f5naraamatutele, siis n\u00fc\u00fcd on see muutunud korpusp\u00f5hiseks. S\u00fcntaksiuurijad on korpusest \u201eeesti keele s\u00fcntaksi kohta saadud m\u00e4rkimisv\u00e4\u00e4rsel hulgal uusi tulemusi\u201d.<\/p>\n\n\n\n

Keelekorralduses v\u00f5imaldavad korpuse andmed s\u00fcstemaatiliselt j\u00e4lgida keelekasutust ning normingute ja soovituste kinnistumist keeles ning vajadusel on v\u00f5imalik ebak\u00f5lasid korrigeerida.<\/p>\n\n\n\n

Eesti keele \u00fchendkorpus on \u017eanriliselt mitmekesiseim allikas t\u00e4nap\u00e4eva eesti keele uurimiseks, mille allkorpustest saab omakorda eraldi p\u00e4ringuid teha. Tekstikorpustest avaneb leksikograafile ja keeleuurijale pilt tegelikust keelekasutusest, mida on v\u00f5imalik valdkondade kaupa anal\u00fc\u00fcsida. Korpuse andmed luuakse k\u00fcll (pool)automaatselt, ent korpusandmeid hindavad ja kokkuv\u00f5tte teevad ikka inimesed \u2013 leksikograafid ja keeleteadlased.<\/p>\n\n\n\n

Kirjandus<\/h2>\n\n\n\n