Mis on suured keelemudelid?

Sisukord

Lühidalt

Suurte keelemudelite (SKMide) põhimõte on lihtne: SKMid on tehisintellekti mudelid, mis on treenitud ennustama eelneva teksti põhjal järgmist tookenit ehk tekstiosa. Tooken võib olla näiteks sõna, sõnaosa või kirjavahemärk. SKMid õpivad keelt andmekogude põhjal, märgates mustreid sõnade, lausete ja isegi terviktekstide vahel. 

Pikemalt

SKMid on masinõppe ja närvivõrkude abil treenitud töötlema ja genereerima loomulikku keelt. Need analüüsivad, kuidas tookenid omavahel seostuvad, ja ennustavad järgmisi tekstiosi, luues niimoodi sidusaid tekste.

Mudelite suurus viitab sellele, kui palju treeningu käigus õpitud seadistusi ehk parameetreid mudel sisaldab. Nende koostoimest kujunevad mudeli oskused. Mudeli võimekust mõjutavad lisaks parameetrite arvule ka treeningandmed ja treenimiseks kasutatud arvutusvõimsus. Näiteks OpenAI loodud keelemudel GPT (Generative Pretrained Transformer) suudab töödelda tohutuid tekstimahte ja õppida nende põhjal, kuidas inimesed eri kontekstides suhtlevad. 

SKMid teevad võimalikuks tehisintellekti kasutamise igapäevastes tegevustes, mida saab automatiseerida, ja nii kokku hoida inimese tööaega. SKMide abil saab kiiresti teha töid, mis käsitsi tehes võtaksid tunde või isegi päev ning milleks pole vaja ekspertteadmisi arvutite ega programmeerimise kohta. Samas saab SKMe kasutada ka keerukamates, programmeerimisoskust nõudvates ülesannetes (nt koodi kirjutamine, andmetöötlus, süsteemide ühendamine), kus need kiirendavad märkimisväärselt asjatundja tööd.

Praegu on kõige tuntumad suurfirmade arendatud keelemudelid ja mudelipered nt GPT (OpenAI), Claude (Anthropic), Llama (Meta) ja Gemini (Google). Keelemudelil ja sellel põhineval rakendusel tasub seejuures vahet teha: näiteks ChatGPT on rakendus, mis kasutab OpenAI keelemudeleid.

Kuidas keelemudelid töötavad? 

Mudelite võimekust mõjutavad muu hulgas andmed, millega neid on treenitud. Suuri keelemudeleid treenitakse väga erinevatest allikatest koosnevate andmekogude, näiteks raamatute, teadusartiklite, veebilehtede, sotsiaalmeedia postituste jpm põhjal. Mudelid analüüsivad tekstide statistilisi mustreid ning otsivad, kuidas tookeneid erinevates kontekstides kasutatakse ja kui suure tõenäosusega sõnad üksteisele järgnevad. Kui mudeli treenimisel kasutatakse suurel hulgal eri pikkusega tekste, õpib mudel ennustama ka kontekstides, mida tema treenimiseks kasutatud ei ole.  

Näiteks kui anda mudelile lause algus “Kass istub aknal ja…”, suudab ta ennustada järgmise tookeni selle põhjal, mida ta on varem andmete põhjal õppinud. Mudel hindab võimalike jätkude tõenäosust ning genereerib nende põhjal teksti. Sellest tulenevalt võib lause lõpp olla näiteks “…vaatab linde” või “…ootab omanikku koju” või midagi hoopis muud.  

Keelemudeli treenimine ei pruugi piirduda üksnes sellega, et mudelit õpetatakse suure tekstikogu põhjal. Mudelit võidakse ka täiendavalt treenida, et see oskaks näiteks paremini juhiseid järgida, küsimustele vastata ning anda kasutajale sobivaid vastuseid.

SKMide puhul suudetakse jälgida antud sisendeid ja väljundeid, kuid inimesel on tavaliselt võimatu aru saada, mille alusel mudel tegelikult antud sisendile just mingi konkreetse väljundi annab. Mudelilt võib küsida tema vastuse kohta selgitust või põhjendust, kuid mudeli genereeritud selgitust ei saa alati käsitada täpse vastusena, kuidas mudel vastuseni jõudis.

Mille jaoks suuri keelemudeleid kasutatakse?

Suured keelemudelid võimaldavad tööd efektiivsemaks muuta paljudes valdkondades, kuid eri mudelid on osavad eri ülesannetes. Seega mudel, mis tuleb edukalt toime üht tüüpi ülesandega, ei pruugi olla nii hea teistes. Seetõttu tasub võimaluse korral uurida ja katsetada, milline mudel just sinu ülesande täitmiseks kõige paremini sobib. Mõned SKMide kasutusvaldkonnad on näiteks: 

  • masintõlge ehk automaatne tõlkimine 
  • vestlusrobotid 
  • tekstiloome (nt artiklite, postituste, dokumentide, e-kirjade vms koostamine või täiustamine) 
  • tekstide kokkuvõtmine ja neist teabe leidmine
  • keeleõpe ja grammatika parandamine 
  • programmeerimine 
  • andmeanalüüs 
  • sõnaraamatute koostamine

Kuidas hinnata mudelite keeleoskust ja kultuuritundlikkust? 

Keelemudelite oskusi hinnatakse eri testide ja ülesannete abil –– mudelile antakse ette andmestik, mis sisaldab erinevaid ülesandeid ja küsimusi. Sageli on ülesandetüübiks järeldamisülesanded, kus mudelile antakse ette mitu vastusevarianti eesmärgiga hindamist lihtsustada. 

Suurte keelemudelite võimekust eesti keeles saab võrrelda Eesti Keele Instituudi Keelemudelite mõõdupuu abil. Sinna on koondatud eri mudelite tulemused eestikeelsetes hindamisülesannetes. 

Kui nii keele kui ka kultuuri tundmisel tahetakse saada täpsemat ülevaadet, kasutatakse selleks spetsiifilisemaid testandmestikke, kus ülesannete koostamisel on silmas peetud, et need sisaldaksid esinduslikult eesti keele ja kultuuri olulisi nähtuseid.  

Keeleoskuse hindamiseks mõeldud ülesannete koostamine on üldjuhul lihtsam kui kultuuri tundmise hindamine, mis eeldab andmeid selle kohta, mis on Eesti kultuurikontekstis olulised valdkonnad ja millised teadmised on neis valdkondades peamised. See tähendab, et selline andmestik ei saaks eales olla täielikult esinduslik, vaid pigem püüeldakse selle eesmärgi poole. Kõige paremini oskavad aga mudelite kvaliteeti, teadmisi ja keeleoskust hinnata mudeleid kasutavad eksperdid.

Keeleoskus ja kultuuri tundmine ei ole seejuures üks ja sama. Mudel võib näiteks koostada väga head eestikeelset teksti, kuid eksida Eesti kohta käivate teadmistega, või vastupidi.

Miks on keelemudelite kultuuritundlikkus oluline?  

Juba praegu kasutatakse suuri keelemudeleid üha enam otsingumootorite kõrval ja asemel, mistõttu on oluline, et saaksime mudelitelt võimalikult täpset ja usaldusväärset infot. Kui pärida keelemudeli käest infot näiteks eesti kirjandusklassika kohta, võib sageli saada kummalisi vastuseid, millel pole konkreetse raamatuga mingit seost. Kui tahame kasutada keelemudeleid eesti keeles, on oluline, et mudel oleks kursis ka eesti kultuuriga.

Treeningu käigus õpib keelemudel andmetest keelelisi mustreid, seoseid ja teadmisi. Keelemudelit ei saa siiski käsitada tavapärase andmebaasina: teave ei ole mudelis talletatud eraldi kirjete või dokumentidena ning mudeli vastusest ei ole alati võimalik kindlaks teha, millisest allikast konkreetne teave pärineb. Samas võimaldab õpitud seoste kasutamine mudelil olemasoleva teabe põhjal üldistada ja luua uusi vastuseid.

Eesti keele ja kultuuri piisav esindatus mudelite treeningandmetes aitab kaasa sellele, et mudelid tuleksid paremini toime eestikeelsete ülesannete ja Eesti kultuurikontekstiga.

Keelemudelite kasutamine õppe- ja teadustöös 

Eesti koolide suhtumine generatiivse tehisintellekti kasutamisse õppetöös on varieeruv. Samamoodi ka tehnoloogiate kasutuselevõtt haridussektoris üldiselt. Mõnes koolis ollakse uuendusmeelsemad ja avatumad, teistes on vastasseisu ja kõhklusi rohkem. Tehisintellektipõhiste tööriistade kasutuselevõtt eeldab nii tehnilist valmisolekut kui ka pedagoogilist lähenemist. 

Suurte keelemudelite tulek sunnib õpetajaid läbi mõtlema, milliseid ülesandeid õpilastele anda ja kuidas õppimist ja sellega seotud eesmärke ümber mõtestada. On kindlasti ülesandeid, mille tegemine kaotab mõtte, kuid üha olulisemaks muutuvad kriitilise mõtlemise oskus, ümberpööratud õpe ja julgus katsetada. Oluliseks muutub ka oskus keelemudeli antud vastuseid kriitiliselt hinnata ja vajaduse korral kontrollida.

SKMide potentsiaalset rolli sõnastike koostamisel ja uurimisel on käsitletud arvukates uurimustes, seni nähakse neid leksikograafide abistajana. Ennekõike püütakse SKMe rakendada nende tööprotsesside juures, mis on automatiseeritavad või mille puhul saab vähendada mehaanilist ja ajamahukat käsitööd. Eesti Keele Instituudis uuritakse praegu peamiselt SKMide võimekust vanade (17.–18. sajandi sõnaraamatute) sõnakujude tuvastamisel, sõnaregistrite määramisel ja sõnaraamatu jaoks sõnaseletuste ja tähenduste loomisel.

Kirjandus

Koostanud Eleri Aedmaa, Susanna Oja, Tiiu Kivistik

Anna tagasisidet