Mis on suured keelemudelid?

Sisukord

Lühidalt

Suurte keelemudelite (SKMide) põhimõte on lihtne: SKMid on arvutiprogrammid, mis on treenitud ennustama eelnevate sõnade põhjal järgmist sõna. SKMid õpivad keelt andmekogude põhjal, märgates mustreid sõnade, lausete ja isegi terviktekstide vahel. 

Pikemalt

SKMid on tehisintellekti mudelid, mis on masinõppe ja närvivõrkude abil treenitud töötlema ja genereerima loomulikku keelt. Need analüüsivad, kuidas sõnad omavahel seostuvad, ja ennustavad järgmisi sõnu või fraase, luues niimoodi loogilisi lauseid ja tekstilõike. 

Mudelite suurus viitab nende keerukusele ja sellele, kui palju andmeid nende treenimiseks on kasutatud. Näiteks OpenAI loodud keelemudel GPT (Generative Pretrained Transformer) suudab töödelda tohutuid tekstimahte ja õppida nende põhjal, kuidas inimesed eri kontekstides suhtlevad. 

SKMid teevad võimalikuks tehisintellekti kasutamise igapäevastes tegevustes, mida saab automatiseerida ja nii kokku hoida inimese tööaega. SKMide abil saab kiiresti teha töid, mis käsitsi tehes võtaksid tunde või isegi päevi ning milleks pole vaja ekspertteadmisi arvutite ega programmeerimise kohta. 

Praegu on kõige tuntumad suurfirmade arendatud keelemudelid nt (Chat)GPT (OpenAI), Claude (Anthropic), Llama (Meta) ja Gemini (Google). 

Kuidas keelemudelid töötavad? 

Mudelite võimekuse määrab suures osas andmestik, millega neid on treenitud. Suuri keelemudeleid treenitakse väga erinevatest allikatest koosnevate andmekogude, näiteks raamatute, teadusartiklite, veebilehtede, sotsiaalmeedia postituste jpm põhjal. Mudelid analüüsivad tekstide statistilisi mustreid ning otsivad, kuidas sõnu erinevates kontekstides kasutatakse ja kui suure tõenäosusega sõnad üksteisele järgnevad. Kui mudeli treenimisel kasutatakse suurel hulgal eri pikkusega tekste, õpib mudel ennustama ka kontekstides, mida tema treenimiseks kasutatud ei ole.  

Näiteks kui anda mudelile lause algus “Kass istub aknal ja…”, suudab ta ennustada järgmise(d) sõna(d) selle põhjal, mida ta on varem andmete põhjal õppinud, ning pakub välja kõige tõenäolisema variandi, arvestades sisestatud konteksti. Sellest tulenevalt võib lause lõpp olla näiteks “…vaatab linde” või “…ootab omanikku koju” või midagi hoopis muud.  

SKMide puhul suudetakse jälgida antud sisendeid ja väljundeid, kuid inimesel on tavaliselt võimatu aru saada, mille alusel mudel tegelikult antud sisendile just mingi konkreetse väljundi annab. Alati on võimalik küsida mudelitelt selgitusi selle kohta, kuidas nad pakutud väljundini jõudsid, kuid kuna neid pole õpetatud iseennast analüüsima ja oma otsustusprotsessi kommenteerima, ei ole nad selles praegu veel väga edukad. 

Mille jaoks suuri keelemudeleid kasutatakse?

Suured keelemudelid võimaldavad tööd efektiivsemaks muuta paljudes valdkondades, kuid eri mudelid on osavad eri ülesannetes. Seega mudel, mis tuleb edukalt toime üht tüüpi ülesandega, ei pruugi olla nii hea teistes. Seetõttu tasub võimaluse korral uurida ja katsetada, milline mudel just sinu ülesande täitmiseks kõige paremini sobib. Mõned SKMide kasutusvaldkonnad on näiteks: 

  • masintõlge ehk automaatne tõlkimine 
  • vestlusrobotid 
  • tekstiloome (nt artiklite, postituste, dokumentide, e-kirjade vms koostamine või täiustamine) 
  • keeleõpe ja grammatika parandamine 
  • programmeerimine 
  • andmeanalüüs 
  • sõnaraamatute koostamine

Kuidas hinnata mudelite keeleoskust ja kultuuritundlikkust? 

Keelemudelite oskusi hinnatakse nii nagu inimeste omi – mudelile antakse ette andmestik, mis sisaldab erinevaid ülesandeid ja küsimusi. Sageli on ülesandetüübiks järeldamisülesanded, kus mudelile antakse ette mitu vastusevarianti eesmärgiga hindamist lihtsustada.  

Kui nii keele kui ka kultuuri tundmisel tahetakse saada täpsemat ülevaadet, kasutatakse selleks spetsiifilisemaid testandmestikke, kus ülesannete koostamisel on silmas peetud, et need sisaldaksid esinduslikult eesti keele ja kultuuri olulisi nähtuseid.  

Keeleoskuse hindamiseks mõeldud ülesannete koostamine on küllaltki lihtne, kuid kultuuri tundmise hindamine eeldab andmeid selle kohta, mis on eestlase jaoks tähtsaimad kultuurivaldkonnad ja millised teadmised on selles valdkonnas peamised. See tähendab, et selline andmestik ei saaks eales olla täielikult esinduslik, vaid pigem püüeldakse selle eesmärgi poole. Kõige paremini oskavad aga mudelite kvaliteeti, teadmisi ja keeleoskust hinnata mudeleid kasutavad eksperdid. 

Miks on keelemudelite kultuuritundlikkus oluline?  

Juba praegu kasutatakse suuri keelemudeleid üha enam otsingumootorite kõrval ja asemel, mistõttu on oluline, et saaksime mudelitelt tõest infot. Kui pärida keelemudeli käest infot näiteks eesti kirjandusklassika kohta, võib sageli saada kummalisi vastuseid, millel pole konkreetse raamatuga mingit seost. Kui tahame kasutada keelemudeleid eesti keeles, on oluline, et mudel oleks kursis ka eesti kultuuriga.  

SKMe võib vaadelda kui andmebaasi, kus on võimalus säilitada eesti keelt ja kultuuri käsitlevat infot. Kuigi info pärimine erineb sellest, kuidas päritakse tavapärastest andmebaasidest, suudab mudel olemasolevate andmete põhjal teha järeldusi, mida tavalised andmebaasid ei suuda. 

Keelemudelite kasutamine õppe- ja teadustöös 

Eesti koolide suhtumine generatiivse tehisintellekti kasutamisse õppetöös on varieeruv. Samamoodi ka tehnoloogiate kasutuselevõtt haridussektoris üldiselt. Mõnes koolis ollakse uuendusmeelsemad ja avatumad, teistes on vastasseisu ja kõhklusi rohkem. Tehisintellektipõhiste tööriistade kasutuselevõtt eeldab nii tehnilist valmisolekut kui ka pedagoogilist lähenemist. 

Suurte keelemudelite tulek sunnib õpetajaid läbi mõtlema, milliseid ülesandeid õpilastele anda ja kuidas õppimist ja sellega seotud eesmärke ümber mõtestada. On kindlasti ülesandeid, mille tegemine kaotab mõtte, kuid üha olulisemaks muutuvad kriitilise mõtlemise oskus, ümberpööratud õpe ja julgus katsetada. 

SKMide potentsiaalset rolli sõnastike koostamisel ja uurimisel on käsitletud arvukates uurimustes, seni nähakse neid leksikograafide abistajana. Ennekõike püütakse SKMe rakendada nende tööprotsesside juures, mis on automatiseeritavad või mille puhul saab vähendada mehaanilist ja ajamahukat käsitööd. Eesti Keele Instituudis uuritakse praegu peamiselt SKMide võimekust vanade (17.–18. sajandi sõnaraamatute) sõnakujude tuvastamisel, sõnaregistrite määramisel ja sõnaraamatu jaoks sõnaseletuste ja tähenduste loomisel.

Kirjandus

Koostanud Susanna Oja, Eleri Aedmaa, Tiiu Kivistik

Anna tagasisidet