Skalanleg spunagreind

RAG lausnir 

Lausnir sem nýta sér stór mállíkön (LLM) til að svara spurningum frá notendum hafa tekið stórstígum framförum en hafa þó rekist á veggi. ChatGPT og fleiri almennar lausnir geta leyst ýmis verkefni en hafa takmarkaða fítusa til að svara út frá sértækum gögnum fyrirtækja. Til að leysa þann vanda hafa verið þróaðar svokallaðar RAG (Retrieval Augmented Generation) lausnir sem leita í textagrunni sem lausnin fær aðgang að og mynda síðan svar upp úr þeim pörtum textans sem tengjast spurningunni. 

Við hjá DataLab höfum síðan í byrjun árs 2023 verið að þróa slíka lausn og nefnt hana Ara. Í fyrstu var þessi lausn að vissu leyti sambærileg því sem hægt er að gera með því að hlaða upp pdf skjali í ChatGPT. Eftir því sem viðskiptavinum okkar fjölgar höfum við hins vegar áttað okkur á mikilvægi þess að byggja slíkar lausnir á hátt sem skalast til framtíðar. Að setja upp spjallviðmót sem getur svarað upp úr einföldum textagrunni er lítið mál en kröfurnar og væntingarnar um framtíðarþróun sem fylgja krefjast forsjálni og fyrirhyggju. Einnig koma hér inn í spilið spurningar um gagnavinnslu og persónuvernd sem nauðsynlegt er að huga að þegar við gefum lausninni aðgang að viðkvæmum gögnum. 

Þegar málið vandast 

Fyrirtæki hafa gögn á alls konar formi og þau eru geymd á ýmsum mismunandi stöðum. Það geta verið leiðbeiningar í SharePoint, pdf samningar í OneDrive, upplýsingar um viðskiptavini í gagnagrunnum eða reiknimódel í Excel. Auk þess er oft krafa um að geta svarað á grunni ytri upplýsinga frá hinum ýmsu stofnunum, lagabálkum eða dómafordæmum. Til þess að svara á grundvelli þessara fjölbreyttu gagna er ekki vænlegt að kasta út stóru neti og hrúga allri upplýsingatorfunni sem veiðist yfir í mállíkanið. Það þarf sérhannaðar leitaraðferðir sem skilja spurninguna, geta leitað í mismunandi gögnum á mismunandi hátt og geta forgangsraðað út frá samhengi spurningarinnar. 

Það þarf líka að gefa mállíkaninu alls konar fyrirmæli til þess að útskýra hvernig á að vinna með upplýsingarnar og að hverju þurfi að huga við svarmyndunina. Mállíkönin eiga hins vegar oft erfitt með að fylgja of löngum fyrirmælum og mikilvæg atriði geta tapast. Þess vegna er mikilvægt að lausnin brjóti verkefnið upp í smærri bita og kalli oftar á mállíkanið. 

Að lokum koma fljótt fram kröfur um að lausnin geti framkvæmt aðgerðir og öðlist sjálfstæði til ákvarðana með tímanum. Fáir eru tilbúnir í þetta skref eins og er, en af okkar samtölum og greiningu á umræðunni erlendis er þetta skref sem margir munu vilja taka mjög fljótlega. Til þess að leysa þetta þarf að leyfa mállíkönunum að ákveða hvenær á að framkvæma þessar aðgerðir og hvernig. Mikilvægt er að ætla sér ekki að sérsmíða flæði fyrir öll möguleg tilfelli eins og í klassískri hugbúnaðargerð, heldur viljum við að mállíkanið geti ákveðið sjálft hvenær og hvernig það kallar í þessi kerfi. Við þurfum því uppsetningu sem útskýrir fyrir mállíkaninu hvaða möguleikar á aðgerðum eru í boði, hvernig skuli framkvæma aðgerðirnar, framkvæmir svo aðgerðirnar sjálfar og greinir loks niðurstöðuna til frekari ákvarðanatöku. 

Erindrekin gervigreind 

Undanfarna mánuði hefur hugmyndin um erindrekna gervigreind (e. agentic AI) komið upp sem lausn við þessum vandamálum. Helstu frumkvöðlar í bransanum spá því að þessi nálgun muni keyra þróun gervigreindar áfram árið 2025.  

Erindrekin kerfi snúast um að búta hugbúnaðinn niður í sérhæfðar einingar sem við köllum erindreka (e. agents). Hver erindreki er sérhæfður til að leysa ákveðið vandamál og verkefninu er skipt upp og dreift á milli þeirra. T.d. gæti einn erindreki séð um að skipta spurningu upp í parta, einn kann að sækja gögn í gagnagrunn, einn kann að senda tölvupóst, einn kann að koma með lögfræðileg álit og einn kann að sjóða partana saman í lokasvar. Loks væri hægt að hafa einn gæðavörð sem sér um að lesa svarið áður en það er sent til notandans til að tryggja að það sé ekkert vitlaust í því.  

Með þessu er hægt að sérsníða gagnaleitina að spurningunni, skipta fyrirspurninni til mállíkansins upp í smærri búta og skilgreina kóða sem hægt er að kalla í til að framkvæma aðgerðir. Þetta er leiðin í átt að því að þróa lausnir á skalanlegan hátt sem nota mállíkön til að hugsa og tala og geta þar að auki nýtt tól og tæki sér til aðstoðar. Í hugbúnaðarþróun er nefnilega gríðarlega mikilvægt að hugsa til framtíðar þannig að hægt sé að halda áfram þróun lausna eftir því sem kröfurnar aukast og breytast.  

Erindrekinn Ari 

Við hjá DataLab höfum hannað Ara með erindrekna uppsetningu í huga og höfum byggt upp öflugt teymi sem sérhæfir sig í þróun slíkra lausna. Við sjáum fram á ótrúleg tækifæri til þess að leysa vandamál með þessari tækni og ekki er ráð nema í tíma sé tekið. Það er okkar niðurstaða eftir samtöl við ýmsa aðila þetta haustið að kröfurnar verði gríðarlegar og væntingarnar miklar og við hjá DataLab erum virkilega spennt fyrir því að gera fyrirtækjum og stofnunum kleift að nýta þessa nýju tækni til fulls.