Istraživači sa Stanforda predlažu EVAPORATE: novi AI pristup koji smanjuje troškove zaključivanja jezičnih modela za 110x

Veliki jezični modeli danas su stalno na naslovnicama. S njihovim izvanrednim mogućnostima i primjenama u raznim domenama, novi istraživački rad ili novo ažuriranje LLM-a izlazi gotovo svaki dan. Trenutačni LLM-ovi imaju ogroman broj parametara što cijenu obuke čini izuzetno visokom. Uvježbani su na bilijunima tokena, što ih čini super skupima.

U nedavno objavljenom istraživačkom radu, neki studenti Sveučilišta Stanford i Sveučilišta Cornell predložili su metodu koja se može nositi s izazovom skupih LLM studija. Tim je podijelio kako su jezični modeli (LM) skupi pri obradi velikih dokumenata. Naveli su primjer cijene pokretanja zaključivanja na 55 milijuna stranica Wikipedije, što je više od 100.000 dolara, a ekvivalentno je cijeni većoj od dolara0.002 na 1000 tokena. Pristup koji su predložili autori može smanjiti troškove zaključivanja za faktor 110, dok također poboljšava kvalitetu rezultata u usporedbi s izravnim zaključivanjem nad svakim dokumentom.

Nazvani EVAPORATE, LLM pokreću ovaj prototip sustava i identificiraju dvije različite strategije za implementaciju sustava. Prva strategija je potaknuti LLM da izdvoji vrijednosti izravno iz dokumenata. Drugi je potaknuti LLM da sintetizira kod koji izvodi ekstrakciju. Tim je procijenio ova dva pristupa i pronašao kompromis između cijene i kvalitete. Iako je sinteza koda bila jeftinija, bila je i manje precizna od izravne obrade svakog dokumenta s LLM-om.

EVAPORATE identificira redundancije u više dokumenata i iskorištava ih za poboljšanje učinkovitosti. Tim je upotrijebio primjer izdvajanja atributa klasifikacije uređaja iz FDA izvješća za medicinske uređaje kako bi to ilustrirao. Umjesto obrade svakog polustrukturiranog dokumenta s LLM-om, autori istražuju korištenje LLM-a za generiranje funkcija koje se mogu ponovno upotrijebiti za izdvajanje iz svakog dokumenta.

Kako bi se poboljšala kvaliteta kao i održala niska cijena, tim je predložio implementaciju proširene sinteze koda pod nazivom EVAPORATE-CODE+. Ovaj pristup generira mnoge funkcije kandidata i skuplja njihove ekstrakcije pomoću slabog nadzora. Dok se slab nadzor tradicionalno primjenjuje na funkcije koje generiraju ljudi, EVAPORATE-CODE+ radi s funkcijama koje generiraju stroji i rješava izazove ove postavke kako bi omogućio poboljšanja kvalitete.

EVAPORATE je procijenjen na 16 skupova dokumenata u nizu formata, tema i vrsta atributa. EVAPORATE-CODE+ nadmašuje SOTA sustave korištenjem sublinearnog prolaza preko dokumenata s LLM-om, što rezultira 110x smanjenjem broja tokena koje LLM treba obraditi, u prosjeku kroz 16 postavki procjene od 10k dokumenata svaki.

Zaključno, ovaj rad predstavlja obećavajući pristup za automatizaciju ekstrakcije tablica iz polustrukturiranih dokumenata pomoću LLM-a. Utvrđivanjem kompromisa između izravne ekstrakcije i sinteze koda i predlaganjem proširene implementacije koja postiže bolju kvalitetu uz održavanje niske cijene, ovaj rad će definitivno napredovati prema zajednici za upravljanje podacima.