Microsoftovo istraživanje umjetne inteligencije predlaže eXtensible Prompt (X-Prompt) za pokretanje velikog jezičnog modela (LLM) izvan prirodnog jezika (NL)

Zbog svoje sposobnosti da proizvedu tekst usporediv s ljudskim pisanim materijalom i njihove svestranosti u različitim aplikacijama za obradu prirodnog jezika (NLP), veliki jezični modeli (LLM) postali su iznimno popularni posljednjih godina. Ovi modeli sada mogu otkriti korelacije i obrasce u tekstu prirodnog jezika koji su prije bili nemogući. Kao rezultat toga, stvoreno je nekoliko praktičnih aplikacija, uključujući odgovaranje na pitanja, sažimanje teksta i prijevod jezika. Dostupnost velikog broja podataka za LLM-ove na kojima mogu trenirati jedan je od glavnih elemenata koji su doprinijeli njihovom uspjehu. Ti se modeli sada mogu trenirati zahvaljujući brzoj dostupnosti snažnog hardvera poput grafičkih procesorskih jedinica (GPU). Na uspjeh LLM-a značajno je utjecala i njihova sposobnost prilagođavanja određenim potrebama. Uvježbavanjem prethodno obučenog modela na manjem skupu podataka koji je relevantan za tu svrhu, programeri ga mogu modificirati za izvođenje određenog cilja, kao što je analiza raspoloženja ili kategorizacija teksta. Kao rezultat toga, stvoreno je nekoliko aplikacija temeljenih na NLP-u koje se mogu brzo prilagoditi određenim aktivnostima i slučajevima korištenja.

Prema nedavnim istraživanjima, jezični modeli (LM) uče bolje iz konteksta kako se njihova veličina modela povećava. Ova novonastala značajka pokazuje obećavajuće rezultate u okruženjima za učenje bez ikakvih pokušaja dopuštajući velikom LM-u da dobije instrukcije tijekom izvođenja putem upita deskriptivnog prirodnog jezika (NL) kako bi postigao definirani cilj s dobrom otpornošću izvan distribucije (OOD). . Međutim, samo je ponekad jednostavno razviti detaljan upit, osobito za aktivnosti s preciznim, nematerijalnim kriterijima. Na primjer, osim ako je jezik dobro poznat, nije lako opisati nečiji jezični stil koristeći NL kako bi se potaklo LM da piše na tom jeziku (npr. stil Williama Shakespearea). Oni predlažu eXtensible Prompt (X-Prompt), razvijen kako bi se prevladale prepreke prikazivanja detaljnijih upita. Osim uvođenja leksikona fiktivnih pojmova, X-Prompt se razlikuje od NL upita po tome što nudi proširivo sučelje za povećanje deskriptivnih mogućnosti upita. Kao što je prikazano u tablici 1, jednostavno je i prilagodljivo za X-Prompt da uvede zamišljenu riječ2 koja odražava stil određene osobe. Ta se riječ zatim može spojiti s različitim kontekstima upita kako bi se LM-u poručilo da proizvede dati sadržaj na jeziku korisnika.

Rade testove koristeći studiju slučaja X-Prompts za prilagođavanje stila. Oni pokazuju da X-Prompt uspješno kombinira prednosti NL-a i mekih upita, nudeći potencijalno proširivo sučelje za naprednu interakciju između ljudi i masivnih LM-ova. Oni također pokazuju da X-Prompt ima snažne deskriptivne sposobnosti i veliku OOD otpornost. Oni predlažu učenje vođeno kontekstom s brzim povećanjem kako bi se zamišljenim izrazima pomoglo u učenju prema njihovoj širokoj upotrebi protiv prekomjernog prilagođavanja podataka o obuci u distribuciji (ID) kako bi se osiguralo da X-Prompt može biti otporan na OOD poput NL upita. Savjetuju korištenje X-Prompta, svestranog sučelja za prompt značajnog jezičnog modela izvan prirodnog jezika. Osim prilagodbe stila, kao u ovom radu, X-Prompt može poboljšati mogućnosti učenja u kontekstu za rukovanje složenijim uputama za prilagodbu jezičnog modela. Ovaj rad pristupa naprednoj interakciji modela čovjeka i velikog jezika (npr. kreativno generiranje jezika, krpanje jezičnih modela s novim znanjem o entitetima i događajima, detoksikacija i uklanjanje predrasuda u generiranju jezika).