Sa samo ~20 redaka Python koda, možete napraviti ‘QA temeljen na GPT-u za dohvaćanje’ koristeći ovo spremište otvorenog koda pod nazivom PrimeQA

Tijekom proteklih nekoliko godina istraživači su razvili veliko zanimanje za zadatke povezane s odgovaranjem na pitanja (QA) kada je riječ o istraživanju obrade prirodnog jezika. Sustavi za pronalaženje informacija (IR), također poznati kao retriveri, i sustavi za razumijevanje strojnog čitanja (MRC) (poznati i kao čitači) čine većinu cjevovoda za osiguranje kvalitete. Unos cjevovoda često je upit i velika zbirka dokumenata iz koje se retriever izvlači dijelove relevantne za kontekst upita. S druge strane, komponenta čitača iskopava takve kontekste za precizan odgovor, koji se zatim daje kao konačni izlaz cjevovoda. Probojem finijih, unaprijed obučenih jezičnih modela i naprednijih algoritama za komponente dohvata i čitača, područje istraživanja kvalitete postiglo je značajan napredak.

Iako je QA polje brzo napredovalo u posljednjih nekoliko godina, još uvijek postoji značajan prostor za napredak. Za provođenje opsežnih QA eksperimenata trenutno ne postoji centralizirano spremište koje istraživačima olakšava obuku i analizu različitih najsuvremenijih modela. Kako bi stvorili rješenje na jednom mjestu za QA istraživanje i s dugoročnim ciljem demokratizacije QA istraživanja pružanjem jednostavne replikacije, tim iz IBM Research AI razvio je QA repozitorij poznat kao ‘The Prime Repository for State-of-The -Art Multilingual Question Answering Research and Development’ ili PrimeQA. To je repozitorij otvorenog koda koji akademicima i istraživačima pruža sve potrebne alate za jednostavno i brzo stvaranje prilagođene QA aplikacije. Koristeći PrimeQA, istraživač može dobiti unaprijed obučene modele iz raznih internetskih izvora i koristiti ih za izvođenje eksperimenata opisanih u radu objavljenom na posljednjoj NLP konferenciji.

Stvaranje repozitorija PrimeQA uzelo je u obzir nekoliko obrazaca dizajna, uključujući ponovljivost, prilagodbu, itd. Korisnici mogu pomiješati različite pristupe sa svojim pratećim modulima kako bi jednostavno replicirali najsuvremenije objavljene rezultate. Na primjer, kombiniranje čitača s retriverom, kao što je učinjeno u nekoliko QA cjevovoda. PrimeQA također nudi prilagodbu kako bi omogućila istraživačima da prošire svoje modele u skladu s potrebama svojih aplikacija i koriste jedinstvene podatke u skladu s podržanim formatima podataka repozitorija. Kako bi programerima dodatno olakšao brzu implementaciju unaprijed obučenih gotovih modela, PrimeQA također uključuje mnoge komponente za višekratnu upotrebu. Kao rezultat toga, manja je potreba za modificiranjem koda, čime se štedi vrijeme i rad. Štoviše, modeli PrimeQA izgrađeni su na temelju Transformersa, što ih čini jednostavnim za integraciju s skupovima podataka zagrljenih lica i modelom Hub.

PrimeQA je end-to-end toolbox koji se sastoji od user-friendly implementacija najsuvremenijih retrivera i čitača na vrhu glavnih QA ljestvica. Može izvoditi obuku, zaključivanje i procjenu izvedbe ovih modela. Štoviše, veliki broj srodnih repozitorija nudi alate za povezivanje različitih preuzimatelja i čitača i izgradnju prednjeg korisničkog sučelja (UI) za kupce. PrimeQA podržava osnovne QA funkcionalnosti kao što su pronalaženje informacija, razumijevanje pročitanog i pomoćne mogućnosti kao što je generiranje pitanja, koje su detaljno opisane u nastavku:

1. Povrat informacija: PrimeQA uključuje proširenja za guste (kao što je ColBERT) i za rijetke (kao što je BM25) retrivere. Repozitorij se sastoji od jedne Python skripte za prebacivanje na različite algoritme dohvaćanja prosljeđivanjem dodatnih argumenata.

2. Čitanje s razumijevanjem: Komponenta čitača predviđa odgovor za zadani upit i dohvaćeni odlomak koji su ili izravno izvedeni iz konteksta ili su generirani na temelju njega. PrimeQA omogućuje obuku i zaključivanje ekstraktivnih i generativnih čitača putem jedne Python skripte.

3. Generiranje pitanja: Generiranje pitanja moćna je metoda za poboljšanje generalizacije QA modela. Moderne arhitekture generiranja od sekvence do sekvence temelj su PrimeQA QG komponente, koja prihvaća nestrukturirani i strukturirani ulazni tekst kroz jednu Python skriptu.

Ukratko, PrimeQA je biblioteka otvorenog koda koju su stvorili QA istraživači i programeri kako bi se jednostavno potaknulo repliciranje i ponovno korištenje prošlih i sadašnjih radova. Uz doprinose značajnih akademskih institucija, PrimeQA već ima snažnu zajednicu programera i pozdravlja sudjelovanje i novopridošlica i profesionalaca. PrimeQA-ova mogućnost ponovne upotrebe i jednostavnost pristupa privukli su mnogo pozornosti, omogućujući knjižnici da se prirodno razvije u ključni alat za brzi napredak tehnologije QA zajednice.