Napomena: Sljedeći članak će vam pomoći: MiniGPT-4: A free AI alat za pretvaranje slike u tekst koji možete isprobati danas
ChatGPT je sjajan, ali trenutačno je ograničen samo na tekst — unos teksta, unos teksta. GPT-4 trebao je to proširiti dodavanjem obrade slike kako bi se omogućilo generiranje teksta na temelju slika.
MiniGPT-4: Poboljšanje razumijevanja vizualnog jezika s naprednim modelima velikih jezika
Međutim, OpenAI tek treba objaviti ovu značajku, a tu je MiniGPT-4 dolazi. Ovaj projekt otvorenog izvornog koda daje nam pregled onoga što obrada slike u GPT-u4 može biti kao — i prilično je uredan.
Što je MiniGPT-4?
MiniGPT-4 je projekt otvorenog koda koji je objavljen na GitHubu kako bi demonstrirao mogućnosti vizijskog jezika u sustavu umjetne inteligencije. Neki primjeri onoga što može učiniti uključuju generiranje opisa slika, pisanje priča na temelju slika ili čak stvaranje web stranica samo iz crteža.
Unatoč tome što naziv implicira, MiniGPT-4 nije službeno spojen na OpenAI ili GPT-4. Kreirala ga je skupina dr.sc. studenti sa sjedištem u Saudijskoj Arabiji na Sveučilištu znanosti i tehnologije King Abdullah. Također se temelji na drugom velikom jezičnom modelu (LLM) nazvanom Vicuna, koji je i sam izgrađen na otvorenom izvornom modelu velikog jezika Meta AI (LLaMA). Nije toliko moćan kao ChatGPT, ali prema ocjeni GPT-a4 sama Vicuna ulazi unutar 90%.
Kako koristiti MiniGPT-4
MiniGPT-4 je samo demo i još uvijek je u svojoj prvoj verziji. Za sada mu se može pristupiti free na službenim stranicama grupe. Da biste ga koristili, samo povucite sliku ili kliknite “Drop Image Here.” Nakon što se prenese, upišite svoj upit u okvir za pretraživanje.
Koje stvari biste trebali isprobati? Pa, pitanje MiniGPT-4 opisati sliku je dovoljno jednostavno. Ali možda vam treba neki primjerak za Instagram post za svoju tvrtku. Ili možda želite znati sastojke potrebne za zanimljivo jelo, pa čak i recept kako ga skuhati. MiniGPT-4 može se nositi s tim zadacima iznenađujuće dobro.
Aspekti kodiranja su malo grublji oko rubova. Pretvaranje jednostavnog crteža salvete u funkcionalnu web stranicu bio je trik koji je pokazao OpenAI kada je GPT-4 je prvi put najavljeno. Ali MiniGPT-4 čini se da to još ne može tako dobro podnijeti. ChatGPT će pružiti točniji kod — zapravo, pokrenuti bez obzira na MiniGPT-4 kod je putem ChatGPT ili GPT-4 će vam donijeti bolje rezultate.
Jedna stvar koju treba napomenuti je da MiniGPT-4 koristi GPU vašeg lokalnog sustava. Dakle, osim ako nemate prilično moćan diskretni GPU, iskustvo će vam se možda učiniti prilično sporim. Radi konteksta, isprobao sam ga na M2 Max MacBook Pro, i bilo je potrebno oko 30 sekundi za generiranje teksta na temelju slike koju sam učitao.
Ograničenja MiniGPT-a4
Brzina MiniGPT-a4 je svakako ograničenje. Ako pokušavate pristupiti ovome bez neke pristojne grafike, presporo je da bi reagiralo. Ako ste navikli na brzinu ChatGPT-a u oblaku ili čak Bing Image Creator-a, MiniGPT-4 osjećat će se bolno sporo.
Osim toga, MiniGPT-4 ima sva ista ograničenja kao ChatGPT ili Google Bard ili bilo koji drugi AI chatbot u smislu da može “halucinirati” ili izmišljati informacije.
