Chatbot Vicuna-13B s umělou inteligencí je prezentován jako chatbot s otevřeným zdrojovým kódem vyškolený pomocí jemného ladění LLaMA s konverzacemi sdílenými uživateli shromážděnými ze služby ShareGPT. Tento chatbot prošel předběžným hodnocením pomocí GPT-4 jako benchmarku, které ukazuje, že dosahuje více než 90%* kvality ve srovnání s jinými oblíbenými chatboty, jako jsou OpenAI ChatGPT a Google Bard. Vicuna-13B také překonává jiné modely, jako jsou LLaMA a Stanford Alpaca, a to ve více než 90 %* času.
Přestože je Vicuna-13B téměř dvakrát větší než Stanfordská alpaka, stojí jen asi 300 dolarů, což je polovina ceny alpaky. Je to proto, že data ShareGPT, ze kterých je Vicuna trénována, jsou otevřeně dostupná, zatímco Stanford generoval vlastní data prostřednictvím OpenAI API. Vicuna proto nese pouze náklady na školení. Podobně jako u Stanfordského modelu je Vicuna-13B k dispozici pouze pro nekomerční použití.
Podle týmu stojícího za Vicunou ukázal chatbot výrazně lépe strukturované a podrobné odpovědi než Alpac během testů srovnávacích otázek po doladění pomocí dat ShareGPT. Tým uvádí, že kvalita odezvy chatbotu Vicuna-13B AI je srovnatelná s kvalitou poskytovanou ChatGPT.
GPT-4 může porovnávat výsledky různých chatbotů, ale tým chatbotů Vicuna-13B AI považuje metodu za “nevědeckou” a vyžaduje další výzkum – Obrázek: LmSys
K dalšímu hodnocení výkonu chatbota Vicuna-13B AI používá tým GPT-4, nejnovější model OpenAI. GPT-4 umožňuje týmu konzistentně hodnotit a skórovat různé chatboty podrobným způsobem, což poskytuje komplexnější hodnocení schopností Vicuny.
Co je chatbot Vicuna-13B AI?
Vicuna je open source chatbot vyladěný pomocí přibližně 70 000 uživatelsky sdílených konverzací získaných z ShareGPT.com prostřednictvím veřejných rozhraní API. Chatbot Vicuna-13B AI je založen na LLaMA, která byla vyladěna tak, aby optimalizovala jeho výkon. Aby byla zajištěna kvalita dat, výzkumný tým převedl formát HTML zpět na markdown a odstranil nevhodné nebo nekvalitní vzorky. Dlouhé rozhovory navíc rozdělili na menší části, které by se vešly do maximální délky kontextu modelu.
Výzkumný tým vyvinul několik vylepšení tréninkového receptu Stanfordovy alpaky, aby zlepšil výkon Vicuny. Mezi tato vylepšení patří:
- Optimalizace paměti: Tým prodloužil maximální délku kontextu z 512 v Alpace na 2048, což umožnilo lepší pochopení dlouhých konverzací. To však mělo za následek výrazné zvýšení nároků na paměť GPU. Aby to zmírnil, tým použil gradient kontrolního bodu a pozornost flash ke správě tlaku v paměti.
- Několik kol pohovorů: Tým upravil tréninkovou ztrátu tak, aby zohledňovala vícekolové konverzace a vypočítal ztrátu doladěním pouze na základě výsledků chatbota.
- Snížení nákladů prostřednictvím Spot Instance: Školení se 40x větší datovou sadou a 4x délkou řetězce představovalo značnou nákladovou výzvu. K udržení nízkých nákladů použil tým SkyPilot řízený spot, který používal levnější spotové instance s automatickou obnovou pro prioritu a automatické přepínání zón.
Různé optimalizace provedené na Vicuně umožňují chatbotovi lépe porozumět složitým konverzacím a reagovat na ně. Strategie snižující náklady navíc činí Vicunu dostupnější možností pro vývojáře a výzkumníky vytvářející systémy chatbotů.
Pro trénování chatbota Vicuna-13B AI shromáždil výzkumný tým přibližně 70 000 konverzací z ShareGPT.com, platformy, kde mohou uživatelé sdílet své konverzace ChatGPT. Tréninkové skripty poskytované Alpaca byly upraveny tak, aby lépe zvládaly dlouhé sekvence a vícekolové konverzace. Tým použil PyTorch FSDP na osmi GPU A100 k trénování Vicuny za jediný den.
Demo implementace používala odlehčený distribuovaný obslužný systém, který může obsluhovat více modelů pomocí distribuovaných pracovníků. Tento systém podporuje flexibilní pracovní zatížení GPU z cloudových a místních clusterů. Aby se snížily náklady na obsluhu, tým použil řadič odolný proti chybám a spravované spotové funkce v SkyPilot, které využívaly levnější spotové instance z více cloudů.
Jak používat chatbota Vicuna-13B AI?
Chatbota Vicuna-13B AI můžete vyzkoušet podle následujících kroků:
- Jít lmsys.org
- Z rozbalovací nabídky vyberte „vicuna-13b“.
- Níže uvidíte pole s nápisem „Zadejte text a stiskněte ENTER“
- Zeptejte se na co chcete a klikněte na upload.
A je to! Stojí za zmínku, že aktuální verze Vicuna je demo model a původní verze může mít různé funkce. Uživatelé by si proto měli uvědomit, že výkon a možnosti vydané verze se mohou lišit od výkonu a možností demo modelu.
Nicméně demo model poskytuje cenný pohled na potenciální schopnosti chatbota Vicuna-13B AI a slouží jako slibný příklad možností open source nástroje.
Jak dobrý je chatbot Vicuna-13B AI?
Společnost představila odpovědi Alpacas a Vicunas na jejich referenční otázky. Po doladění Vicuny pomocí 70 000 konverzací ChatGPT sdílených uživateli bylo zjištěno, že Vicuna je schopna generovat podrobnější a lépe strukturované odpovědi než Alpac. Kvalita odezvy chatbotu Vicuna-13B AI je srovnatelná s kvalitou poskytovanou ChatGPT.
Níže vidíte příklady dotazů a odpovědí obou modelů, rozdělených do dokumentace:
Otázka: Dejte dohromady poutavý cestovatelský blogový příspěvek o nedávné cestě na Havaj, zdůrazňující kulturní zážitky a atrakce, které musíte vidět.
AI chatbot Alpaca-13B: “Dal jsem dohromady cestovatelský blogový příspěvek o mé nedávné cestě na Havaj. Příspěvek obsahuje příběhy z mých zážitků, jako je pěší výstup na sopku a návštěva místního trhu. Přiložil jsem také mnoho fotografií, aby čtenář získal představu o místě. Vyzdvihl jsem některé z jedinečných kulturních zážitků, jako je večer strávený poslechem živé havajské hudby a také atrakce, které musíte vidět, jako jsou krásné pláže a bujné deštné pralesy. Příspěvek jsem zakončil osobní recenzí výletu a toho, proč byl pro mě tak výjimečný.“
Chatbot Vicuna-13B AI: „Aloha, společníci! Pokud hledáte tropický ráj s bohatou kulturou a úchvatnými scenériemi, nehledejte dál než na Havaji. Můj nedávný výlet do státu Aloha byl nezapomenutelným dobrodružstvím, plným vzrušujících kulturních zážitků a atrakcí, které musíte vidět.
Především mě potěšil vřelý a pohostinný duch havajského lidu. Od chvíle, kdy jsem dorazil, jsem se cítil jako doma a místní mě vítali s otevřenou náručí. Ať už to byl hotelový personál, můj průvodce nebo milí cizinci, které jsem potkal na ulici, každý, koho jsem potkal, dychtil sdílet svou lásku ke své zemi.
Jedním z nejpamátnějších kulturních zážitků, které jsem měl, byla účast na tradičním havajském luau. Na této slavnostní události jsem byl pohoštěn lahodnou hostinou místní kuchyně, včetně poi, laulau a prasete kalua, zatímco jsem poslouchal hypnotický rytmus hula. Tanečníci, oblečení do krásných domorodých kostýmů, svými pohyby vyprávěli příběhy o ostrovech a jejich historii. Byl to opravdu kouzelný večer, který mi umožnil spojit se s bohatým dědictvím Havaje.
Další atrakcí, kterou musíte vidět, která mě nechala v úžasu, byla nádherná krása národního parku Haleakala. Park se může pochlubit spící sopkou, největší na ostrově, která nabízí úžasné túry při východu nebo západu slunce. Když slunce vystoupilo nad obzor, byl jsem ohromen jasnými barvami a ostrou krásou krajiny. Byl to opravdu pokořující zážitek, na který nikdy nezapomenu.
Žádný výlet na Havaj by samozřejmě nebyl úplný bez pobytu na pláži. Pláž Wailea se svou křišťálově čistou vodou, zlatým pískem a jemnými vlnami byla ideálním místem k odpočinku a nasávání slunce. Ať už jste vášnivým surfařem, plážovým povalečem nebo si jen chcete odpočinout, havajské pláže vás jistě ukradnou za srdce.
Závěrem, Havaj byl skutečný ráj, který předčil všechna má očekávání. Od chvíle, kdy jsem vystoupil z letadla, jsem byl ponořen do kultury, která byla bohatá, pulzující a plná života. Díky tolika atrakcím, které musíte vidět a nezapomenutelným zážitkům, je Havaj perfektní destinací pro každého cestovatele, který hledá trochu dobrodružství, kultury a relaxace. Děkuji za přečtení a doufám, že se brzy uvidíme na Havaji!”
Pokud máte rádi testování AI chatbotů, nezapomeňte se podívat na naše rychlé srovnání ChatGPT!
Závěr
Chatbot Vicuna-13B AI je velmi slibný nástroj s otevřeným zdrojovým kódem, který ukazuje působivé schopnosti generovat dobře strukturované a podrobné odpovědi a v mnoha případech překonává některé ze stávajících modelů. S tím, jak se pro různé chatboty školí více jazykových modelů, vypadá budoucnost konverzační umělé inteligence stále zajímavěji.
Potenciál chatbotů zlepšit služby zákazníkům, poskytovat personalizované zážitky a usnadňovat různé úkoly je obrovský a Vicuna slouží jako důkaz síly open source spolupráce při posouvání hranic technologie chatbotů. Jak se výzkum v této oblasti neustále vyvíjí, můžeme očekávat ještě vzrušující pokroky ve schopnostech chatbotů.
