Riječ je o ogromnom skoku unaprijed za chatbote u vrijeme kada biznisi traže tehnologiju koja brzo može obraditi velike količine informacija.
Otkako je Open AI predstavio ChatGPT, kompanije kao što su Bloomberg i JP Morgan Chase traže načine da iskoriste snagu AI tehnologije kako bi bolje razumjele svijet finansija. Iako im ovaj proces oduzima najmanje nekoliko mjeseci, kompanija Anthropic sa svojim chatbotom Claude AI može smanjiti to vrijeme na samo nekoliko sekundi.
U svijetu kompjutera, token je fragment riječi koji se koristi za pojednostavljenje obrade podataka. Količina tokena koju veliki jezički model (LLM) može obraditi u određenom trenutku naziva se kontekstni prozor, što je slično kratkoročnoj memoriji.
Prosječan čovjek može pročitati 100.000 tokena za otprilike pet sati, međutim, to je samo vrijeme koje je potrebno za čitanje tokena, što znači da je potrebno još više vremena ako treba zapamtiti i analizirati ove informacije.
OpenAI-jev GPT-4 LLM ima kontekstni prozor od 4.096 tokena (oko 3.000 riječi) kada se koristi s ChatGPT-om.
Kako bi demonstrirao kako to poboljšava performanse AI tehnologije, Anthropic je učitao cijeli tekst knjige The Great Gatsby (72.000 tokena) s jednim retkom izmijenjenim u odnosu na original. AI je dobio zadatak da uoči razliku što je i učinio za samo 22 sekunde.
To možda ne zvuči posebno impresivno onima koji su koristili programe za obradu teksta kako bi pronašli razlike između dva teksta, ali AI ih nadmašuje u sposobnosti za odgovaranje na pitanja o tekstu i njegovoj dubokoj analizi.
Anthropic je fokusiran na firme koje obrađuju veliku količinu dokumenata te koriste svoju AI tehnologiju umjesto da pitaju Claude specifična pitanja unaprijed. Kao i svaki chatbot, Claude može tražiti specifične informacije i ponuditi rezultate, baš kao i ljudski asistent.
Također, Anthropic je koristio AI za obradu transkripta šestosatnog snimka podcasta te ga je sažeo i odgovorio na pitanja. Kompanija je uvjerena da se isto može primijeniti na finansijske izvještaje i pravne dokumente, kao i na poboljšanje koda i odgovaranje na tehnička pitanja.
Claude AI s poboljšanim kontekstnim prozorom dostupan je putem Claude API-ja za koji postoji lista čekanja.
