Upoznajte AI superzvijezde vrijedne 4 milijarde dolara koje je Google izgubio

Osam autora rada stvorilo je Transformer, sustav koji je omogućio strojevima da generiraju ljudski tekst, slike, DNK sekvence i mnoge druge vrste podataka učinkovitije nego ikad prije. Njihov će rad na kraju biti citiran više od 80.000 puta od strane drugih istraživača, a arhitektura umjetne inteligencije koju su dizajnirali poduprijet će OpenAI-jev ChatGPT (“T” označava Transformer), alate za generiranje slika poput Midjourneyja i više.

Nije bilo ništa neobično u tome što je Google ovo otkriće podijelio sa svijetom. Tehničke tvrtke često otvaraju nove tehnike kako bi dobile povratne informacije, privukle talente i izgradile zajednicu pristalica. Ali sam Google nije odmah upotrijebio novu tehnologiju. Sustav je godinama bio u stanju hibernacije dok se tvrtka sve više borila s pretvaranjem svojih vrhunskih istraživanja u upotrebljive usluge. U međuvremenu, OpenAI je iskoristio Googleov vlastiti izum kako bi pokrenuo najozbiljniju prijetnju pretraživačkom divu u posljednjih nekoliko godina. Usprkos svim talentima i inovacijama koje je Google njegovao, konkurentske tvrtke bile su te koje su iskoristile njegovo veliko otkriće.

Istraživači koji su bili koautori rada iz 2017. također nisu vidjeli dugoročnu budućnost u Googleu. Zapravo, svi su oni u međuvremenu napustili tvrtku. Nastavili su s pokretanjem startupa, uključujući Cohere, koji proizvodi softver za poduzeća, i Character.ai, koji je osnovao Noam Shazeer, Googleov zaposlenik s najdužim stažom u grupi koji je u tvrtki smatran legendom umjetne inteligencije. Zajedno, njihovi poslovi sada vrijede oko 4,1 milijardu dolara, na temelju zbroja procjena istraživačke tvrtke Pitchbook i stranice za praćenje cijena CoinMarketCap. Oni su AI tantijeme u Silicijskoj dolini.

Posljednji od osam autora koji su ostali u Googleu, Llion Jones, ovog je tjedna potvrdio da odlazi kako bi osnovao vlastitu tvrtku. Rekao mi je da je bilo nadrealno gledati tehnologiju koju je prošle godine sukreirao snježnu grudvu. “Tek sam se nedavno osjećao… slavnim?” kaže Jones. “Nitko ne zna moje lice ili moje ime, ali potrebno je pet sekundi da objasnim: ‘Bio sam u timu koji je stvorio ‘T’ u ChatGPT-u.'”

Čini se čudnim da je Jones postao slavna osoba zahvaljujući akcijama izvan Googlea. Gdje je tvrtka pogriješila?

Jedan očit problem je razmjer. Google ima vojsku od 7.133 ljudi koji rade na umjetnoj inteligenciji, od oko 140.000 zaposlenih, prema procjeni Glass.ai, tvrtke za umjetnu inteligenciju koja je ranije ove godine za Bloomberg Opinion skenirala LinkedIn profile kako bi identificirala AI zaposlenike u velikim tehnološkim tvrtkama. Usporedite to s OpenAI-jem, koji je pokrenuo AI utrku u naoružanju s puno manjom radnom snagom – oko 150 AI istraživača od približno 375 zaposlenih u 2023. godini.

Sama Googleova veličina značila je da su znanstvenici i inženjeri morali proći kroz više razina upravljanja kako bi potpisali ideje još dok je Transformer nastajao, reklo mi je nekoliko bivših znanstvenika i inženjera. Istraživači Google Braina, jednog od glavnih odjela za umjetnu inteligenciju tvrtke, također nisu imali jasno strateško usmjerenje, zbog čega su mnogi bili opsjednuti napredovanjem u karijeri i svojom vidljivošću u istraživačkim radovima.

Letvica za pretvaranje ideja u nove proizvode također je bila iznimno visoka. “Google se ne miče osim ako [an idea is] posao vrijedan milijarde dolara,” kaže Illia Polosukhin, koji je imao 25 ​​godina kada je prvi put sjedio s kolegama istraživačima Ashishom Vaswanijem i Jakobom Uszkoreitom u Googleovoj kantini. Ali izgradnja posla vrijednog milijarde dolara zahtijeva stalno ponavljanje i mnoštvo slijepih ulica, nešto što Google nije uvijek tolerirao.

Google nije odgovorio na zahtjeve za komentar.

Na neki način, tvrtka je postala žrtva vlastitog uspjeha. U svojim je redovima imao poznate znanstvenike umjetne inteligencije poput Geoffreya Hintona, a 2017. već je koristio vrhunske tehnike umjetne inteligencije za obradu teksta. Mnogi istraživači razmišljali su “Ako nije pokvareno, nemoj ga popravljati.”

Ali tu su autori Transformera imali prednost: Polosukhin se pripremao napustiti Google i bio je spremniji od većine riskirati (on je otad pokrenuo blockchain tvrtku). Vaswani, koji će postati glavni autor njihovog rada, bio je željan uskočiti u veliki projekt (on i Niki Parmar otišli su osnovati tvrtku za poslovni softver Essential.ai). A Uszkoreit je općenito volio izazivati ​​status quo u istraživanju umjetne inteligencije – njegovo je stajalište bilo, ako nije u kvaru, slomi ga (od tada je suosnivač biotehnološke tvrtke pod nazivom Inceptive Nucleics).

Godine 2016. Uszkoreit je istraživao koncept “pažnje” u umjetnoj inteligenciji, gdje računalo razlikuje najvažnije informacije u skupu podataka. Godinu dana kasnije za ručkom je trio raspravljao o korištenju te ideje za učinkovitije prevođenje riječi. Google Translate tada je bio nespretan, posebno s jezicima koji nisu latinični. “Kineski na ruski bio je užasan”, sjeća se Polosukhin.

Problem je bio u tome što su rekurentne neuronske mreže obrađivale riječi u nizu. To je bilo sporo i nije u potpunosti iskoristilo prednosti čipova koji bi mogli obrađivati ​​mnogo zadataka u isto vrijeme. CPU u vašem računalu kod kuće vjerojatno ima četiri “jezgre” koje obrađuju i izvršavaju instrukcije, ali oni koji se koriste u poslužiteljima za obradu AI sustava imaju tisuće jezgri. To znači da AI model može “čitati” mnogo riječi u rečenici u isto vrijeme, sve odjednom. Nitko to nije u potpunosti iskoristio.

Uszkoreit bi hodao po Googleovom uredu crtajući dijagrame nove arhitekture na bijelim pločama, i često su ga susretali s nevjericom. Njegov tim želio je ukloniti “rekurentni” dio rekurentnih neuronskih mreža koje su se tada koristile, što je “zvučalo ludo”, kaže Jones. Ali kako se nekoliko drugih istraživača poput Parmara, Aidana Gomeza i Lukasza Kaisera pridružilo skupini, počeli su uočavati poboljšanja.

Evo primjera. U rečenici “Životinja nije prešla ulicu jer je bila preumorna”, riječ “to” odnosi se na životinju. Ali sustav umjetne inteligencije bi se mučio ako bi se rečenica promijenila u “jer je preširoka”, budući da bi “to” bilo dvosmislenije. Osim što sada sustav nije. Jones se sjeća kako je gledao kako se ovo rješava. “Pomislio sam, ‘Ovo je posebno'”, kaže.

Uszkoreit, koji tečno govori njemački, također je primijetio da nova tehnika može prevesti engleski na njemački puno točnije nego što je Google Translate ikada imao.

Ali samom Googleu trebalo je dosta vremena da primijeni tu tehniku ​​na svoj besplatni alat za prevođenje ili na svoj jezični model BERT, a tvrtka je nikad nije implementirala u chatbotu koji bi svatko mogao testirati. To jest, sve dok lansiranje ChatGTP-a krajem 2022. nije prisililo Google da brzo pusti rivala pod nazivom Bard u ožujku 2023.

Tijekom godina, autori su promatrali kako njihove ideje primjenjuju na niz zadataka od strane drugih, od OpenAI-jevih ranih iteracija ChatGPT-a do DALL-E-a, i od Midjourneyjevog alata za slike do DeepMindovog sustava za savijanje proteina AlphaFold. Bilo je teško ne primijetiti da su se najuzbudljivije inovacije događale izvan Mountain Viewa.

Mogli biste tvrditi da je Google jednostavno bio oprezan u postavljanju AI usluga. Ali sporo ne znači uvijek i oprezno. Također može biti samo inercija i nadutost. Danas neki od najzanimljivijih napredaka umjetne inteligencije dolaze iz malih, okretnih startupa. Šteta je što će mnoge od njih progutati veliki tehnološki igrači, koji su spremni požnjeti najveću financijsku korist u utrci umjetne inteligencije čak i dok igraju nadoknadu.

Google će se možda na kraju posljednji smijati, ali na mnogo načina to će biti neimpresivno putovanje.

Više od Bloomberg Opinion:

• Želi li Mark Zuckerberg uopće niti da zamijene Twitter?: Dave Lee

• Microsoft i UK CMA otvaraju gadnu konzervu crva: Chris Hughes

• Vaša buduća umjetna inteligencija će imati višestruke osobnosti: Parmy Olson

Ovaj stupac ne odražava nužno mišljenje uredništva ili Bloomberg LP-a i njegovih vlasnika.

Parmy Olson je kolumnistica Bloomberg Opinion koja pokriva tehnologiju. Bivša novinarka Wall Street Journala i Forbesa, autorica je knjige “Mi smo anonimni”.

Više ovakvih priča dostupno je na bloomberg.com/opinion