Ethereum je ovaj tjedan pao preko 13%.

Nvidia je u srijedu nadmašila sva očekivanja, izvijestivši o ogromnom profitu potaknutom svojim grafičkim procesorskim jedinicama (GPU) koje su izvrsne u pokretanju radnih opterećenja umjetne inteligencije. Ali druge klase AI čipova počinju dobivati ​​na zamahu.

Svaki veći pružatelj usluga oblaka sada dizajnira vlastite integrirane sklopove specifične za aplikaciju (ASIC), od Googleovog TPU-a do Amazonovog Trainiuma do OpenAI-jevih planova s ​​Broadcomom. Ovi čipovi su manji, jeftiniji, lakši za korištenje i mogu smanjiti ovisnost tih tvrtki o Nvidijinim GPU-ima. Daniel Newman iz Futurum Groupa rekao je za CNBC kako očekuje da će ASIC čipovi “u idućih nekoliko godina rasti brže od tržišta GPU-a.”

Uz GPU-ove i ASIC-ove, tu su polja vrata koja se mogu programirati (FPGA), koja se mogu rekonfigurirati nakon proizvodnje za upotrebu kao što je obrada signala, umrežavanje i AI. A tu je i cijela generacija AI čipova dizajniranih za rad izravno na uređajima, a ne kroz oblak – segment koji predvode tvrtke poput Qualcomma i Applea.

CNBC je razgovarao sa stručnjacima i insajderima u velikim tehnološkim tvrtkama kako bi razbio ovaj pretrpani krajolik i različite vrste AI čipova.

GPU-ovi za računalstvo opće namjene

GPU-ovi su se nekoć uglavnom koristili za video igre, ali su Nvidiju pretvorili u najvredniju javnu tvrtku na svijetu nakon što su postali motor moderne umjetne inteligencije. Nvidia je prošle godine isporučila otprilike 6 milijuna jedinica svoje trenutne generacije “Blackwell” GPU-a.

Prijelaz s igranja na umjetnu inteligenciju započeo je 2012. godine, kada su istraživači trenirali neuronsku mrežu AlexNet pomoću Nvidia GPU-a — otkriće koje mnogi smatraju iskrom moderne revolucije umjetne inteligencije. AlexNet se natjecao u visokoprofilnom natjecanju u prepoznavanju slika i oslanjao se na GPU umjesto na CPU, pružajući zadivljujuću točnost i veliku konkurentsku prednost.

Ista sposobnost paralelne obrade koja GPU-ove čini sposobnima za prikaz realistične grafike također ih čini idealnim za obuku modela dubinskog učenja, koji uče iz podataka, a ne eksplicitnog programiranja.

Danas se GPU-ovi prodaju u sustave podatkovnih centara upareni s CPU-ima za pokretanje AI radnih opterećenja temeljenih na oblaku. CPU-i imaju pregršt moćnih jezgri za sekvencijalne zadatke, dok GPU-i imaju tisuće manjih jezgri specijaliziranih za paralelne operacije kao što je množenje matrice.

Budući da mogu izvršavati ogroman broj operacija istovremeno, GPU-ovi su idealni i za obuku i za zaključivanje. Obuka uči AI modele pronalaženju uzoraka u ogromnim skupovima podataka; zaključivanje koristi te modele za donošenje odluka o novim informacijama.

GPU-ovi ostaju primarni motor za Nvidiju i njenog najbližeg konkurenta AMD. Softver je ključna razlika između njih: Nvidia se oslanja na svoj CUDA ekosustav, dok AMD nudi uvelike open-source stack.

Obje tvrtke prodaju GPU-ove u oblaku dobavljačima kao što su Amazon, Microsoft, Google, Oracle i CoreWeave, koji zatim iznajmljuju računalnu snagu programerima umjetne inteligencije.

Anthropicov ugovor vrijedan 30 milijardi dolara s Nvidijom i Microsoftom, na primjer, uključuje ekvivalent od 1 gigavata računalnog kapaciteta izgrađenog na Nvidia hardveru. AMD je nedavno također osigurao velike obveze OpenAI-ja i Oraclea.

Nvidia također prodaje izravno vladama i AI tvrtkama – uključujući najmanje 4 milijuna GPU-a za OpenAI – i stranim vladama kao što su Južna Koreja, Saudijska Arabija i UK.

Tvrtka je za CNBC rekla da naplaćuje otprilike 3 milijuna dolara po poslužiteljskom ormariću koji sadrži 72 Blackwell GPU-a, a svaki tjedan isporučuje oko 1000 takvih ormarića.

Dion Harris, Nvidijin viši direktor za AI infrastrukturu, rekao je da nikada nije mogao zamisliti da će potražnja narasti do ove razine. “Kada smo prije mnogo godina razgovarali s tvrtkama o sustavu s osam GPU-a, mislili su da je to pretjerano.”

ASIC-ovi za specijalizirani AI u oblaku

Obuka temeljena na GPU-u potaknula je prvi val velikih jezičnih modela, ali zaključivanje postaje sve važnije kako modeli sazrijevaju. Zaključak se može izvoditi na manje fleksibilnim, jeftinijim čipovima napravljenim posebno za određene matematičke operacije — tu dolaze ASIC-ovi.

Ako je GPU “švicarski nož” koji može izvršavati mnogo različitih paralelnih zadataka, ASIC je jednonamjenski alat — iznimno brz i učinkovit, ali zaključan u jednu vrstu operacije nakon što se proizvede.

“Ne možete promijeniti ove čipove nakon što su ugravirani u silikon”, rekao je Chris Miller, autor knjige *Chip War*. “Postoji kompromis između učinkovitosti i fleksibilnosti.”

Nvidijini GPU-ovi dovoljno su svestrani da zadovolje bezbrojne potrebe umjetne inteligencije, ali su skupi (do 40.000 USD po jedinici) i teško ih je nabaviti. Startupi se oslanjaju na njih djelomično zato što dizajniranje prilagođenog ASIC-a može koštati desetke milijuna.

Međutim, divovi u oblaku mnogo ulažu u ASIC-ove jer obećavaju velike uštede na razmjeru.

“Te tvrtke žele veću kontrolu nad radnim opterećenjem koje stvaraju”, rekao je Newman. “Ali oni će nastaviti raditi s Nvidijom i AMD-om — računalna potražnja je ogromna.”

Google je prvi izgradio prilagođeni AI ASIC, lansirajući Tensor Processing Unit (TPU) 2015. Rad je započeo 2006., ali postao je hitan 2013. kada je Google shvatio da AI može udvostručiti veličinu svog podatkovnog centra. U 2017. TPU je pomogao omogućiti arhitekturu Transformer koja podupire većinu moderne umjetne inteligencije.

Google je u studenom otkrio TPU sedme generacije. Anthropic će trenirati svoj Claude model na milijun TPU-a. Neki vjeruju da su TPU konkurenti – ili bolji – od Nvidia GPU-a.

“Mnogi ljudi očekuju da će Google na kraju učiniti TPU-ove dostupnima šire”, rekao je Miller.

AWS je slijedio s vlastitim čipovima nakon što je kupio Annapurna Labs 2015. Pokrenuo je Inferentiu 2018. i Trainium 2022., a Trainium3 se očekuje uskoro.

Amazon kaže da Trainium nudi 30% do 40% bolje cijene i performanse od alternativa. Anthropic trenutno koristi pola milijuna Trainium2 čipova za treniranje svojih modela.

Da bi izgradili prilagođene ASIC-ove, pružatelji usluga oblaka ovise o tvrtkama kao što su Broadcom i Marvell — koje pružaju kritičnu IP i stručnost u umrežavanju. “Zato je Broadcom postao jedan od najvećih dobitnika procvata AI”, rekao je Miller.

Broadcom je pomogao u dizajnu Googleovih TPU-ova i Metinih 2023 akceleratora i izrađuje prilagođene čipove za OpenAI počevši od 2026.

Microsoft je razvio Maia 100. Qualcomm ima A1200. Intel nudi liniju Gaudi. Tesla radi na svom AI5 čipu. Startupi poput Cerebrasa i Groqa guraju nove arhitekture.

U Kini Huawei, ByteDance i Alibaba dizajniraju vlastite ASIC-ove unatoč američkim izvoznim ograničenjima.

AI na razini uređaja s NPU i FPGA

Treća kategorija AI čipova izgrađena je za pokretanje modela izravno na uređajima, a ne kroz oblak. Ti su čipovi obično integrirani u sustave na čipu (SoC) i poznati su kao edge-AI procesori. Omogućuju lokalno i učinkovito pokretanje AI značajki, čuvajući trajanje baterije i privatnost.

“Moći ćete pokretati AI zadatke izravno na svom telefonu s iznimno niskom latencijom”, rekao je Saif Khan, bivši AI i tehnološki savjetnik Bijele kuće. “I bez slanja podataka u podatkovni centar.”

Jedinice neuronske obrade (NPU) glavni su dio ove kategorije, a razvili su je Qualcomm, Intel, AMD i drugi.

Apple ne koristi izraz NPU, ali ugrađuje “neuralni motor” u svoju M-seriju Mac čipova i A-seriju mobilnih čipova.

“Taj se pristup pokazao nevjerojatno učinkovitim,” rekao je Tim Millet, Appleov potpredsjednik za arhitekturu platforme. “Brzo je i daje nam veću kontrolu nad iskustvom.”

Snapdragon čipovi u Android telefonima, Samsungovi prilagođeni NPU-ovi i edge-AI procesori iz NXP-a i Nvidije pokreću AI u automobilima, robotima, kamerama i uređajima pametnog doma.

“Većina potrošnje danas još uvijek je u podatkovnim centrima”, rekao je Miller. “Ali to će se promijeniti kako se umjetna inteligencija bude širila na telefone, automobile, nosive uređaje i sve ostalo.”

FPGA-ovi nude još veću fleksibilnost jer se mogu reprogramirati nakon proizvodnje, iako su manje energetski učinkoviti od ASIC-ova ili NPU-a.

AMD je postao najveći proizvođač FPGA nakon što je 2022. kupio Xilinx za 49 milijardi dolara. Intel je na drugom mjestu nakon što je 2015. kupio Alteru za 16,7 milijardi dolara.

Zaključak: Nvidia je još uvijek daleko ispred

Sve ove tvrtke s AI čipovima oslanjaju se na jednog proizvođača: TSMC u Tajvanu.

TSMC gradi veliko proizvodno mjesto u Arizoni, gdje će Apple preseliti dio svoje proizvodnje. Izvršni direktor Nvidije Jensen Huang rekao je u listopadu da su Blackwell GPU-ovi također dosegli “punu proizvodnju” tamo.

Unatoč sve većoj gužvi na tržištu, smijeniti Nvidiju i dalje je izuzetno teško.

“Nvidia je u ovoj poziciji jer je to zaslužila”, rekao je Newman. “Proveo je godine u izgradnji ovog razvojnog ekosustava — i on je taj koji je pobijedio.”