- Spoločnosť Google vyvíja „TorchTPU“, aby boli jej čipy umelej inteligencie plne kompatibilné s PyTorch a aby sa uľahčila migrácia z grafických procesorov Nvidia.
- Cieľom tohto kroku je premeniť TPU na mainstreamovú alternatívu v cloude a lokálnych prostrediach, čím sa zníži závislosť od ekosystému CUDA od spoločnosti Nvidia.
- Google úzko spolupracuje so spoločnosťou Meta, správcom PyTorch, a zvažuje open-source častí stacku s cieľom urýchliť jeho prijatie.
- Silnejšia podpora PyTorch by mohla znížiť náklady a technické bariéry pre podniky, ktoré chcú diverzifikovať svoju infraštruktúru umelej inteligencie.
Google potichu pretvára svoj stratégia v pretekoch o umelú inteligenciuPo rokoch sústreďovania sa na vlastné značky interne spoločnosť teraz kladie veľký dôraz na to, aby jej čipy umelej inteligencie bezproblémovo fungovali s PyTorch, open-source nástrojom, ktorý sa stal predvolenou voľbou pre väčšinu vývojárov umelej inteligencie na celom svete.
Jadrom tejto zmeny je projekt, interne známy ako „TorchTPU“, čo je snaha zameraná na preklenutie rozdielu medzi tým, ako je hardvér spoločnosti Google zostavený, a tým, ako zákazníci v skutočnosti zostavujú svoje systémy umelej inteligencie. Zvýšením podpory PyTorch na prvotriedny stav na svojich jednotkách tenzorového spracovania (TPU) sa Google snaží postupne znižovať obrovská výhoda, ktorú si Nvidia vybudovala prostredníctvom svojho softvérového ekosystému CUDA.
Google premieňa TPU na vážneho rivala pre grafické karty Nvidia
TPU od spoločnosti Google sú už dlho prezentované ako Vysokovýkonné čipy prispôsobené pre úlohy umelej inteligencie, ale nevyrovnali sa všadeprítomnosti grafických procesorov Nvidia. Jedným z kľúčových dôvodov je, že Nvidia strávila roky zabezpečením výnimočne dobrého fungovania PyTorch na svojom hardvéri, zatiaľ čo Google sa zameral hlavne na vlastné nástroje a interné pracovné postupy.
V rámci spoločnosti Alphabet sa TPU stali kľúčový motor rastu pre Google CloudPredaj prístupu k týmto čipom prostredníctvom cloudovej platformy je teraz ústrednou súčasťou toho, ako sa Google snaží investorom dokázať, že jeho investície do umelej inteligencie sa môžu premietnuť do hmatateľných príjmov, nielen do prestíže výskumu alebo experimentálnych produktov.
Samotný hardvér však vývojárov nezíska. Podniky, ktoré sa zaujímajú o TPU, opakovane hovorili spoločnosti Google, že kompatibilita softvéru bola problémomTímy, ktoré výrazne štandardizovali PyTorch, nechcú prepracovať svoj kód ani preškoliť zamestnancov len preto, aby vyskúšali nový čip.
A tu prichádza na rad TorchTPU. Cieľom tejto iniciatívy je, aby sa TPU z pohľadu vývojára cítili... rovnako jednoduché používanie s PyTorch ako dnešné grafické karty NvidiaCieľom je, aby existujúce modely a pipeline PyTorch bolo možné presunúť s minimálnymi zmenami, čím by sa prudko znížili náklady a riziko experimentovania s TPU.
Hovorca služby Google Cloud sa vyhol technickým špecifikám, ale potvrdil, že hlavným cieľom je poskytnúť zákazníkom oveľa väčšiu flexibilitu v spôsobe, akým vykonávajú úlohy umelej inteligencie, bez ohľadu na to, aký hardvér si vyberú pod ním.
Čo TorchTPU skutočne zmení pre vývojárov PyTorch
PyTorch, pôvodne vytvorený a propagovaný spoločnosťou Meta, sa stal de facto štandardný rámec pre budovanie moderných systémov AIVäčšina inžinierov v Silicon Valley a mimo neho ručne neprogramuje jadrá pre čipy Nvidia, AMD alebo Google; namiesto toho sa spoliehajú na PyTorch a podobné frameworky, ktoré poskytujú vrstvy predpripravených komponentov a tréningových nástrojov.
Od svojho vydania v roku 2016 bol rast PyTorchu úzko spojený s CUDA a jej okolité knižnice, softvérový balík, ktorý mnohí analytici z Wall Street považujú za najdôležitejší strategický majetok spoločnosti Nvidia. Inžinieri spoločnosti Nvidia investovali značné prostriedky do zabezpečenia maximálnej efektivity pri používaní ich grafických procesorov (GPU), vďaka čomu sa toto párovanie stalo predvolenou voľbou pre trénovanie a nasadzovanie rozsiahlych modelov umelej inteligencie.
Google naopak strávil roky podporou Jax, ďalší softvérový framework uprednostňovaný najmä vo vlastných výskumných a produktových tímoch. TPU sa spoliehali na vrstvu kompilátora nazývanú XLA efektívne spúšťať kód založený na Jaxe a veľká časť interného softvérového balíka a optimalizácií výkonu spoločnosti Google pre umelú inteligenciu bola postavená na tejto kombinácii.
Výsledkom je, že sa zvyšuje nesúlad medzi ako samotný Google používa svoje čipy a ako väčšina externých zákazníkov uprednostňuje prácu. Mnohé podniky sa takmer výlučne štandardizovali na PyTorch, čo znamená, že prechod na TPU zvyčajne znamenal prevratný posun v nástrojoch, kóde a zručnostiach vývojárov.
S TorchTPU sa Google snaží odstrániť toto trenie. Cieľom projektu je priniesť plnohodnotná podpora PyTorch na TPU, takže spoločnosti sa môžu naďalej spoliehať na známe knižnice, tréningové cykly a vzory nasadenia a zároveň meniť iba základný hardvérový cieľ. To by mohlo výrazne znížiť úsilie inžinierov aj krivku učenia pre tímy, ktoré chcú vyhodnotiť výkon TPU alebo cenové výhody.
Viac zdrojov, otvorený zdrojový kód a hlbší záväzok
Podľa ľudí oboznámených s iniciatívou nie je TorchTPU len ďalším vedľajším experimentom. Na rozdiel od niektorých skorších pokusov o spustenie PyTorchu na TPU, Google teraz pridelil viac organizačnej pozornosti, rozpočtu a strategického významu k tomuto úsiliu a považuje ho za ústredný pilier svojho plánu infraštruktúry umelej inteligencie, a nie za projekt kompatibility s úzko špecializovanou oblasťou.
Jedným z najvýznamnejších posudzovaných prvkov je časti softvérového balíka s otvoreným zdrojovým kódom za TorchTPU. Uvoľnením kľúčových komponentov pre komunitu dúfa Google, že urýchli prijatie, priláka externých prispievateľov a vybuduje dôveru medzi veľkými zákazníkmi, ktorí chcú transparentnosť a dlhodobú stabilitu svojich platforiem umelej inteligencie.
Tento otvorenejší prístup má tiež upokojiť spoločnosti, ktoré považovali podporu TPU za príliš úzko prepojenú s interným spôsobom práce spoločnosti Google. Poskytnutie externým vývojárom šance kontrolovať, rozširovať a ladiť komponenty TorchTPU by mohlo... TPU sa cítia menej ako proprietárny ostrov a skôr ako prvotriedny občan v širšom ekosystéme PyTorch.
Pre podniky je to dôležité z praktického hľadiska. Ak bude TorchTPU úspešný, mohol by výrazne znížiť náklady na migráciu z grafických procesorov Nvidia na procesory Google, čím sa sprístupní diverzifikácia výpočtovej infraštruktúry bez nutnosti niekoľkoročného prepisovania softvéru.
Zákazníci spoločnosti Google opakovane hovorili, že historická požiadavka na prechod na Jax bola hlavným odstrašujúcim faktorom. PyTorch už teraz dominuje medzi vývojármi umelej inteligencie a na rýchlo sa rozvíjajúcich trhoch je len málo organizácií ochotných pozastaviť vývoj produktov, kým ich tímy... prepracovať sa podľa nového rámca len na prístup k alternatívnemu hardvéru.
Od interného hardvéru až po širokú ponuku pre podniky
Spoločnosť Alphabet si dlho ponechávala väčšinu svojej kapacity TPU pre interné použitie v rámci spoločnosti Google, ktorý poháňa vyhľadávanie, preklad, odporúčacie systémy a raný výskum umelej inteligencie. Tento postoj sa začal meniť v roku 2022, keď divízia cloudových výpočtov získala väčšiu právomoc nad tým, ako sa TPU vyrábajú a predávajú.
Odvtedy je dostupnosť TPU prostredníctvom Google Cloud výrazne vzrástolKeďže záujem podnikov o umelú inteligenciu sa zvýšil, spoločnosť Google prezentovala svoje čipy ako spôsob, ako môžu zákazníci využívať špičkové výpočty bez toho, aby museli spravovať vlastné, úzko prepojené klastre grafických procesorov.
Nedávno Google zašiel ešte o krok ďalej a priamy predaj TPU na nasadenie vo vlastných dátových centrách zákazníkov, nielen prostredníctvom verejného cloudu. Tento posun umožňuje väčším organizáciám s prísnymi regulačnými alebo latenciovými požiadavkami integrovať TPU do svojej lokálnej infraštruktúry a zároveň využívať výhody hardvérového plánu spoločnosti Google.
Táto expanzia tiež mení interné priority spoločnosti Google. Spoločnosť potrebuje kapacitu TPU tak na... prevádzkuje vlastné produkty s umelou inteligenciou– od chatbota Gemini až po vyhľadávacie funkcie s umelou inteligenciou – a slúžiť externým zákazníkom služby Google Cloud vrátane významných firiem zaoberajúcich sa umelou inteligenciou, ako je Anthropic, ktoré sa spoliehajú na prenajaté kapacity TPU.
Aby spoločnosť Google toto všetko koordinovala, povýšila vedenie v oblasti infraštruktúry umelej inteligencie na vyššiu úroveň: veterán Amin Vahdat bol menovaný za vedúceho infraštruktúry umelej inteligencie a teraz podáva priamu správu generálnemu riaditeľovi Sundar PichaiTáto línia podriadenosti podčiarkuje, aký ústredný význam má hardvérový a softvérový balík pre širšie ambície spoločnosti Google v oblasti umelej inteligencie.
Partnerstvo s Meta na posilnenie PyTorch na TPU
Google sa o TorchTPU nezaoberá sám. Podľa ľudí oboznámených s rokovaniami spoločnosť úzko spolupracuje s... Meta, tvorca a správca PyTorchu, s cieľom urýchliť podporu pre TPU a zosúladiť technické smery, ktoré budú prospešné pre oboch partnerov.
Rokovania medzi spoločnosťami zahŕňajú dojednania, ktoré by spoločnosti Meta poskytli prístup k väčšej kapacite TPUSkoršie návrhy to údajne formulovali ako spravované služby: Google by nasadil svoje čipy v prostrediach, kde by Meta mohla prevádzkovať svoj vlastný softvér a modely, pričom by Google riešil väčšinu prevádzkových nákladov.
Pre spoločnosť Meta je strategicky dôležité zabezpečiť, aby PyTorch fungoval efektívne na širšej škále hardvéru. Spoločnosť má jasný záujem... znížiť náklady na inferenciu a diverzifikovať sa od výhradnej závislosti od grafických procesorov Nvidia, a to jednak s cieľom znížiť vlastné výdavky, ako aj posilniť svoju vyjednávaciu pozíciu pri rokovaniach o budúcich nákupoch čipov.
Spoluprácou so spoločnosťou Google môže spoločnosť Meta pomôcť zabezpečiť, aby PyTorch zostal hardvérovo nezávislé a široko optimalizované, namiesto toho, aby bol vnímaný ako pevne viazaný na ekosystém jedného dodávateľa. To zase posilňuje status PyTorchu ako komunitného štandardu a udržiava tento rámec atraktívny pre výskumníkov aj podniky.
Meta sa doteraz odmietla verejne vyjadriť k týmto konkrétnym dohodám, ale zosúladenie záujmov je jasnéGigant v oblasti sociálnych médií a umelej inteligencie chce možnosti nad rámec Nvidie, zatiaľ čo Google chce, aby sa PyTorch na jeho TPU javil ako natívny, aby si ho bolo ochotnejších vyskúšať viac zákazníkov.
Znižovanie výhody Nvidie v oblasti CUDA
Dominancia spoločnosti Nvidia v oblasti umelej inteligencie nespočíva len v dodávaní výkonných grafických procesorov. Počas mnohých rokov spoločnosť vybudovala rozsiahly softvérový balík – založený na – ktorý je hlboko integrovaný do frameworkov ako PyTorch. Táto kombinácia hardvéru a softvéru sa stala predvolenou platformou pre trénovanie a inferenciu pre špičkové modely umelej inteligencie.
Vďaka tejto úzkej integrácii mnohé organizácie vidia Odchod od Nvidie je riskantný a drahýKódové základne, pracovné postupy a odborné znalosti zamestnancov sú vyladené pre CUDA, vďaka čomu alternatívne čipy vyzerajú ako potenciálny zdroj trenia, aj keď na papieri sľubujú lepšiu cenu alebo výkon.
Snaha spoločnosti Google o zavedenie TorchTPU je priamym pokusom túto výhodu zničiť. Ak PyTorch dokáže bežať na TPU s podobnou úrovňou jednoduchosti a ladenia výkonu ako na grafických procesoroch Nvidia, podniky získajú... dôveryhodná alternatíva pre veľké pracovné zaťaženia umelej inteligencieNa trhu, kde dopyt po výpočtoch s využitím umelej inteligencie prudko rastie a obmedzenia ponuky sú bežné, by mohla byť ďalšia seriózna možnosť veľmi atraktívna.
Zároveň rozhodnutie spoločnosti Google zvážiť open-source kľúčových častí balíka TorchTPU signalizuje odlišný prístup od vertikálne integrovaného štýlu spoločnosti Nvidia. Zdieľaním väčšieho množstva základného softvéru sa spoločnosť Google snaží... budovať dôveru medzi vývojármi, ktorí si cenia transparentnosť a prenosnosť.
Nič z toho nezaručuje, že TPU nahradia GPU, ale mení to kalkul. Namiesto výberu medzi vyspelou ekosystémou Nvidie a alternatívou, ktorá vyžaduje úplnú migráciu nástrojov, by zákazníci mohli zvážiť... výkon, náklady a dostupnosť pričom zostanete v známom prostredí PyTorch.
V rámci cloudových aj lokálnych nasadení by tento posun mohol organizáciám uľahčiť kombinovať poskytovateľov hardvéru postupom času, namiesto toho, aby štandardne viazali svoje plány vývoja umelej inteligencie na jedného dodávateľa.
Keďže Google prehlbuje svoj záväzok voči PyTorch prostredníctvom TorchTPU, rozširuje prístup podnikov k TPU a sprísňuje spoluprácu so spoločnosťou Meta... konkurenčné prostredie okolo infraštruktúry umelej inteligencie sa stáva čoraz flexibilnejším. Náskok spoločnosti Nvidia, vybudovaný na rokoch hardvéru a integrácie CUDA, je stále značný, ale zákazníci teraz vidia realistickejšie cesty k diverzifikácii toho, kde sa spúšťajú ich úlohy s umelou inteligenciou a koľko platia za základné výpočty.
