Néha egyszerűen nem GPU-ra van szükséged – jött a felismerés a mesterséges intelligencia (AI) legfontosabb cégétől. Ez egyben egy nagyon fontos paradigmaváltás is, hiszen az Nvidia a GPU-központú világ legnagyobb nyertese volt eddig, és erre alapozva akart tovább építkezni. Aztán karácsony előtt három héttel jött egy telefonhívás, ami mindent megváltoztatott. Egy majdnem elbukó startup, a Groq speciális chipjei most a világ legnagyobb AI-platformjába épülnek be – és ezzel átírhatják az erőviszonyokat.
Tavaly télen a Groq társalapítója és vezérigazgatója, Jonathan Ross egy megbeszélésre érkezett az Nvidia CEO-jához, Jensen Huanghoz – egy egyszerű, de radikális ötlettel: az AI-infrastruktúrát nem szabad úgy építeni, mintha minden feladat ugyanazt a hardvert igényelné.
A magyarázata egy logisztikai hasonlat volt. A modellbetanítás (training) olyan, mint a tömeges áruszállítás, míg az AI-válaszadás, az úgynevezett inferencia (inference – a már betanított modellek futtatása) inkább az „utolsó kilométeres” kiszállítás. A GPU-k (grafikus processzorok, graphics processing unit) mindkettőt el tudják végezni, de nem feltétlenül hatékonyan.
„Ha egy teljes ország logisztikai hálózatát építed, és azt mondom, hogy választhatsz csak kamionokat vagy csak furgonokat – mit választasz?” – kérdezte Ross. „A helyes válasz: mindkettőt.”
A Groq saját fejlesztésű chipjei, az úgynevezett LPU-k (language processing unit – nyelvi feldolgozó egységek) kifejezetten az inferenciára optimalizáltak: gyorsabbak és hatékonyabbak ebben a feladatban, mint a GPU-k. Ross nemcsak egy filozófiát vázolt fel: körülbelül 100 ezer Nvidia Blackwell chip vásárlására kért engedélyt, ami milliárdos nagyságrendű megrendelést jelentett volna. Huang részletesen kifaggatta a technológiáról, majd a találkozó véget ért.
Ross azt mondja, három nappal később már ezzel hívta vissza Huangot:
„Valószínűleg nagyon gyorsan kellene lépnünk.”
Jonathan Ross, a Groq alapítója. Fotó: Cody Pickens / Forbes USA
Egy „papír nélküli felvásárlás”
Három héttel később az Nvidia bejelentett egy szenteste kötött, 20 milliárd dolláros (kb. 7200 milliárd forintos) megállapodást: licencelik a Groq technológiáját, és átveszik a dolgozók többségét. Szilícium-völgyi értelemben ez gyakorlatilag egy „papír nélküli felvásárlás” volt: megszerzik a csapatot, biztosítják a technológiát, és élvezik a stratégiai előnyöket anélkül, hogy a cég minden terhét és kockázatát – vagy akár versenyjogi problémákat – is át kellene venniük.
A Groq megmaradó, független üzletága – egy LPU-alapú felhőszolgáltató – továbbra is működik és növekszik – mondta Ross, aki ma már az Nvidia szoftverarchitektúráért felelős vezetője. Korábbi alkalmazottak szerint a céget várhatóan értékesítik, de ez még nem történt meg. A lépés akkor sokak számára nehezen volt értelmezhető, mert nem volt világos, mit akar az Nvidia a Groq-tól azon túl, hogy meg tudta futtatni a sajtóban, hogy tényleg komolyan veszi az inferencia felfutó piacát. Még Jensen Huang magyarázata sem oszlatta el a kételyeket. „Komoly nehézséget jelentett számukra az adatközpontok és az AI-gyárak tömegpiaci igényeinek kiszolgálása” – mondta egy idei konferencián. „Velünk együtt viszont erre már nem lesz szükségük.”
Három hónappal később viszont világossá vált a stratégia: az Nvidia saját platformjába integrálja a Groq technológiáját.
A Groq által fejlesztett réteg megoldás egyszerre mainstream termék lett. Egymaga ezt bizonyosan csak nagyon nehezen tudta volna elérni, de az Nvidia ökoszisztémáján belül gyakorlatilag már bárhova el tudta juttatni a technológiáját.
