Technologie | Čipy | Umělá inteligence

Čip Cerebras WSE o velikosti celého waferu má 400 tisíc jader a 1,2 bilionu tranzistorů

  • Cerebras WSE je nový typ čipu s rekordními parametry
  • Čip je tvořen v rámci celého waferu, ze kterého se běžně vyrábí desítky či stovky čipů
  • Cerebras se zaměřuje na akceleraci umělé inteligence

Na konferenci Hot Chips 31 se objevila novinka v oblasti výkonných čipů, která nemá doposud žádné obdoby. Pokud považujete nové 64jádrové serverové čipy AMD EPYC za extrémní nebo si ani nedokážete představit 21,1 miliardy tranzistorů u největšího grafického čipu od Nvidie, v případě Cerebras WSE vám zkrátka nutně musí dojít slova. A možná i dech.

Standardní postup výroby je takový, že na jeden obvykle 300mm wafer se vyrobí několik desítek či stovek čipů podle druhu a velikosti, které se posléze nařežou a umístí do samostatných balení s rozvaděčem tepla a případně i dalšími dodatečnými čipy. Cerebras ale zcela boří tento přístup a systém.

Nápad na obří čipy o velikosti waferu není zcela nový, první pokusy se uskutečnily už v devadesátých letech, ale tehdy to vše skončilo fiaskem. Tentokrát je ale situace zcela jiná a stejně tak technologie a potřeby.

Jeden wafer, jeden čip

Cerebras WSE (Wafer Scale Engine) se nevyrábí v několika kusech na jednom waferu, ale jeden celý wafer je určen přímo pro jeden obří čip. Ten má díky tomu opravdu úctyhodné parametry. V současné podobě Cerebras WSE tvoří 1,2 bilionu tranzistorů, což je 57× více, než má nejsložitější a největší čip v současnosti - grafický čip GV100 od Nvidie, který má 21,1 miliardy tranzistorů.

Extrémní je i velikost čipu, která je 46 225 mm2, zatímco zmíněný největší současný čip od Nvidie má „pouhých“ 815 mm2. Na co je ale potřeba tak velký čip?

 

Parametry čipu

  • Počet tranzistorů: 1,2 bilionu
  • Velikost čipu: 46 225 mm2
  • Počet AI jader: 400 tisíc
  • Velikost paměti: 18 GB (on-chip)
  • Propustnost paměti: 9 PB/s
  • Propustnost v čipu: 100 Pb/s
  • Výrobní technologie: 16 nm (TSMC)
  • Spotřeba: 15 kW
 

Umělá inteligence „bez omezení“

Čip je určen pro akceleraci a běh umělé inteligence a s tím spojených algoritmů. Právě v této oblasti totiž vývojáři často naráží na limity, které jsou spojené s velikostí a rychlostí a škálování pomocí serverů není tak efektivní, protože to významně zpomaluje výkon. To že máme kompaktní lidský mozek a nikoli rozplizlé cosi široko daleko, má svůj důvod. Aby neuronová síť byla efektivní, musí mít jednotlivé části, ze kterých je složená, co nejblíže a co nejrychleji propojené.

Klepněte pro větší obrázek

Čip Cerebras WSE tak zahrnuje celkem 400 tisíc jader optimalizovaných právě pro AI a tensor operace. Zároveň ale obsahuje i velmi důležitou paměť o kapacitě 18 GB, která je přímo součástí čipu. Propustnost samotné paměti je 9 PB/s a v rámci celého spojení uvnitř čipu je to neuvěřitelných 100 Pb/s. Díky tomu může docházet k velkému a rychlému přesunu dat, což je pro umělou inteligenci kritické. To co dříve bylo nemožné vyřešit i nejlepším serverovým clusterem, je snadné pomocí Cerebras WSE.

Že se nejedná o nějaký výmysl šílených vědců svědčí fakt, že se prototypy čipu už vyrábí v TSMC, konkrétně pomocí 16nm technologie.

Se zmetky se počítá

Při výrobě čipů vznikají v rámci celého waferu menší rozdíly v kvalitě jednotlivých čipů. Nejlepší kousky se tak stávají výkonnějšími modely a horší pak těmi slabšími, ale objevují se samozřejmě i velmi špatné nebo dokonce nefunkční kusy, které je nutné zahodit. Jak to ale řešit, když celou plochu waferu tvoří celý čip?

Klepněte pro větší obrázek

Tvůrci designu Cerebras WSE s vadami rovnou počítají a přímo v konstrukci čipu jsou připravené ochrany, které dokáží detekovat chyby v konkrétních jádrech i částech a obejít je i když už je čip vyroben. Díky tomu není problém, když je určité procento čipu nekvalitní nebo poškozené. Architektura s tím v rámci redundantních jader a redundantních spojení (1,5 % z celé struktury) zkrátka počítá a čip jako celek funguje i poté bez problémů.

Teploty, napájení a chlazení

S takto velkým čipem samozřejmě přichází i řada dalších problémů. Jedním z nich je například tepelná roztažnost materiálu, která je na takové ploše už poměrně znatelná a může způsobovat komplikace. Tvůrci s tím rovněž počítají a pro minimalizaci roztažnosti používají dodatečnou speciální vrstvu mezi křemíkem a PCB a rovněž vrstvu nad křemíkovou vrstvou, která rychle odvádí teplo.

Klepněte pro větší obrázekKlepněte pro větší obrázekKlepněte pro větší obrázek

To je u tak velkého čipu pochopitelně enormní a použití vzduchového chlazení by bylo nedostatečné. V tomto případě se ale nemusí používat žádné složitosti, ale pouze upravené výkonné vodní chlazení, které rychle odvádí teplo mimo čip.

Kromě speciálního balení museli tvůrci vymyslet i pokročilý typ trojrozměrného napájení (direct perpendicular power delivery) a chlazení, takže je horizontálně přizpůsobené, aby po celé ploše bylo vše rovnoměrně rozložené.

 

Cerebras WSE vs Nvidia GV100

  • 57× větší
  • 78× více jader
  • 3 000× více paměti
  • 35 000× větší paměťová propustnost
 

Efektivita pro budoucnost

Spotřeba čipu se dle informací pohybuje kolem 15 kW, ale je třeba si uvědomit, že při porovnání počtu tranzistorů a komponent se jedná o několikanásobně efektivnější systém, než cokoli co je aktuálně na trhu. Marže veškerých komponent mimo čipy a k tomu přidaná síťová infrastruktura u klasických serverů a clusterů je obrovská a do budoucna neúnosná. Alespoň pro stále náročnější úlohy, které přináší například obří datové modely, které je nutné zpracovat v jednom běhu a rozdělování je neefektivní.

Toto řešení navíc poskytuje nesrovnatelně lepší odezvu a propustnost, která je o několik řádů lepší, než cokoli co se doposud ve světě čipů vyrobilo. Takže pokud vám někdo bude tvrdit nesmysl, že Moorův zákon se blíží ke konci, povězte mu o čipu Cerebras WSE.

Klepněte pro větší obrázek

Pokud jde o byznysový pohled, dle odhadů má startup Cerebras založený v roce 2016 v tomto směru náskok kolem tří let oproti ostatním firmám v oboru, což se vzhledem ke zcela novému přístupu dá předpokládat. Takže možná jsme svědky zrození nového křemíkového obra, který bude jedním z vládců v příštích dekádách. Firma už začala dodávat prototypy čipu prvním zákazníkům, takže bychom se finální verze mohli dočkat třeba už v roce 2020.

Diskuze (16) Další článek: Podvodní dron amerického námořnictva Knifefish vyráží na lov min

Témata článku: Technologie, Cloud, Čipy, Procesory, Umělá inteligence, Nvidia, Moorův zákon, Neuronová síť, TensorFlow, Strojové učení, Superpočítače, TSMC, Datacentra, Architektura, Startupy, Tranzistory, WSE, PCB, Dekáda, Inteligence, Tranzistor, Velikost, Jádro, Bilión, Propustnost


Určitě si přečtěte

Obří GeForce RTX 3090 vyfocená ve skříni. Moc místa vám nezbyde
Karel Javůrek
GeForce RTX 3000Grafické kartyNvidia
Internet poslední naděje. Kdo má nejlepší tarif „LTE na doma“?

Internet poslední naděje. Kdo má nejlepší tarif „LTE na doma“?

** Srovnali jsme fixní LTE připojení od tuzemských operátorů ** Liší se rychlostmi, cenou i podmínkami ** Na co všechno dát pozor?

Lukáš Václavík | 43

Lukáš Václavík
LTEPoskytovatelé internetuPřipojení k internetu
Používáte Disk Google? Tak si dejte pozor: od října začne automaticky vysypávat koš
Vladislav Kluska
Disk GoogleÚložištěGoogle
Seznam.cz má vlastního hlasového asistenta pro Android. Rozumí česky a nastaví i budík
Jakub Čížek
Mobilní aplikaceAndroidSeznam.cz
Zkušenosti s Androidem 11: Novinek je překvapivě hodně, takhle se používají
Filip KůželVladislav Kluska
Android
Přehled: Kdo má nejlevnější internet VDSL? Jak jsou na tom veřejné IP a Terminátor?

Přehled: Kdo má nejlevnější internet VDSL? Jak jsou na tom veřejné IP a Terminátor?

** Srovnali jsme nabídku VDSL u 19 internetových poskytovatelů ** Ceny tarifů se liší i o stokoruny ** Různá je také nabídka doplňkových služeb

Lukáš Václavík | 44

Lukáš Václavík
CETINPoskytovatelé internetuPřipojení k internetu