Technologie | Umělá inteligence | Čipy

Čip Cerebras WSE o velikosti celého waferu má 400 tisíc jader a 1,2 bilionu tranzistorů

  • Cerebras WSE je nový typ čipu s rekordními parametry
  • Čip je tvořen v rámci celého waferu, ze kterého se běžně vyrábí desítky či stovky čipů
  • Cerebras se zaměřuje na akceleraci umělé inteligence

Na konferenci Hot Chips 31 se objevila novinka v oblasti výkonných čipů, která nemá doposud žádné obdoby. Pokud považujete nové 64jádrové serverové čipy AMD EPYC za extrémní nebo si ani nedokážete představit 21,1 miliardy tranzistorů u největšího grafického čipu od Nvidie, v případě Cerebras WSE vám zkrátka nutně musí dojít slova. A možná i dech.

Standardní postup výroby je takový, že na jeden obvykle 300mm wafer se vyrobí několik desítek či stovek čipů podle druhu a velikosti, které se posléze nařežou a umístí do samostatných balení s rozvaděčem tepla a případně i dalšími dodatečnými čipy. Cerebras ale zcela boří tento přístup a systém.

Nápad na obří čipy o velikosti waferu není zcela nový, první pokusy se uskutečnily už v devadesátých letech, ale tehdy to vše skončilo fiaskem. Tentokrát je ale situace zcela jiná a stejně tak technologie a potřeby.

Jeden wafer, jeden čip

Cerebras WSE (Wafer Scale Engine) se nevyrábí v několika kusech na jednom waferu, ale jeden celý wafer je určen přímo pro jeden obří čip. Ten má díky tomu opravdu úctyhodné parametry. V současné podobě Cerebras WSE tvoří 1,2 bilionu tranzistorů, což je 57× více, než má nejsložitější a největší čip v současnosti - grafický čip GV100 od Nvidie, který má 21,1 miliardy tranzistorů.

Extrémní je i velikost čipu, která je 46 225 mm2, zatímco zmíněný největší současný čip od Nvidie má „pouhých“ 815 mm2. Na co je ale potřeba tak velký čip?

 

Parametry čipu

  • Počet tranzistorů: 1,2 bilionu
  • Velikost čipu: 46 225 mm2
  • Počet AI jader: 400 tisíc
  • Velikost paměti: 18 GB (on-chip)
  • Propustnost paměti: 9 PB/s
  • Propustnost v čipu: 100 Pb/s
  • Výrobní technologie: 16 nm (TSMC)
  • Spotřeba: 15 kW
 

Umělá inteligence „bez omezení“

Čip je určen pro akceleraci a běh umělé inteligence a s tím spojených algoritmů. Právě v této oblasti totiž vývojáři často naráží na limity, které jsou spojené s velikostí a rychlostí a škálování pomocí serverů není tak efektivní, protože to významně zpomaluje výkon. To že máme kompaktní lidský mozek a nikoli rozplizlé cosi široko daleko, má svůj důvod. Aby neuronová síť byla efektivní, musí mít jednotlivé části, ze kterých je složená, co nejblíže a co nejrychleji propojené.

Klepněte pro větší obrázek

Čip Cerebras WSE tak zahrnuje celkem 400 tisíc jader optimalizovaných právě pro AI a tensor operace. Zároveň ale obsahuje i velmi důležitou paměť o kapacitě 18 GB, která je přímo součástí čipu. Propustnost samotné paměti je 9 PB/s a v rámci celého spojení uvnitř čipu je to neuvěřitelných 100 Pb/s. Díky tomu může docházet k velkému a rychlému přesunu dat, což je pro umělou inteligenci kritické. To co dříve bylo nemožné vyřešit i nejlepším serverovým clusterem, je snadné pomocí Cerebras WSE.

Že se nejedná o nějaký výmysl šílených vědců svědčí fakt, že se prototypy čipu už vyrábí v TSMC, konkrétně pomocí 16nm technologie.

Se zmetky se počítá

Při výrobě čipů vznikají v rámci celého waferu menší rozdíly v kvalitě jednotlivých čipů. Nejlepší kousky se tak stávají výkonnějšími modely a horší pak těmi slabšími, ale objevují se samozřejmě i velmi špatné nebo dokonce nefunkční kusy, které je nutné zahodit. Jak to ale řešit, když celou plochu waferu tvoří celý čip?

Klepněte pro větší obrázek

Tvůrci designu Cerebras WSE s vadami rovnou počítají a přímo v konstrukci čipu jsou připravené ochrany, které dokáží detekovat chyby v konkrétních jádrech i částech a obejít je i když už je čip vyroben. Díky tomu není problém, když je určité procento čipu nekvalitní nebo poškozené. Architektura s tím v rámci redundantních jader a redundantních spojení (1,5 % z celé struktury) zkrátka počítá a čip jako celek funguje i poté bez problémů.

Teploty, napájení a chlazení

S takto velkým čipem samozřejmě přichází i řada dalších problémů. Jedním z nich je například tepelná roztažnost materiálu, která je na takové ploše už poměrně znatelná a může způsobovat komplikace. Tvůrci s tím rovněž počítají a pro minimalizaci roztažnosti používají dodatečnou speciální vrstvu mezi křemíkem a PCB a rovněž vrstvu nad křemíkovou vrstvou, která rychle odvádí teplo.

Klepněte pro větší obrázekKlepněte pro větší obrázekKlepněte pro větší obrázek

To je u tak velkého čipu pochopitelně enormní a použití vzduchového chlazení by bylo nedostatečné. V tomto případě se ale nemusí používat žádné složitosti, ale pouze upravené výkonné vodní chlazení, které rychle odvádí teplo mimo čip.

Kromě speciálního balení museli tvůrci vymyslet i pokročilý typ trojrozměrného napájení (direct perpendicular power delivery) a chlazení, takže je horizontálně přizpůsobené, aby po celé ploše bylo vše rovnoměrně rozložené.

 

Cerebras WSE vs Nvidia GV100

  • 57× větší
  • 78× více jader
  • 3 000× více paměti
  • 35 000× větší paměťová propustnost
 

Efektivita pro budoucnost

Spotřeba čipu se dle informací pohybuje kolem 15 kW, ale je třeba si uvědomit, že při porovnání počtu tranzistorů a komponent se jedná o několikanásobně efektivnější systém, než cokoli co je aktuálně na trhu. Marže veškerých komponent mimo čipy a k tomu přidaná síťová infrastruktura u klasických serverů a clusterů je obrovská a do budoucna neúnosná. Alespoň pro stále náročnější úlohy, které přináší například obří datové modely, které je nutné zpracovat v jednom běhu a rozdělování je neefektivní.

Toto řešení navíc poskytuje nesrovnatelně lepší odezvu a propustnost, která je o několik řádů lepší, než cokoli co se doposud ve světě čipů vyrobilo. Takže pokud vám někdo bude tvrdit nesmysl, že Moorův zákon se blíží ke konci, povězte mu o čipu Cerebras WSE.

Klepněte pro větší obrázek

Pokud jde o byznysový pohled, dle odhadů má startup Cerebras založený v roce 2016 v tomto směru náskok kolem tří let oproti ostatním firmám v oboru, což se vzhledem ke zcela novému přístupu dá předpokládat. Takže možná jsme svědky zrození nového křemíkového obra, který bude jedním z vládců v příštích dekádách. Firma už začala dodávat prototypy čipu prvním zákazníkům, takže bychom se finální verze mohli dočkat třeba už v roce 2020.

Diskuze (16) Další článek: Podvodní dron amerického námořnictva Knifefish vyráží na lov min

Témata článku: Technologie, Cloud, Umělá inteligence, Procesory, Nvidia, Strojové učení, Superpočítače, Neuronová síť, Čipy, Startupy, Moorův zákon, TSMC, Datacentra, Architektura, Tranzistory, TensorFlow, Moore, PCB, Propustnost, Čip, Jádro, Velikost, Inteligence, Chlazení, Bilión


Určitě si přečtěte

Windows 10 podle našich čtenářů: Poslali jste nám skoro 300 nápadů, jak je vylepšit

Windows 10 podle našich čtenářů: Poslali jste nám skoro 300 nápadů, jak je vylepšit

** Microsoft aktualizuje Windows 10 dvakrát ročně ** Jenže praktických novinek už není tolik jako dříve ** Poslali jste nám skoro 300 tipů, co by se měly Desítky ještě naučit

Jakub Čížek | 139

Hesla jsou zlo. Hackeři napáchali tolik škody právě proto, že vůbec existují

Hesla jsou zlo. Hackeři napáchali tolik škody právě proto, že vůbec existují

** Nikdo si je nepamatuje ** Žádné není zcela bezpečné ** Nejlepší by bylo je prostě zrušit

Jakub Čížek | 59

Kdyby měli železničáři tento superpočítač za 99 dolarů, nepotřebovali by lasery

Kdyby měli železničáři tento superpočítač za 99 dolarů, nepotřebovali by lasery

** Nejmodernější český železniční tunel je prošpikovaný technologiemi ** Za tři tisíce koupíte počítač, který je překoná ** Seznamte se s Nvidia Jetson Nano

Jakub Čížek | 50

Co všechno se spouští se startem Windows a proč by vás to mělo zajímat

Co všechno se spouští se startem Windows a proč by vás to mělo zajímat

** Společně s operačním systémem se spouští řada aplikací a služeb ** Mohou mít negativní dopad na celkovou dobu startu Windows ** Jak získat kontrolu nad automaticky spouštěnými programy?

Karel Kilián | 56

13 praktických tipů a triků pro Mapy.cz, které možná neznáte

13 praktických tipů a triků pro Mapy.cz, které možná neznáte

** Mapy.cz neslouží jen k zobrazení podkladů a plánování tras ** Nabízejí celou řadu dalších praktických funkcí a možností ** Vybrali jsme třináct tipů a triků, o kterých možná (ne)víte

Karel Kilián | 31

HTTPS byl pouze první krok. Chrome zavádí DoH, tedy šifrované DNS. Dopady mohou být obrovské

HTTPS byl pouze první krok. Chrome zavádí DoH, tedy šifrované DNS. Dopady mohou být obrovské

** Šifrovaný web je dnes už samozřejmost ** Jeden díl skládačky ale ještě chybí – DNS ** Firefox už začal a teď se na šifrované DNS chystá i Chrome

Jakub Čížek | 94