Nvidijin H100 MI čip možda ga je učinio višestrukim, nadmašivši one Amazona i Alphabeta. I čini se da Nvidia neće izgubiti s novim super-snažnim procesorom, Blackwell B200.
Nvidia je ovaj tjedan najavila novi B200 grafički procesor koji nudi do 20 petaflopa brzine od 208 milijardi tranzistora na njemu. Sastoji se od dva B200 GPU-a i jednog Grace CPU-a, a poznato je da GB200 nudi 30 puta veću izvedbu za pokretanje velikih jezičnih modela uz održavanje niže potrošnje energije. Svaki novi procesor mogao bi koštati između 30.000 i 40.000 dolara.
Usporedbe radi, treniranje modela od 1,8 trilijuna parametara prethodno je zahtijevalo 8000 Hopper GPU-a i 15 megavata snage, ali sada to može učiniti 2000 Blackwell GPU-a uz potrošnju samo četiri megavata. Jedno od glavnih poboljšanja je transformatorska mašina druge generacije, koja udvostručuje računanje, propusnost i veličinu modela korištenjem četiri umjesto osam bita po neuronu.
Naravno, Nvidia računa na to da će tvrtke kupiti velike količine novih GPU-ova i koristiti ih u paketu. Na primjer, GB200 NVL72, koji kombinira 36 CPU-a i 72 GPU-a u jednom tekućinom hlađenom nosaču, osigurat će ukupno 720 petaflopa brzine obrade. Nvidia kaže da Amazon, Google, Microsoft i Oracle već planiraju ponuditi NVL72 police u svojim ponudama u oblaku, iako je točna količina nepoznata.
