Ogni giorno i modelli Intelligenza Artificiale evolvono e necessitano di maggiore capacità – arrivando a utilizzare anche oltre 1.000 miliardi di parametri per migliorare accuratezza, fluidità, efficienza, funzionalità multimodali e altri aspetti; esigenze così estreme richiedono GPU sempre più veloci, organizzate in cluster molto ampi.
Per rispondere a questa richiesta, Oracle continua a migliorare la sua offerta di Infrastruttura as-a-Service (IaaS) per i carichi di lavoro AI e annuncia la disponibilità generale di Oracle Cloud Infrastructure (OCI) Supercluster che utilizza le GPU NVIDIA H200 Tensor Core.
Con il nuovo OCI Supercluster, Oracle crea il supercomputer in cloud per l’AI più grande e più veloce del settore*.
Il nuovo Supercluster è infatti scalabile fino a ben 65.536 GPU. Al massimo del suo potenziale, può offrire performance di picco FP8 di fino a 260 ExaFLOP – oltre quattro volte maggiori rispetto alla precedente generazione.
Ogni istanza di calcolo OCI Compute nel Supercluster ha il 76% in più di capacità di memoria a larga banda e il 40% di banda di memoria rispetto all’istanza con CPU Nvidia H100: ciò migliora fino a 1,9 volte le prestazioni di inferenza per i large language model (LLM).
Inoltre, con una capacità doppia di throughput di rete front-end per l’ingestione e il recupero dei dati (200 Gbps per istanza), si migliora in modo molto significativo anche il trasferimento dei dati da e verso il cluster, così da accelerare ulteriormente le attività di allenamento dei modelli AI e la loro implementazione.
Tutto ciò è fornito in una configurazione hardware e software specificamente pensata per l’AI e allo stesso prezzo di utilizzo (10 dollari per ora per ogni GPU) dell’istanza della generazione precedente con le GPU NVIDIA H100.
* Scalabilità per CSP 1: 20,000 NVIDIA H200 GPUs; Scalabilità per CSP 2 e CSP 3: dati non disponibili in modo pubblico.
