OVHcloud, attore globale e specialista europeo del Cloud, ha recentemente annunciato di aver scelto SambaNova, leader nelle infrastrutture AI di nuova generazione, come elemento fondamentale per ampliare il proprio portafoglio di soluzioni di inferenza, con un focus su prestazioni a latenza ultra-bassa.
OVHcloud è convinta che le organizzazioni che sviluppano applicazioni IA di nuova generazione si trovino ad affrontare vincoli sempre più stringenti: dalle chiamate sequenziali agli LLM che rallentano l’intero processo rispetto alla latenza, alle applicazioni rivolte agli utenti che richiedono risposte immediate alle pipeline operative che devono scalare fino a milioni di inferenze garantendo prestazioni rigorose in termini di “time to first token” e “time per output token”.
La partnership tra OVHcloud e SambaNova abilita un ampio ventaglio di casi d’uso in cui ogni millisecondo è importnate. In settori quali trading finanziario, cybersecurity, automazione industriale, ottimizzazione logistica, monitoring e molti altri, un’inferenza lenta può significare opportunità mancate, mancanza di visibilità operativa o un’esperienza utente degradata.
La soluzione OVHcloudAI Endpoints di, alimentata dalla piattaforma SambaStack di SambaNova, consente al Gruppo di offrire capacità di livello produttivo caratterizzate da prestazioni eccezionali, inferenza rapida, efficienza energetica e disponibilità con SLA pari al 99,8%.
OVHcloud AI EndPoints potenziata dalla piattaforma AI di SambaNova
La piattaforma di inferenza ad alta velocità di SambaNova alimenterà gli AI Endpoints di OVHcloud, progettati per le applicazionipiù esigenti che richiedono inferenza alla massima velocità, affidabilità e scalabilità. Con questa nuova soluzione, OVHcloud punta a introdurre nuove tipologie di endpoint: endpoint real-time con prestazioni garantite e API batch per sostenere volumi elevatissimi di chiamate quando il real-time non è necessario. Per gli utenti finali ciò si traduce in risposte rapide sia per il “time to first byte” sia per il “time per output token”.
A complemento dell’attuale infrastruttura basata su GPU, i nuovi nodi di inferenza SambaNova offriranno ai clienti un’esperienza estremamente rapida grazie alle Reconfigurable Dataflow Units (RDU), chip progettati appositamente per l’IA. La tecnologia SambaNova non solo offre un elevato numero di token per kilowattora, ma risulta ideale per efficienza, utilizzo delle risorse e densità nei datacenter.
Con velocità di inferenza straordinariamente elevate, gli AI Endpoints potenziati da SambaNova si basano sui più grandi modelli open-source, perfettamente ottimizzati per workload agentici impegnativi e per casi d’uso real-time a bassa latenza come agenti IA, traduzione live, interazioni agente-agente, oltre a offrire API batch per casi d’uso asincroni come crawling, generazione di database vettorializzati, aggiornamento dataset e operazioni batch massive.
“La scelta di SambaNova è stata una decisione mirata, volta ad offrire ai nostri clienti un’esperienza di inferenza senza precedenti,” ha dichiarato Octave Klaba, fondatore e CEO di OVHcloud. “La loro tecnologia fornisce la potenza e l’efficienza necessarie per le applicazioniIA più esigenti. Questa partnership ci permette di eseguire un maggior numero di modelli in uno spazio ridotto, migliorando l’utilizzo delle risorse durante l’inferenza.”
“La collaborazione con OVHcloud dimostra come SambaNova stia definendo un nuovo standard per performance ed efficienza dell’IA su larga scala,” ha affermato Rodrigo Liang, co-fondatore e CEO di SambaNova. “Insieme a OVHcloud, offriamo alle aziende la possibilità di distribuire modelli IA su larga scala più velocemente e con maggiore affidabilità come mai prima d’ora. Questa partnership apre la strada a innovazioni rivoluzionarie, aiutando i clienti a trasformare l’IA più avanzata in risultati concreti.”
La soluzione AI Endpoints potenziata da SambaNova è un elemento fondamentale della strategia OVHcloud per offrire una piattaforma di inferenza IA completa e ad alte prestazioni, rivolta a sviluppatori e imprese che necessitano di performance eccellenti, supporto e funzionalità avanzate per le loro applicazioni IA critiche.
Disponibilità
L’inferenza basata su SambaNova sarà disponibile entro fine anno nelle regioni localizzate in Francia, con future espansioni pianificate in Europa. La fatturazione del servizio seguirà un modello pay-as-you-go con un livello minimo di impegno richiesto.
