Cloudflare, il fornitore di servizi cloud, si immerge nella frenesia dell’IA con una nuova serie di prodotti e applicazioni pensate per aiutare i clienti a costruire, distribuire e eseguire modelli IA all’edge della rete.
Punti chiave:
- Nuove offerte di prodotti:
- Workers AI: Permette ai clienti di accedere a GPU fisicamente vicine ospitate dai partner di Cloudflare per eseguire modelli IA con un sistema pay-as-you-go.
- Vectorize: Fornisce un database vettoriale per immagazzinare le incorporazioni vettoriali (rappresentazioni matematiche dei dati) generate dai modelli di Workers AI.
- AI Gateway: Progettato per fornire metriche che aiutano i clienti a gestire meglio i costi delle applicazioni IA.
- Motivazione dietro il lancio:
- Secondo Matthew Prince, CEO di Cloudflare, c’è stata una forte richiesta da parte dei clienti di Cloudflare per una soluzione di gestione IA più semplice e conveniente.
- Benefici di Workers AI:
- Garantisce che l’inferenza IA avvenga sempre su GPU vicine geograficamente agli utenti, garantendo un’esperienza utente finale alimentata da IA a bassa latenza.
- Gli utenti possono scegliere modelli da un catalogo, incluso grandi modelli linguistici come Meta’s Llama 2 e altri modelli per il riconoscimento vocale, la classificazione delle immagini e l’analisi dei sentimenti.
- Partnerships:
- Hugging Face ottimizzerà i modelli generativi IA per essere eseguiti su Workers AI, mentre Cloudflare diventerà il primo partner serverless GPU per la distribuzione dei modelli di Hugging Face.
- Databricks lavorerà per portare l’inferenza IA a Workers AI attraverso MLflow e il marketplace Databricks.
- Vectorize:
- Mentre i database vettoriali non sono una novità, Prince afferma che Vectorize beneficia della rete globale di Cloudflare, permettendo query più veloci e riducendo i tempi di latenza e inferenza.
- AI Gateway:
- Fornisce funzionalità di osservabilità per monitorare il traffico IA. Offre anche capacità di riduzione dei costi, come la memorizzazione nella cache e la limitazione del tasso.
- Affermazioni di Prince:
- Sostiene che con AI Gateway, Cloudflare permette agli sviluppatori di pagare solo per il calcolo che utilizzano, offrendo una soluzione più snella rispetto ai concorrenti.
In sintesi, con questi nuovi strumenti, Cloudflare mira a semplificare l’esperienza degli sviluppatori nell’IA, sfruttando la sua rete esistente per offrire migliori prestazioni e costi più contenuti.
Lascia un commento