IBM e Confluent avvicinano i modelli di fondazione per serie temporali ai dati in streaming. Integrati nativamente in Confluent, nel cloud come on-premise, questi modelli, la cui famiglia conta quattro modelli e oltre 50 milioni di download, funzionano su processori CPU, senza GPU (processori grafici).
Ogni azienda produce un flusso continuo di osservazioni: una misurazione di macchina, un pagamento, una vendita, un ordine o una variazione di stock. Queste serie temporali contengono segnali che possono aiutare ad anticipare gli sviluppi. La sfida consiste nel trasformarli in decisioni mentre sono ancora rilevanti. Una previsione fornita dopo una serie di produzione, un’esaurimento di scorte o un’autorizzazione di pagamento può essere accurata, ma arrivare troppo tardi per influenzare il risultato.
I modelli di fondazione, già familiari per testo, immagini e documenti, applicano un’idea simile ai dati numerici. Imparano tendenze generali da dati storici vari, per poi applicare questa conoscenza a nuove serie. Un punto di partenza può così essere fornito senza addestrare un modello distinto per ogni serie. A seconda del compito e del deployment, i team possono anche affinare il modello (fine-tuning) o combinare i suoi risultati con altri dati e una logica di business.
Concretamente, i modelli vengono eseguiti direttamente in Confluent sotto forma di funzioni integrate. In Confluent Cloud, essi sono completamente gestiti e non richiedono alcun deployment. On-premise, possono girare nell’infrastruttura aziendale grazie a Confluent Platform for Apache Flink. Flink, motore di elaborazione di flussi di dati, permette di applicare previsione, rilevamento di anomalie e intelligenza semantica a dati in streaming, utilizzando SQL.
Uno Streamhouse per il contesto in tempo reale
Le aziende operano in continuo, mentre le informazioni sono spesso distribuite tra sistemi aggiornati in momenti diversi, o dipendono da elaborazioni batch periodiche. Lo Streamhouse mira a catturare, elaborare, governare e servire in continuo questo contesto di business attuale. La piattaforma Data Streaming di Confluent riunisce cinque capacità: connect, stream, process, govern e query. Apache Flink trasforma e arricchisce i dati man mano che circolano, mentre le Lightning Tables offrono un accesso a bassa latenza (tempo di risposta molto breve) allo stato corrente.
I modelli di serie temporali si aggiungono a questa architettura, insieme a grandi modelli linguistici, modelli statistici e sistemi di machine learning specializzati. I casi d’uso descritti dall’articolo illustrano questa combinazione. In una linea di produzione di gelato, la qualità dipende dall’overrun, cioè dalla quantità di aria incorporata nella miscela. Un modello TTM pre-addestrato legge i dati SCADA e le misurazioni di controllo qualità ogni 10 minuti, e prevede la percentuale di vaschette conformi con quattro ore di anticipo, con un intervallo probabile. Quando questa previsione scende sotto l’obiettivo dello stabilimento, un processo di ottimizzazione valuta combinazioni di temperatura di estrazione e portata d’aria. L’operatore approva le impostazioni consigliate.
Nella distribuzione, la funzione AI_FORECAST produce, nell’esempio presentato, una previsione della domanda su 28 giorni con un intervallo P10–P90, aggiornata man mano che arrivano nuove vendite. Un’applicazione di pianificazione calcola un punto di riordino, e un agente può preparare un ordine d’acquisto sottoposto a convalida. Nella banca, ogni pagamento viene confrontato con un intervallo di spesa attesa basato sullo storico della carta. Una transazione fuori da questo intervallo viene trasmessa ai sistemi antifrode esistenti, che possono approvare il pagamento, richiedere un’autenticazione aggiuntiva o approfondire l’esame. Per il trading, il modello PatchTST-FM prevede il volume degli scambi nei prossimi 30 minuti ad ogni candela di un minuto.
In ogni settore, lo Streamhouse svolge lo stesso lavoro: Flink esegue i modelli Granite per prevedere, rilevare e ottimizzare, agenti di streaming agiscono sul contesto in tempo reale, e le persone convalidano le eccezioni.
