IBM en Confluent brengen foundationmodellen voor tijdreeksen dichter bij streamingdata. Deze modellen, die nagenoeg zijn geïntegreerd in Confluent, zowel in de cloud als on-premises, werken op CPU’s zonder GPU’s (grafische processors). De modelreeks telt vier modellen en meer dan 50 miljoen downloads.
Elk bedrijf produceert een continue stroom van observaties: een machinemeting, een betaling, een verkoop, een bestelling of een voorraadwijziging. Deze tijdreeksen bevatten signalen die kunnen helpen om wat komt te anticiperen. De uitdaging is ze om te zetten in beslissingen terwijl ze er nog toe doen. Een voorspelling die wordt geleverd na een productiereeks, een voorraadtekort of een betalingsautorisatie kan correct zijn, maar te laat aankomen om het resultaat te beïnvloeden.
Foundationmodellen, al bekend voor tekst, afbeeldingen en documenten, passen een vergelijkbaar idee toe op numerieke data. Ze leren algemene trends uit diverse historische data en passen die kennis vervolgens toe op nieuwe reeksen. Zo kan een startpunt worden geboden zonder een apart model voor elke reeks te trainen. Afhankelijk van de taak en implementatie kunnen teams het model ook finetunen of de resultaten combineren met andere data en bedrijfslogica.
Concreet draaien de modellen rechtstreeks in Confluent als geïntegreerde functies. In Confluent Cloud worden ze volledig beheerd en vereisen ze geen implementatie. On-premises kunnen ze draaien op de infrastructuur van het bedrijf via Confluent Platform for Apache Flink. Flink, een streamingdataverwerkingsengine, maakt het mogelijk voorspelling, anomaliedetectie en semantische intelligentie toe te passen op continue data met behulp van SQL.
Een Streamhouse voor realtime context
Bedrijven opereren continu, terwijl informatie vaak verspreid is over systemen die op verschillende momenten worden bijgewerkt, of afhankelijk is van periodieke batchverwerkingen. Het Streamhouse heeft tot doel deze actuele bedrijfscontext continu vast te leggen, te verwerken, te beheren en te ontsluiten. Het Data Streaming Platform van Confluent verenigt vijf capaciteiten: connect, stream, process, govern en query. Apache Flink transformeert en verrijkt data terwijl ze stromen, terwijl Lightning Tables toegang bieden met lage latentie (zeer korte reactietijd) tot de huidige staat.
De tijdreeksmodellen voegen zich bij deze architectuur, naast grote taalmodellen, statistische modellen en gespecialiseerde machine learning-systemen. De use cases die in het artikel worden beschreven illustreren deze combinatie. In een ijsproductielijn hangt de kwaliteit af van de overrun, dat wil zeggen de hoeveelheid lucht die in het mengsel wordt opgenomen. Een voorgetraind TTM-model leest SCADA-data en kwaliteitscontrolemetingen elke 10 minuten en voorspelt het aandeel conforme bakken vier uur van tevoren, met een waarschijnlijkheidsinterval. Wanneer deze voorspelling onder de fabrieksdoelstelling zakt, evalueert een optimalisatieproces combinaties van trekkerstemperatuur en luchtdebiet. De operator keurt de aanbevolen instellingen goed.
In distributie produceert de functie AI_FORECAST in het gepresenteerde voorbeeld een 28-daagse vraagvoorspelling met een P10–P90-interval, die wordt bijgewerkt naarmate nieuwe verkopen binnenkomen. Een planningsapplicatie berekent een herbestelpunt, en een agent kan een inkooporder voorbereiden die ter goedkeuring wordt voorgelegd. In de bankwereld wordt elke betaling vergeleken met een verwacht uitgavenbereik gebaseerd op de kaarthistoriek. Een transactie buiten dit bereik wordt doorgestuurd naar bestaande fraudesystemen, die de betaling kunnen goedkeuren, om aanvullende authenticatie kunnen vragen of nader onderzoek kunnen starten. Voor trading voorspelt het PatchTST-FM-model het handelsvolume voor de komende 30 minuten bij elke minuutkaars.
In elke sector doet het Streamhouse hetzelfde werk: Flink draait de Granite-modellen om te voorspellen, detecteren en optimaliseren, streaming-agents handelen op basis van de live context, en mensen valideren de uitzonderingen.
