IBM и Confluent приближают базовые модели для временных рядов к потоковым данным. Нативно интегрированные в Confluent, как в облаке, так и локально, эти модели, семейство которых включает четыре модели и более 50 миллионов загрузок, работают на процессорах CPU без использования GPU (графических процессоров).
Любая компания генерирует непрерывный поток наблюдений: показания оборудования, платежи, продажи, заказы или колебания запасов. Эти временные ряды содержат сигналы, которые могут помочь предсказать дальнейшее развитие. Задача состоит в том, чтобы преобразовать их в решения, пока они еще имеют значение. Прогноз, полученный после завершения производственной партии, исчерпания запасов или авторизации платежа, может быть точным, но опоздать, чтобы повлиять на результат.
Базовые модели, уже знакомые по работе с текстом, изображениями и документами, применяют схожий подход к числовым данным. Они изучают общие тенденции на основе разнообразных исторических данных, а затем применяют эти знания к новым рядам. Таким образом, можно получить отправную точку без необходимости обучать отдельную модель для каждого ряда. В зависимости от задачи и развертывания команды также могут дообучать модель (fine-tuning) или комбинировать ее результаты с другими данными и бизнес-логикой.
Конкретно, модели выполняются непосредственно в Confluent в виде встроенных функций. В Confluent Cloud они полностью управляются и не требуют развертывания. Локально они могут работать в инфраструктуре предприятия благодаря Confluent Platform for Apache Flink. Flink, движок для обработки потоков данных, позволяет применять прогнозирование, обнаружение аномалий и семантический анализ к данным в реальном времени с помощью SQL.
Streamhouse для контекста в реальном времени
Предприятия работают непрерывно, в то время как информация часто распределена между системами, обновляемыми в разное время, или зависит от периодической пакетной обработки. Streamhouse стремится непрерывно собирать, обрабатывать, управлять и предоставлять этот актуальный бизнес-контекст. Платформа Data Streaming от Confluent объединяет пять возможностей: connect, stream, process, govern и query. Apache Flink преобразует и обогащает данные по мере их потока, а Lightning Tables обеспечивают доступ с низкой задержкой (очень короткое время отклика) к текущему состоянию.
Модели временных рядов дополняют эту архитектуру наряду с большими языковыми моделями, статистическими моделями и специализированными системами машинного обучения. Описанные в статье варианты использования иллюстрируют эту комбинацию. На линии производства мороженого качество зависит от степени взбитости (overrun), то есть количества воздуха, включенного в смесь. Предварительно обученная модель TTM считывает данные SCADA и измерения контроля качества каждые 10 минут и прогнозирует долю конформных партий за четыре часа вперед с вероятным диапазоном. Когда этот прогноз опускается ниже целевого показателя завода, процесс оптимизации оценивает комбинации температуры вытягивания и расхода воздуха. Оператор утверждает рекомендуемые уставки.
В дистрибуции функция AI_FORECAST в представленном примере выдает прогноз спроса на 28 дней с диапазоном P10–P90, обновляемым по мере поступления новых данных о продажах. Приложение планирования вычисляет точку повторного заказа, и агент может подготовить заказ на закупку для утверждения. В банковской сфере каждый платеж сравнивается с ожидаемым диапазоном расходов на основе истории карты. Транзакция, выходящая за этот диапазон, передается в существующие системы обнаружения мошенничества, которые могут одобрить платеж, запросить дополнительную аутентификацию или углубить проверку. Для трейдинга модель PatchTST-FM прогнозирует объем торгов на следующие 30 минут для каждой минутной свечи.
В каждом секторе Streamhouse выполняет одну и ту же работу: Flink запускает модели Granite для прогнозирования, обнаружения и оптимизации, потоковые агенты действуют на основе живого контекста, а люди утверждают исключения.
