Возможности SAS® Event Stream Processing

Внутренняя память, распределенная и оптимизированная обработка, которая масштабируется

  • Сервер SAS Event Stream Processing для обработки миллионов событий в секунду и времени отклика с малой задержкой (миллисекунда, субмиллисекунда).
  • Встроенный сервер учета для мониторинга и записи данных о потреблении событий для каждого проекта SAS Event Stream Processing, окна входа и производственного сервера SAS Event Stream Processing - ускорение сбора данных о потреблении событий.
  • Хранение сохраненных и агрегированных данных в памяти для максимальной производительности.
  • Возможность воспользоваться преимуществами распределенных сетевых архитектур, SAS Cloud Analytic Services (CAS), или общедоступными и частными провайдерами облачных услуг.
  • Скорость обработки может быть настроена с помощью гибкого определения размеров полосы пропускания, кэширования хранилищ и многого другого.
  • Включает в себя запатентованное мгновенное аварийное переключение 1 + N, собственное аварийное переключение, гарантированную доставку без использования постоянства и другие отказоустойчивые функции для обеспечения успешной обработки потока событий.
  • Полный и открытый доступ ко всем метаданным события.

Cloud Native

  • Контейнерные развертывания для облака и коненых устройств.
  • Среда SAS Event Stream Processing, основанная на среде Kubernetes, обеспечивает автоматизацию развертывания, обновления и масштабируемости в облаке, общедоступном или частном.
  • Адаптер Amazon Kinesis для потоковой связи с источниками данных.
  • Готовые контейнеры Docker, которые используются с опциональной структурой оператора обработки потоков событий SAS для развертываний с поддержкой облака.
  • Готовые к многопользовательскому использованию установки, которые могут быть интегрированы с многопользовательской средой.

Окна модели обучения в потоке

  • Позволяет комбинировать различные типы окон для указания источников ввода потока данных, закономерностей и производных действий на выходе. Потоковое окно модели включает в себя:
    • Обучайте - разрабатывайте углубленную аналитическую модель в потоке и передавайте полученные обновления модели в окно оценки.
    • Score - примените обученную модель к текущим событиям в потоке для получения результатов, а также поддержку учебных моделей, которые используют как обучение, так и подсчет очков вместе.
    • Calculate - ипользуется с оффлайн моделями ASTORE, кодом Python, методами нормализации и преобразования данных, а также с обучающими моделями, которые объединяют в себе обучение и скоринг.
    • Model supervisor - управляет тем, какую модель развернуть, а также когда и где ее развернуть (например, в окне оценки).
    • Model reader-интегрируйте автономные модели ASTORE и опубликуйте модель в другом окне потоковой аналитики, например в окне score.

Возможность использовать и подключать потоковые данные

  • Обширный набор адаптеров и разъемов для публикации и подписки на живые потоки данных, как структурированных, так и неструктурированных, включая видео и изображения.
  • Предопределенные адаптеры включают чтение и запись (т. е. публикацию и подписку):
    • Разъем адаптера упрощает управление адаптерами в рамках проекта SAS Event Stream Processing, упрощая оркестровку адаптера (аналогично оркестрации коннектора).
    • Amazon Kinesis
    • Apache Camel
    • Axeda
    • BACNET
    • Cassandra
    • База данных ODBC: поддерживает различные базы данных, такие как IBM DB2, IBM Netezza, Sybase ASE и другие. См. поддержка драйверов данных для полного списка.
    • Обработчик событий
    • File/socket
    • HDAT Reader
    • HDFS
    • IBM WebSphere MQ
    • JMS
    • Kafka
    • MapR
    • Modbus
    • MQTT
    • Nurego
    • OPC-UA
    • OPC-DA
    • OSIsoft PI
    • Project Publish
    • Pylon
    • RabbitMQ
    • Rendezvous
    • Хранение
    • Аналитические сервисы SAS Cloud
    • Наборы данных SAS
    • Настроенные API публикации / подписки также могут быть написаны на C или Java.
    • SAS ® LASR Analytic Server
    • Solace
    • Teradata
    • Слушатель Teradata
    • Tervela Data Fabric
    • TIBC
    • Таймер
    • URL
    • UVC камера
    • WebSocket
    • Файл адаптер-сокет XML / JSON.
  • Публикация только в SAS Event Stream Processing из следующего:
    • BoardReader
    • HTTP RESTful интерфейсы
    • Log sniffers (Oracle, Greenplum)
    • Сетевой анализатор пакетов
    • SYSLOG
    • Twitter
    • Twitter GN
    • IP
  • Подписаться только из SAS Event Stream Processing на:
    • SOAP
    • SMTP
  • Разъемы и адаптеры для IoT:
    • Twitter
    • MQTT
    • OPC-UA
    • OPC-DA
    • UVC
    • Pylon
    • Modbus
    • OSI PI Historian
    • Устройства шлюза BACnet
    • Kafka
    • Cassandra (только адаптер)
    • BoardReader
  • Поддержка потока данных:
    • Кинез
    • Интеграция Ni-Fi от Hortonworks DataFlow (HDF) - SAS и HDF обеспечивают мгновенный, потоковый и глубокий анализ.
  • Статические объединения данных - Интеграция статических данных из баз данных или файлов для обогащения потоковых данных с помощью адаптера базы данных ODBC и поддержки разъемов в сочетании с драйверами баз данных.
  • Интеграция тераданных - коннектор прослушивателя тераданных отправляет данные из SAS Event Stream Processing в приложение прослушивателя тераданных. Teradata Listener принимает большие объемы данных в режиме реального времени и сохраняет данные из этих потоков в Teradata, Aster или Hadoop.

Адаптируемая потоковая аналитика и обработка данных

  • Поддержка потокового алгоритма машинного обучения позволяет создавать скоринговые и обучающие процедурные окна для различных алгоритмов непрерывного обучения. Комбинация окон обучения и окон оценки используется для периодического обновления модели. К ним относятся:
    • Потоковая линейная регрессия.
    • Потоковая логистическая регрессия.
    • Метод опорных векторов.
    • Плотность на основе кластеризации (DBSCAN).
    • K-означает кластеризацию.
    • Recommender.
    • T-распределенное стохастическое вложение соседей (t-SNE).
  • Потоковая аналитика в SAS Event Stream Processing включает следующие функции:
    • Обработка изображений.
    • Кодирование видео.
    • Обнаружение изменений.
    • Фильтр Калмана.
    • Сглаживание.
    • Операции среза.
    • Лаг-мониторинг.
    • Отслеживание подпространства.
    • Гистограмма
    • Fit statistics.
    • Перемещение относительного диапазона (MRR).
    • Соотношение Пирсона.
    • Рабочая характеристика приемника (ROC).
    • Потоковая сводка (одномерная статистика).
    • Сегментированная корреляция.
    • Кратковременное преобразование Фурье.
    • Потоковая транскрипция речи.
    • Потоковое аудио вычисление.
    • Текстовая токенизация.
    • Текстовая векторизация.
    • Распределение Вейбулла.
  • Алгоритмы автономного обучения в комплекте с SAS Event Stream Processing включают в себя:
    • Надежный анализ основных компонентов.
    • Байесовская сеть.
    • Рекуррентные нейронные сети.
    • Сверточные нейронные сети.
    • Глубокие нейронные сети.
  • Гибкая модульная оконная архитектура для определения сложных непрерывных запросов:
    • Основан на обширном наборе взаимозаменяемых типов окон и операторов для обнаружения неограниченного числа шаблонов, корреляций, вычислений и агрегирования.
    • Для очистки, стандартизации и фильтрации данных перед их сохранением используются стандартные процедуры качества данных, уменьшающие объем последующей обработки.
    • Интересующие нас модели могут включать в себя практически неограниченные аналитические вычисления с поточным анализом, кластеры k-средних машинного обучения и аналитическую оценку в реальном времени.
  • Окна потока событий для преобразования состояния события и данных, а также для управления входящими потоковыми изображениями:
    • Тип окна геозоны позволяет отслеживать местоположение объектов относительно границ геозоны. Оповещение, когда объект приближается, входит или выходит из определенных границ геозоны и отслеживает объекты в границах геозоны.
    • Транспонирование. Позволяет менять строки события на столбцы или столбцы на строки.
    • Удалить состояние: облегчает переход части модели с сохранением состояния в часть модели без состояния.
    • Отслеживание нескольких объектов (MOT): позволяет выполнять отслеживание нескольких объектов (MOT) в режиме реального времени.
    • Обучение: Обучение модели на исторических данных (для точной разработки модели) дополняет высокопроизводительную аналитику для данных в состоянии покоя.
    • Установите и настройте уведомления по SMS, электронной почте и др. каналам как часть рабочего процесса модели потока событий.
  • Аналитические модели включают в себя фрагменты кода SAS ASTORE, DATAStep2, DATAStep, Python и C.
  • Возможность встраивания в шлюзы, периферийные устройства, вычислительные джойстики и любые существующие приложения C ++ (с выделенной обработкой пула потоков).

Графическая среда времени проектирования

  • Доступна графическая среда разработки с низким кодом или дружественная к пользователям среда разработки Jupyter Lab Python, предоставляющая открытые и интуитивно понятные опции для проектирования, тестирования, управления версиями и публикации потоковых проектов ESP.
  • Аналитические модели легко интегрируются с помощью SAS Model Manager. Управление моделями обеспечивает более быструю, автоматизированную интеграцию и мониторинг аналитических моделей. Из SAS ESP Studio пользователи могут просматривать хранилище аналитических моделей, чтобы легко находить и интегрировать расширенную аналитику для встраивания в проекты обработки потоков SAS.
  • Добавлен режим SAS Viya.
    • Аутентификация с помощью SAS Logon для упрощенного и унифицированного доступа пользователей.
    • Использует Viya Postgres как управляемое, постоянное хранилище данных.
  • Многопользовательский доступ с использованием нового фреймворка оператора Kubernetes и контейнеров Docker, поставляемых для сервера ESP в облаке.
    • База данных на каждого пользователя для безопасной изоляции данных.
    • Схема для каждого пользователя для обеспечения изоляции данных.
  • Улучшения в тестовом режиме.
    • Обновлен интерфейс для более быстрого ответа и выбора пользовательского окна вывода.
    • Доступ к журналу сервера ESP для упрощенной отладки.
  • Запустите проекты вне тестового режима.
    • Тестирование для долгосрочных проектов.
  • Удобство использования и улучшение пользовательского опыта.
    • Обновлен макет приложения для упрощения тестирования и проектирования.
    • Интегрированная встроенная проверка выражений в окне Compute, Join, Filter и Aggregation для немедленной проверки выражений.
    • Настраиваемые параметры памяти, экземпляра и ЦП для режима тестирования облачного сервера ESP.
    • Улучшения схемы и макета для более интуитивного просмотра.
    • Новая страница управления тестовым сервером для упрощенного определения сервера.
    • Улучшенная панель выходной схемы с выбором окна для индивидуальной компоновки результатов тестирования.
    • Расширенная проверка синтаксиса и свойств проекта ESP.
  • Интеграция с SAS Event Stream Manager.
    • Поддерживает контроль версий проекта, включая выбор основной и вспомогательной версий.
    • Незначительные обновления версий в SAS Event Stream Manager возвращены в SAS Studio.
    • Опубликованный проект появится в SAS Event Stream Manager автоматически.

ESP операции и мониторинг

  • Создавайте повторяемые планы развертывания и управляйте ими с помощью простого в использовании интерфейса для проектов, выполняемых на серверах обработки событий SAS на чистом железе или в облаке.
    • Быстрое создание развертываний для мониторинга коллекций серверов и упрощения управления.
    • Определите ошибки развертывания и повторите операции только на тех серверах, которые требуют внимания.
    • Создайте отфильтрованные списки серверов обработки потока событий SAS для применения операций развертывания.
    • Создавайте повторяемые сценарии развертывания для быстрой автоматизации и пользовательских запросов, упрощая активацию проекта SAS Event Stream Processing.
    • Мониторинг событий, потребляемых дисплеями сервера измерений, для определения шаблонов использования событий для каждой лицензии.
    • С легкостью добавляйте новые серверы обработки потоков событий SAS для улучшенного мониторинга при развертывании с нуля.
    • Мониторинг кластерных серверов ESP поддерживает кластерные многопользовательские среды в облаке.
    • Мультипользовательская поддержка обеспечивает базу данных для и схему для каждого клиента
  • ESP сервер мониторинга.
    • Динамическое управление и настройка облачного сервера ESP для поддержки кластерных модулей и контейнеров Kubernetes, а также управление созданием и демонтажем серверов ESP с помощью платформы оператора ESP Kubernetes.
    • Мониторинг включает контроль пульса ESP, отчеты о состоянии сервера ESP и статистику производительности сервера ESP.
  • Улучшенный учет для лучшего мониторинга статистики использования событий.
    • Расширенные параметры отчетов об использовании включают разбивку по лицензии / серверу / типу и разбивку по месяцам / годам.
  • Удобство использования и улучшение пользовательского опыта.
    • Больше визуальных индикаторов проблем при выполнении проектов на производстве.
    • Более отзывчивый пользовательский интерфейс для более быстрых обновлений.
    • Улучшенное управление развертыванием благодаря оповещениям от SAS Model Manager о новых моделях-лидерах для улучшения взаимодействия с группами специалистов по обработке данных.
    • Расширенные отчеты конфигурации сервера для выделения памяти кластера и загрузки процессора.
  • Средства управления развертыванием для упрощения операций и быстрого развертывания.
    • Загружайте и запускайте проекты без шаблонов одним кликом из пользовательского интерфейса.
    • Остановите и выгрузите проекты без шаблонов одним щелчком мыши из пользовательского интерфейса.
  • Интеграция с ESP Studio.
    • Опубликованный проект автоматически появляется в SAS Event Stream Manager с общими папками.

Расширенные развертывания и поддержка с открытым исходным кодом

  • Развертывание обработки потока событий SAS на грани IoT-приложений:
    • Обработка потока событий SAS для Edge Computing обеспечивает меньшую настраиваемую площадь дискового пространства для упрощенного развертывания на небольших периферийных устройствах.
    • Поддержка развертывания контейнера Docker для SAS Event Stream Processing для Edge Computing для стандартизированного развертывания.
  • Интерфейс разработки SAS Event Stream Processing Python
    • Ускорьте время разработки благодаря знакомому, открытому и гибкому интерфейсу Python для разработки, публикации, тестирования и потоковой передачи событий через проекты SAS Event Stream Processing.
    • API публикации / подписки Python - публикуйте события и подписывайтесь на SAS Event Stream Processing с использованием Python.

Используйте языки SAS и open source

  • SAS Event Stream Processing для SAS Viya® и CAS - развертывание SAS Data Mining and Machine Learning в SAS Event Stream Processing для потоковой аналитики.
  • Поддержка исполнения Python в потоке в проектах ESP. Собственное исполнение Python в памяти с использованием запатентованной технологии аналитического сервиса.
  • Другие поддерживаемые языки включают C, SAS DATAStep2 и SAS DATAStep.
  • Поддержка потоков MapR. Адаптер Kafka сертифицирован для работы с платформой конвергентных данных MapR для публикации и подписки.
  • Поддержка Python publish / subscribe API для публикации и подписки на сервер SAS Event Stream Processing для внедрения событий в SAS Event Stream Processing и прослушивания информации от SAS Event Stream Processing.

Визуальный мониторинг потоков событий

  • Поддержка визуализации потоковых данных и понимания проекта ESP включает в себя:
    • Безопасный доступ с поддержкой входа в систему для авторизованного доступа к приложению SAS ESP Streamviewer.
    • Поддержка Streamviewer для графов SAS в потоковых информационных панелях в реальном времени.
    • Компоненты Streamviewer поддерживают встраивание в приложения, чтобы обеспечить понимание в режиме реального времени Streamviewer.
    • Поддержка WebSocket для надежного и быстрого подключения к серверу SAS Event Stream Processing.
    • Настраиваемая пользователем панель мониторинга для настраиваемого тестирования потоковой активности.
    • Интерактивный фильтр и запрос активности в прямом эфире, чтобы изучить конкретное поведение элементов.
    • Более быстрый отклик благодаря новой поддержке веб-сокетов для мониторинга событий с сервера SAS Event Stream Processing.
    • Сравните историческую активность с текущей обработкой, используя графические представления.
    • Отслеживайте детали обработки потока, подписываясь на интересующие события.

Back to Top