SAS® 事件流处理特征

可扩展的内存、分布式和优化处理

  • SAS 事件流处理服务器用于每秒处理数百万个事件和实现低延迟响应时间(毫秒、亚毫秒)。
  • 内置计量服务器,用于监控和记录每个 SAS 事件流处理项目、输入窗口和生产 SAS 事件流处理服务器的事件消耗,可加快事件消耗数据的收集。
  • 保留和汇总的数据保留在内存中,以实现最佳性能。
  • 能够利用分布式网格架构、SAS 云分析服务 (CAS) 或公共和私有云提供商的优势
  • 处理速度可通过灵活的线程池大小设置、缓存存储等进行定制。
  • 包括专利瞬时 1+N 路故障转移、本地故障转移、无需使用持久性的保证交付和其他容错功能,以确保成功的事件流处理活动。
  • 对所有事件元数据的完全开放访问。

云就绪

  • 云和边缘的容器化部署。
  • SAS 事件流处理运算框架,基于 Kubernetes 运算符框架,可实现在公共云或私有云中进行自动部署、升级和扩展。
  • 亚马逊 Kinesis 连接器,用于流传输数据源连接。
  • 预构建 Docker 容器与可选 SAS 事件流处理运算符框架一起用于云就绪部署。
  • 可与多租户和多用户环境集成的多租户就绪部署

流式学习模型窗口

  • 允许您组合不同的窗口类型以指定数据流输入源、重要模式和派生的输出操作。流传输模型窗口包括:
    • 训练 - 开发流中的高级分析模型,并将产生的模型更新传递到分数窗口。
    • 分数 - 将经训练的模型应用于当前的流事件,以产生分数输出,支持同时使用训练和评分的学习模型。
    • 计算 - 与离线 ASTORE 模型、Python 代码、数据规范化和转换方法以及将训练和评分捆绑在一起的学习模型一起使用。
    • 模型管理器 - 控制要部署的模型以及何时在何处部署模型(例如,部署到分数窗口)。
    • 模型阅读器 - 整合离线 ASTORE 模型并将模型发布到另一个流传输分析窗口,如分数窗口。

能够使用和连接流传输数据

  • 丰富的数据适配器和连接器套件,用于发布和订阅结构化和非结构化数据(包括视频和图像)的实时数据流。
  • 预定义适配器包括读写(即发布和订阅):
    • 适配器连接器使管理 SAS 事件流处理项目中的适配器变得更容易,并简化适配器业务流程(类似于连接器业务流程)。
    • Amazon Kinesis
    • Apache Camel
    • Axeda
    • BACNET
    • Cassandra
    • 数据库 ODBC:支持多种数据库,例如 IBM DB2、IBM Netezza、Sybase-AS E等。有关完整列表,请参阅数据驱动程序支持。
    • 事件流处理器
    • 文件/套接字
    • HDAT 阅读器
    • HDFS
    • IBM WebSphere MQ
    • JMS
    • Kafka
    • MapR
    • Modbus
    • MQTT
    • Nurego
    • OPC-UA
    • OPC-DA
    • OSIsoft PI
    • 项目发布
    • Pylon
    • RabbitMQ
    • Rendezvous
    • REST
    • SAS 云分析服务
    • SAS 数据集
    • 定制发布/订阅 API 也使用 C 或 Java 编写。
    • SAS® LASR 分析服务器
    • Solace
    • Teradata
    • Teradata Listener
    • Tervela 数据结构
    • TIBC
    • 定时器
    • URL
    • UVC 相机
    • WebSocket
    • XML/JSON 文件套接字适配器。
  • 仅从以下各项发布到 SAS 事件流处理:
    • BoardReader
    • HTTP RESTful 接口
    • 日志嗅探器(Oracle、Greenplum)
    • 网络嗅探器
    • SYSLOG
    • Twitter
    • Twitter GNIP
  • 只能从 SAS 事件流处理订阅:
    • SOAP
    • SMTP
  • 物联网用连接器和适配器:
    • Twitter
    • MQTT
    • OPC-UA
    • UVC
    • Pylon
    • Modbus
    • OSI PI Historian
    • BACnet 网关设备
    • Kafka
    • Cassandra(仅限适配器)
    • BoardReader
  • 数据流支持:
    • Kinesis
    • Hortonworks DataFlow (HDF) NiFi 集成 – SAS 和 HDF 能够提供即时、流传输和深入的情报。
  • 静态数据联接 - 集成来自数据库或文件的静态数据,以使用 ODBC 数据库适配器和连接器支持以及数据库驱动程序来丰富流数据。
  • Teradata 集成 - Teradata Listener 连接器将数据从 SAS 事件流处理发送到 Teradata Listener 应用程序。Teradata Listener 接收大量实时数据流,并将这些流中的数据保存到 Teradata、Aster 或 Hadoop。

自适应的流式分析和数据处理

  • 机器学习流传输算法支持允许您为各种连续学习算法创建评分和学习程序窗口。将训练和分数窗口组合用于定期更新模型。包括:
    • 流传输线性回归。
    • 流传输逻辑回归。
    • 支持向量机。
    • 基于密度的聚类 (DBSCAN)。
    • k 均值聚类。
    • 推荐系统。
    • t-分布随机邻域嵌入 (t-SNE)
  • 与 SAS 事件流处理打包在一起的流式分析包括:
    • 图像处理。
    • 视频编码。
    • 变化检测。
    • Kalman 过滤器。
    • 平滑。
    • 切片运算。
    • 滞后监控。
    • 子空间跟踪。
    • 直方图
    • 拟合统计量。
    • 移动相对距离 (MRR)。
    • 皮尔逊相关性。
    • 受试者操作特征 (ROC)。
    • 流传输摘要(单变量统计量)。
    • 分段相关性。
    • 短时傅立叶变换。
    • 流传输语音转录。
    • 流传输音频特征计算。
    • 文本标记化。
    • 文本矢量化。
    • Weibull 分布拟合。
  • 与 SAS 事件流处理一起打包的离线训练算法包括:
    • 稳健的主成分分析。
    • 贝叶斯网络。
    • 循环神经网络。
    • 卷积神经网络。
    • 深度神经网络。
  • 灵活的模块化、窗口驱动架构,用于定义复杂的连续查询:
    • 基于各种可互换的窗口类型和运算符来检测无限数量的模式、相关性、计算和聚合。
    • 预构建的通用数据质量例程用于在存储 livestream 数据之前对其进行清理、标准化和筛选,从而减少下游处理。
    • 重要模式包括几乎无限的高级分析计算,以及流式、机器学习 k-均值聚类和 livestream 分析评分。
  • 事件流窗口可转换事件状态和数据并处理入站流图像:
    • 地理围栏窗口类型允许您跟踪目标相对于地理围栏边框的位置。在目标接近、进入或离开定义的地理围栏边界时发出警报,并在地理围栏边界内跟踪实体。
    • 转置:使您可以将事件的行交换为列或将列交换为行。
    • 删除状态:促进将模型的有状态部分转换为模型的无状态部分。
    • 多目标跟踪器 (MOT):使您能够实时执行多目标跟踪 (MOT)。
    • 训练:历史数据的模型训练(用于精确的模型开发)补充静态数据的高性能分析。
    • 作为事件流模型工作流的一部分,通过短信、电子邮件和其他警报定义和自定义通知。
  • 分析模型包括 SAS ASTORE、DATAStep2、DATAStep、Python 和 C 代码片段。
  • 可嵌入网关、边缘设备、计算棒和任何现有 C++应用程序(带有专用线程池处理)。

图形设计时间环境

  • 与 SAS 模型管理器集成提供更快的自动集成和分析模型监控。浏览 SAS 模型管理器存储库以轻松定位和集成高级分析,从而嵌入 SAS 事件流处理项目。
  • 添加 SAS Viya 启用模式。
    • 使用 SAS 登录进行身份验证。
    • 将 Postgres 用作持久化数据存储。
  • 使用新 Kubernetes 运算符框架和为云中的 ESP 服务器提供的 Docker 容器启用多租户。
    • 每个租户的数据库。
    • 每个租户的模式。
  • 测试模式增强功能。
    • 更新的 UI。
    • 访问 ESP 服务器日志。
  • 在测试模式之外运行项目。
    • 测试长期运行的项目。
  • 可用性和用户体验改善。
    • 应用程序布局已更新。
    • 计算、联接、过滤器和聚合窗口中的表达式验证。
    • 测试模式的可配置 ESP 云服务器实例
    • 响应更快的 UI。
    • 图表改进。
    • 新的测试服务器管理页面。
    • 改进的输出模式面板。
    • ESP 语法和属性的增强型验证。
  • 与 SAS 事件流管理集成。
    • 已发布项目自动出现在 SAS 事件流管理中。
    • SAS 事件流管理中的次要版本更新已推回到 SAS Studio。

ESP 操作与监控

  • 多租户支持。
    • 每个租户的数据库。
    • 每个租户的模式。
  • ESP 服务器监控。
    • 动态 ESP 云服务器管理和配置。
    • ESP 心跳监测。
    • ESP 服务器状态报告。
    • ESP 服务器性能统计。
  • 增强的计量。
    • 使用情况报告的更多选择。
    • 按许可证/服务器/类型分类。
    • 按月/年分类。
  • 可用性和用户体验改善。
    • 更直观的问题指示。
    • 响应更快的 UI。
    • 使用 SAS 模型管理针对新最佳模型的警报改进部署管理。
    • 增强的服务器配置报告。
  • 部署控制。
    • 加载并启动没有模板的项目。
    • 停止并卸载没有模板的项目。
  • 与 ESP Studio 集成。
    • 已发布项目自动出现在 ESM 中。
  • 通过 SAS 事件流管理进行统一项目和服务器管理,您可以:
    • 通过易于使用的界面为在裸机或云中的 SAS 事件流处理服务器上执行的项目构建和管理可重复的部署计划。
    • 快速创建部署以监视服务器集合并简化管理。
    • 确定部署错误并仅对需要注意的服务器重试操作。
    • 创建 SAS 事件流处理服务器的筛选列表以应用部署操作。
    • 为快速自动化和用户提示创建可重复的部署脚本,从而简化 SAS 事件流处理项目激活。
    • 监视计量服务器显示使用的事件,以识别每个许可证的事件使用模式。
    • 轻松添加新的 SAS 事件流处理服务器以改进监视。

扩展的部署和开源支持

  • 为物联网应用程序在边缘部署 SAS 事件流处理:
    • 用于边缘计算的 SAS 事件流处理提供更小的可配置磁盘占用空间,以简化到更小边缘设备的部署。
    • 支持 Docker 容器部署,用于边缘计算的 SAS 事件流处理,以实现标准化部署。
  • SAS 事件流处理 Python 开发接口:
    • 使用熟悉、开放且灵活的 Python 接口,通过 SAS 事件流处理项目开发、发布、测试和流传输事件,以加快开发速度。
    • Python 发布/订阅 AP - 使用 Python 发布事件并订阅 SAS 事件流处理。

使用 SAS 与开源语言

  • C/C++。
  • SAS DATAStep2。
  • MapR 流支持 - Kafka 适配器已经过认证,可与 MapR 融合数据平台一起用于发布和订阅。
  • Python 发布/订阅 API。
  • 用于 SAS® Viya® 和 CAS 的 SAS 事件流处理 - 将 SAS Viya 数据挖掘和机器学习模型部署到 SAS 事件流处理以进行流传输分析。

事件流的可视化监视

  • 对可视化流数据和 ESP 项目洞察的支持包括:
    • 带登录的安全访问支持 SAS ESP Streamviewer 应用程序的授权访问。
    • Streamviewer 支持实时流传输仪表板中的 SAS 图形。
    • Streamviewer 组件支持在应用程序中嵌入,以提供 Streamviewer 实时洞察。
    • WebSocket 支持可靠而快速的 SAS 事件流处理服务器连接。
    • 用户可配置仪表板,用于自定义流媒体活动测试。
    • 交互式筛选和查询 livestream 活动,以检查元素的特定行为。
    • 使用新的 Web 套接字支持,监视来自 SAS 事件流处理服务器的事件,从而提高响应速度。
    • 使用图形表示将历史活动与当前处理进行比较。
    • 通过订阅重要事件来监视流处理细节。

Back to Top