SAS Event Stream Processing 功能列表
可扩展的内存、分布式和优化处理
可扩展的内存、分布式和优化处理
- SAS Event Stream Processing 服务器可实现每秒处理数百万个事件和低延迟响应时间（毫秒、亚毫秒）。
- 内置计量服务器，用于监控和记录每个 SAS 事件流处理项目、输入窗口和生产 SAS 事件流处理服务器的事件消耗，可加快事件消耗数据的收集。
- 保留和汇总的数据保留在内存中，以实现最佳性能。
- 能够充分利用分布式网格架构、SAS Cloud Analytic Services (CAS) 或公共和私有云提供商（Azure 和 AWS 支持）的优势
- 处理速度可通过灵活的线程池大小设置、缓存存储等进行定制。
- 包括专利瞬时 1+N 路故障转移、本地故障转移、无需使用持久性的保证交付和其他容错功能，以确保成功的事件流处理活动。
- 对所有事件元数据的完全开放访问。
云原生
云原生
- 全新 SAS Event Stream Processing 轻量级部署脚本，允许您更快捷地在云中部署容器化 SAS Event Stream Processing，使用资源更少，同时保留 SAS Event Stream Processing 的所有功能。
- 使用 SAS Event Stream Processing 全新的内置 Kubernetes Operator 框架，在云中动态扩展资源，简化公共或私有云的部署、升级和扩展性。
- 支持集成 Microsoft Azure Event Hub，使用 Kafka 或原生 SDK 支持提取 Azure IoT Event Hub 中的事件。Azure IoT Edge 集成支持 SAS Event Stream Processing 与 Azure IoT Edge Hub 集成。
- SAS ESP Kubernetes 负载均衡器支持使用多播、哈希和轮循技术对事件进行自动分发，每个事件的部署时间配置都简单省时。
- 提供 Amazon Web Services Kinesis 和 Redshift 连接器，简化数据源连接。
- 支持多租户就绪部署，可与多租户和多用户环境集成。
流式学习模型窗口
流式学习模型窗口
- 允许您组合不同的窗口类型以指定数据流输入源、重要模式和派生的输出操作。流传输模型窗口包括：
- 训练 - 开发流中的高级分析模型，并将产生的模型更新传递到分数窗口。
- 评分 – 将经训练的 SAS 和开源（Python 和 ONNX 格式）模型应用于当前的流事件，以产生评分输出，支持同时使用训练和评分模式的学习模型。
- 计算 - 与离线 ASTORE 模型、Python 代码、数据规范化和转换方法以及将训练和评分捆绑在一起的学习模型一起使用。
- 模型管理器 - 控制要部署的模型以及何时在何处部署模型（例如，部署到分数窗口）。
- 模型阅读器 – 整合 SAS 和开源（Python 和 ONNX 格式）模型，并将模型发布到另一个流传输分析窗口（如评分窗口）。
能够使用和连接流传输数据
能够使用和连接流传输数据
- 丰富的数据连接器套件，用于发布和订阅结构化和非结构化数据（包括视频和图像）的实时数据流。
- 预先构建即时可用的连接器，包括读写功能（即发布和订阅）：
- 适配器连接器使管理 SAS 事件流处理项目中的适配器变得更容易，并简化适配器业务流程（类似于连接器业务流程）。
- Aerospike（使用插件技术）。
- Amazon Web Services：Kinesis 和 Redshift。
- Apache Camel。
- 音频数据。
- Axeda。
- BACNET。
- Cassandra。
- 通用事件格式 (CEF)。
- 数据库 ODBC：支持多种数据库，例如 IBM DB2、IBM Netezza、Sybase ASE 等。有关完整列表，请参阅数据驱动程序支持。
- 事件流处理器。
- 文件/套接字。
- HDAT 阅读器。
- HDFS。
- IBM WebSphere MQ。
- JMS。
- Kafka。
- MapR。
- Modbus。
- MQTT。
- Nurego。
- OPC-UA。
- OPC-DA。
- OSIsoft PI 资产框架。
- 项目发布。
- QuasarDB。
- RabbitMQ。
- RADAR（支持 Asterix CAT240 格式）。
- REST。
- SAS Cloud Analytic Services。
- SAS 数据集。
- 定制发布/订阅 API 也使用 C 或 Java 编写。
- SAS LASR Analytic 服务器。
- Solace。
- Teradata。
- Tervela Data Fabric。
- TIBCO Rendezvous。
- 定时器。
- URL。
- WebSocket。
- XML/JSON 文件套接字适配器。
- 仅从以下各项发布到 SAS 事件流处理：
- BoardReader。
- HTTP REST 接口。
- 日志嗅探器（Oracle、Greenplum）。
- 网络嗅探器。
- SYSLOG。
- 只能从 SAS 事件流处理订阅：
- SOAP。
- SMTP。
- 专为 IoT 事件源构建的连接器：
- Modbus。
- MQTT。
- OPC-UA。
- OPC-DA。
- UVC 相机。
- pylonCamera。
- Modbus。
- OSI PI Historian。
- BACnet 网关设备。
- Kafka。
- Cassandra（仅限适配器）。
- Boar。
- Drea。
- der。
- 数据流支持：
- Azure IoT Event Hub。
- Azure IoT Edge Connector。
- Hortonworks DataFlow (HDF) NiFi 集成 – SAS 和 HDF 能够提供即时、流传输和深入的情报。
- 静态数据联接 - 集成来自数据库或文件的静态数据，以使用 ODBC 数据库适配器和连接器支持以及数据库驱动程序来丰富流数据。
自适应的流式分析和数据处理
自适应的流式分析和数据处理
- 支持机器学习流传输算法，允许您为多种连续学习算法创建评分和窗口。训练窗口和评分窗口组合用于定期更新模型。其中包括：
- 流传输线性回归。
- 流传输逻辑回归。
- 支持向量机。
- k 均值聚类。
- 推荐系统。
- t-分布随机邻域嵌入 (t-SNE)。
- 与 SAS 事件流处理打包在一起的流式分析包括：
- 内置图像处理（裁剪、调整大小、旋转、翻转）
- 视频编码。
- Kalman 过滤器。
- Cepstrum 转换。
- 变化检测。
- Chebyshev I 型或 II 型过滤器。
- 基于密度的聚类 (DBSCAN)。
- 狄利克雷高斯混合模型。
- 分布拟合。
- 拟合统计量。
- 直方图。
- Kalman 过滤器。
- 内核主成分分析。
- 滞后监控。
- 移动相对距离 (MRR)。
- 参数功率谱密度。
- 峰值查找器。
- 分段相关性。
- 流传输皮尔逊相关性。
- 受试者操作特征 (ROC)。
- 稳健的主成分分析。
- 分段相关性。
- 沙普利值。
- 短时傅立叶变换。
- 切片运算。
- 切片峰值查找器。
- 平滑。
- 稳定性监控评分。
- 流传输音频特征计算（语音转文本）。
- 流传输摘要（单变量/多变量统计量）。
- 子空间跟踪。
- T 测试。
- 文本标记化。
- 文本矢量化。
- 文本转录（语音转文本）。
- Weibull 分布拟合。
- 卷积算法。
- 高维数字信号处理。
- Hampel 过滤器。
- 在线递归 ICA。
- 流传输 KT 图监控。
- 与 SAS 事件流处理一起打包的离线训练算法包括：
- 稳健的主成分分析。
- 贝叶斯网络。
- 深度神经网络：
- 卷积神经网络。
- 循环神经网络
- 因式分解机。
- 广义线性模型。
- 广义加法模型。
- 广义线性多任务学习。
- 广义线性回归模型。
- 梯度提升树。
- 随机森林。
- 推荐人（隐式和显式反馈）。
- 正则化矩阵分解 (RMF)。
- 支持向量数据描述。
- 支持向量机。
- 词条频数-反向文档频数 (TFIDF)。
- 灵活的模块化、窗口驱动架构，用于定义复杂的连续查询：
- 基于各种可互换的窗口类型和运算符来检测无限数量的模式、相关性、计算和聚合。
- 预构建的通用数据质量例程用于在存储 livestream 数据之前对其进行清理、标准化和筛选，从而减少下游处理。
- 重要模式包括几乎无限的高级分析计算，以及流式、机器学习 k-均值聚类和 livestream 分析评分。
- 事件流窗口可转换事件状态和数据并处理入站流图像：
- 将图像大小调整、旋转、裁剪和翻转操作与强大的计算机视觉算法相结合，用于对象检测和分类用例。
- 地理围栏窗口类型允许您跟踪目标相对于地理围栏边框的位置。在目标接近、进入或离开定义的地理围栏边界时发出警报，并在地理围栏边界内跟踪实体。
- 转置：使您可以将事件的行交换为列或将列交换为行。
- 删除状态：促进将模型的有状态部分转换为模型的无状态部分。
- 多目标跟踪器 (MOT)：使您能够实时执行多目标跟踪 (MOT)。
- 训练：历史数据的模型训练（用于精确的模型开发）补充静态数据的高性能分析。
- 作为事件流模型工作流的一部分，通过短信、电子邮件和其他警报定义和自定义通知。
- Lua 窗口：允许执行 Lua 函数，以实现高速数学运算、数据转换和 XML/JSON 字符串管理。
- StateDB 窗口：StateDB 窗口能让您使用外部部署的高性能数据库，来存储和维护关联和聚合所需的状态。
- 分析模型支持包括：
- SAS ASTORE。
- DATAStep2。
- Datastep。
- 来自 SAS 或第三方框架（例如 TensorFlow、PyTorch）的 ONNX 格式。
- Python 代码。
- C 代码。
- 可嵌入网关、边缘设备、计算棒和任何现有 C++应用程序（带有专用线程池处理）。
低代码设计时间环境
低代码设计时间环境
- 提供低代码图形化开发环境，或对适用于数据科学家的 Jupyter Lab Python 开发环境，可为 ESP 流传输项目设计、测试、版本控制和发布提供直观的开放性选项。
- 可使用 SAS Model Manager 轻松集成分析模型。模型管理提供速度更快的自动集成和分析模型监控。
- 浏览 Model Manager 模型储存库，轻松确定并集成高级分析结果，将其嵌入到 SAS Event Stream Processing 项目中。
- 快速过滤和搜索大量分析模型以进行快速访问。
- 使用 SAS Logon 进行身份验证，实现简化、统一的用户访问。
- 使用原生 Viya Postgres 作为 ESP 项目存储的托管型永久性数据存储方式。
- 使用新 Kubernetes 运算符框架和为云中的 ESP 服务器提供的 Docker 容器启用多租户。
- 提供增强型测试模式，让用户专注于最重要的数据。
- 自动创建和删除 ESP 服务器容器 Pod，以实现最佳资源利用率。
- 更新用户界面，以加快响应速度和自定义输出窗口选择。
- 访问 ESP 服务器日志以简化调试。
- 在测试模式之外运行项目以执行长时间测试。
- 可用性和用户体验改进：
- 从 ESP Studio 用户界面查看和更新 Kubernetes ESP 服务器属性。
- 更新应用程序布局，以简化测试和设计。
- 计算、关联、过滤和聚合窗口中的集成、内联、预输入表达式验证，可实现即时表达式验证。
- 可配置内存、实例和 CPU 设置适用于 ESP 云服务器测试模式。
- 图表和布局改进，可提供更直观的视图。
- 新的测试服务器管理页面，用于简化服务器定义。
- 改进输出模式面板，支持自定义测试结果布局窗口选择。
- ESP 项目语法和属性的增强型验证。
- 易于使用的表达式编辑器
- 简单易用的编辑器，用于编写和验证表达式。
- 预输入自动完成函数和模式信息。
- 所有支持 ESP 的函数和运算符均可用。
- 与 SAS 事件流管理集成。
- 支持项目版本控制，包括主要和次要版本选择。
- SAS Event Stream Manager 中的次要版本更新已推回到 SAS Event Stream Processing Studio。
- 已发布项目自动出现在 SAS 事件流管理中。
ESP 操作与监控
ESP 操作与监控
- 使用简单易用的界面构建和管理可重复部署计划，适用于在边缘或云端的 SAS Event Stream Processing 服务器上执行的项目。
- 快速创建部署以监视服务器集合并简化管理。
- 确定部署错误并仅对需要注意的服务器重试操作。
- 创建 SAS 事件流处理服务器的筛选列表以应用部署操作。
- 创建可重复部署脚本以实现快速的自动化和用户提示，简化 SAS Event Stream Processing 项目的操作。
- 监控计量服务器显示消耗的事件，以确定每个许可证和主机的事件使用模式。
- 轻松添加新的 SAS Event Stream Processing 服务器，以改善对边缘部署的监控。
- ESP 群集服务器监控支持云端群集多租户环境。
- ESP 服务器监控。
- 动态 ESP 云服务器管理和配置，支持群集化 Kubernetes Pod 和容器。
- 通过 ESP Kubernetes 运算框架自动管理 ESP 服务器的创建和删除。
- 监控包括 ESP 检测信号监控、ESP 服务器状态报告和 ESP 服务器性能统计信息。
- 集成 Prometheus，用于 SAS ESP 服务器监控。
- 查看一段时间群集内的历史资源使用情况。
- 通过浏览 Pod 统计信息尽早发现资源问题，所有这些信息都通过清晰、易于理解的用户界面提供。
- 查看正在运行和之前运行的 ESP Pod 的日志信息。
- 可用性和用户体验改善。
- 借助搜索和过滤功能，可将 SAS Event Stream Processing 项目快速部署到云环境。
- 在生产环境中执行项目时，实现更直观的问题指示。
- 响应速度更快的用户界面，加快更新速度。
- 使用 SAS Model Manager 中的警报，改进全新最佳模型的部署管理，以增强与数据科学家团队的协作。
- 增强服务器配置报告，突出群集内存和 CPU 利用率。
- 可简化操作和加快部署的部署控件。
- 只需在 UI 中点击一下，即可加载和启动没有模板的项目。
- 只需在 UI 中点击一下，即可停止和卸载没有模板的项目。
- 与 SAS Event Stream Processing Studio 进行集成。
- 已发布项目自动出现在 SAS Event Stream Manager 中的共享文件位置。
扩展的部署和开源支持
扩展的部署和开源支持
- 为物联网应用程序在边缘部署 SAS 事件流处理：
- 用于边缘计算的 SAS 事件流处理提供更小的可配置磁盘占用空间，以简化到更小边缘设备的部署。
- 支持 Docker 容器部署，用于边缘计算的 SAS 事件流处理，以实现标准化部署。
- SAS Event Stream Processing Python 开发接口：
- 使用熟悉、开放且灵活的 Python 接口，通过 SAS 事件流处理项目开发、发布、测试和流传输事件，以加快开发速度。
- Python 发布/订阅 API – 使用 Python 发布事件并订阅 SAS Event Stream Processing。
使用 SAS 与开源语言
使用 SAS 与开源语言
- 用于 SAS Viya® 和 CAS 的 SAS Event Stream Processing – 将 SAS 数据挖掘和机器学习模型部署到 SAS Event Stream Processing 以进行流传输分析。
- 支持在 SAS Event Stream Processing 项目中以流传输方式执行 Python。使用专利的微分析服务技术对 Python 进行原生内存执行。
- 支持在边缘（本地）和云端（Docker）的 GPU 平台上进行原生 ONNX 模型推断。
- 支持的 SAS 编程语言包括 SAS Datastep2 和 SAS Datastep。
- 支持 MapR 流 – Kafka 适配器已通过认证，可与 MapR 聚合数据平台配合使用，以进行发布和订阅。
- 支持 Python 发布/订阅 API，以发布和订阅 SAS Event Stream Processing 服务器，将事件注入 SAS Event Stream Processing 并监听 SAS Event Stream Processing 中的洞察。
事件流的可视化监视
事件流的可视化监视
- 对可视化流数据和 SAS Event Stream Processing 项目洞察的支持包括：
- 带登录功能的安全访问支持 SAS Event Stream Processing Streamviewer 应用程序的授权访问。
- Streamviewer 支持实时流传输仪表板中的 SAS 图形。
- Streamviewer 组件支持在应用程序中嵌入，以提供 Streamviewer 实时洞察。
- WebSocket 支持可靠而快速的 SAS 事件流处理服务器连接。
- 用户可配置仪表板，用于自定义流媒体活动测试。
- 交互式筛选和查询 livestream 活动，以检查元素的特定行为。
- 使用新的 Web 套接字支持，监视来自 SAS 事件流处理服务器的事件，从而提高响应速度。
- 使用图形表示将历史活动与当前处理进行比较。
- 通过订阅重要事件来监视流处理细节。