SAS Event Stream Processing 功能清單
可擴充的記憶體內分散式最佳化處理
可擴充的記憶體內分散式最佳化處理
- SAS Event Stream Processing 伺服器每秒可處理數百萬個事件，且回應時間低延遲 (以毫秒、次毫秒計)。
- 內建計量伺服器，用於監控和記錄每個 SAS Event Stream Processing 專案、輸入視窗以及生產型 SAS Event Stream Processing 伺服器的事件處理資源使用量，因此加快事件處理資源使用量資料的收集。
- 保留和彙總的資料皆保存在記憶體內，以確保達到最高效能。
- 能夠充分利用分散式網格架構、SAS Cloud Analytic Services (CAS) 或公用雲端和私人雲端提供商服務 (支援 Azure 和 AWS)。
- 透過靈活的執行緒集區大小調整、快取存放區等，自訂處理速度。
- 包括獲專利的瞬間 1+N 向容錯移轉、原生容錯移轉、保證交付，無需使用持久性和其他容錯功能，即可確保事件串流處理活動成功。
- 完整且開放存取所有事件的中繼資料。
雲端原生
雲端原生
- 新 SAS Event Stream Processing 輕量型部署指令碼，讓您能使用較少資源更快、更輕鬆地在雲端部署容器化 SAS Event Stream Processing，又能利用 SAS Event Stream Processing 的所有強大功能。
- 利用 SAS Event Stream Processing 的全新內建 Kubernetes Operator 架構，在雲端上動態擴充資源，無論在公用雲端或私人雲端皆可簡化部署、升級和提高擴展性。
- 能與 Microsoft Azure Event Hub 整合，藉由使用 Kafka 或原生 SDK 支援，從 Azure IoT Event Hub 擷取事件。藉由 SAS Event Stream Processing 的 Azure IoT Edge Hub 整合，支援 Azure IoT Edge 整合。
- SAS ESP Kubernetes 負載平衡器支援使用多點傳送、雜湊和循環配置資源等技術，自動化執行事件分布，並且每個專案都可以進行簡單的時間設定。
- 提供 Amazon Web Services Kinesis 和 Redshift 連接器，與串流資料來源連線。
- 能夠進行多租戶就緒部署，且可與您的多租戶和多使用者環境整合。
串流內學習模型視窗
串流內學習模型視窗
- 讓您能夠結合不同的視窗類型，指定資料流輸入來源、感興趣的模式和衍生的輸出動作。串流模型視窗包括：
- 訓練 – 開發串流內進階分析模型，並將產生的模型更新至評分視窗。
- 評分 – 將訓練好的 SAS 和開放式程式碼 (Python 和 ONNX 格式) 模型套用於串流內的目前事件，以產生評分輸出，以及支援一起使用訓練和評分的學習模型。
- 計算 – 搭配使用離線 ASTORE 模型、Python 程式碼、資料正規化和轉換方法，以及將訓練和評分合併在一起的學習模型。
- 模型監督器 – 控制要部署哪個模型，以及部署該模型的時間和位置 (例如，部署至評分視窗)。
- 模型讀取器 – 整合 SAS 和開放式程式碼 (Python 和 ONNX 格式) 模型，並將模型發布至另一個串流資料分析視窗，例如，評分視窗。
能夠使用和連線串流資料
能夠使用和連線串流資料
- 提供廣泛的資料連接器套件，以發布和訂閱結構化和非結構化資料的即時資料串流，包括視訊、音訊和影像。
- 預建的立即可用連接器包括讀取和寫入 (即發布和訂閱)：
- 配接器連接器讓您更輕鬆地從 SAS Event Stream Processing 專案中管理配接器，進而簡化配接器協調流程 (與連接器協調流程類似)。
- Aerospike (使用外掛程式技術)。
- Amazon Web Services：Kinesis 和 Redshift。
- Apache Camel。
- 音訊資料。
- Axeda。
- BACNET。
- Cassandra。
- 通用事件格式 (CEF)。
- 資料庫 ODBC：支援各種資料庫，例如，IBM DB2、Oracle、IBM Netezza、Sybase ASE 和其他。如需完整清單，請參閱資料驅動程式支援。
- 事件串流處理器。
- 檔案/通訊端。
- HDAT 讀取器。
- Hadoop 分散式檔案系統。
- IBM WebSphere MQ。
- JMS。
- Kafka。
- MapR。
- Modbus。
- MQTT。
- Nurego。
- OPC-UA。
- OPC-DA。
- OSIsoft PI Asset Framework。
- Project Publish。
- QuasarDB。
- RabbitMQ。
- RADAR (支援 Asterix CAT240 格式)。
- REST。
- SAS Cloud Analytic Services。
- SAS 資料集。
- 自訂化發布/訂閱 API 也可用 C 或 Java 撰寫。
- SAS LASR Analytic Server。
- Solace。
- Teradata。
- Tervela Data Fabric。
- TIBCO Rendezvous。
- 計時器。
- URL。
- WebSocket。
- XML/JSON 檔案通訊端配接器。
- 僅可從下列工具發布至 SAS Event Stream Processing：
- BoardReader。
- HTTP RESTful 介面。
- 日誌嗅探器 (Oracle、Greenplum)。
- 網路嗅探器。
- SYSLOG。
- 從 SAS Event Stream Processing 僅可訂閱：
- SOAP。
- SMTP。
- 專為連至 IoT 事件來源所建的連接器：
- Modbus。
- MQTT。
- OPC-UA。
- OPC-DA。
- UVC 攝影機。
- PylonCamera。
- Modbus。
- OSI PI Historian。
- BACnet 閘道裝置。
- Kafka。
- Cassandra (僅限適配器)。
- Boar。
- dRea。
- der。
- 支援的資料串流：
- Azure IoT Event Hub。
- Azure IoT Edge Connector。
- 與 Hortonworks DataFlow (HDF) NiFi 整合 – SAS 和 HDF 可提供即時串流和深度智慧。
- 靜態資料聯結 – 使用支援的 ODBC 資料庫配接器和連接器搭配資料庫驅動程式，整合來自資料庫或檔案的靜態資料，以擴充串流資料。
可調適串流內資料分析和資料操作
可調適串流內資料分析和資料操作
- 機器學習串流演算法支援可讓您針對各種持續學習演算法，建立評分和學習視窗。可結合使用訓練和評分視窗，定期更新模型。這些包括：
- 串流線性迴歸。
- 串流羅吉斯迴歸。
- 支援向量機。
- K 平均值群集。
- 建議者。
- t-分布隨機鄰近嵌入 (t-SNE)。
- 與 SAS Event Stream Processing 一同封裝的串流內資料分析包括：
- 內建圖像處理 (裁切、調整大小、旋轉、翻轉)
- 視訊編碼。
- 巴特沃斯濾波器 (Butterworth Filter)。
- 倒頻譜轉換 (Cepstrum Transformation)。
- 變更偵測。
- 柴比雪夫 I 型或 II 型濾波器。
- 密度型群集 (DBSCAN)。
- Dirichlet 高斯混合模型。
- 分布配適度調整。
- 配適度統計資料。
- 直方圖。
- 卡爾曼濾波器。
- 核心主成分分析。
- 滯後監控。
- 移動相對範圍 (MRR)。
- 參數式功率頻譜密度。
- 峰值尋找工具。
- 區段劃分相關性。
- 串流皮爾森相關性。
- 接受者操作特徵 (ROC)。
- 穩健主成分分析。
- 區段劃分相關性。
- 夏普力值。
- 簡短時間富氏轉換。
- 圖塊操作。
- 圖塊峰值尋找工具。
- 平滑化。
- 穩定性監控評分。
- 串流音訊特徵計算 (語音轉換文字)。
- 串流摘要 (單變量/多變量統計資料)。
- 子空間追蹤。
- T 檢定。
- 文字 Token 化。
- 文字向量化。
- 文字轉錄 (語音轉換文字)。
- Weibull 分布配適度調整。
- 卷積演算法 (Convolution Algorithm)。
- 高維度數位訊號處理。
- 漢佩爾濾波器 (Hampel Filter)。
- 線上遞歸 ICA。
- 串流 KT 圖監控。
- 與 SAS Event Stream Processing 一同封裝的離線訓練演算法包括：
- 穩健主成分分析。
- 貝氏網路。
- 深度類神經網路：
- 卷積類神經網路 (Convolutional neural networks)。
- 遞歸類神經網路
- 因子分解機。
- 一般線性模型。
- 廣義加成模型。
- 廣義線性多任務學習。
- 廣義線性迴歸模型。
- 梯度提升樹。
- 隨機樹系。
- 建議者 (隱含和明確反饋)。
- 正規化矩陣因子分解 (RMF)。
- 支援向量資料描述。
- 支援向量機。
- 詞頻-逆向文件頻率 (TFIDF)。
- 靈活的模組化視窗驅動架構，能定義複雜的連續查詢：
- 以包含可互換視窗類型和運算子的廣泛套件為基礎，偵測無限數量的模式、相關性、計算和彙總。
- 使用預建通用資料品質常式，先將即時串流資料進行清理、標準化和篩選，再將資料儲存，從而減少下游處理程序。
- 感興趣的模式可包括幾乎無限數量的進階資料分析計算，其中包含串流內機器學習 k 平均值群集和即時串流分析評分。
- 透過事件串流視窗來轉換事件狀態和資料，並操控輸入串流影像：
- 將影像大小調整、旋轉、裁切和翻轉操作與效能強大的電腦視覺演算法結合，以用於物件偵測和分類使用案例。
- 地理柵欄視窗類型讓您能夠追蹤物件相對於地理柵欄邊界的位置。當物件接近、進入或離開定義的地理柵欄邊界時，系統會發出警示，並追蹤地理柵欄邊界內的實體。
- 轉置：讓您能夠將事件的資料列與資料欄互換，或將資料欄與資料列互換。
- 移除狀態：有助於將模型的可設定狀態部分轉換為模型的無狀態部分。
- 多物件追蹤器 (MOT)：讓您能夠即時執行多物件追蹤 (MOT)。
- 訓練：對歷史資料進行模型訓練 (以準確開發模型)，與靜態資料高效能資料分析相輔相成。
- 定義和自訂透過 SMS、電子郵件和其他警示發出的通知，做為事件串流模型工作流程的一部分。
- Lua 窗口：允許執行 Lua 函數，以實現高速數學運算、資料轉換和 XML/JSON 字串管理。
- StateDB 視窗：StateDB 視窗讓您能夠使用外部部署的高效能資料庫，以儲存和維護聯結和彙總所需的必要狀態。
- 分析模型相關支援包括：
- SAS ASTORE。
- DATAStep2。
- DATAStep。
- 源自 SAS 或第三方架構的 ONNX 格式 (例如，TensorFlow、PyTorch)。
- Python 程式碼。
- C 程式碼。
- 可內嵌於閘道、Edge 裝置、計算棒和任何現有的 C++ 應用程式 (並有專用執行緒集區處理)。
低程式碼設計時間環境
低程式碼設計時間環境
- 提供低程式碼圖形開發環境或適合資料科學家的 Jupyter Lab Python 開發環境，為設計、測試、進行版本設定和發布 ESP 串流專案提供開放直覺式選項。
- 藉由使用 SAS Model Manager 輕鬆整合分析模型。模型管理提供更快速、自動化的整合與監控分析模型。
- 瀏覽 Model Manager 模型存放庫，輕鬆找到並整合進階資料分析，以內嵌於 SAS Event Stream Processing 專案中。
- 快速篩選和搜尋大型分析模型集，以便迅速存取。
- 使用 SAS Logon 進行身分驗證，以簡化和統一使用者存取。
- 使用原生 Viya Postgres 做為受管理的持續性資料存放區，以用於 ESP 專案儲存。
- 藉由使用專為雲端中 ESP 伺服器所提供的新 Kubernetes 運算子架構和 Docker 容器，實現多租戶環境。
- 增強測試模式，讓使用者能夠專注於最重要的資料。
- 自動化建立和拆除 ESP 伺服器 Pod，以達到最佳的資源使用率。
- 更新使用者介面，以更快回應和選取自訂輸出視窗。
- 存取 ESP 伺服器日誌，以簡化偵錯。
- 不在測試模式下執行專案，以進行長時間執行的測試。
- 改善實用性和使用者體驗：
- 從 ESP Studio 使用者介面檢視並更新 Kubernetes ESP 伺服器屬性。
- 更新應用程式版面配置以簡化測試和設計。
- 「計算」、「聯結」、「篩選」和「彙總」視窗內提供整合式內嵌預先輸入運算式驗證，可立即進行運算式驗證。
- ESP 雲端伺服器測試模式可設定記憶體、執行個體和 CPU 設定值。
- 改善圖表和版面配置，實現更直覺化的檢視。
- 提供新的測試伺服器管理頁面，以簡化伺服器定義。
- 改善輸出結構描述面板搭配視窗選取，以自訂測試結果版面配置。
- 增強驗證 ESP 專案語法和性質。
- 易於使用的運算式編輯器
- 用於編寫和驗證運算式的高易用性編輯器。
- 以預先輸入方式自動填入函數和結構描述資訊。
- 可使用所有的 ESP 支援函數和運算子。
- 與 SAS Event Stream Manager 整合。
- 支援專案版本控制，包括主要和次要版本選取。
- 將 SAS Event Stream Manager 中的次要版本更新推回至 SAS SAS Event Stream Processing Studio。
- 已發布專案會自動顯示在 SAS Event Stream Manager 中。
ESP 操作與監控
ESP 操作與監控
- 透過易於使用的介面，建構並管理可重複執行的部署計劃，以便在 Edge 上或雲端中的 SAS Event Stream Processing 伺服器上執行專案。
- 快速建立部署，以便監控伺服器集合並簡化管理。
- 識別部署錯誤，並僅在需要注意的伺服器上重試操作。
- 建立 SAS Event Stream Processing 伺服器的篩選清單，以便套用部署操作。
- 建立可重複執行的部署指令碼，以提供快速自動化和使用者提示，進而簡化 SAS Event Stream Processing 專案操作化。
- 透過計量伺服器顯示來監控已取用事件，以便識別每個授權和主機的事件使用模式。
- 輕鬆新增 SAS Event Stream Processing 伺服器，以改善對 Edge 部署的監控。
- 對 ESP 群集伺服器的監控，有助於監控雲端中的群集化多租戶環境。
- ESP 伺服器監控。
- 動態 ESP 雲端伺服器管理和設定，可支援群集化 Kubernetes Pod 和容器。
- 透過 ESP Kubernetes 運算子架構，自動管理 ESP 伺服器的建立和拆卸。
- 監控包括 ESP 活動訊號監控、ESP 伺服器狀態報告，以及 ESP 伺服器效能統計資料。
- 與 Prometheus 整合，以監控 SAS ESP 伺服器。
- 檢視群集內隨著時間推移的歷史資源使用情況。
- 透過清晰且易於追蹤的使用者介面提供所有 Pod 統計資料，藉由探索這些統計資料，盡早識別資源問題。
- 檢視目前執行中和過去執行的 ESP Pod 的日誌資訊。
- 改善實用性和使用者體驗。
- 搜尋和篩選功能有助於將 SAS Event Stream Processing 專案快速部署至雲端。
- 在生產環境中執行專案時，以更多視覺指標顯示問題。
- 回應速度更快的使用者介面，以助更快的更新。
- 藉由 SAS Model Manager 針對新冠軍模型發出的警示，改善部署管理，進而增強與資料科學家團隊的協作。
- 增強伺服器組態報告，醒目提示群集記憶體和 CPU 使用率。
- 執行部署控制以精簡操作和快速部署。
- 只需在使用者介面上按一下，無需範本即可載入並啟動專案。
- 只需在使用者介面上按一下，無需範本即可停止並取消載入專案。
- 與 SAS Event Stream Processing Studio 整合。
- 已發佈專案及共用檔案位置會自動顯示在 SAS Event Stream Manager 中。
擴展部署與開放式程式碼支援
擴展部署與開放式程式碼支援
- 針對 IoT 應用程式，將 SAS Event Stream Processing 部署在邊緣：
- SAS Event Stream Processing for Edge Computing 的磁碟佔用空間較小且可設定，能簡化部署至較小邊緣裝置的作業。
- 支援 SAS Event Stream Processing for Edge Computing 的 Docker 容器部署，以進行標準化部署。
- SAS Event Stream Processing Python 開發介面：
- 透過熟悉的開放式靈活 Python 介面，加速開發時間，以完成 SAS Event Stream Processing 專案的開發、發佈、測試和串流事件。
- Python 發布/訂閱 API – 使用 Python 發布事件並訂閱 SAS Event Stream Processing。
使用 SAS 以及開放式程式碼語言
使用 SAS 以及開放式程式碼語言
- SAS Event Stream Processing for SAS Viya® 和 CAS – 將 SAS Data Mining and Machine Learning 模型部署至 SAS Event Stream Processing，以進行串流分析。
- 支援在 SAS Event Stream Processing 專案中的串流內執行 Python。藉由使用專利微資料分析服務技術，在原生記憶體內執行 Python。
- 支援適用於邊緣 (在現場) 和雲端 (Docker) 的 GPU 平台上的原生 ONNX 模型推斷。
- 支援的 SAS 程式設計語言包括 SAS DATAStep2 以及 SAS DATASte。
- MapR 串流支援 – Kafka 配接器通過認證，可與 MapR 融合資料平台搭配使用，以便發布和訂閱。
- 支援 Python 發布/訂閱 API，以便發布和訂閱 SAS Event Stream Processing 伺服器，然後將事件插入至 SAS Event Stream Processing，並聽取 SAS Event Stream Processing 的洞察。
視覺化監控事件串流
視覺化監控事件串流
- 支援以視覺化方式顯示串流資料和 SAS Event Stream Processing 專案洞察，其中包括：
- 確保安全存取，需登入取得授權，才能存取 SAS Event Stream Processing Streamviewer 應用程式。
- 支援 Streamviewer，在即時串流儀表板中顯示 SAS 圖形。
- 支援將 Streamviewer 元件內嵌於應用程式中，以提供 Streamviewer 即時洞察。
- 支援 WebSocket 以實現可靠快速的 SAS Event Stream Processing 伺服器連線。
- 使用者可設定儀表板，方便進行串流活動自訂測試。
- 透過互動方式篩選和查詢即時串流活動，以檢查元素的特定行為。
- 支援新的 Web 通訊端，能更快做出回應，監控 SAS Event Stream Processing 伺服器的事件。
- 以圖形呈現方式來比較歷史活動與目前處理。
- 藉由訂閱感興趣的事件，監控串流處理詳細情況。