Daftar Fitur SAS Event Stream Processing

Pemrosesan dalam memori, terdistribusi & dioptimalkan yang berskala

Pemrosesan dalam memori, terdistribusi & dioptimalkan yang berskala

  • Server SAS Event Stream Processing untuk memproses jutaan acara per detik dan waktu respons dengan keterlambatan dalam koneksi jaringan yang rendah (mili detik, sub milidetik).
  • Server pengukuran internal untuk memantau dan merekam penggunaan acara untuk setiap proyek SAS Event Stream Processing, jendela input, dan produksi server SAS Event Stream Processing – mempercepat pengumpulan data penggunaan acara.
  • Data yang dipertahankan dan dikumpulkan disimpan dalam memori untuk kinerja maksimum.
  • Kemampuan untuk memanfaatkan arsitektur grid terdistribusi, SAS Cloud Analytic Services (CAS), atau pada penyedia cloud umum dan pribadi (dukungan Azure dan AWS).
  • Kecepatan pemrosesan dapat disesuaikan dengan ukuran kumpulan simpul yang fleksibel, penyimpanan cache, dan lainnya.
  • Mencakup failover 1+N cara instan yang ditetapkan, failover asli, pengiriman terjamin tanpa menggunakan persistensi dan fungsi toleransi kesalahan lainnya untuk memastikan aktivitas pemrosesan streaming acara yang berhasil.
  • Akses penuh dan terbuka ke semua metadata acara.

Cloud native

Cloud native

  • Skrip penyebaran ringan SAS Event Stream Processing Baru memungkinkan Anda menyebarkan SAS Event Stream Processing untuk cloud lebih cepat, lebih mudah, dan dengan lebih sedikit sumber daya, tetapi dengan semua kekuatan SAS Event Stream Processing.
  • Skala sumber daya secara dinamis di cloud dengan kerangka kerja Operator Kubernetes bawaan baru dari SAS Event Stream Processing untuk penyebaran, pembaharuan, dan skala yang disederhanakan di cloud, umum atau pribadi.
  • Aktifkan integrasi Microsoft Azure Event Hub untuk menyerap acara dari Azure IoT Event Hub menggunakan Kafka atau dukungan SDK asli. Integrasi Azure IoT Edge didukung dengan integrasi Azure IoT Edge Hub dari SAS Event Stream Processing.
  • SAS ESP Kubernetes Load Balancer mendukung distribusi acara secara otomatis menggunakan teknik multicast, hash, dan round-robin dengan konfigurasi waktu penyebaran sederhana untuk setiap proyek.
  • Menyediakan Amazon Web Services Kinesis dan penghubung Redshift untuk koneksi sumber data streaming.
  • Mengaktifkan penerapan multitenancy-ready yang dapat diintegrasikan dengan lingkungan multitenant dan multiuser Anda.

Jendela model pembelajaran streaming

Jendela model pembelajaran streaming

  • Memungkinkan Anda menggabungkan berbagai jenis jendela untuk menentukan sumber input streaming data, pola minat, dan tindakan keluaran yang diturunkan. Jendela model streaming meliputi:
    • Belajar – Kembangkan model streaming analitik lanjutan dan teruskan pembaruan model yang dihasilkan ke jendela skor.
    • Skor – Terapkan model SAS terlatih dan sumber terbuka (format Python dan ONNX) ke acara streaming terkini untuk menghasilkan keluaran skor, serta dukungan untuk model pembelajaran yang menggunakan pelatihan dan penilaian secara bersamaan.
    • Hitung – Gunakan dengan model ATORE offline, kode Python, normalisasi data dan metode transformasi, serta model pembelajaran yang menyatukan pelatihan dan penilaian.
    • Pengawas model – Mengontrol model apa yang akan disebarkan, dan kapan serta di mana menyebarkannya (misalnya, ke jendela skor).
    • Pembaca model – Mengintegrasikan model SAS dan sumber terbuka (format Python dan ONNX) dan menerbitkan model ke jendela analitik streaming lainnya, seperti jendela skor.

Kemampuan untuk menggunakan & menghubungkan data streaming

Kemampuan untuk menggunakan & menghubungkan data streaming

  • Seperangkat penghubung data yang luas untuk memublikasikan dan berlangganan streaming data langsung dari data terstruktur dan tidak terstruktur, termasuk video, audio, dan gambar.
  • Konektor siap pakai dan mencakup baca dan tulis (yaitu, terbitkan dan berlangganan):
    • Konektor adaptor mempermudah pengelolaan adaptor dari dalam proyek SAS Event Stream Processing, menyederhanakan orkestrasi adaptor (mirip dengan orkestrasi konektor).
    • Aerospike (menggunakan teknologi plug-in).
    • Amazon Web Services: Kinesis dan Redshift.
    • Apache Camel.
    • Data audio.
    • Axeda.
    • BACNET.
    • Cassandra.
    • Common Event Format (CEF).
    • ODBC Basis Data: mendukung berbagai macam basis data seperti IBM DB2, Oracle, IBM Netezza, Sybase ASE dan lain-lain. Lihat dukungan Driver Data untuk daftar lengkap.
    • Event Stream Processor.
    • File/soket.
    • Pembaca HDAT.
    • HDFS.
    • IBM WebSphere MQ.
    • JMS.
    • Kafka.
    • PetaR.
    • Modbus.
    • MQTT.
    • Nurego.
    • OPC-UA.
    • OPC-DA.
    • OSIsoft PI Asset Framework.
    • Project Publish.
    • QuasarDB.
    • RabbitMQ.
    • RADAR (mendukung format Asterix CAT240).
    • REST.
    • SAS Cloud Analytic Services.
    • Set data SAS.
    • API penerbitan/berlangganan yang disesuaikan juga dapat ditulis dalam C atau Java.
    • SAS LASR Analytic Server.
    • Solace.
    • Teradata.
    • Tervela Data Fabric.
    • TIBCO Rendezvous.
    • Timer.
    • URL.
    • WebSocket.
    • Adaptor soket file XML/JSON.
  • Publikasi hanya ke SAS Event Stream Processing dari berikut ini:
    • BoardReader.
    • Antarmuka HTTP RESTful.
    • Sniffer log (Oracle, Greenplum).
    • Penyadap jaringan.
    • SYSLOG.
  • Berlangganan hanya dari SAS Event Stream Processing ke:
    • SOAP.
    • SMTP.
  • Konektor yang dibuat untuk sumber acara IoT:
    • Modbus.
    • MQTT.
    • OPC-UA.
    • OPC-DA.
    • Kamera UVC.
    • PylonCamera.
    • Modbus.
    • OSI PI Historian.
    • Perangkat gateway BACnet.
    • Kafka.
    • Cassandra (adaptor saja).
    • Boar.
    • dRea.
    • der.
  • Dukungan streaming data:
    • Azure IoT Event Hub.
    • Konektor Azure IoT Edge.
    • Integrasi NiFi Hortonworks DataFlow (HDF) – SAS dan HDF dapat memberikan kecerdasan langsung, streaming, dan mendalam.
  • Penggabungan data statis – Mengintegrasikan data statis dari basis data atau file untuk memperkaya data streaming menggunakan adaptor basis data ODBC dan penghubung dukungan bersama dengan driver basis data.

Analitik streaming & manipulasi data yang dapat disesuaikan

Analitik streaming & manipulasi data yang dapat disesuaikan

  • Dukungan algoritma streaming pembelajaran mesin memungkinkan Anda membuat jendela penilaian dan pembelajaran untuk berbagai algoritma pembelajaran berkelanjutan. Kombinasi jendela latih dan skor digunakan untuk memperbarui model secara berkala. Ini termasuk:
    • Regresi linear streaming.
    • Regresi logistik streaming.
    • Mesin vektor pendukung.
    • Pengelompokan K-means.
    • Pemberi rekomendasi.
    • Menyisipkan T-distributed stochastic neighbor (t-SNE).
  • Analitik streaming yang dikemas dengan SAS Event Stream Processing meliputi:
    • Pemrosesan Gambar bawaan (potong, ubah ukuran, putar, balik)
    • Pengkodean video.
    • Filter Butterworth.
    • Transformasi Cepstrum.
    • Deteksi perubahan.
    • Filter Chebyshev Tipe I atau Tipe II.
    • Pengelompokan berbasis kepadatan (DBSCAN).
    • Model Campuran Dirichlet Gaussian.
    • Distribusi yang Paling Sesuai.
    • Statistik kesesuaian.
    • Histogram.
    • Filter kalman.
    • Analisis Komponen Utama Kernel.
    • Pemantauan keterlambatan.
    • Rentang relatif bergerak (MRR).
    • Kepadatan Spektral Daya Parametrik.
    • Pencari Puncak.
    • Korelasi Tersegmentasi.
    • Korelasi Pearson Streaming.
    • Karakteristik operasi penerima (ROC).
    • Analisis Komponen Utama yang Kuat.
    • Korelasi tersegmentasi.
    • Nilai Shapley.
    • Transformasi Fourier waktu singkat.
    • Operasi irisan.
    • Pencari Puncak Irisan.
    • Menghaluskan.
    • Penilaian Pemantauan Stabilitas.
    • Komputasi fitur audio streaming (ucapan ke teks).
    • Ringkasan streaming (statistik univariat/multivariat).
    • Pelacakan sub ruang.
    • Tes T.
    • Pemetaan teks.
    • vektorisasi teks.
    • Transkripsi Teks (ucapan ke teks).
    • Distribusi Weibull yang paling sesuai.
    • Algoritma Konvolusi.
    • Pemrosesan Sinyal Digital Dimensi Tinggi.
    • Filter Hampel.
    • ICA Rekursif Daring.
    • Pemantauan Grafik KT Streaming.
  • Algoritma untuk pelatihan offline yang dikemas dengan SAS Event Stream Processing meliputi:
    • Analisis komponen utama yang kuat.
    • Jaringan Bayesian.
    • Jaringan neural dalam:
      • Jaringan neural konvolusional.
      • Recurrent Jaringan Neural
    • Mesin Faktorisasi.
    • Model Linear Umum.
    • Model Aditif Umum.
    • Pembelajaran Multi tugas Linear Umum.
    • Model Regresi Linier Umum.
    • Pohon Gradient Boosting.
    • Random Forest.
    • Pemberi rekomendasi (umpan balik implisit dan eksplisit).
    • Faktorisasi Matrik Terregulasi (RMF).
    • Deskripsi Data Vektor Pendukung.
    • Mesin Vektor Pendukung.
    • Term Frequency-Inverse Document Frequency (TFIDF).
  • Arsitektur yang fleksibel, modular, berbasis jendela untuk menentukan permintaan berkelanjutan yang kompleks:
    • Berdasarkan seperangkat jenis jendela dan operator yang luas yang dapat dipertukarkan untuk mendeteksi pola, korelasi, komputasi, dan agregasi dalam jumlah tak terbatas.
    • Rutinitas kualitas data umum yang terpasang sebelumnya digunakan untuk membersihkan, menetapkan, dan memfilter data streaming langsung sebelum disimpan sehingga mengurangi pemrosesan hilir.
    • Pola minat dapat mencakup kalkulasi analitik lanjutan yang hampir tidak terbatas dengan streaming, pengelompokan k-means pembelajaran mesin, dan penilaian analitik streaming langsung.
  • Jendela streaming acara untuk mengubah status dan data acara, dan memanipulasi gambar streaming internal:
    • Menggabungkan operasi pengubahan ukuran, rotasi, pemotongan, dan pembalikan gambar dengan algoritma visi komputer yang canggih untuk deteksi objek dan kasus penggunaan klasifikasi.
    • Jenis jendela geofence memungkinkan Anda melacak lokasi objek relatif terhadap batas geofence. Waspada saat objek mendekati, memasuki, atau meninggalkan batas geofence yang ditentukan – dan lacak entitas di dalam batas geofence.
    • Ubah urutan: Memungkinkan Anda untuk menukar baris acara sebagai kolom, atau kolom sebagai baris.
    • Hapus status: Memfasilitasi transisi bagian stateful dari model ke bagian stateless dari model.
    • Multiple object tracker (MOT): Memungkinkan Anda melakukan pelacakan multiobjek (MOT) secara waktu nyata.
    • Latih: Pelatihan model pada data historis (untuk pengembangan model yang akurat) melengkapi analitik performa tinggi untuk data tersimpan.
    • Tetapkan dan sesuaikan pemberitahuan melalui SMS, email, dan peringatan lainnya sebagai bagian dari alur kerja model streaming acara.
    • Jendela Lua: Memungkinkan eksekusi fungsi Lua untuk mengaktifkan operasi matematika berkecepatan tinggi, transformasi data, dan manajemen string XML/JSON.
    • Jendela StateDB: Jendela StateDB memungkinkan Anda menggunakan basis data berkinerja tinggi yang disebarkan secara eksternal untuk menyimpan dan memelihara status yang diperlukan untuk gabungan dan agregasi.
  • Dukungan model analitik meliputi:
    • SAS ATORE.
    • DATAStep2.
    • DATAStep.
    • Format ONNX dari SAS atau kerangka kerja pihak ketiga (misalnya, TensorFlow, PyTorch).
    • Kode python.
    • kode C.
  • Dapat disematkan di gateway, perangkat edge, compute stick, dan aplikasi C++ apa pun yang sudah ada (dengan pemrosesan kumpulan simpul khusus).

Lingkungan waktu desain kode rendah

Lingkungan waktu desain kode rendah

  • Lingkungan pengembangan grafis kode rendah atau lingkungan pengembangan Jupyter Lab Python yang ramah data ilmuwan tersedia, menyediakan opsi terbuka dan intuitif untuk merancang, menguji, membuat versi, dan menerbitkan proyek streaming ESP.
  • Model analitik mudah diintegrasikan menggunakan SAS Model Manager. Manajemen model menyediakan integrasi dan pemantauan model analitik yang lebih cepat dan otomatis.
    • Jelajahi Model Manager repositori model untuk menemukan dan mengintegrasikan analitik lanjutan dengan mudah untuk disematkan dalam proyek SAS Event Stream Processing.
    • Pilih dan Cari set besar model analitik dengan cepat untuk akses cepat.
    • Autentikasi dengan Logon SAS untuk akses pengguna yang disederhanakan dan terpadu.
    • Menggunakan Viya Postgres asli sebagai penyimpanan data yang terkelola dan konsisten untuk penyimpanan proyek ESP.
  • Multitenan yang diaktifkan menggunakan kerangka kerja operator Kubernetes baru dan kontainer Docker yang dikirimkan untuk server ESP di cloud.
  • Mode pengujian yang ditingkatkan, memungkinkan pengguna untuk fokus pada data yang paling penting.
    • Pembuatan dan penghancuran pod Server ESP otomatis untuk penggunaan sumber daya yang optimal.
    • UI yang diperbarui untuk respons yang lebih cepat dan pemilihan jendela keluaran khusus.
    • Akses ke log server ESP untuk proses debug yang disederhanakan.
  • Jalankan proyek di luar mode pengujian untuk melakukan pengujian jangka panjang.
  • Peningkatan kegunaan dan pengalaman pengguna:
    • Lihat dan perbarui properti Server ESP Kubernetes dari UI Studio ESP.
    • Tata letak aplikasi diperbarui untuk menyederhanakan pengujian dan desain.
    • Validasi ekspresi tipe-depan yang terintegrasi, sebaris, dalam jendela Hitung, Gabung, Filter, dan Agregasi untuk validasi ekspresi langsung.
    • Pengaturan memori, contoh, dan CPU yang dapat dikonfigurasi untuk mode uji server cloud ESP.
    • Penyempurnaan diagram dan tata letak untuk tampilan yang lebih intuitif.
    • Halaman manajemen server pengujian baru untuk penentuan server yang disederhanakan.
    • Hasil panel skema yang ditingkatkan dengan pemilihan jendela untuk tata letak hasil pengujian yang disesuaikan.
    • Meningkatkan validasi ESP proyek sintaks dan properti.
  • Editor Ekspresi yang Mudah Digunakan
    • Editor yang mudah digunakan untuk menulis dan memvalidasi ekspresi.
    • Penyelesaian otomatis tipe depan untuk fungsi dan informasi skema.
    • Semua fungsi dan operator yang didukung ESP tersedia.
  • Integrasi dengan SAS Event Stream Manager.
    • Mendukung kontrol versi proyek termasuk pemilihan versi mayor dan minor.
    • Pembaruan versi minor di SAS Event Stream Manager didorong kembali ke Studio SAS Event Stream Processing.
    • Proyek yang dipublikasikan muncul di SAS Event Stream Manager secara otomatis.

Operasi & pemantauan ESP

Operasi & pemantauan ESP

  • Buat dan kelola rencana penyebaran berulang dengan antarmuka yang mudah digunakan, untuk proyek yang dijalankan di server SAS Event Stream Processing di edge atau di cloud.
    • Buat penyebaran dengan cepat untuk memantau kumpulan server dan untuk menyederhanakan manajemen.
    • Identifikasi kesalahan penyebaran dan coba lagi operasi hanya pada server yang memerlukan perhatian.
    • Buat daftar yang telah dipilih dari server SAS Event Stream Processing untuk menerapkan operasi penyebaran.
    • Buat skrip penyebaran berulang untuk otomatisasi cepat dan permintaan pengguna, menyederhanakan operasionalisasi proyek SAS Event Stream Processing.
    • Pantau acara yang digunakan dengan tampilan server pengukuran untuk mengidentifikasi pola penggunaan acara per lisensi dan host.
    • Tambahkan server SAS Event Stream Processing baru dengan mudah untuk pemantauan yang lebih baik pada penyebaran edge.
    • Pemantauan server kelompok ESP mendukung lingkungan multitenant di cloud.
  • Pemantauan server ESP.
    • Manajemen dan konfigurasi server cloud ESP dinamis untuk mendukung pod dan kontainer Kubernetes yang dikelompokkan.
    • Secara otomatis mengelola pembuatan dan pembongkaran server ESP melalui kerangka kerja operator ESP Kubernetes.
    • Pemantauan mencakup pemantauan detak jantung ESP, pelaporan status server ESP, dan statistik kinerja server ESP.
    • Integrasi Prometheus untuk pemantauan Server SAS ESP.
    • Lihat riwayat penggunaan sumber daya dalam kelompok dari waktu ke waktu.
    • Identifikasi masalah sumber daya lebih awal dengan menjelajahi statistik pod, semuanya disediakan dalam UI yang jelas dan mudah diikuti.
    • Lihat informasi log untuk pod ESP yang aktif berjalan dan sebelumnya berjalan.
  • Peningkatan kegunaan dan pengalaman pengguna.
    • Kemampuan pencarian dan filter untuk menyebarkan proyek SAS Event Stream Processing dengan cepat ke cloud.
    • Indikator masalah yang lebih visual saat menjalankan proyek dalam produksi.
    • UI yang lebih responsif untuk pembaruan yang lebih cepat.
    • Peningkatan manajemen penyebaran dengan peringatan dari SAS Model Manager untuk model juara baru guna meningkatkan kolaborasi dengan tim ilmuwan data.
    • Pelaporan konfigurasi server yang disempurnakan untuk menyoroti penggunaan memori kelompok dan CPU.
  • Kontrol penyebaran untuk operasi yang disederhanakan dan penyebaran yang cepat.
    • Muat dan mulai proyek tanpa template dengan satu klik dari UI.
    • Hentikan dan Bongkar proyek tanpa template dengan satu klik dari UI.
  • Integrasi dengan Studio SAS Event Stream Processing.
    • Proyek yang dipublikasikan secara otomatis muncul di SAS Event Stream Manager dengan lokasi file bersama.

Penyebaran yang diperluas & dukungan sumber terbuka

Penyebaran yang diperluas & dukungan sumber terbuka

  • Sebarkan SAS Event Stream Processing di edge untuk aplikasi IoT:
    • SAS Event Stream Processing untuk Komputasi Edge menyediakan jejak disk yang lebih kecil dan dapat dikonfigurasi untuk penyebaran yang disederhanakan ke perangkat edge yang lebih kecil.
    • Dukungan untuk penyebaran kontainer Docker untuk SAS Event Stream Processing untuk Komputasi Edge untuk penyebaran standar.
  • Antarmuka pengembangan Python SAS Event Stream Processing:
    • Kecepatan pengembangan waktu dengan antarmuka Python yang Anda kenali, terbuka, dan fleksibel untuk mengembangkan, mempublikasikan, menguji, dan streaming acara melalui proyek SAS Event Stream Processing.
    • API penerbitan/berlangganan Python – Menerbitkan acara dan berlangganan SAS Event Stream Processing menggunakan Python.

Gunakan SAS & bahasa sumber terbuka

Gunakan SAS & bahasa sumber terbuka

  • SAS Event Stream Processing untuk SAS Viya® dan CAS – Menyebarkan model SAS Data Mining and Machine Learning ke SAS Event Stream Processing untuk analitik streaming.
  • Dukungan untuk eksekusi Python secara streaming dalam proyek SAS Event Stream Processing. Eksekusi asli dalam memori Python menggunakan teknologi layanan mikro analitik yang ditetapkan.
  • Dukungan untuk model ONNX asli menyimpulkan pada platform GPU untuk edge (di situs) dan untuk cloud (Docker).
  • Bahasa pemrograman SAS yang didukung termasuk SAS DATAStep2 dan SAS DATAStep.
  • Dukungan streaming MapR – Adaptor Kafka teruji untuk bekerja dengan platform data konvergen MapR untuk publikasi dan berlangganan.
  • Dukungan untuk API penerbitan/berlangganan Python untuk menerbitkan dan berlangganan ke server SAS Event Stream Processing untuk memberikan acara ke SAS Event Stream Processing dan mendengarkan wawasan dari SAS Event Stream Processing.

Pemantauan visual streaming acara

Pemantauan visual streaming acara

  • Dukungan untuk memvisualisasikan data streaming dan wawasan proyek SAS Event Stream Processing meliputi:
    • Akses aman dengan dukungan log-on untuk akses resmi ke aplikasi Streamviewer SAS Event Stream Processing.
    • Dukungan Streamviewer untuk grafik SAS di dashboard streaming secara waktu nyata.
    • Komponen Streamviewer mendukung penyematan dalam aplikasi untuk memberikan wawasan Streamviewer secara waktu nyata.
    • Dukungan WebSocket untuk konektivitas server SAS Event Stream Processing yang andal dan cepat.
    • Dashboard yang dapat dikonfigurasi pengguna untuk pengujian aktivitas streaming yang disesuaikan.
    • Filter secara interaktif dan aktivitas streaming langsung kueri untuk memeriksa perilaku elemen tertentu.
    • Respons lebih cepat dengan dukungan socket web baru untuk memantau acara dari server SAS Event Stream Processing.
    • Bandingkan aktivitas historis dengan pemrosesan saat ini menggunakan representasi grafis.
    • Pantau detail pemrosesan streaming dengan berlangganan acara menarik.