Daftar Fitur Penyusunan Data SAS

Akses data & metadata

• Gunakan sumber internal resmi apa pun, sumber data eksternal yang dapat diakses, dan data yang disimpan dalam memori di SAS Viya.
  • Lihat sampel tabel atau file yang dimuat di mesin dalam memori SAS Viya, atau dari sumber data yang terdaftar di SAS/ACCESS, untuk memvisualisasikan data yang ingin Anda kerjakan.
  • Buat koneksi dengan cepat ke dan di antara sumber data eksternal.
  • Akses informasi metadata fisik seperti nama kolom, tipe data, coding, jumlah kolom, dan jumlah baris untuk mendapatkan wawasan lebih lanjut tentang data.
• Sumber dan jenis data meliputi:
  • Amazon S3.
  • Amazon Redshift.
  • File berbasis DNFS, HDFS, PATH (CSV, SAS, Excel, dipisahkan).
  • DB2.
  • Hive.
  • Impala.
  • SAS LASR^™.
  • ODBC.
  • Oracle.
  • Postgres.
  • Teradata.
  • Umpan dari Twitter, YouTube, Facebook, Google Analytics, Google Drive, Esri, dan file lokal.
  • SAS Cloud Analytic Services (CAS).

Penyediaan data

• Memuat data secara paralel dari sumber data yang diinginkan ke dalam memori hanya dengan memilihnya – tidak perlu menulis kode atau memiliki pengalaman dengan alat ETL. (Data tidak dapat dikirim kembali ke sumber data berikut: Twitter, YouTube, Facebook, Google Analytics, Esri; hanya bersumber dari situs ini).
• Kurangi jumlah data yang disalin dengan melakukan pemfilteran baris atau pemfilteran kolom sebelum data disediakan.
• Pertahankan big data in situ, dan dorong pemrosesan ke sistem sumber dengan menyertakan add-on opsional Dalam Basis Data SAS.

Penyusunan data yang terpandu dan interaktif

• Mengubah, memadukan, membentuk, membersihkan, dan menstandarkan data dalam lingkungan visual yang interaktif yang memandu Anda melalui proses penyusunan data.
• Memahami dengan mudah bagaimana transformasi memengaruhi hasil, mendapatkan umpan balik visual hampir secara waktu nyata melalui pemrosesan SAS Viya dalam memori yang terdistribusi.

Pembelajaran mesin & saran AI

• Manfaatkan AI dan pembelajaran mesin untuk memindai data dan membuat saran transformasi yang cerdas.
• Terima saran dan selesaikan transformasi dengan mengeklik tombol. Tidak diperlukan pengkodean lanjutan atau kompleks.
• Saran otomatis meliputi:
  • Kasus.
  • Analisis jenis kelamin.
  • Kode yang cocok.
  • Mengurai.
  • Standardisasi.
  • Imputasi value yang hilang untuk variabel numerik.
  • Satu pengodean terkini.
  • Hapus kolom.
  • Pemangkasan spasi putih.
  • Konversi tipe data kolom.
  • Tengah dan skala.
  • Dedupe.
  • Pembuatan ID unik.
  • Penghapusan kolom untuk data yang jarang.

Transformasi berbasis kolom

• Gunakan transformasi berbasis kolom untuk menstandardisasi, memulihkan, dan membentuk data tanpa melakukan konfigurasi. Anda bisa:
  • Merubah bentuk tulisan
  • Mengonversi kolom.
  • Mengganti nama.
  • Menghapus.
  • Membagi.
  • Memangkas spasi putih.
  • Perhitungan khusus.
• Dukungan untuk tabel lebar memungkinkan penghematan paket data untuk pekerjaan penyusunan data cepat.

Transformasi berbasis baris

• Gunakan transformasi berbasis baris untuk memfilter dan membentuk data.
• Buat tabel berbasis analitik menggunakan transformasi ubah urutan untuk menyusun data untuk tugas analitik dan pelaporan.
• Buat filter sederhana atau kompleks untuk menghapus data yang tidak perlu.

Transformasi berbasis kode

• Tulis kode khusus untuk mengubah, membentuk, memadukan, memulihkan, dan menstandardisasikan data.
• Tulis ekspresi sederhana untuk membuat kolom yang dihitung, tulis kode tingkat lanjut, atau gunakan kembali cuplikan kode untuk fleksibilitas transformasional yang lebih besar.
• Impor kode khusus yang ditentukan oleh orang lain, bagikan praktik terbaik dan produktivitas yang kolaboratif.

Transformasi berbasis banyak masukan

• Gunakan transformasi berbasis banyak masukan untuk memadukan dan membentuk data.
• Padukan atau bentuk satu atau beberapa set data bersama-sama menggunakan antarmuka terpandu – tidak ada persyaratan untuk mengetahui SQL atau SAS. Anda bisa:
  • Menambahkan data.
  • Menggabungkan data.
  • Mengubah urutan data.

Pembuatan profil data

• Data profil untuk menghasilkan metrik profil dasar dan lanjutan berbasis kolom dan berbasis tabel.
• Gunakan metrik profil tingkat tabel untuk mengungkap masalah kualitas data dan mendapatkan wawasan lebih jauh tentang data itu sendiri.
• Telusuri setiap kolom untuk metrik profil tingkat kolom dan untuk melihat grafik visual hasil distribusi pola dan distribusi frekuensi yang membantu mengungkap wawasan tersembunyi.
• Gunakan berbagai jenis/sumber data (tercantum sebelumnya). Untuk membuat profil data dari Twitter, Facebook, Google Analytics, atau YouTube, Anda harus terlebih dahulu mengimpor data secara eksplisit ke lingkungan dalam memori SAS Viya.

Pemrosesan kualitas data

Kualitas Data SAS di SAS Viya termasuk dalam Penyusunan Data SAS.

Pembersihan data

• Gunakan definisi penguraian dan ekstraksi bidang khusus lokal dan konteks untuk membentuk kembali data dan mengungkap wawasan tambahan.
• Gunakan transformasi ekstraksi untuk mengidentifikasi dan mengekstrak informasi kontak (misalnya, nama, jenis kelamin, bidang, pola, identifikasi, email, dan nomor telepon) di kolom tertentu.
• Gunakan penguraian saat data dalam kolom tertentu perlu dibuat token ke dalam substring (misalnya, nama lengkap dibuat token ke dalam awalan, nama depan, nama tengah, dan nama keluarga).
• Dapatkan pengidentifikasi unik dari kode pencocokan yang menautkan sumber data yang berbeda.
• Standarisasi data dengan definisi spesifik lokal dan konteks untuk mengubah data menjadi format umum, seperti kasus.

Definisi identitas

• Analisis data kolom menggunakan aturan khusus lokal untuk menentukan jenis kelamin atau konteks.
  • Gunakan analisis identifikasi untuk menganalisis data dan menentukan konteksnya, yang sangat berharga jika data atau sumber data tidak dikenal.
  • Gunakan analisis jenis kelamin untuk menentukan jenis kelamin nama menggunakan aturan khusus lokal sehingga data dapat dengan mudah difilter atau disegmentasikan.
  • Buat ID unik untuk setiap baris dengan pembuat ID unik.
  • Identifikasi data subjek di setiap kolom dengan analisis identifikasi.
  • Identifikasi, temukan, dan urutkan data dengan menandai data dengan kolom dan tabel.

Pencocokan data

• Tentukan rekaman yang cocok berdasarkan definisi khusus lokal dan konteks.
• Identifikasi catatan yang cocok dengan mudah dengan menggunakan lebih dari 25 aturan khusus konteks seperti tanggal, alamat, nama, email, dll.
• Gunakan hasil transformasi kode pencocokan untuk menghapus duplikat, melakukan pencarian fuzzy atau penggabungan fuzzy.
• Temukan catatan yang serupa dan kelompok kan secara logis.

Pemantauan sistem & pekerjaan

• Gunakan kemampuan pemantauan terintegrasi untuk proses tingkat sistem dan pekerjaan.
• Dapatkan wawasan tentang berapa banyak proses yang berjalan, berapa lama waktu yang dibutuhkan, dan siapa yang menjalankannya.
• Filter dengan mudah melalui semua pekerjaan sistem berdasarkan status pekerjaan (berjalan, berhasil, gagal, tertunda, dan dibatalkan).
• Akses log kesalahan pekerjaan untuk membantu analisis akar penyebab dan pemecahan masalah. (Catatan: Pemantauan tersedia menggunakan Manajer Lingkungan SAS dan aplikasi pemantau pekerjaan.)

Penjadwalan pekerjaan impor data & penyusunan data

• Buat pekerjaan impor data dari kode yang dibuat secara otomatis untuk melakukan penyegaran data menggunakan penjadwalan terintegrasi.
• Jadwalkan impor penjelajah data sebagai pekerjaan sehingga akan menjadi proses otomatis dan berulang.
• Tentukan waktu, tanggal, frekuensi dan/atau interval untuk pekerjaan.

silsilah data

• Jelajahi hubungan antara sumber data yang dapat diakses, objek data, dan pekerjaan.
• Gunakan grafik hubungan untuk menampilkan secara visual hubungan yang ada di antara objek sehingga lebih mudah untuk memahami asal data dan melacak prosesnya.
• Buat beberapa tampilan dengan tab yang berbeda, dan simpan pengaturan tampilan tersebut.

Template rencana & kolaborasi proyek

• Gunakan rencana penyusunan data (template), yang terdiri dari sekumpulan aturan transformasi yang diterapkan ke satu atau beberapa sumber data, untuk meningkatkan produktivitas (menghabiskan lebih sedikit waktu untuk menyusun data).
• Gunakan kembali templat dengan menerapkannya ke set data yang berbeda untuk memastikan bahwa data diubah secara konsisten untuk mematuhi standar dan kebijakan data perusahaan.
• Andalkan kolaborasi berbasis tim melalui pusat proyek yang digunakan dengan proyek SAS Viya. Umpan aktivitas proyek menampilkan siapa melakukan apa dan kapan, serta dapat digunakan untuk berkomunikasi dengan anggota tim lainnya.

Analisis teks batch

• Ekstrak konten dokumen dengan cepat, dan lakukan identifikasi dan ekstraksi teks.