Funzionalità di SAS® Data Governance

Un unico ambiente di sviluppo per la data integration

  • Un'interfaccia grafica basata sul ruolo, di facile utilizzo e point-and-click che comprende numerose finestre configurabili per la gestione dei processi autorizzati. La funzionalità drag-and-drop elimina la necessità di programmazione.
  • Procedure guidate accedono ai sistemi di origine, creano strutture target, importano ed esportano funzioni dei metadati e creano/eseguono flussi di processi ETL e ELT.
  • Viste ad albero personalizzabili dei metadati consentono di visualizzarli e comprenderli.
  • L'interfaccia grafica dedicata alla profilazione dei dati facilita la risoluzione dei problemi del sistema di origine, pur mantenendo le regole di business in altri processi di gestione dei dati.
  • Sono supportati il debug interattivo e il test dei job durante lo sviluppo e l'accesso completo ai log.
  • La cronologia degli audit e il check-in/check-out consentono ai desaigner di vedere quali job o tabelle sono stati modificati, quando e da chi.
  • Capacità di distribuire le attività di integrazione dei dati su qualsiasi piattaforma e di connettere praticamente qualsiasi data store di origine o di destinazione.
  • L'integrazione con fornitori di terze parti Subversion e CVS offrono funzionalità avanzate di controllo delle versioni e dei sorgenti, come archiviazione, differenziazione e rollback.
  • Le funzionalità avanzate di importazione di codice SAS offrono agli utenti SAS una semplice modalità per importare job e codice SAS.
  • Opzioni di deployment dei job a riga di comando per il deployment di job singoli e multipli.

Designer di processi integrati

  • Costruisce e modifica i processi di data management con un designer di eventi visuale ed end-to-end.
  • Controlla l'esecuzione di data integration, degli stored process SAS e dei job di data quality.
  • Esegue job in modalità condizionale in base alla logica e alla parametrizzazione IF THEN.
  • Instrada "job" e processi da eseguire in parallelo.
  • Visualizza gli input e gli output dei job parametrizzati.
  • Resta in ascolto di eventi interni ed esterni, nonché di eventi attivati in modalità condizionale.
  • Esegue comandi esterni a livello di sistema operativo, come ad esempio chiamare script della shell.
  • Chiama servizi Web REST e SOAP.
  • Elenca e apre le vecchie versioni dei job (in modalità Sola lettura) e rende correnti le versioni storiche con il versioning integrato.
  • Fornisce pieno supporto alla promozione/migrazione di job a sostegno di DEV/TEST/PROD.
  • Utilizza linguaggi comuni di scripting per effettuare il deployment di job batch di integrazione in modalità automatizzata con il deployment automatico dei job.
  • Esegue flussi decisionali creati in SAS Decision Manager da un nodo di SAS Data Integration Studio.
  • Effettua il push dei dati in SAS® LASR dai nodi disponibili in SAS Data Integration Studio per preparare i dati per Visual Analytics.

Funzioni eccellenti di connettività e accesso ai dati

  • SAS Data Governance fornisce la connettività in modalità batch o in tempo reale a più origini dati su più piattaforme rispetto alla maggior parte delle altre soluzioni.
  • Sono disponibili engine di accesso ai dati per applicazioni aziendali, database non relazionali, RDBMS, appliance di data warehouse, formati di file per PC e altro ancora.
  • Loader di tabelle specializzati forniscono il bulk loading di Oracle, Teradata e DB2.
  • Lettore/scrittore di file disponibile per il file system Hadoop (HDFS) e supporto per MapReduce, Pig e Hive di Hadoop all'interno di flussi e Hortonworks.
  • Cloudera Impala Source Designer consente di visualizzare tabelle quando si accede ad Hadoop tramite l'interfaccia di Cloudera Impala.
  • Un ambiente di metadati completo e condiviso offre una definizione coerente dei dati per tutte le origini dati.
  • I metodi di accesso nativi offrono prestazioni eccellenti, limitano lo spostamento dei dati e riducono la necessità di codice personalizzato.
  • Supporto per il middleware orientato ai messaggi, tra cui WebSphere MQ di IBM, MSMQ di Microsoft, Java Message Service (JMS) e TIBCO Rendezvous. Supporto per dati non strutturati e semi-strutturati per analizzare ed elaborare i file.
  • Accesso a dati statici e in streaming per l'invio e la ricezione mediante servizi Web.
  • Ampliamento del supporto per database MPP: Aster Data nCluster, Pivotal Greenplum e Sybase IQ, consentendo un maggiore pushdown ELT e supporto per le utility di bulk loading.
  • Supporto nativo per l'elaborazione basata su SQL.
  • Migliore connettività verso i database Aster Data, Pivotal Greenplum, Hadoop e Sybase IQ con la possibilità di trasferire una maggiore elaborazione ai database.

Gestione coerente dei metadati

  • I metadati vengono acquisiti e documentati durante le trasformazioni e i processi di integrazione dei dati e sono disponibili per un riutilizzo immediato.
  • Sofisticate tecnologie di mappatura dei metadati propagano rapidamente le definizioni delle colonne dalle origini alle destinazioni e creano join di tabelle automatizzate e intelligenti.
  • La ricerca nei metadati consente di individuare rapidamente i componenti desiderati.
  • Analisi di impatto per valutare la portata e l'impatto di eventuali modifiche apportate a oggetti esistenti, come colonne, tabelle e job di processi, prima che si verifichino.
  • Capacità di determinare il percorso, i processi e le trasformazioni adottate per produrre le informazioni risultanti.
  • Il data lineage (analisi di impatto inverso), fondamentale per convalidare le dipendenze, aiuta ad alimentare la fiducia dell'utente nei dati.
  • Aggiornamenti batch vengono effettuati nel repository dei metadati di oggetti tramite un servizio di relazione per l'integrazione con SAS Lineage.
  • Analisi dei cambiamenti per scoperta, confronto, analisi e propagazione selettiva dei metadati.
  • Il supporto alla collaborazione tra più utenti include il check-in e il check-out degli oggetti.
  • Promozione e replica dei metadati in ambienti di sviluppo, test e produzione.
  • Importazione ed esportazione guidata dei metadati e standardizzazione delle colonne.
  • Flessibilità di implementazione guidata dai metadati, in modo che i job dei processi possano essere implementati per l'esecuzione batch come stored process riutilizzabili o come servizi Web.

Principi fondamentali di data quality

  • La funzione di data quality è integrata nei processi batch, near-real-time e real-time.
  • Il data cleansing viene fornito in lingua locale con conoscenza linguistica specifica e localizzazioni per più di 38 regioni in tutto il mondo.
  • Le funzioni di data quality sono disponibili sia in ambienti operativi che di reporting (transazioni e batch).
  • Un'interfaccia grafica interattiva consente di tracciare un profilo dei dati operativi per identificare dati incompleti, imprecisi o ambigui.
  • Le regole aziendali di data quality, personalizzabili e riutilizzabili, sono accessibili direttamente all'interno dei flussi di lavoro del processo.
  • Le regole di standardizzazione out-of-the-box conformano i dati agli standard aziendali, oppure puoi definire regole personalizzate per situazioni particolari.
  • I metadati costruiti e condivisi durante l'intero processo forniscono una traccia accurata delle azioni applicate ai dati puliti.
  • Il valore può essere aggiunto ai dati esistenti generando e aggiungendo indirizzi postali, geo codifiche, dati demografici o aggiuntivi, provenienti da altre fonti di informazione.
  • I data steward possono profilare i dati operativi e monitorare le attività dei dati in corso con un'interfaccia grafica interattiva progettata appositamente per le loro esigenze.
  • Processo semplice per istituzionalizzare le regole aziendali di data quality. Applica regole di base o complesse per convalidare i dati in base alle specifiche esigenze di business di un particolare processo, progetto o organizzazione. Le regole possono essere applicate in modalità batch o come processo di pulizia delle transazioni in tempo reale.
  • Il monitoraggio della qualità dei dati consente di esaminare continuamente i dati in real time e nel tempo per scoprire quando la qualità scende al di sotto di limiti accettabili.
  • Gli avvisi possono essere emessi quando è necessaria un'azione correttiva.

Estrazione, trasformazione, caricamento (ETL) + estrazione, caricamento & trasformazione (ELT)

  • L'interfaccia utente di trasformazione è potente e facile da usare, supporta la collaborazione e il riutilizzo dei processi e dei metadati comuni.
  • Le trasformazioni basate su SQL forniscono funzionalità ELT, tra cui: creazione di tabelle, unione, inserimento, cancellazione e aggiornamento delle righe, merge, impostazione SQL, estrazione ed esecuzione SQL.
  • Acquisizione, trasformazione, pulizia e caricamento dei dati da una o più fonti consentono di creare facilmente data warehouse, data mart o archivi dati BI e analitici.
  • I metadati vengono catturati e documentati durante i processi di data integration e transformation e sono disponibili per il riutilizzo immediato.
  • Le trasformazioni possono essere eseguite su qualsiasi piattaforma e con qualsiasi fonte di dati.
  • Oltre 300 trasformazioni predefinite a livello di tabella e di colonna.
  • Trasformazioni analitiche pronte all'uso, incluse correlazioni e frequenze, analisi della distribuzione e statistiche di sintesi.
  • La procedura guidata di trasformazione o i modelli di progettazione dei plug-in Java, consentono di generare facilmente trasformazioni riutilizzabili e ripetibili che vengono tracciate e registrate nei metadati.
  • I processi di trasformazione, richiamabili attraverso uscite personalizzate, code di messaggi e servizi web, sono riutilizzabili in altri progetti e ambienti.
  • Le trasformazioni possono essere eseguite in modo interattivo e programmate per essere eseguite in batch ad orari prestabiliti o in base ad eventi che ne attivano l'esecuzione.
  • Ambiente di framework per la pubblicazione delle informazioni negli archivi, un canale di pubblicazione, email o diversi message-queuing middleware.
  • Ricarica, aggiungi e aggiorna con facilità durante il caricamento.
  • Ottimizza le tecniche di caricamento con opzioni selezionabili dall'utente.
  • Le tecniche di caricamento su database comprendono la possibilità di bulk-load, la creazione di indici e chiavi, caduta e troncatura delle tabelle.
  • Le trasformazioni generano automaticamente un codice SAS high-performance, progettato per un'elaborazione più rapida ed efficiente.
  • Le trasformazioni includono: Supporto SCD di Tipo 1 per le tecniche di merge e hash, differenziazioni di tabella e miglioramenti per i caricatori SCD di Tipo 2.
  • La Compare Tables transformation confronta due fonti di dati e ne rileva le variazioni.
  • Fornisce la possibilità di chiamare i servizi web REST o SOAP.

Data federation

  • Accesso virtuale a strutture di database, applicazioni aziendali, file legacy del mainframe, testo, XML, code di messaggi e una miriade di altre fonti.
  • Possibilità di unire i dati tra le varie fonti, per accesso e analisi in tempo reale.
  • Accesso istantaneo a una visualizzazione dei dati in real-time utilizzando il visualizzatore dati nativo.
  • L'ottimizzazione delle query viene fornita automaticamente sia come parte delle richieste del DBMS, sia manualmente all'interno dell'editor SQL avanzato, e può essere utilizzata sia per sorgenti di dati omogenee che eterogenee.

Master Data Management

  • Le funzioni avanzate di ricerca dei metadati consentono di cercare per tipologia, nome, data o altre parole chiave, sottoinsieme di cartelle o altre opzioni. E di salvare le ricerche per un uso futuro.
  • Il supporto alla descrizione dei dati semantici delle fonti dati di input e output identifica in modo univoco ogni istanza di un elemento di business (cliente, prodotto, conto, ecc.).
  • Potenti strumenti di trasformazione e processi di data quality integrati migliorano la qualità dei dati master.
  • La sofisticata tecnologia di fuzzy-matching e le metodologie di clustering consentono di convalidare e consolidare i record master in gruppi di dati identificabili.
  • Il monitoraggio dei dati in tempo reale, i cruscotti e le scorecard consentono di verificare e controllare l'integrità dei dati nel tempo.
  • Può essere utilizzato come base per il passaggio ad una vera e propria offerta di master data management.
  • I flussi dati possono arrivare in una singola transazione o in centinaia di transazioni contemporaneamente.
  • I data set possono essere elaborati in un unico passaggio sui dati di origine.

Data Governance

  • Data management migliorato web-based e ambiente di dati aziendali facilitano rispettivamente la governance e il riferimento semantico.
  • Il glossario integrato dei dati aziendali consente di organizzare le terminologie aziendali in modo gerarchico e correlato ai proprietari dei termini, nonché i metadati tecnici come tabelle e processi di data management.
  • Capacità estese di data management, compreso il dashboarding web-based e il monitoraggio delle eccezioni alle regole di business per la reportistica e la remediation.
  • Le modifiche dei metadati pubblicati nel servizio SAS relationship per la visualizzazione del SAS Lineage, consentono agli utenti di business di visualizzare le relazioni o l'analisi dell'impatto.

Migrazione e sincronizzazione

  • Possibilità di migrare o sincronizzare i dati tra strutture di database, applicazioni aziendali, file legacy del mainframe, testo, XML, code di messaggi e una miriade di altre fonti.
  • Accesso a sorgenti e target basato sui metadati.
  • Un'ampia libreria di trasformazioni predefinite può essere estesa e condivisa con altri processi di integrazione.
  • Le regole aziendali di data quality, integrate e riutilizzabili, effettuano la pulizia dei dati man mano che vengono spostati, sincronizzati o replicati.
  • Riconosce le modifiche ai campi chiave e replica o sincronizza le modifiche su più database.
  • Lo scheduler integrato opzionale consente di propagare le modifiche apportate in uno o più sistemi ad altri sistemi su base programmata.
  • Fornisce servizi dati in real-time per progetti di sincronizzazione e migrazione.

Message queuing

  • Integrazione di processi aziendali asincroni attraverso la connettività message-based.
  • Interfacce con i principali prodotti di message-queuing, tra cui Microsoft MSMQ, IBM WebSphere, Tibco Rendezvous e Java Message Service (JMS).
  • Il delivery garantito di messaggi/transazioni riduce il costo delle interruzioni.
  • Accesso ottimizzato per ogni gestore di message-queue, progettato per il minimo sforzo nell'amministrazione.
  • Integrazione di applicazioni basate su eventi, in modo che le attività in un'applicazione attivino automaticamente le azioni in altre applicazioni.
  • Flussi e alert dinamici, event-driven.
  • Capacità di inviare e ricevere messaggi tra sistemi distribuiti e disparati.

Partizionamento ed elaborazione in parallelo

  • Scrivi parallelamente ad Hadoop.
  • SAS PROC DS2 e SAS FedSQL per SAS Scalable Performance Data Server.

S3 transformation

  • Capacità di push and pull dei dati da ambiente Amazon

Source designer per il CAS

  • Da SAS Data Integration Studio è possibile configurare e connettersi a SAS® Viya™ CAS.
  • Permette ai clienti di continuare a sfruttare la piattaforma SAS 9.4 esistente e di iniziare a utilizzare le funzionalità di SAS Viya.

SAS® Metadata Bridge for Tableau

  • Supporta Tableau (File) e Tableau Server (Repository).

Amministrazione potenziata e monitoraggio

  • I report sullo stato dei lavori e le prestazioni e le informazioni sugli andamenti forniscono la possibilità di tenere traccia delle metriche di utilizzo della CPU, memoria, l'I/O, ecc. e di fornire aggiornamenti su come le esecuzioni dei processi recenti si comportano rispetto alle esecuzioni precedenti.
  • Permette agli utenti di gestire e monitorare i loro ambienti di integrazione completi, compresi i seguenti tipi di lavori e attività:
    • Attività di data quality
    • Attività di federation cache: query programmate per aggiornare la federation cache.
    • Flussi di processo.
    • Accesso ai file di registro da un pannello centrale web-based per una risoluzione dei problemi più rapida e semplice.
    • SAS® Stored Processs.
    • Attività di Data Integration

     

Back to Top