Détecter et corriger la qualité des données avec SAS® Data Quality

La qualité des données est un facteur critique de succès d’un projet décisionnel.

Quelques exemples :

• les indicateurs de performance d’une entreprise ne peuvent pas être calculés sur des données incomplètes (manque de plusieurs résultats par magasin par exemple),
• les indicateurs prédictifs (ex : scores d’appétence) nécessitent une qualité des données exemplaire qui conditionne l’efficacité des modèles prédictifs obtenus,
• les campagnes marketing ne peuvent pas être efficaces si pour un client le système génère deux ou plusieurs noms et adresses différents.

Qu’est ce qu’une mauvaise qualité des données ?

Les données peuvent être :

• manquantes : le champ revenu n’est pas toujours renseigné,
• incomplètes : un lot de clients d’une filiale est absent de l’extraction,
• aberrantes : la valeur de l’âge est fausse,
• en double : le même client est enregistré avec trois identifiants différents,
• obsolète : le client a déménagé.

Cette mauvaise qualité a plusieurs origines dans les processus et systèmes de gestion de l’entreprise :

• données externes de mauvaise qualité,
• manque de contrôle en amont sur les données saisies dans les systèmes de gestion,
• incident de transfert d’une partie des données dans le processus de collecte des informations,
• retard dans la mise à jour des informations,
• hétérogénéité des systèmes de codification,
• multiplicité des règles de calcul dans les systèmes de gestion,
• saisies multiples dans plusieurs systèmes de la même entité.

Les conséquences de la mauvaise qualité des données sont très importantes. Elle peut remettre en cause la production des indicateurs de performance, décrédibiliser le système d’information et même générer des pertes financières dans le cas des campagnes marketing.

Pour améliorer la qualité des données, un projet de correction de la qualité des données s’organise en quatre phases sous forme d’un cycle itératif :

• détection et analyse de la qualité des données variable par variable,
• procédures de correction en amont sur les système opérationnels,
• correction de la qualité des données injectées dans le système décisionnel,
• contrôle continu de la qualité des données.

SAS® Data Integration Server permet de détecter les différentes sources de mauvaise qualité à travers des alertes automatiques intégrées dans le traitement ETL.

SAS® Data Quality est un outil d’analyse de la qualité des données permettant de visualiser les données manquantes pour chaque variable d’un client, les données aberrantes d’une mesure ou les doublons d’un fichier client par exemple.

SAS® Data Quality permet de standardiser des codifications hétérogènes sans aucune programmation. SAS Data Quality dé-doublonne des enregistrements à partir de champs de type texte comme le nom ou la raison sociale et élimine les doublons pour les campagnes marketing. Les adresses peuvent être également standardisées selon la norme postale de la plupart des pays européens.

SAS® Data Quality s’intègre parfaitement dans le serveur ETL de SAS pour permettre de produire des données de très haute qualité.

WEBCAST : Rencontres CIO 2007
La qualité des données, un enjeu pour les entreprises

Le problème de la qualité des données se pose avec d'autant plus d'acuité que les volumes à traiter augmentent et que les applications tendent à se diversifier. Outre cela, les pressions réglementaires et les exigences de contrôle interne obligent les entreprises à s'intéresser de plus en plus à la qualité de leurs données. Devenue un enjeu essentiel pour les entreprises, elle est aussi maintenant source de compétitivité. Plus d'infos - site CIO-online

Ainsi, la qualité des données va au delà de la simple répercussion financière, elle influe entre autre sur la perception qu'ont les clients de l'entreprise. « Elle s'étend à tous les types de données recueillies et utilisées dans les entreprises : celles relatives aux fournisseurs, aux produits, et plus généralement, à tout le spectre des applications décisionnelles » rappelle Christophe Chalopin, responsable Solutions Integration et Qualité des données chez SAS.

SAS® Data Quality Solution [www.sas.com]