Big data
Présentation et atouts
Le terme "Big Data" désigne les volumes importants et difficiles à gérer de données - structurées ou non - qui inondent les entreprises au quotidien. Mais ce n'est pas seulement le type ou la quantité de données qui est important, c'est ce que les organisations font avec les données qui compte. Les Big Data peuvent être analysées pour obtenir des informations qui améliorent les décisions et donnent confiance pour prendre des décisions stratégiques.
Histoire des big data
Les Big Data sont des données si volumineuses, rapides ou complexes qu'il est difficile, voire impossible, de les traiter à l'aide des méthodes traditionnelles. L'accès à de grandes quantités d'informations et leur stockage à des fins d'analyse existent depuis longtemps. Mais le concept de big data a pris de l'ampleur au début des années 2000, lorsque l'analyste Doug Laney a formulé la définition désormais courante des big data sous la forme des trois "V" :
Volume. Les organisations collectent des données provenant de diverses sources, notamment des transactions, des appareils intelligents (IoT), des équipements industriels, des vidéos, des images, de l'audio, des médias sociaux et bien plus encore. Dans le passé, le stockage de toutes ces données aurait été trop coûteux, mais le stockage moins onéreux grâce aux lacs de données, à Hadoop et à l'informatique en nuage a allégé le fardeau.
Vitesse. Avec la croissance de l'internet des objets, les données affluent dans les entreprises à une vitesse sans précédent et doivent être traitées en temps utile. Les étiquettes RFID, les capteurs et les compteurs intelligents rendent nécessaire le traitement de ces torrents de données en temps quasi réel.
Variété. Les données se présentent sous toutes sortes de formats - des données numériques structurées des bases de données traditionnelles aux documents textuels non structurés, en passant par les courriels, les vidéos, les enregistrements audio, les données boursières et les transactions financières.
Chez SAS, nous y associons deux dimensions supplémentaires :
Variabilité
En plus de l'augmentation de la vitesse et de la variété des données, les flux de données sont imprévisibles - ils changent fréquemment et sont extrêmement variables. C'est un défi, mais les entreprises doivent savoir reconnaître une tendance imminente sur les médias sociaux, et être capable de gérer les pics de charge quotidiens, saisonniers, et ponctuels déclenchés par des événements.
La véracité
La véracité fait référence à la qualité des données. Les données provenant de multiples sources différentes, il est difficile de les relier, de les faire correspondre, de les nettoyer et de les transformer d'un système à l'autre. Les entreprises doivent connecter et corréler les relations, les hiérarchies et les multiples liaisons de données, qui risquent sinon d’échapper à tout contrôle.
Le big data et l'analytique permettent une prise en charge globale de la personne
Le comté de Riverside utilise la gestion et l'analyse des données de SAS pour intégrer les données sanitaires et non sanitaires de son hôpital public, de son système de santé comportementale, de la prison du comté, des systèmes de services sociaux et des systèmes de lutte contre le sans-abrisme. En comprenant comment les individus interagissent avec les différents services, les parcours de soins peuvent être mis en correspondance avec les résultats en matière de santé, ce qui permet de coordonner les soins pour l'ensemble de la personne.
Quel est l'intérêt des big data ?
L'importance du big data ne se limite pas à la quantité de données dont vous disposez. La valeur réside dans la manière dont vous l'utilisez. En analysant des données provenant de n'importe quelle source, vous pouvez trouver des réponses qui 1) rationalisent la gestion des ressources, 2) améliorent l'efficacité opérationnelle, 3) optimisent le développement de produits, 4) génèrent de nouvelles opportunités de revenus et de croissance et 5) permettent une prise de décision intelligente. En combinant le big data et l'analytique haute performance, vous pouvez accomplir des tâches liées à l'entreprise telles que :
- Déterminer en temps quasi réel les causes premières des défaillances, problèmes et défauts.
- Repérer les anomalies plus rapidement et plus précisément que l'œil humain.
- Améliorer les résultats pour les patients en convertissant rapidement les données d'images médicales en connaissances.
- Recalculer le risque sur des portefeuilles complets en quelques minutes.
- Affiner la capacité des modèles de deep learning à classifier avec précision et à réagir à des variables changeantes.
- Détecter un comportement frauduleux avant qu'il n’ait une incidence sur votre entreprise.
Les big data dans le monde d'aujourd'hui
Les big data (ainsi que leur gestion et leur exploitation par les entreprises) transforment les modes d'utilisation de l'information dans le monde entier. Découvrez quel est l'impact des big data.
Que doit faire un héros des données ?
Qui sont les "data heroes" ? Un data scientist analyse et recherche des informations dans les données. Les ingénieurs de données construisent des pipelines axés sur le DataOps. Les responsables des données s'assurent que les données sont fiables et gérées de manière responsable. La synergie entre les rôles favorise le succès de l'analyse.
Data lake : Présentation et atouts
Contrairement à son cousin plus ancien, l'entrepôt de données, le lac de données est idéal pour stocker des données non structurées telles que des tweets, des images, des données vocales et des données en continu. Mais il peut stocker tous les types de données, quelles que soient leur source, leur taille, leur vitesse ou leur structure.
Big data et cloud
Les projets de big data exigent des ressources intenses pour le traitement et le stockage des données. En travaillant ensemble, les technologies big data et l'informatique en nuage offrent un moyen rentable de traiter tous les types de données - pour une combinaison gagnante d'agilité et d'élasticité.
Le deep learning a besoin de données volumineuses (big data), car celles-ci sont nécessaires pour isoler les modèles cachés et trouver des réponses sans surajuster les données. Avec le deep learning, plus vous disposez de données de bonne qualité, meilleurs sont les résultats.
L'innovation fondée sur les données
Les exabytes de big data d'aujourd'hui ouvrent d'innombrables possibilités pour saisir les informations qui stimulent l'innovation. Des prévisions plus précises à une efficacité opérationnelle accrue et à une meilleure expérience client, les utilisations sophistiquées des big data et de l'analytique propulsent des avancées qui peuvent changer notre monde - en améliorant le quotidien, en soignant les maladies, en protégeant les personnes vulnérables et les ressources.
Comment fonctionnent les big data
Avant que les entreprises ne puissent mettre le big data à leur service, elles doivent réfléchir à la manière dont il circule entre une multitude de lieux, de sources, de systèmes, de propriétaires et d'utilisateurs. Il existe cinq étapes clés pour prendre en charge ce tissu de "big data fabric" qui comprend des données traditionnelles et structurées ainsi que des données non structurées et semi-structurées :
- Définir une stratégie big data.
- Identifier les sources de big data.
- Accéder, gérer et stocker les données.
- Analyser les données.
- Prendre des décisions intelligentes, fondées sur des données.
1) Définir une stratégie big data.
Une stratégie big data est un plan conçu pour superviser et améliorer la manière dont vous acquérez, stockez, gérez, partagez et utilisez les données au sein et à l'extérieur de votre organisation. Une stratégie big data prépare le terrain pour la réussite de l'entreprise dans un contexte d'abondance de données. Lors de l'élaboration d'une stratégie, il est important de tenir compte des objectifs et initiatives métier et technologiques existants et futurs. Il faut donc considérer les big data comme tout autre asset de valeur et non comme un simple sous-produit des applications.
Cliquez sur l'infographie pour en savoir plus sur les big data.
2) Identifier les sources de big data
- Les données en continu proviennent de l'internet des objets (IoT) et d'autres appareils connectés qui transmettent leurs flux aux systèmes informatiques depuis des vêtements, voitures intelligentes, appareils médicaux, équipements industriels et autres. Vous pouvez traiter ces big data dès leur arrivée, en décidant quelles données conserver, et lesquelles analyser de façon plus approfondie.
- Les données desmédias sociaux proviennent des interactions sur Facebook, YouTube, Instagram, etc. Il s'agit de vastes quantités de big data sous forme d'images, de vidéos, de voix, de texte et de son - utiles pour le marketing, la vente et le support client. Elles se présentent souvent sous des formes non structurées ou semi-structurées, ce qui les rend particulièrement difficiles à utiliser et analyser.
- Lesdonnées accessibles au public proviennent d'un grand nombre de sources de données ouvertes comme le portail data.gov du gouvernement américain, le World Factbook de la CIA ou le portail des données ouvertes de l'Union européenne.
- D'autres big data peuvent provenir de lacs de données, de sources de données cloud, de fournisseurs et de clients.
3) Accès, gestion et stockage de big data
Les systèmes informatiques modernes offrent la vitesse, la puissance et la flexibilité nécessaires pour accéder rapidement à des quantités et des types de données massives. Outre un accès fiable, les entreprises ont également besoin de méthodes pour intégrer les données, créer des pipelines de données, garantir la qualité des données, assurer la gouvernance et le stockage des données, et préparer les données pour l'analyse. Certaines données volumineuses peuvent être stockées sur place dans un entrepôt de données traditionnel, mais il existe également des options flexibles et peu coûteuses pour le stockage et le traitement des données volumineuses via des solutions en nuage, des lacs de données, des pipelines de données et Hadoop.
4) Analyser les données
Grâce à des technologies de haute performance telles que le grid computing ou le in-memory analytics, les entreprises peuvent choisir d'utiliser toutes leurs données pour les analyser. Une autre approche consiste à déterminer d'emblée quelles données sont pertinentes avant de les analyser. Quoi qu'il en soit, l'analyse des big data est la façon dont les entreprises tirent parti de la valeur et de la connaissance des données. De plus en plus, le big data alimente les efforts d'analyse avancés d'aujourd'hui, tels que l'intelligence artificielle (IA) et l'apprentissage automatique (machine learning).
5) Prendre des décisions avisées, fondées sur des données
Des données bien gérées et fiables conduisent à des analyses et des décisions fiables. Pour rester compétitives, les entreprises doivent saisir toute la valeur du big data et opérer en fonction des données, c'est-à-dire prendre des décisions basées sur les preuves présentées par le big data plutôt que sur l'instinct. Les avantages de l'utilisation des données sont évidents. Les organisations guidées par les données sont plus performantes, plus prévisibles sur le plan opérationnel et plus rentables.
SAS® Information Governance
Quels que soient la source, le lieu de stockage, la taille et la complexité des données, SAS Information Governance permet aux utilisateurs de données de trouver, de cataloguer et de protéger plus rapidement et plus facilement les données les plus utiles à l'analyse. Les résultats de recherche orientés vers les métadonnées présentent des informations détaillées sur chaque donnée. À leur tour, les utilisateurs professionnels peuvent évaluer l'adéquation des données à l'objectif visé en faisant moins appel à l'informatique, en évitant de retravailler et en faisant des choix plus éclairés.
Lecture recommandée
-
ARTICLE
IoT: The customer experience accelerator you can't afford to ignoreIoT represents a powerful source of data that, when combined with analytics, can yield insights on everything from behavior to emotions to health. And that's why it's key to improving customer experience.
-
Interview
How does one of the largest cities in the world use data for social good? From data privacy to data quality, what are the challenges in using data for social good, and how does one large organization in New York City address them? Hear from a research scientist at the Center for Innovation through Data Intelligence about the data they have, the questions they ask of it, and the data they’d like to see in the future.
-
ARTICLE
Charlie Brown's teacher speaks Hadoop. Do you?Ever felt like you and your big data specialist were speaking different languages? Learn how a non-geek can speak big data.