Μαζικά δεδομένα
Τι είναι και γιατί έχουν σημασία
Τα μαζικά δεδομένα είναι ένας όρος που περιγράφει τον μεγάλο όγκο δεδομένων – τόσο δομημένων όσο και μη δομημένων – που κατακλύζει μια επιχείρηση σε καθημερινή βάση. Αλλά δεν είναι ο όγκος των δεδομένων που είναι σημαντικός . Είναι αυτό που κάνουν οι οργανισμοί με τα δεδομένα που έχουν σημασία. Τα μαζικά δεδομένα μπορούν να αναλυθούν για πληροφορίες που οδηγούν σε καλύτερες αποφάσεις και στρατηγικές επιχειρηματικές κινήσεις.
Ιστορικό των μαζικών δεδομένων
Ο όρος "μαζικά δεδομένα" αναφέρεται σε δεδομένα που είναι τόσο μεγάλα, γρήγορα ή σύνθετα που είναι δύσκολο ή αδύνατο να τα επεξεργαστεί κανείς χρησιμοποιώντας παραδοσιακές μεθόδους. Η πράξη της πρόσβασης και της αποθήκευσης μεγάλων ποσοτήτων πληροφοριών για ανάλυση υπάρχει εδώ και πολύ καιρό. Ωστόσο η έννοια των μαζικών δεδομένων απέκτησε δυναμική στις αρχές της δεκαετίας του 2000, όταν ο αναλυτής του κλάδου Doug Laney διατύπωσε τον πλέον κυρίαρχο ορισμό των μαζικών δεδομένων ως τα τρία V:
Όγκος: Οι οργανισμοί συλλέγουν δεδομένα από διάφορες πηγές, συμπεριλαμβανομένων των επιχειρηματικών συναλλαγών, των έξυπνων συσκευών (IoT), του βιομηχανικού εξοπλισμού, των βίντεο, των κοινωνικών μέσων και πολλών άλλων. Στο παρελθόν, η αποθήκευσή τους θα ήταν πρόβλημα - αλλά η φθηνότερη αποθήκευση σε πλατφόρμες όπως οι λίμνες δεδομένων και το Hadoop έχουν ελαφρύνει το βάρος.
Ταχύτητα: Με την ανάπτυξη του Διαδικτύου των Πραγμάτων, τα δεδομένα μεταδίδονται σε επιχειρήσεις με πρωτοφανή ταχύτητα και πρέπει ο χειρισμός τους να γίνεται έγκαιρα. Οι ετικέτες RFID, οι αισθητήρες και οι έξυπνοι μετρητές οδηγούν στην ανάγκη αντιμετώπισης αυτών των χειμάρρων δεδομένων σε σχεδόν πραγματικό χρόνο.
Ποικιλία: Τα δεδομένα σε όλες τις μορφές - από δομημένα, αριθμητικά δεδομένα σε παραδοσιακές βάσεις δεδομένων έως μη δομημένα έγγραφα κειμένου, μηνύματα ηλεκτρονικού ταχυδρομείου, βίντεο, ηχητικά δεδομένα, δεδομένα χαρακτηρισμού μετοχών και χρηματοοικονομικές συναλλαγές.
Στην SAS, εξετάζουμε δύο πρόσθετες διαστάσεις όσον αφορά τα μαζικά δεδομένα:
Μεταβλητότητα:
Εκτός από τις αυξανόμενες ταχύτητες και ποικιλίες δεδομένων, οι ροές δεδομένων είναι απρόβλεπτες – αλλάζουν συχνά και ποικίλλουν σημαντικά. Είναι κάτι απαιτητικό, αλλά οι επιχειρήσεις πρέπει να γνωρίζουν πότε κάτι δημιουργεί τάση στα μέσα κοινωνικής δικτύωσης και πώς να διαχειρίζονται καθημερινά, εποχιακά φορτία δεδομένων και φορτία δεδομένων που ενεργοποιούνται από συμβάντα.
Εγκυρότητα:
Η εγκυρότητα αναφέρεται στην ποιότητα των δεδομένων. Επειδή τα δεδομένα προέρχονται από τόσες πολλές διαφορετικές πηγές, είναι δύσκολο να συνδέσουμε, να ταιριάξουμε, να καθαρίσουμε και να μετατρέψουμε δεδομένα σε όλα τα συστήματα. Οι επιχειρήσεις πρέπει να συνδέσουν και να συσχετίσουν σχέσεις, ιεραρχίες και πολλαπλές συνδέσεις δεδομένων. Διαφορετικά, τα δεδομένα τους μπορούν γρήγορα να βγουν εκτός ελέγχου.
Τα Big Data και Analytics δημιουργούν τις προϋποθέσει για ολοκληρωμένη περίθαλψη
Η κομητεία Riverside χρησιμοποιεί εργαλεία data management και analytics της SAS για να ενοποιήσει δεδομένα (υγεία και μη) από τα δημόσια νοσοκομεία, το σύστημα περίθαλψης, τις φυλακές, τις κοινωνικές υπηρεσίες και τη φροντίδα αστέγων. Κατανοώντας το πώς οι πολίτες αλληλεπιδρούν με τις διάφορες υπηρεσίες, οι ενέργειες φροντίδας μπορούν να συνδεθούν με συγκεκριμένα ζητούμενα δημόσιας υγείας, και, ακολούθως, σε ολοκληρωμένες υπηρεσίες περίθαλψης.
Γιατί τα μαζικά δεδομένα είναι σημαντικά;
Η σημασία των μαζικών δεδομένων δεν περιστρέφεται γύρω από το πόσα δεδομένα έχετε, αλλά τι κάνετε με αυτά. Μπορείτε να πάρετε δεδομένα από οποιαδήποτε πηγή και να τα αναλύσετε για να βρείτε απαντήσεις που δίνουν τη δυνατότητα για 1) μειώσεις κόστους, 2) μειώσεις χρόνου, 3) ανάπτυξη νέων προϊόντων και βελτιστοποιημένες προσφορές και 4) έξυπνη λήψη αποφάσεων. Όταν συνδυάζετε μαζικά δεδομένα με υψηλής ισχύος αναλύσεις, μπορείτε να ολοκληρώσετε εργασίες που σχετίζονται με την επιχειρηματικότητα , όπως:
- Προσδιορισμός των βαθύτερων αιτίων των βλαβών, των ζητημάτων και των ελαττωμάτων σε σχεδόν πραγματικό χρόνο.
- Spotting anomalies faster and more accurately than the human eye.
- Improving patient outcomes by rapidly converting medical image data into insights.
- Επανυπολογισμός ολόκληρων χαρτοφυλακίων κινδύνου σε λίγα λεπτά.
- Sharpening deep learning models' ability to accurately classify and react to changing variables.
- Εντοπισμός δόλιας συμπεριφοράς πριν επηρεάσει τον οργανισμό σας.
Μαζικά δεδομένα στον σημερινό κόσμο
Τα μαζικά δεδομένα - και ο τρόπος με τον οποίο οι οργανισμοί διαχειρίζονται και αντλούν πληροφορίες από αυτά - αλλάζουν τον τρόπο με τον οποίο ο κόσμος χρησιμοποιεί τις επιχειρηματικές πληροφορίες. Μάθετε περισσότερα σχετικά με τον αντίκτυπο των μαζικών δεδομένων.
Τι κάνει ένας Data Hero;
Ποιοι είναι οι data heroes; Οι data scientists αναλύουν τα δεδομένα και αναζητούν insights σε αυτά. Οι data engineers δημιουργούν pipelines επικεντρωμένα σε DataOps. Οι data officers διασφαλίζουν την αξιοπιστία των δεδομένων και την υπεύθυνη διαχείριση αυτών. Οι συνέργειες ανάμεσα σε αυτούς τους ρόλους δημιουργεί προϋποθέσεις επιτυχίας σε έργα analytics.
Πώς να γίνετε ένας data-driven οργανισμός;
Τα Big Data έχουν ποικίλες πηγές προέλευσης: αυτοκίνητα, wearables, «έξυπνες» συσκευές, μεταξύ άλλων. Μάθετε τους τρεις πυλώνες της data-driven θεώρησης, διαβάστε περισσότερα για τις λύσεις Big Data και ανακαλύψτε βέλτιστες πρακτικές από οργανισμούς που ξεπέρασαν σχετικές προκλήσεις
Data Lake και Date Warehouse- μάθετε τη διαφορά
Είναι ο όρος "data lake" μια ακόμα «μόδα» του μάρκετινγκ; Ή μία νέα ονομασία για το data warehouse; Ο Phil Simon βάζει τα πράγματα στη θέση τους για το τι είναι η data lake, πώς λειτουργεί και πότε μπορεί να την χρειαστείτε.
Big data και cloud
Τα big data projects έχουν μεγάλες απαιτήσεις σε πόρους για επεξεργασία και αποθήκευση δεδομένων. Ο συνδυασμός τεχνολογιών Big Data και Cloud Computing δημιουργεί εξοικονόμηση κόστους στη διαχείριση κάθε τύπου δεδομένων, επιτυγχάνοντας ταυτόχρονα agility και δυνατότητα επέκτασης.
Οι τεχνολογίες deep learning χρειάζονται τα Big Data, καθώς αυτά μπορούν να αποκαλύψουν τα κρυμμένα μοτίβα και να βρεθούν απαντήσεις χωρίς υπερβολική προσαρμογή των δεδομένων. Με το deep learning, όσο περισσότερα ποιοτικά δεδομένα έχετε, τόσο καλύτερα θα είναι τα αποτελέσματα. Wayne Thompson SAS Research & Development
Καινοτομία βάσει δεδομένων
Τα σημερινά exabytes μαζικών δεδομένων ανοίγουν αμέτρητες ευκαιρίες για να αποθηκεύσουν πληροφορίες που να οδηγούν στην καινοτομία. Από τις ακριβέστερες προβλέψεις έως την αυξημένη λειτουργική απόδοση και καλύτερες εμπειρίες πελατών, οι εξελιγμένες χρήσεις μαζικών δεδομένων και αναλυτικών στοιχείων προωθούν προόδους που μπορούν να αλλάξουν τον κόσμο μας - με βελτίωση της ζωής, θεραπεία ασθενειών, προστασία των ευάλωτων και εξοικονόμηση πόρων.
Πώς λειτουργούν τα Μαζικά Δεδομένα
Πριν οι επιχειρήσεις μπορέσουν να χρησιμοποιήσουν τα μαζικά δεδομένα, θα πρέπει να εξετάσουν πώς ρέουν μεταξύ πολλών τοποθεσιών, πηγών, συστημάτων, ιδιοκτητών και χρηστών. Υπάρχουν πέντε βασικά βήματα για να αναλάβετε αυτόν τον μεγάλο «ιστό δεδομένων» που περιλαμβάνει παραδοσιακά, δομημένα δεδομένα μαζί με αδόμητα και ημιδομημένα δεδομένα:
- Ορίστε μια στρατηγική για μαζικών δεδομένων.
- Προσδιορίστε πηγές μαζικών δεδομένων.
- Αποκτήστε πρόσβαση, προβείτε στη διαχείριση και αποθήκευση των δεδομένων.
- Αναλύστε τα δεδομένα.
- Λάβετε αποφάσεις που βασίζονται σε δεδομένα.
1) Ορίστε μια στρατηγική που βασίζεται σε μαζικά δεδομένα
Σε υψηλό επίπεδο, η στρατηγική για μαζικά δεδομένα είναι ένα σχέδιο που έχει σχεδιαστεί για να σας βοηθήσει να επιβλέπετε και να βελτιώνετε τον τρόπο απόκτησης, αποθήκευσης, διαχείρισης, κοινής χρήσης και χρήσης δεδομένων εντός και εκτός του οργανισμού σας. Η στρατηγική για μαζικά δεδομένα θέτει τις βάσεις για την επιχειρηματική επιτυχία εν μέσω αφθονίας δεδομένων. Κατά την ανάπτυξη της στρατηγικής, είναι σημαντικό να λάβετε υπόψη τους υφιστάμενους - και μελλοντικούς - επιχειρηματικούς και τεχνολογικούς στόχους και πρωτοβουλίες. Αυτό απαιτεί την αντιμετώπιση των μαζικών δεδομένων όπως κάθε άλλο πολύτιμο επιχειρηματικό περιουσιακό στοιχείο και όχι απλά ως ένα υποπροϊόν εφαρμογών.
Click on the infographic to learn more about big data.
2) Μάθετε για τις πηγές των μεγάλων δεδομένων
- Ροή δεδομένωνπροέρχεται από το Διαδίκτυο των Πραγμάτων (IoT) και άλλες συνδεδεμένες συσκευές που εισέρχονται σε συστήματα πληροφορικής από φορετές συσκευές, έξυπνα αυτοκίνητα, ιατρικές συσκευές, βιομηχανικό εξοπλισμό και άλλα. Μπορείτε να αναλύσετε αυτά τα μαζικά δεδομένα καθώς φτάνουν, αποφασίζοντας ποια δεδομένα θα διατηρήσετε ή όχι και ποια χρήζουν περαιτέρω ανάλυσης.
- Μέσα κοινωνικής δικτύωσης Τα δεδομένα προέρχονται από αλληλεπιδράσεις στο Facebook, το YouTube, το Instagram κλπ. Αυτό περιλαμβάνει τεράστιες ποσότητες μαζικών δεδομένων με τη μορφή εικόνων, βίντεο, φωνής, κειμένου και ήχου - χρήσιμα για λειτουργίες μάρκετινγκ, πωλήσεων και υποστήριξης. Αυτά τα δεδομένα βρίσκονται συχνά σε αδόμητες ή ημιδομημένες μορφές, οπότε δημιουργούν μια μοναδική δυσκολία για κατανάλωση και ανάλυση.
- Δημόσια διαθέσιμα δεδομένα προέρχονται από τεράστιες ποσότητες ανοιχτών πηγών δεδομένων όπως το data.gov της κυβέρνησης των ΗΠΑ, το CIA World Factbook ή την Πύλη Ανοικτών Δεδομένων της Ευρωπαϊκής Ένωσης.
- Άλλα μαζικά δεδομένα μπορεί να προέρχονται από λίμνες δεδομένων, πηγές δεδομένων υπολογιστικού νέφους, προμηθευτές και πελάτες.
3) Αποκτήστε πρόσβαση, προβείτε στη διαχείριση και αποθήκευση των μαζικών δεδομένων
Τα σύγχρονα υπολογιστικά συστήματα παρέχουν την ταχύτητα, τη δύναμη και την ευελιξία που απαιτείται για γρήγορη πρόσβαση σε τεράστιους όγκους και τύπους μαζικών δεδομένων. Μαζί με την αξιόπιστη πρόσβαση, οι εταιρείες χρειάζονται επίσης μεθόδους για την ενσωμάτωση των δεδομένων, τη διασφάλιση της ποιότητας των δεδομένων, την παροχή διακυβέρνησης και αποθήκευσης δεδομένων και την προετοιμασία των δεδομένων για αναλύσεις. Ορισμένα δεδομένα μπορεί να αποθηκεύονται σε εγκαταστάσεις σε παραδοσιακή αποθήκη δεδομένων – αλλά υπάρχουν επίσης ευέλικτες επιλογές χαμηλού κόστους για την αποθήκευση και το χειρισμό μαζικών δεδομένων μέσω λύσεων υπολογιστικού νέφους, λιμνών δεδομένων και Hadoop.
4) Αναλύστε τα μαζικά δεδομένα
Με τεχνολογίες υψηλής απόδοσης όπως η πλεγματοϋπολογιστική ή αναλυτικά στοιχεία στη μνήμηs, οι οργανισμοί μπορούν να επιλέξουν να χρησιμοποιήσουν όλα τα μαζικά δεδομένα τους για αναλύσεις. Μια άλλη προσέγγιση είναι να προσδιοριστεί εκ των προτέρων ποια δεδομένα είναι συναφή πριν από την ανάλυσή τους. Όπως και να έχει, η ανάλυση μαζικών δεδομένων είναι ο τρόπος με τον οποίο οι εταιρείες αποκτούν αξία και πληροφορίες από τα δεδομένα. Όλο και περισσότερο, τα μαζικά δεδομένα τροφοδοτούν τις σημερινές προηγμένες προσπάθειες ανάλυσης, όπως η τεχνητή νοημοσύνη.
5) Λάβετε έξυπνες αποφάσεις που βασίζονται δεδομένα
Τα αξιόπιστα δεδομένα με καλή διαχείριση οδηγούν σε αξιόπιστα αναλυτικά στοιχεία και αξιόπιστες αποφάσεις. Για να παραμείνουν ανταγωνιστικές, οι επιχειρήσεις πρέπει να αξιοποιήσουν την πλήρη αξία των μαζικών δεδομένων και να λειτουργήσουν με βάση τα δεδομένα-λαμβάνοντας αποφάσεις με βάση τα στοιχεία που παρουσιάζονται από τα μαζικά δεδομένα και όχι το ένστικτό τους. Τα οφέλη του να βασίζεται κάποιος σε δεδομένα είναι σαφή. Οι οργανισμοί που βασίζονται σε δεδομένα αποδίδουν καλύτερα, είναι λειτουργικά πιο προβλέψιμοι και είναι πιο κερδοφόροι.
SAS® Information Governance
Regardless of source, where the data is stored, or how large and complex it is, SAS Information Governance makes it faster and easier for data users to find, catalog and protect the big data that is most valuable for analysis. Metadata-oriented search results show detailed information about each data asset. In turn, business users can evaluate the data’s fitness for purpose with less reliance on IT while avoiding rework and making more informed choices.
Προτεινόμενη ανάγνωση
-
Series
Meet the data scientist: Kristin CarneyWhen Kristin Carney graduated with a BS in mathematics, she wasn't sure what she wanted to do with her degree. That’s when she began researching data science.
-
Article
Connected vehicles: IoT steers a new direction for OEMsWith IoT and analytics, automakers and their partners can reshape business models, find new ways to monetize data and serve customers better.
-
Interview
A brave new world of analyticsMike Frost from SAS explains how a modern analytics platform can help make sense of the new, complex data reality.