Big Data
Was versteht man darunter und warum sind sie so wichtig?
Big Data ist eine gängige Bezeichnung für den exponentiellen Zuwachs und die Verfügbarkeit von strukturierten und unstrukturierten Daten. Big Data könnten ebenso wichtig für die Wirtschaft – und die Gesellschaft – werden, wie es das Internet bereits ist. Warum? Mehr Daten können zu genaueren Analysen führen.
Genauere Analysen können zu sichererer Entscheidungsfindung führen. Und bessere Entscheidungen können größere betriebliche Effizienz, Kostenreduzierungen und geringere Risiken bedeuten.
Definition von Big Data
Der Branchenanalyst Doug Laney (derzeit bei Gartner) hat bereits 2001 die heute anerkannte Definition von Big Data als die drei Vs Volume, Velocity und Variety (Volumen, Geschwindigkeit und Vielfalt) formuliert1.
- Volume. Viele Faktoren tragen zum wachsenden Datenvolumen bei. Über die Jahre gespeicherte Transaktionsdaten. Unstrukturierte Datenströme aus sozialen Medien. Wachsende Mengen erfasster Sensor- und Machine-to-Machine-Daten. In der Vergangenheit waren übermäßige Datenmengen vor allem ein Speicherproblem. Mit sinkenden Speicherkosten treten andere Probleme in den Vordergrund, wie die Bestimmung der Relevanz in großen Datenmengen und die Nutzung von Analysen zur Wertschöpfung aus relevanten Daten..
- Velocity. Die Datenströme bewegen sich in nie da gewesener Geschwindigkeit und müssen zeitnah verarbeitet werden. RFID-Tags, Sensoren und Smart Metering sorgen dafür, dass riesige Datenströme nahezu in Echtzeit verarbeitet werden müssen. Schnell genug reagieren zu können, um der Datengeschwindigkeit gerecht zu werden, stellt für die meisten Unternehmen eine Herausforderung dar.
- Variety. Die Daten fallen heute in unterschiedlichsten Formaten an. Strukturierte, numerische Daten in traditionellen Datenbanken, aus Branchenanwendungen erstellte Daten, unstrukturierte Textdokumente, E-Mail, Video, Audio, Börsentickerdaten und Finanztransaktionen. Das Verwalten, Verbinden und Beherrschen der unterschiedlichen Daten stellt für viele Unternehmen noch immer ein Problem dar
Bei SAS berücksichtigen wir zwei weitere Dimensionen, wenn wir über Big Data nachdenken:
- Variabilität. Zusätzlich zu der wachsenden Geschwindigkeit und Vielfalt der Daten kann der Datenfluss sehr unbeständig sein und periodische Spitzen aufweisen. Gibt es einen Trend in den sozialen Medien? Tägliche, saisonale und durch Ereignisse ausgelöste Datenspitzen können schwierig zu verwalten sein. Umso mehr, wenn es sich um unstrukturierte Daten handelt.
- Komplexität. Die Daten stammen heute aus einer Vielzahl von Quellen. Und es ist immer noch ein Unterfangen, Daten zwischen verschiedenen Systemen zu verknüpfen, anzupassen, zu bereinigen und zu übertragen. Es ist jedoch notwendig, sie zu verbinden und Beziehungen, Hierarchien und vielfache Datenverknüpfungen zu korrelieren, da Ihre Daten sonst schnell außer Kontrolle geraten würden.
1 Quelle: META Group. "3D Data Management: Controlling Data Volume, Velocity, and Variety." Februar 2001.
Big Data Insights
Riesige Datenmengen sinnvoll nutzen: für mehr Effizienz und geringere Risiken. Erfahren Sie alles über Herausforderungen, Technologien und Vorgehensweisen.
Warum Big Data für Sie eine Rolle spielen sollten
Das eigentliche Problem ist nicht, dass Sie sich große Datenmengen aneignen, sondern was Sie mit den Daten tun, auf die es ankommt. Die hoffnungsvolle Vision ist, dass Unternehmen in der Lage sein werden, Daten aus sämtlichen Quellen zu erfassen und relevante Daten nutzbar zu machen und zu analysieren, um Antworten zu finden, die es ihnen ermöglichen, 1. Kosten zu senken, 2. Zeit einzusparen, 3. neue Produkte und optimierte Angebote zu entwickeln und 4. klügere geschäftliche Entscheidungen zu treffen. Die Kombination von Big Data und Hochleistungsanalyse kann beispielsweise Folgendes ermöglichen:
- potenzielle Einsparungen von mehreren Milliarden Dollar durch das Feststellen von Ursachen für Fehlfunktionen, Probleme und Defekte nahezu in Echtzeit.
- Optimierung der Routen von Tausenden von Lieferfahrzeugen, während diese unterwegs sind.
- Analyse von Millionen von Artikelpositionen, um Preise festzulegen, die den Gewinn maximieren und den Bestand bereinigen.
- Erstellen von Einzelhandelsgutscheinen auf Basis der aktuellen und früheren Einkäufe der Kunden direkt am Point of Sale.
- Senden von zugeschnittenen Empfehlungen an mobile Endgeräte, wenn Kunden sich in der richtigen Gegend befinden, um sie zu nutzen.
- Neuberechnung ganzer Risikoportfolios in wenigen Minuten.
- schnelle Identifizierung der wichtigsten Kunden.
- Nutzung von Clickstream-Analyse und Data Mining zur Erkennung von betrügerischem Verhalten.
Zu berücksichtigende Herausforderungen
Viele Unternehmen sind besorgt, dass die Menge der angesammelten Daten so groß wird, dass es schwierig wird, die wertvollsten Informationen zu finden.
- Was ist, wenn die Datenmenge so groß und vielfältig wird, dass Sie nicht wissen, wie Sie diese handhaben sollen?
- Speichern Sie alle Ihre Daten?
- Analysieren Sie sie alle?
- Wie können Sie herausfinden, welche Datenpunkte wirklich wichtig sind?
- Wie können Sie sie zu Ihrem größten Vorteil nutzen?
Bis vor Kurzem waren Unternehmen darauf beschränkt, nur Teilmengen ihrer Daten zu nutzen, oder mussten sich auf einfache Analysen beschränken, weil das schiere Datenvolumen ihre Verarbeitungsplattformen überwältigte. Aber welchen Sinn hat es, Terabytes von Daten zu erfassen und zu speichern, wenn man sie nicht im vollen Zusammenhang analysieren kann oder Stunden oder Tage auf Ergebnisse warten muss? Andererseits lassen sich nicht alle geschäftlichen Fragen durch Big Data besser beantworten. Sie haben jetzt zwei Möglichkeiten:
Analyse riesiger Datenvolumen. Wenn für die Antworten, die Sie suchen, eine Analyse aller Ihrer Daten erforderlich ist, dann lassen Sie sich nicht abhalten. Es gibt heute Hochleistungstechnologien, die Werte aus riesigen Datenmengen extrahieren. Ein Ansatz ist die Nutzung von High-Performance Analytics-Technologien wie Grid Computing, In-Database Processing und In-Memory Analytics zur Analyse von großen Datenmengen.
Vorab bestimmen, welche Daten relevant sind. Traditionell neigte man dazu, alles zu speichern (Kritiker nennen das Datenhortung) und erst bei der Abfrage der Daten festzustellen, was relevant ist. Heute haben wir die Möglichkeit, Analysen am Front-End durchzuführen, um die Relevanz anhand des Kontextes zu bestimmen. Diese Art der Analyse bestimmt, welche Daten in Analyseprozesse integriert werden sollten und welche gegebenenfalls zur späteren Verwendung auf günstigem Speicherplatz gespeichert werden sollten.
Unterstützende Technologien
Eine Reihe aktueller technischer Fortschritte ermöglichen es Unternehmen, Big Data und Big Data Analytics optimal zu nutzen:
- günstiger, reichlicher Speicherplatz.
- schnellere Prozessoren.
- bezahlbare verteilte Big Data-Plattformen in Open Source.
- Parallelverarbeitung, Clustering, MPP, Virtualisierung, große Grid-Umgebungen, hohe Konnektivität und hohe Durchsätze.
- Cloudcomputing und andere Anordnungen mit flexibler Ressourcenzuteilung.
Anwendungsbeispiele für Big Data
Perspektive: UPS
UPS sind große Datenmengen nicht fremd. Das Unternehmen erfasst bereits seit den 1980er-Jahren eine Vielzahl von Paketbewegungen und Transaktionen. Inzwischen verfolgt UPS täglich die Daten von 16,3 Millionen Sendungen für 8,8 Millionen Kunden, mit durchschnittlich 39,5 Millionen Kundenanfragen zur Sendungsverfolgung pro Tag. Das Unternehmen speichert über 16 Petabyte Daten.
Ein Großteil der in jüngster Zeit erfassten Daten stammt jedoch von den Telematiksystemen in über 46.000 Fahrzeugen. So werden beispielsweise Daten zu Geschwindigkeit, Fahrtrichtung und der Leistung von Bremsen und Antriebsstrang gespeichert. Die Daten werden nicht nur zur Überwachung der täglichen Leistung genutzt, sondern auch für eine umfassende Neugestaltung der Routenstrukturen von UPS. Diese Initiative mit dem Namen ORION (On-Road Integration Optimization and Navigation) ist das wohl größte Operations Research-Projekt weltweit. Es greift auch stark auf Online-Kartendaten zurück und wird letztendlich die Routen der Fahrer in Echtzeit konfigurieren.
Einsparungen
Das Projekt hat 2011 bereits über 31,8 Millionen Liter Kraftstoff eingespart, indem es die täglichen Routen um gut 136 Millionen Kilometer verkürzt hat. UPS schätzt, dass durch die Einsparung von nur einer Meile pro Fahrer und Tag 30 Millionen US-Dollar gespart werden, die Gesamtersparnis ist also beträchtlich. Das Unternehmen ist außerdem bestrebt, mithilfe von Datenanalyse die Effizienz seiner 2.000 täglichen Flüge zu optimieren.2
2 Quelle: Thomas H. Davenport and Jill Dyche, "Big Data in Big Companies," Mai 2013.
Now you can run hundreds and thousands of models at the product level - at the SKU level - because you have the big data and analytics to support those models at that level.
Blogbeiträge zum Thema Big Data
Fit und gesund durch die Nutzung von Daten
Digitale Transformation und datengetriebene Unternehmen verändern die Art und Weise, wie wir handeln, einkaufen, arbeiten und leben. Das ist der Hintergrund für den Erfolg von Hadoop. In einem Gastbeitrag erläutert der SAS-Entwicklungspartner Cloudera, welche Rolle Hadoop jetzt schon spielt.
SAS Lösungen für Big Data
Das sollten Sie kennen!
Risk & Fraud
Risiken besser verstehen. Chancen schneller nutzen: Experten informieren über neueste Entwicklungen im Risikomanagement und in der Betrugserkennung.
Analytics
Analytics macht erfolgreich: Verlässliche Erkenntnisse. Neue Potenziale. Schnelleres Agieren. Lernen Sie Methoden, Best Practices und Vordenker kennen.
