Blue Abstract art

Big data

Czym są i dlaczego mają znaczenie?

„Big data” to popularne określenie opisujące gwałtowny wzrost i dostępność danych, zarówno posiadających ustaloną strukturę, jak i nieustrukturyzowanych. Przy czym, to nie rozmiar danych jest najważniejszy. Dokładniejsze analizy z wykorzystaniem big data mogą prowadzić do pewniejszych decyzji i zmian w strategii biznesu.

Historia i teraźniejszość big data

O ile sam termin „big data” jest relatywnie nowy, to zbieranie i przechowywanie dużych ilości informacji do celów analitycznych praktykowane było od bardzo dawna. Koncepcja zagadnień big data została przedstawiona na początku lat 2000, kiedy analityk branży Doug Laney przedstawił rozpowszechnioną już dziś definicję, według której dane masowe to trzy „V”: volume, czyli ilość, velocity, czyli szybkość, i variety, czyli różnorodność.

Ilość. Organizacje zbierają dane z różnorodnych źródeł: transakcje biznesowe, media społecznościowe, dane z sensorów, dane wymieniane między urządzeniami. W przeszłości przechowywanie tych danych stanowiło problem, ale obecnie nowe technologie (takie jak np Hadoop) znacznie to ułatwiły.

Szybkość. Dane powstają i są dostarczane niezwykle szybko i muszą być obsługiwane z odpowiednim reżimem czasowym. Znaczniki RFID, czujniki i inteligentne mierniki wymagają obsługi olbrzymich ilości danych w czasie zbliżonym do rzeczywistego.

Różnorodność. Dane przychodzą w różnych formatach – od ustrukturyzowanych, numerycznych danych w tradycyjnych bazach danych do niestrukturalnych dokumentów tekstowych, email, video, audio, danych znaczników magazynowych lub transakcji finansowych.

Kiedy w SAS mówimy o danych masowych, bierzemy pod uwagę dwa dodatkowe wymiary:

Zmienność (variability). Poza coraz większym tempem napływu danych i ich rosnącą różnorodnością przepływy danych mogą podlegać dużym wahaniom okresowym. Czy w mediach społecznościowych jakiś temat jest szczególnie popularny? Czasami trudno jest zarządzać danymi napływającymi w trakcie szczytu dziennego, sezonowego czy wywołanego konkretnym wydarzeniem. Jest to jeszcze trudniejsze w przypadku danych niestrukturalnych.

Złożoność (complexity). Dane napływają do nas z wielu różnych źródeł. Łączenie, dopasowywanie, oczyszczanie i przekształcanie danych w różnych systemach to zadania wymagające dużego wysiłku. Niemniej jednak łączenie i zestawianie relacji, hierarchii i różnorodnych powiązań między danymi jest niezbędne. W przeciwnym razie potoki danych mogą łatwo wymknąć się spod kontroli.

Potencjał big data

Ilość danych, które są wytwarzane i składowane w skali globalnej jest prawie niewyobrażalna, a na dodatek ciągle rośnie. Oznacza to niewykorzystany potencjał istotnych biznesowo informacji – ciągle tylko mały procent danych jest rzeczywiście analizowany. Co to oznacza dla biznesu? Jak można lepiej wykorzystać strumienie informacji znajdujących się każdego dnia w zasięgu organizacji?


Dlaczego big data są ważne?

Wartość big data nie zależy od tego ile mamy danych, ale od tego w jaki sposób je wykorzystamy. Przykładowo, możemy wykorzystać dane z wielu źródeł aby: 1) zmniejszyć koszty, 2) zredukować czas, 3) wytworzyć nową ofertę produktową, 4) podjąć lepsze decyzje. Jeśli połączymy dane masowe z zaawansowaną analityką, możemy wspomóc operacje biznesowe, takie jak:

  • Określenie przyczyn awarii, nieprawidłowej pracy, defektów w czasie zbliżonym do rzeczywistego.
  • Generowanie kuponów w miejscu zakupów, bazując na zwyczajach zakupowych klienta.
  • Przeliczanie ryzyka całego portfela w ciągu minut.
  • Wykrywanie zachowania wskazującego na nadużycie, zanim znacząco wpłynie ono na organizację.

 

Big data w dzisiejszym świecie

Big data - i sposób w jaki organizacje są w stanie wykorzystać wiedzę w nich zawartą - zmieniają sposób wykorzystania informacji w biznesie. Dowiedz się więcej o znaczeniu big data.

 
Visa Logo

Visa wdraża analitykę

Dzięki analityce wykorzystującej big data, Visa zwiększa satysfakcję klientów i blokuje transakcje o znamionach nadużyć na kartach kredytowych i debetowych.

Więcej informacji

Forrester Logo

SAS liderem w raporcie Forrester

Forester ocenił 13 dostawców dostarczających narzędzia zawierające kluczowe funkcjonalności analityki predykcyjnej, szerokie spektrum rozwiązań branżowych wykorzystujących analitykę i inne kluczowe technologie.

Przeczytaj raport

White Paper

Big Data playbook

Dowiedz się, w jaki sposób użytkownicy biznesowi bez pogłębionej wiedzy technicznej mogą używać środowiska Hadoop – oraz w jaki sposób ta technologia zmieni środowisko przetwarzania danych w organizacjach w nadchodzących latach.
Więcej informacji

Book

Big data i data mining

Jared Dean, ekspert data mining w swojej najnowszej książce wyjaśnia w jaki sposób możliwa jest maksymalizacja korzyści z wykorzystania high-performance computing oraz zaawansowanej analityki.

Więcej informacji

ghosted screen captures background
SAS Visual Analytics screenshot on monitor


Hadoop w Twoim środowisku big data?

SAS dostarcza kompleksowy pakiet technologii, która jest potrzebna, aby uzyskać wartościową wiedzę zawartą w wielkich zbiorach danych.

Dowiedz się więcej o rozwiązaniach big data oferowanych przez SAS

Kto używa big data?

Big data wpływa na rozwój organizacji praktycznie w każdym sektorze rynku. Zobacz, w jaki sposób różne branże uzyskują korzyści z tego typu inicjatyw.

Banki

W bankowości strumienie danych napływających z wielu źródeł dają możliwość odkrywania nowej wiedzy i innowacyjnych sposobów zarządzania danymi masowymi. Z jednej strony kluczowe jest zrozumienie klienta i podniesienie jego satysfakcji z oferowanych mu usług, ale z drugiej strony konieczne jest minimalizowanie ryzyka i redukcja potencjalnych nadużyć oraz zapewnienie zgodności z regulacjami instytucji nadzorczych. Big data pozwala na uzyskanie kompleksowej wiedzy, ale tylko wtedy, gdy instytucje finansowe przejdą na wyższy poziom wykorzystania zaawansowanej analityki.

Edukacja

Osoby odpowiedzialne za kształcenie, dzięki wiedzy pochodzącej z analizy wielkich zbiorów danych mogą wnieść istotny wkład w rozwój systemu oświaty i programów nauczania. Dzięki analizie big data można identyfikować zagrożenia dla uczniów, pomagać studentom w wyborze właściwej ścieżki edukacji oraz usprawnić system oceny i wsparcia nauczycieli.

Sektor publiczny

Instytucje publiczne mogą wykorzystać analitykę bazującą na gromadzonych danych masowych, aby usprawnić zarzadzanie, optymalizować koszty, zwiększać jakości obsługi obywateli oraz przeciwdziałać przestępczości. Oczywiście istotne znaczenie mają tu wymogi związane z transparentnością działań oraz ochroną prywatności obywateli.

Ochrona zdrowia

W przypadku ochrony zdrowia wszystko musi być robione szybko i dokładnie, a także bardzo często z zachowaniem reguł transparentności i bezpieczeństwa wymaganego przez szczegółowe regulacje. Efektywne zarządzanie big data pozwala służbie zdrowia odkryć nieznane zależności oraz polepszyć obsługę pacjenta.

Produkcja

Przedsiębiorstwa wyposażenie w informacje pochodzące z analizy dużych zbiorów danych mogą podnieść jakość produktów, zwiększyć wydajność produkcji oraz ograniczyć straty – co ma kluczowe znaczenie do osiągnięcia sukcesu na obecnym bardzo konkurencyjnym rynku. Coraz więcej producentów pracuje w trybie kultury analitycznej przez co mogą szybciej rozwiązywać problemy i podejmować trafne decyzje biznesowe.

Handel detaliczny

Budowanie trwałych relacji z klientami ma ogromne znaczenie dla rozwoju w branży handlu detalicznego, a jednym ze sposobów osiągnięcia tego celu jest odpowiednie zarządzanie big data. Handlowcy potrzebują optymalnych sposobów dotarcia do klientów, najbardziej efektywnych sposobów na zarządzanie transakcjami oraz, co jest szczególnie istotne z punktu widzenia strategii, sposobów na odzyskanie utraconych szans sprzedażowych. Big data pozostaje w centrum wszystkich tych działań.

Big data w akcji: UPS

Jako firma spedycyjnaUPS gromadzi olbrzymie wolumeny danych, a większość z nich pochodzi z czujników znajdujących się w pojazdach. Dane te wykorzystywane są nie tylko do monitorowania codziennych działań i wyników, ale także do wprowadzania modyfikacji optymalizujących trasy i grafiki kierowców UPS. Inicjatywa ta, zwana ORION (On-Road Integration Optimization and Navigation, czyli Integracja, Optymizacja i Nawigacja Drogowa), stanowi zapewne największy na świecie projekt z zakresu badań operacyjnych. Jest on także ściśle związany z danymi mapowymi dostępnymi online i w dalszej perspektywie ma modyfikować odbiory i dostarczenia przesyłek przez kierowcę w czasie rzeczywistym.

Projekt ten przyniósł już konkretne korzyści: udało się zmniejszyć zużycie paliwa o 8,4 miliona galonów, dzięki skróceniu dziennych tras o 85 milionów mil. Według szacunków UPS skrócenie trasy każdego kierowcy o 1 milę dziennie pozwala firmie zaoszczędzić 30 milionów dolarów, więc w ogólnym rozrachunku są to znaczne oszczędności.

 Należy pamiętać, że główna wartość big data nie pochodzi z danych w ich surowej postaci, ale z wyników ich przetworzenia i analizowania prowadzących do wniosków, produktów i usług, które są pochodną analiz. Rewolucyjne zmiany w technologiach big data i podejściach do zarządzania wymagają równie rewolucyjnych zmian w zakresie wykorzystania danych w organizacji do wsparcia podejmowania decyzji oraz rozwoju innowacyjnych produktów i usług.
Thomas H. Davenport in  Big Data in Big Companies
Blue Abstract Art
SAS Visual Analytics screenshot on monitor


Eksploracja i wizualizacja danych

SAS ułatwia zrozumienie co dane mają nam do powiedzenia. Interaktywna eksploracja miliardów rekordów możliwa jest w ciągu kilku sekund.

Dowiedz się więcej o rozwiązaniach big data oferowanych przez SAS

Jak to działa

 

Zanim zaczniesz się zastanawiać jak wykorzystać potencjał big data do rozwoju Twojej firmy, sprawdź skąd te dane pochodzą. Zwykle źródła big data dzielimy na trzy kategorie:

Dane strumieniowe

Kategoria ta zawiera dane napływające do systemów informatycznych z Internetu lub podłączonych urządzeń. Możliwe jest analizowanie takich danych w ruchu – w momencie, gdy napływają oraz podejmowanie decyzji, które dane należy przechowywać, które nie są istotne oraz które wymagają dalszych analiz.

Dane z mediów społecznościowych

Dane takie są coraz bardziej atrakcyjnym zbiorem informacji, szczególnie dla zastosowań w marketingu, sprzedaży i obsłudze klienta. Często są one nieustrukturyzowane lub tylko częściowo ustrukturyzowane, przez co wyzwaniem staje się wykorzystanie ich w zastosowaniach analitycznych.

Dane dostępne publicznie

Wielkie zbiory danych dostępne są również z publicznych źródeł takich jak np. organizacje rządowe lub agendy Unii Europejskiej.

 

Po identyfikacji wszystkich dostępnych źródeł danych, które mogą być wartościowe dla Twojej organizacji, rozważ decyzje, które będziesz musiał podjąć, aby efektywnie wykorzystać ich potencjał.

W jaki sposób składować i zarządzać danymi

Przechowywanie danych mogło być problemem kilka lat temu, ale obecnie dostępne są relatywnie tanie opcje rozwiązań, które mogą być najlepszą strategią w tym zakresie dla każdej organizacji.

Jak wiele danych analizować

Wiele organizacji nie wyklucza żadnych danych ze swoich analiz, co jest obecnie możliwe dzięki wykorzystaniu technologii high-performance computing takich jak np. przetwarzanie grid lub analityka in-memory. Innym podejściem jest określenie z góry, jeszcze przed wykonanie analiz, jaki podzbiór danych ma znaczenie.

Jak wykorzystać wyniki analiz

Im szerszą posiadamy wiedzę, z tym większym zaufaniem możemy podejmować decyzje biznesowe. Rozsądnym podejściem jest zbudowanie strategii bazującej na posiadanych informacjach.

 

Ostatnim krokiem na drodze do wykorzystania big data w Twojej organizacji jest wybór odpowiednich technologii, które pomogą w optymalnym wykorzystaniu analityki big data. Należy rozważyć:

  • Tani i pojemny storage
  • Szybkie procesory
  • Dostępne platformy open source, takie jak Hadoop
  • Przetwarzanie równoległe, klastry obliczeniowe, MPP, wirtualizację, duże środowiska grid, szybkość połączenia i transferu
  • Przetwarzanie w chmurze i inne opcje architektoniczne

Artykuły i publikacje big data

Back to Top