Adat és integráció

A fontos üzleti döntések pontos adatokon múlnak, ám a megfelelő adatok megtalálása, értékelése, összegyűjtése, kezelése és szolgáltatása meglehetősen drága és bizonytalan folyamat.

Számos vállalat adatsilókból nyeri adatait, ám ezekben a szétszórt és különálló silókban szétaprózva található meg az információ, ráadásul a legkülönfélébb formátumban. A heterogén platformok elterjedése az adatintegráció során megnehezíti, hogy rátaláljunk az inkonzisztens és duplikált adatokra, s ez, bizony, növeli az adatgazdálkodás költségeit.

Ahány rendszer, annyiféleképpen lehet értelmezni az adatokat, s nem könnyű kezelni az adatokat leíró metaadatokat sem. Még ha masszív, elosztott számítási erő áll is rendelkezésre, az informatikusoknak akkor is megnyitott ablakok sokaságában kell küszködniük az adatintegrációs folyamattal.

Az adatgazdálkodás kihívásai
Nehéz idők járnak az informatikai vezetőkre, akiktől azt követeli a cégvezetés, hogy csökkentsék a költségeket s egyidejűleg többet hozzanak ki a rendelkezésre álló eszközökből, illetve növeljék a szervezet sikeréhez való stratégiai hozzájárulást. Ám ha nem tud minőségi adatokat szolgáltatni a vállalat egészének, az informatika elveszíti cégen belüli hitelességét, vagy nem tartja be a szolgáltatási szintekre vonatkozó kötelezettségeit.

Az IT-vezetők legtöbbje ugyanakkor váltig állítja, hogy az üzleti intelligenciához és az elemzésekhez szükséges helyes adatok összegyűjtése és megtisztítása drága és megbízhatatlan folyamat, amely számos problémát vet fel. Ilyenek:

• Az adatintegrációs folyamat kidolgozása túlságosan bonyolult, lassú és költséges. Egy vállalat organikus növekedésével, illetve felvásárlással vagy fúzióval történő bővülésével növekszik azoknak az információs silóknak is a száma, amelyeknek különböző formátumú operatív adatállománya eltérő forrásokból - ERP, relációs adatbázis, szövegfájlok, webnapló-bejegyzések stb. - származik. Ráadásul az egyes üzleti egységek gyakran a központi IT-tervtől függetlenül vásárolnak alkalmazást vagy tárolási megoldást. Mindennek az a mellékhatása, hogy az informatikai részleg számára meglehetősen nehéz azonosítani és kiválasztani a döntésekhez szükséges adatokat. Emiatt az adatintegrációs folyamat kidolgozása túlságosan bonyolult, lassú és költséges lehet.
  Az informatikusok gyakran kényszerülnek manuálisan kódokat írni annak érdekében, hogy az adatintegrációs folyamathoz szükséges, látszólag szabványos transzformációkat elvégezzék. A kódokat általában ad hoc módon, egyedi fejlesztők hozzák létre, s ez egyáltalán nem tekinthető hatékony és hibamentes megközelítésnek. Így viszonylag nehéz korábbi egyedi megoldásokból profitálni, és rendszerint az auditoknak sem lehet nyomát találni - az egyes lépések csak a fejlesztő emlékezetében léteznek.
  
• Az adatintegrációs folyamat hosszadalmas, és gyakran megoldatlanul hagyja az adatminőségi problémákat. Számos szervezet sokat költ a számítási kapacitás és egyéb erőforrások bővítésére annak érdekében, hogy zökkenőmentessé tegye a nagyszámú feldolgozási folyamatot, s betartsa a szigorú határidőket. A költséges hardverberuházások ellenére azonban az elosztott processzorok kapacitása kihasználatlan marad. Még mindig nehezen érhető el, hogy az adatintegrációs folyamat még a kötegelt feldolgozás ideje alatt befejeződjék, amikor a főszerverek működnek. Jobb módszerre van tehát szükség a számítási kapacitás kezeléséhez és kiegyensúlyozásához.
  A hatékonyságra való törekvéseket olyan folyamatok akadályozzák, amelyek eredendően nem hatékonyak. Továbbá, amikor az adatintegrációs folyamatban az informatikusok a forrásplatformról más helyre mozgatják az adatokat az átalakítás érdekében, gyakran engedményeket tesznek az adatbiztonságnak. Ez, az eszköz korlátai miatt, nemkívánatos adatkettőzésekhez és a hardverköltségek emelkedéséhez vezet.
  Számításba kell venni azt is, hogy egy tipikus, több szállító eszközeiből összerakott adatintegrációs keret már eleve nem lehet hatékony, hiszen többféle adatbázisból, vállalatirányítási rendszerből stb. kell kivonni és közös platformra hozni az adatokat. Az elkülönülő eszközök menedzselése pedig további terheket ró az informatikai erőforrásokra.
  
• Nehéz kezelni és követni az adatintegrációs folyamatokat és a változásokat. Ha többféle fejlesztő szabja testre az adatintegrációs folyamatot, kérdéses lehet a változások kezelése, ellenőrzése és követése. Nagy projektek esetében rendkívül időigényes dolog minden részletében dokumentálni, hogy ki mit csinált, mikor következtek be a változások, s mindez hogyan illeszkedik az összképbe. Így általában ez a dokumentáció nem készül el, s emiatt a fejlesztők elmaradnak a munkájukkal, mivel nem tudják pontosan és gyorsan megállapítani, mi, mikor, hol és miért változott a múltban, illetve honnan származnak bizonyos adatelemek.
  Mindezek a problémák összeadódnak, ha nincs olyan mechanizmus, amely automatikusan létrehozza és kezeli a metaadatokat. A metaadatokról szóló dokumentáció is hiányzik, vagy ha van is, akkor elavult, így nem lehet biztonsággal megállapítani, hogy mik az adatelemek, honnét származnak, s hogyan alakultak át jelenlegi formájukra. De az is lehet, hogy ezt a dokumentációt több rendszerben, többféle megjelenési formában tárolják, s emiatt ezeket a rendszereket szinte lehetetlen integrálni.
  Továbbá, elosztott környezetben az informatikai részlegnek - megjelenésben és felfogásban - különböző eszközökkel kell menedzselnie a licenceket, az egyes felhasználók és felhasználói csoportok meghatározását, valamint a metaadatokat. Mindez hatalmas idő-, pénz- és erőforrás-veszteséggel jár.
  Nem csoda hát, hogy a korlátozott költségvetéssel és emberi erőforrással rendelkező IT-szervezetek szisztematikus és kiszámítható módszereket keresnek az adatminőség és az időbeliség biztosítására.

Intelligens platformon

• A SAS integrált platformot dolgozott ki annak érdekében, hogy intelligenciához juttassa a vállalatokat. Ez - a SAS® Enterprise Intelligence Platform - optimálisan integrálja egyetlen egyesített rendszerbe a meglévő infrastruktúra egyedi technológiai komponenseit. Ennek eredményeként olyan információáramlás jön létre, amely átlép a szervezeti silókon, eltérő számítástechnikai platformokon és réspiaci eszközökön, s értékteremtő tudáshoz juttatja a vállalatot. Az intelligens platform jóvoltából a vállalati IT-szervezet jelentős fejlődésen megy keresztül: költségközpontból stratégiai partnerré válik.
  A SAS® Data Integration - a SAS® Enterprise Intelligence Platform részeként - magas szinten biztosítja az adatok összeköthetőségét és minőségét, az ETL-folyamatokat, az adatmigrációt és az adatszinkronizációt. Anélkül, hogy kizárólag az SQL-re támaszkodna, felismeri a heterogén platformok összes adatformátumát, s előre elkészített eszközöket bocsát rendelkezésre az adatok kezeléséhez, minőségéhez és elemzéséhez. A SAS® Data Integration három módszerrel is javítja az információvagyonba eszközölt befektetések megtérülési mutatóit.
• Gyors fejlesztés. Az interaktív adatintegrációs fejlesztői környezet olyan varázslókkal szolgál, amelyek leegyszerűsítik az adatintegrációs folyamat megtervezését, legyenek ezek a folyamatok bármilyen bonyolultak. A varázslók automatikusan összekapcsolódnak a kiválasztott adatforrással, s betöltik a releváns információkat a metaadattárba.
  A tervezőeszköz "fogd és vidd" képességgel is ellátott felhasználói felülete panorámaképet nyújt a fejlesztőnek a különféle adatforrásokról és a hálózatról, egyszerűvé téve a tervezést és az adatintegrációs folyamat menedzselését. Az ERP és a front-office rendszerrel kapcsolatos, előre elkészített adatintegrációs sablonok pedig a gyakran előforduló BI-forgatókönyveket támogatják.
  A SAS® Data Integration transzformációs motorja ezernyi beépített - az összes főbb operációs rendszeren működő - transzformációs funkciót kínál, s ezzel minimálisra csökkenti a nagy adatmozgatásokat, és optimalizálja az erőforrások költségeit. A "fogd és vidd" felülettel ellátott transzformációs varázslók jóvoltából a felhasználóknak nincs szükségük mélyebb programozási tudásra vagy arra, hogy karbantartsák egyedi kódsorok ezreit. A transzformációs folyamatot egyébként - legyen az testre szabott vagy szabványos - a központi metaadatok révén lehet követni és regisztrálni, ami nagyban megkönnyíti a projektmenedzsmentet.
• Hatékony feldolgozás. A teljes egészében integrált adatminőségi eljárások (rutinok) felgyorsítják az adattisztítást. Ez az integrált megközelítés mérsékli az adatgazdálkodás költségeit, s eközben növeli az adatok pontosságát. Az adatminőségi algoritmusok az iparág számos platformján futnak, a Windowstól a mainframe-ig.
  A hatékony feldolgozás maximális rugalmasságot biztosít, miközben csökkenti az adatintegrációs folyamathoz szükséges időt és IT-erőforrásokat. A nyílt és párhuzamos feldolgozásra képes natív adatkinyerési és átalakítási motorok többféle platformra telepíthetők, s az állományok és RDBM-formátumok minden előforduló változatát olvassák. A többszörös bevitelek (input) és kimenetek (output) egyetlen lépésben feldolgozhatók, anélkül, hogy újból olvasni kellene az input forrásokat.
  Integrált munkafolyamat-ütemezés és terhelés-kiegyenlítés révén könnyen és hatékonyan lehet végrehajtani az adatintegrációs folyamatot. A terhelés-kiegyenlítés úgy teszi kiszámíthatóvá a végrehajtási időt, hogy automatikusan átirányítja a feladatokat és a folyamatokat a legkisebb terhelésű erőforráshoz. Ez a képesség optimalizálja a hardver kihasználtságát, csökkenti a feldolgozás ciklusidejét és költségét, valamint növeli az általános termelékenységet.
  Az üzenetorientált köztesszoftverrel (message oriented middleware, MOM) történő integráció csaknem valós idejű adatintegrációt tesz lehetővé. A MOM használatával a különböző alkalmazások aszinkron módon kommunikálhatnak egymással, közvetlen kommunikációs kapcsolat nélkül, garantálva, hogy az üzenet a rendeltetési helyére fog befutni. Az egymással nem könnyen kommunikáló elosztott rendszerek világában a SAS és a MOM integrációja révén az informatika összhangban tudja tartani az adatintegrációs folyamatot az idejekorán érkező információk iránti igényekkel.
• Nagyobb vezetői ellenőrzés. A SAS® Data Integration a felelősség és az ellenőrzés új szintjét vezeti be az adatintegrációs folyamat minden aspektusában. Ilyen lehet egy projekt életciklusában végbemenő folyamatváltozás automatikus auditja, a könnyen használható metaadat-kezelés vagy az információs rendszerek egyetlen képernyőablakban való felügyelete.
  A metaadat-információkat maga az adatintegrációs folyamat gyűjti össze, vagy automatikusan kerülnek a metaadattárba más adatbázisokból. Navigációs eszközök derítik ki, miként vonták ki az adatokat a forráshelyről, hogyan és ki alakította át, mi volt a rendeltetési hely. Ez a részletességi szint lehetővé teszi az azonnali összehasonlítást más információforrásokkal.
  Az integrált menedzsment konzol hatékony eszközt biztosít az információk vállalati szintű terítésére és karbantartására, valamint a szabványok betartatására. Mivel csak egyetlen adminisztrációs felülettel rendelkezik, a menedzsment konzol jóvoltából nem kell nagy energiát fordítani az adminisztrátorok betanítására. Csökkennek az adminisztrációs feladatok és a kézi munka is, mivel bizonyos folyamatok automatikusan ismételhetők.