|
|
 |
 |
|
 |
|
|
데이터 통합의 전망과 새로운 전략의 필요성
1회 : 임의적 ETL 접근 방식에서 엔터프라이즈 데이터 통합 전략으로의 전환
2회 : 데이터 통합을 위한 가이드와 데이터 통합 전략의 선택
|
|
|
 |
 07.02.26 - [e-WEEK ] |
| SAS코리아 EIP담당 - 정태호 이사 |
|
 |
|
ETL 적용 범위의 확장 추세
지난 수 년 동안, ETL(extract, transform, load)은 비즈니스 인텔리전스 솔루션의 핵심으로 자리잡아 왔다. 다양한 소스로부터 데이터를 추출하여 변환한 뒤 타겟 시스템으로 로드하기 위해 어떤 ETL 툴을 선택하는가에 따라 데이터 웨어하우스/데이터 마트 기반 비즈니스 인텔리전스 프로젝트의 성공이 좌우되기도 한다. 실제로 ETL은 이러한 툴, 테크놀로지와 프로세스를 통칭하는 용어로 사용되고 있으며 시장에는 각양각색의 ETL 툴이 출시되고 있다.
하지만 기존에 사용하던 툴이 기능상의 한계를 드러내면서, 많은 기업들이 자사 환경에 적합한 툴을 선택하는 문제로 고민하고 있다. 각 부서별로 사용하는 툴이 다르거나, 인수/합병으로 인해 상호 연동이 불가능한 여러 개의 ETL 툴이 같은 조직 내에서 사용되기도 한다.
상용 ETL 툴의 장점을 이해하지 못한 일부 기업은 상용 툴 대신 내부 개발을 선택하기도 하는데, 이 경우 코드 개발과 유지 보수를 전담하는 프로그래머들을 별도로 관리해야 하는 어려움을 감수해야 한다. 이처럼 ETL 툴의 혼재, 또는 커스텀 코드 개발 등으로 인해 유지보수, 교육 등에 관련한 총소유비용이 증가할 뿐 아니라 일반적으로 사용되지 않는 툴에 친숙해지기 위한 별도의 노력이 요구되기도 한다. 또 이처럼 서로 다른 툴들을 함께 사용하는 경우 메타데이터의 통합이 불가능하며, 이로 인해 프로세스의 자동화가 어려워지고 컴플라이언스 이슈를 비롯한 여러 가지 문제가 제기될 수도 있다.
ETL 툴의 도입이 확산되면서, 단순히 데이터 웨어하우스 또는 데이터 마트를 개발하고 유지하는 것 이상의 노력이 기업에 요구되고 있다. 독립적인 영역으로 간주되어 오던 비즈니스 인텔리전스의 범위 또한 점차 확장되어 가는 추세이다. 기업 인수, 합병, 분사, 차세대 시스템 구축 등의 과정에서 시스템 마이그레이션, 통합, 동기화 등 DW와 직접적으로 연관되지 않은 프로젝트 수행이 요구되기도 한다. 기존의 ETL 프로세스들이 이러한 프로젝트를 부분적으로 지원하고 있기는 하지만, 대부분의 경우 전혀 새로운 테크놀로지가 요구되는 것이 현실이다. 한 예로, 운영 시스템의 무결성 보장을 위한 마스터 데이터 관리, 실시간 동기와, 데이터 품질 관리 등이 이슈화되면서 전혀 새로운 기술의 도입이 필요해지기도 한다.
이처럼 ETL 적용 범위의 확산 추세에 따라, “데이터 통합(data integration)”이 모든 기업의 비즈니스에 전반에 영향을 미치는 전략적인 과제로 떠오르고 있다.
엔터프라이즈 데이터 통합 환경으로의 전환
이제 ETL도 임의적(ad-hoc)인 접근 방식에서 기업 경쟁력 강화에 초점을 맞춘 데이터 통합 방식으로 전환해야 하는 시기가 되었다. 이제 기업은 “시스템 중립적”인 벤더의 솔루션을 이용하여 ETL을 포함하는 데이터 통합 환경 전반을 표준화하고, 비즈니스 룰과 메타데이터를 공유함으로써 시너지 효과를 창출할 수 있어야 한다. 일관적이고 통합적인 테크놀로지를 이용하여 운영 환경과 BI 프론트 엔드 환경을 구축하고 교육, 유지 보수 등에 관련한 비용을 절감할 수 있어야 한다. 또 ETL 분야의 최신 동향을 이해하고 성공을 위한 새로운 전략을 수립해야 한다.
운영 체제 지원 관점에서의 데이터 통합 정의
데이터 통합(data integration)은 새롭게 출현 중인 다양한 테크놀로지의 “컨버전스”로 이해할 수 있다. 광의의 관점에서 볼 때, 데이터 통합은 운영 측면에서 요구되는 기술과 BI/DSS 관점에서 요구되는 테크놀로지를 조합한 형태로 구현된다. 데이터 통합은 기업의 전체 데이터를 하나의 통합적인 개체로서 관리할 수 있게 한다.
데이터 통합을 단순히 “목적을 위한 수단”으로만 이해하는 접근법은 바람직하지 않다. 데이터 통합을 단순히 BI, 분석과 같은 업무에 직접적으로 연관된 개념으로 이해하는 것보다는 운영 체제의 지원 또는 전체 운영 데이터 동기화의 관점에서 이해해야 한다. 데이터 통합을 특징짓는 가장 중요한 요소는 바로 “관점의 전환”이며, 이러한 점에서 볼 때 RDBMS 벤더들이 제공하는 데이터 통합 테크놀로지는 BI 영역에만 지나치게 초점을 맞추고 있다는 점에서 그 한계를 노출하고 있다.
데이터 웨어하우스와 데이터 마트를 위한 ETL/데이터 통합의 문제가 해결되고 있지 못한 현재의 시점에서 보다 유기적으로 통합된 데이터 통합 전략을 수립하기 위해서는 BI뿐 아니라 기업 전반에 영향을 미치는 다양한 영역에 집중하여야 한다.
전략적 방향의 정립
다른 IT 프로젝트들과 마찬가지로, 데이터 통합 전략을 수립하기 위해서는 먼저 상용 솔루션을 구매할 것인지, 아니면 내부적으로 개발할 것인지에 대한 선택이 필요하다. 대부분의 벤더들은 기업 인수/합병을 통해 제품 포트폴리오를 확장해 왔으며, 이러한 현실에 비추어 세 번째 대안을 상정할 수 있다. 바로 단일 벤더가 제공하는 (통합되지 않은) 상용 솔루션들을 구입하여 이를 통합하는 것이다. 하지만 이러한 접근법은 기업의 요구사항을 만족하는 여러 벤더의 툴을 구입하고 통합하는 단편적인 접근 방식과 근본적으로 다를 것이 없다.
기업은 데이터 통합 전략을 수립하는 과정에서 벤더의 포트폴리오 내에서 각각의 기능이 어떻게 통합되고 있는지(내부적으로 개발한 것인지, 또는 다른 벤더 제품을 인수한 것인지) 이해하고, 메타데이터, 비즈니스 룰 등의 공유가 가능한지 확인해야 한다.
또 공유 환경이 제공되지 않는다면, 언제쯤 통합이 가능하며 어떤 마이그레이션 절차가 요구되는지 확인해야 한다. 통합 과정에서 번거로운 수작업 프로세스에 인력과 비용을 낭비하지 않도록 주의해야 한다. 이러한 수작업 프로세스는 오버헤드와 리스크를 수반하며, 그 비용 또한 결코 만만치 않다.
데이터 통합을 위한 가이드
데이터 통합을 처음으로 시도하는 기업들의 입장에서는 데이터 통합 솔루션으로부터 기대할 수 있는 효과가 과연 무엇인지 궁금해 하지 않을 수 없다. 데이터 통합의 효과를 이해하기 위해서는, 먼저 데이터 통합과 “관련되지 않은” 것이 무엇인지를 정의하는 과정이 필요하다. 먼저, 데이터 통합은 엔터프라이즈 애플리케이션 통합(EAI) 미들웨어와 무관하다. (하지만 경우에 따라서 EAI 미들웨어가 이용될 수는 있다.) 또 메시지 큐, 애플리케이션 서버와도 무관하다. (이 솔루션들이 데이터 통합을 위한 인프라스트럭처로 활용될 수는 있다.) 일부 벤더들은 자사의 포트폴리오에 맞추어 이러한 “미들웨어” 솔루션들을 광의의 데이터 통합 영역으로 포함시키려는 무리한 시도를 하기도 한다. 하지만 명심해야 할 것은, 데이터 통합 벤더가 제공하는 솔루션에 기업의 인프라스트럭처가 종속되는 경우 나중에 벗어나기가 힘들 수 있다는 사실이다.
먼저 데이터 통합을 이해하기 위해, 먼저 일반적으로 알려진 데이터 통합의 개념을 살펴보고 새롭게 떠오르는 이슈와 최신 테크놀로지들에 대해 다음회에서 알아 보기로 한다.
|
|
|
|
 |
|
|
|
|
|
 |
|
