> 빅데이터: 하둡, 비즈니스 분석툴을 넘어 (2) : 기존 데이터처리 및 분석:ITX 클라우드

Data Processing and Analytics: The Old Way


석을 위한 기존의 데이터 처리방식은 매우 명쾌하고 고정적인 청사진을 필요로 하였다. 즉, 비즈니스의 통상적인 과정에 걸쳐, 기업의 CRM, ERP, 재무시스템과 같은 기업 애플리케이션은 안정화된 데이터 모델로 적정량의 정형화 된 데이터를 생산하였다. 기업은 데이터 통합 툴을 활용하여 기업 애플리케이션과 거래(처리) 데이터베이스로부터 데이터를 추출하고 변형하며, 재입력함으로써 데이터의 품질을 개선하고 데이터의 정규화를 이루게 된다. 최종적으로는 가공된 데이터는 깔끔한 행의 형태로 구성된 테이블로 모델링되도록 한다. 이렇게 모델링과 클린징을 거친 데이터가 기업의 데이터웨어하우스에 입력되는데, 이러한 과정은 일정한 기간(일반적으로 하루, 일주일 또는 그 이상의 빈도로)을 두고 반복적으로 수행된다.


[Traditional Data Processing/Analytics]

Source: ETL-Tools.Info


이터웨어하우스 운영자들은 웨어하우스에 저장된 정규화 데이터과 한바탕 전투를 벌인 후에, 일정 기간마다 정기 보고서를 생성하여 기업의 각 부서에 배포한다. 이들은 기업 경영진을 위해 대쉬보드와 시각화 툴들을 사용하기도 한다. 비즈니스 분석가들은 데이터 분석 툴과 엔진을 사용하여 데이터웨어하우스에 대한 고급 분석을 시도한다. 데이터웨어하우스의 데이터 규모가 부담일 경우에는 로컬 데이터마트에 이들 데이터를 마이그레이션하여 이러한 분석을 시도하기도 한다. 기업의 데이터관련 비전문가들은 SAP의 비즈니스오브젝트나 IBM의 코크노스와 같은 프론트엔드 BI(비즈니스 인텔리전스)의 기본적인 데이터 시각화 툴들을 사용하며, 데이터웨어하우스에 대한 매우 제한적인 분석을 할 수 있다. 과거 데이터웨어하우스의 볼륨은 매우 드문 경우지만, 기껏해야 몇 테라바이트 정도에 머물렀으며 그 이상의 데이터 볼륨은 웨어하우스 자원과 데이터웨어하우스 성능에 매우 큰 부담이 되었다.


[텍스트 픽쳐 by Ralph Ueltzhoeffer]


, 모바일 디바이스 및 기타 기술들이 출현함에 따라, 데이터의 속성에 본질적인 변화가 일어났다. 빅데이터는 과거의 기업데이터와는 전혀 다른 매우 중요하고 특징적인 속성을 갖는다. 중앙 집중화되고, 고도로 정형화되며, 통제가 용이한 데이터는 점점 사라지는 반면, 현재의 데이터는 고도로 분산되고, 느슨하게 구조화되며(구조화라는 것이 존재한다면), 그 규모는 놀랄만큼 방대해져 버렸다.

Ref: Jeff Kelly, the Wikibon Community, 2012

Changoh Joo

주창오, 효성ITX 클라우드사업부

자유로운 서버생성 / 무약정,최저가 / 1주일 무료, ITX클라우드 서비스 www.itxcloud.co.kr

저작자 표시 비영리 변경 금지
신고

댓글을 달아 주세요



티스토리 툴바