> 빅데이터: 하둡, 비즈니스 분석툴을 넘어 (6) : '하둡'의 장단점:ITX 클라우드

Hadoop: The Pros and Cons


티브루그란(Steve Loughran)은 클라우드 환경에서 구동되는 하둡의 장단점에 대해 다음과 같이 논한 바 있다. (http://nosql.mypopescu.com) :

  1. 클라우드 공급자의 스토리지 인프라에 데이터가 저장될 경우, 저장된 위치에서 분석을 하는 것이 유일하고 타당한 방법이다. 이는 "데이터의 위치로 업무를 이동시킨다"는 철학에 근거한다.
  2. 만일 컴퓨팅 만을 수행하고자 할 경우에 - 말하자면 밤에 - 일부 클러스터 시간을 사용할 수 있다. 컴퓨팅의 성능이 최악에 달할지라도, 더 많은 자원을 임대할 수 있다.
  3. 클러스터의 격리(isolation)을 통하여 보다 향상된 보안 환경을 확보할 수 있다. (물론 IaaS 벤더의 역량에 달려 있다)
  4. 초기 자본 투자가 들지 않는다 : 지속적인 매출 발생에 따라 펀딩이 가능하다.
  5. 클러스터 확장이 용이하다 : 보다 많은 상면과 이에 따른 공간을 미리 확보할 필요가 없다.
  6. 네트워킹 문제에 대해서는 신경쓰지 않아도 좋다.
  7. 추후 확장 시, 이종 클러스터의 문제가 감소한다.

 이러한 글에 대해 짧지만, 중요한 반론들이 나타났는데 이 중 하나는 다음과 같다. : “하둡은 정적인 인프라에서 구동된다는 많은 가설들을 포함하고 있다: 스케줄링과 리커버리 알고리즘이 이러한 바탕위에 설계되어 있다."

--------------------      Pros and Cons        --------------------


둡의 가장 큰 장점은 기업들이 이전에 접근할 수 없었던, 비정형, 반정형의 대규모 데이터를 비용과 시간을 절감할 수 있는 방법으로 처리하고 분석할 수 있다는 것이다. 하둡 클러스터는 페타바이트에서 엑사바이트 규모의 데이터까지 확장할 수 있으므로, 기업들은 더 이상 샘플 데이터셋(data sets)에 의존하지 않고 모든 관련 데이터에 대한 전수 분석을 할 수 있는 것이다. 데이터 과학자들은 분석을 위해 데이터를 지속적으로 정제하고 쿼리를 테스트하는 반복(iteration)적인 방법으로 이전에는 알 수 없었던 통찰을 발견할 수 있다. 하둡은 매우 저렴하다. 개발자는 아파치 배포사이트에서 무료로 하둡을 내려받아 테스트를 시작하기만 하면 되는데 채 하루도 걸리지 않는다.

하둡에는 엄청난 수의 구성요소들이 숨어 있으며, 이들 모두 완전하지 않거나 혹은 현재도 개발이 진행되고 있는 것들이다. 신생 기술로 하둡 클러스터를 구축하고 관리하며 대규모 데이터의 고급 분석을 수행한다는 것은 대단한 전문성과 기술 및 훈련을 요한다. 불행히도, 하둡 개발자와 데이터 과학자가 부족하다는 현실은 많은 기업들이 복잡한 하둡 클러스터를 관리하고 이용하는 것을 불가능하게 한다. 더욱이 하둡의 수많은 구성요소들은 커뮤니티에 의해 개발되고 있으며, 새로운 구성요소가 추가되고 있는 상황에서 이러한 불완전한 오픈소스 기술/접근방법을 사용하는 것은 호환성에 심각한 장애를 불러올 수도 있다. 마지막으로 하둡은 배치-지향 프레임워크로 이는 실시간 데이터 처리 및 분석은 지원하지 않는다는 것이다.



은 소식은 IT의 저명한 인사들이 아파치 하둡 프로젝트에 합류함에 따라, 하둡 개발자와 데이터 과학자들이 강화되었다는 것이다. 결과적으로 기술은 급속히 발전할 것이며, 구축과 관리가 보다 강력해지고 용이해질 것이다. 클라우데라와 호튼웍스같은 하둡 기반 벤처와 IBM, 마이크로소프트와 같은 기존 기업들이 하둡 공급자 에코시스템을 이루어, 상업용, 기업용 하둡 분산, 툴, 서비스를 제공하기 위해 준비하고 있으며, 머지 않아 기존 기업들도 이를 구축하고 준비할 수 있는 환경이 도래할 것이다. 경쟁이 치열한 다른 분야로는 근실시간적 통찰을 제공할 수 있도록 하둡과 연계된 NoSQL 개선에 박차를 가하고 있다.

Ref: Jeff Kelly, the Wikibon Community, 2012

Changoh Joo

주창오, 효성ITX 클라우드사업부

자유로운 서버생성 / 무약정,최저가 / 1주일 무료, ITX클라우드 서비스 www.itxcloud.co.kr

신고

댓글을 달아 주세요



티스토리 툴바