Hadoop 개요

어제는 어떻게든 하둡을 설치하고, 샘플을 돌려보았다. 이쯤에서 드는 의문이 있다.

그럼 하둡은 과연 무엇인가? 해당 내용은 그냥 하둡 공식 홈페이지에서 발췌했다.

The Apache™ Hadoop® reliable, scalable, distributed computing을 위해 오픈소스 소프트웨어이다. 

The Apache Hadoop software library는 단순한 프로그래밍 모델을 이용하여 클러스터링을 활용하여 large data sets의 분산처리를 도와주는 프레임워크이다. single 환경으로부터 수천대의 machine로 확장이 용이하게 설계되었다. 하드웨어에 의존하는 high-availability와는 달리,어플리케이션 레이어에서 실패를 감지하고 처리한다.

먼가 좋은거 같다.

Hadoop은 크게 네가지 파트로 구성된다.

Hadoop Common: 다른 Hadoop 모듈을 지원하기 위한 공통 유틸리티

Hadoop Distributed File System (HDFS): 고성능의 어플리케이션 데이터를 접근을 제공하는 분산 파일 시스템.

Hadoop YARN: 작업을 스케쥴링하고 클러스터 자원관리를 위한 프레임워크.

Hadoop MapReduce: 대량 데이터 병렬 처리를 담당하는 YARN 기반의 시스템.