Spring XD - 소개

Spring XD는 데이터 획득, 실시간 분석, 배치 처리, 데이터 추출을 위한 단일화되고 분산 및 확장가능한 서비스이다. Spring XD는 오픈소스 Apache2이며 목적은 빅데이터의 복잡성을 다루른 것이다. 실세계에 구축된 빅데이터 어플리케이션은 너무 복잡하다. 그리고 이들의 목적은 다양한 유스케이스를 아우르는 다양한 이기종의 시스템을 하나의 이해하기 쉬운 시스템으로 통합하는 것이다. 이해하기 쉬운 빅데이터 솔루션의 구축에 직면한 문제는 다음과 같다.

- 다양한 입력 소스로부터 고성능 분산데이터 수집, 빅데이터 저장소로 저장 (HDFS or Splunk)

- 실시간 데이터 분석. (메트릭스 수집 및 수치 집계)

- 배치작업의 워크플로우 관리. 엔터프라이즈 시스템(RDBMS) 및 하둡(MapReduce, HDFS, Pig, Hive, Cascading)과 결합 

- 고성능 데이터 추출. (HDFS로부터 RDBMS 혹은 NoSQL 데이터베이스)

Spring XD는 이러한 유스케이스에 대한 원스톱 솔루션이다.