욱'S 노트

소개 Spring XD 분산 런타임(DIRT)은 멀티노드 타스크 처리 분배를 지원한다. XD 분산 런타임 아키텍처는 다음과 같은 컴포넌트들을 포함하고 있다. Admin - Stream과 작업 디플로이 및 런타임 상태 및 시스템 메트릭스, 분석에 접근하기 위한 REST 서비스 제공 Container - 모듈(stream processing task) 및 배치작업이 배포된 호스트 ZooKeeper - XD 클러스터를 위한 모든 런타임 정보 제공. Stream 정의 및 배포 목록, 모듈과 작업이 배포된 실행중인 컨테이너 추적. Spring Batch Job Repository Database - 작업을 위한 RDBMS, XD 배포판은 HSQLDB와 함께 제공되지만, procduction 설치시에는 적합하지 않..

이제 Spring XD를 시작해보자. 요구사항 최소 JDK 6 이상 설치가 가능하나 JDK 7 이상을 권고한다. 다운로드 http://repo.spring.io/release/org/springframework/xd/spring-xd/1.0.3.RELEASE/spring-xd-1.0.3.RELEASE-dist.zip 스프링 리파지토리로 가서 다운로드 하자. 일단 이 글을 작성할때의 최신 릴리이즈 버젼은 1.0.3이다. 적당한 위치에 압축을 해제하자.용량이 상당하다. 265MB 이다. 설치하기 Spring XD는 두가지 모드로 구동할 수 있다. 하나의 테스트 및 개발을 위한 싱글노드 런타임이며, 다른 하나는 멀티노드 프로세싱을 위한 분산 런타임이다. 일단 시작하는 장이니까 싱글 모드로 구동하겠다. 런타임 ..

Spring XD는 데이터 획득, 실시간 분석, 배치 처리, 데이터 추출을 위한 단일화되고 분산 및 확장가능한 서비스이다. Spring XD는 오픈소스 Apache2이며 목적은 빅데이터의 복잡성을 다루른 것이다. 실세계에 구축된 빅데이터 어플리케이션은 너무 복잡하다. 그리고 이들의 목적은 다양한 유스케이스를 아우르는 다양한 이기종의 시스템을 하나의 이해하기 쉬운 시스템으로 통합하는 것이다. 이해하기 쉬운 빅데이터 솔루션의 구축에 직면한 문제는 다음과 같다. - 다양한 입력 소스로부터 고성능 분산데이터 수집, 빅데이터 저장소로 저장 (HDFS or Splunk)- 실시간 데이터 분석. (메트릭스 수집 및 수치 집계)- 배치작업의 워크플로우 관리. 엔터프라이즈 시스템(RDBMS) 및 하둡(MapReduce,..