Spring Batch - 소개

스프링 배치 소개

엔터프라이즈 환경에서는 많은 어플리케이션은 미션 크리티컬한 비즈니스 수행을 위한 bulk 처리를 요구한다. 대용량 데이터의 자동화되고 복잡한 비즈니스 수행은 유저 상호작용 없는 처리되는 것이 매우 효율적이다.  이러한 작업은 시간 기반의 이벤트(월말 결산, 공지 및 보고), 복잡한 비즈니스 룰을 주기적으로 수행하는 작업(보험 이율 결산, 이율 조정) 또는 내부/외부 시스템으로의 대량 데이터의 송수신 등을 목적으로 한다. 배치 처리는 엔터프라이즈 환경에서 매일 수백만건의 트랜잭션의 처리를 수행한다. 스프링 배치는 엔터프라이즈 시스템에서 강력한 배치 어플리케이션을 개발할 수 있게 디자인된 가볍고 이해하기 쉬운 배치 프레임워크 이다. 스프링 배치는 POJO 기반의 생산성이 뛰어나며 스프링 프레임워크의 지식을 가진 사람들이 쉽게 이해할 수 있다. 또한 진화된 엔터프라이즈 서비스에서 필요한 다양한 요소들에 대한 접근을 쉽도록 제공한다. 스프링 배치는 스케쥴링 프레임워크가 아니다. 좋은 엔터프라이즈 스케쥴러(Quartz, Tivoli, Control-M)가 존재한다.  스케쥴러와 연계하여 수행하지 스케쥴러가 아니라는 의미이다. 스프링 배치는 대용량의 데이터를 처리하는 필수적이고 재사용한 기능(로깅/트레이싱, 트랜잭션 관리, 작업 처리 통계, 작업 재시작, 스킵 및 리소스 관리)을 제공한다. 또한 극한의 대량과 성능을 목표로 배치작업의 최적화 및 분산처리를 위해 진화된 기술 서비스와 아키텍처를 제공한다. 대용량의 정보 처리를 위한 확장 환경의 복잡하고 대량의 배치 작업을 단순하게 하기 위해서는 프레임워크가 효과적일 수 있다.

스프링 배치 아키텍처

스프링 배치는 확정성 있고 다양한 사용자 그룹을 고려하여 설계 되었다. 아래의 그림은 레이어 아키텍처의 스케치이다.

이 레이어 아키텍처는 세가지 중요한 요소는 어픝리케이션, 코어와 인프라스트럭쳐이다. 어플리케이션은 스프링 배치를 사용하는 개발자에 의해 작성된

모든 배치 작업 및 커스텀 코드들을 포함한다. 배치 코어는 배치 작업을 컨트롤하고 실행하는데 필요한 코어 런타임 클래스들을 포함한다.

이것은 JobLauncher, Job, Step의 실제 구현체를 포함한다. 어플리케이션과 코어는 공통 인프라스트럭쳐 기반위에 생성되었다.

인프라스트럭쳐는 공통적인 리더와 라이터 그리고 RetryTemeplate과 같은 서비스들을 포함한다.

일반적인 배치 원칙 및 가이드라인

배치 아키텍처는 온라인 아키텍처에 영향을 주고 반대로 받기도 한다. 두 아키텍처와 환경은 가능한 공통 기능을 염두해두어야 한다.

가능한 단순하게 복잡한 논리적인 구조를 지양해야 한다.

특히 IO와 같은 시스템 리소스의 사용을 최소화하다. 가능한 많은 오퍼레이션을 내부 메모리에서 수행하도록 하자.

불필요한 물리적인 IO를 피하기 위해 어플리케이션 IO를 확인하자. 특히 다음 4가지 공통 플로우에 대한 확인이 필요하다.

- 모든 트랜잭션에서 읽어드린 데이터는 동작에 따라 캐슁을 고려하자.

- 같은 트랜잭션에서 

- 불필요한 테이블이나 인덱스 스캔을 고려하다.

- SQL WHERE절에 키 값을 명시하지 말자.

배치 실행시 두번 일을 하지 말라. 예를 들어 리포팅 목적으로 데이터를 요약하고, 합계를 증가시켜서 저장해야 한다고 하면, 같은 데이터를 두번 처리하지 않게 하자.

충분한 메모리를 할당하자. 메모리 재할당으로 쓸데없는 수행시간 감소를 피하도록하자.

항상 데이터 정합성을 고려해라. 적당한 시점에 입력 체크와 레코드 검증을 수행하라.

내부적인 검증을 위해 checksums를 구현해라. 예를 들어 SAM 파일에 최종건수등을 trailer에 명시하라.

운영환경과 비슷한 환경에서 실제 데이터량에 준하는 부하 테스트를 수행하고 계획하라.

백업도 도전이다. 특히 시스템이 24시간 온라인으로 동작하고 있다면, 데이터베이스 백업은 특히 온라인 설계를 고려하여야 한다. 

출처 : 스프링 배치 레퍼런스 매뉴얼