Java Framework Spring Batch - 소개

2019.12.24 21:57

졸리운_곰 조회 수:207

 

Spring Batch - 소개

스프링 배치 소개

 

엔터프라이즈 환경에서는 많은 어플리케이션은 미션 크리티컬한 비즈니스 수행을 위한 bulk 처리를 요구한다. 대용량 데이터의 자동화되고 복잡한 비즈니스 수행은 유저 상호작용 없는 처리되는 것이 매우 효율적이다.  이러한 작업은 시간 기반의 이벤트(월말 결산, 공지 및 보고), 복잡한 비즈니스 룰을 주기적으로 수행하는 작업(보험 이율 결산, 이율 조정) 또는 내부/외부 시스템으로의 대량 데이터의 송수신 등을 목적으로 한다. 배치 처리는 엔터프라이즈 환경에서 매일 수백만건의 트랜잭션의 처리를 수행한다. 스프링 배치는 엔터프라이즈 시스템에서 강력한 배치 어플리케이션을 개발할 수 있게 디자인된 가볍고 이해하기 쉬운 배치 프레임워크 이다. 스프링 배치는 POJO 기반의 생산성이 뛰어나며 스프링 프레임워크의 지식을 가진 사람들이 쉽게 이해할 수 있다. 또한 진화된 엔터프라이즈 서비스에서 필요한 다양한 요소들에 대한 접근을 쉽도록 제공한다. 스프링 배치는 스케쥴링 프레임워크가 아니다. 좋은 엔터프라이즈 스케쥴러(Quartz, Tivoli, Control-M)가 존재한다.  스케쥴러와 연계하여 수행하지 스케쥴러가 아니라는 의미이다. 스프링 배치는 대용량의 데이터를 처리하는 필수적이고 재사용한 기능(로깅/트레이싱, 트랜잭션 관리, 작업 처리 통계, 작업 재시작, 스킵 및 리소스 관리)을 제공한다. 또한 극한의 대량과 성능을 목표로 배치작업의 최적화 및 분산처리를 위해 진화된 기술 서비스와 아키텍처를 제공한다. 대용량의 정보 처리를 위한 확장 환경의 복잡하고 대량의 배치 작업을 단순하게 하기 위해서는 프레임워크가 효과적일 수 있다.

 

 

스프링 배치 아키텍처

 

스프링 배치는 확정성 있고 다양한 사용자 그룹을 고려하여 설계 되었다. 아래의 그림은 레이어 아키텍처의 스케치이다.

 

 

 

 

경축! 아무것도 안하여 에스천사게임즈가 새로운 모습으로 재오픈 하였습니다.
어린이용이며, 설치가 필요없는 브라우저 게임입니다.
https://s1004games.com

 

이 레이어 아키텍처는 세가지 중요한 요소는 어픝리케이션, 코어와 인프라스트럭쳐이다. 어플리케이션은 스프링 배치를 사용하는 개발자에 의해 작성된

모든 배치 작업 및 커스텀 코드들을 포함한다. 배치 코어는 배치 작업을 컨트롤하고 실행하는데 필요한 코어 런타임 클래스들을 포함한다.

이것은 JobLauncher, Job, Step의 실제 구현체를 포함한다. 어플리케이션과 코어는 공통 인프라스트럭쳐 기반위에 생성되었다.

 

인프라스트럭쳐는 공통적인 리더와 라이터 그리고 RetryTemeplate과 같은 서비스들을 포함한다.

 
일반적인 배치 원칙 및 가이드라인
 
배치 아키텍처는 온라인 아키텍처에 영향을 주고 반대로 받기도 한다. 두 아키텍처와 환경은 가능한 공통 기능을 염두해두어야 한다.
 
가능한 단순하게 복잡한 논리적인 구조를 지양해야 한다.
 
특히 IO와 같은 시스템 리소스의 사용을 최소화하다. 가능한 많은 오퍼레이션을 내부 메모리에서 수행하도록 하자.
 
불필요한 물리적인 IO를 피하기 위해 어플리케이션 IO를 확인하자. 특히 다음 4가지 공통 플로우에 대한 확인이 필요하다.
- 모든 트랜잭션에서 읽어드린 데이터는 동작에 따라 캐슁을 고려하자.
- 같은 트랜잭션에서 
- 불필요한 테이블이나 인덱스 스캔을 고려하다.
- SQL WHERE절에 키 값을 명시하지 말자.
 
배치 실행시 두번 일을 하지 말라. 예를 들어 리포팅 목적으로 데이터를 요약하고, 합계를 증가시켜서 저장해야 한다고 하면, 같은 데이터를 두번 처리하지 않게 하자.
 
충분한 메모리를 할당하자. 메모리 재할당으로 쓸데없는 수행시간 감소를 피하도록하자.
 
항상 데이터 정합성을 고려해라. 적당한 시점에 입력 체크와 레코드 검증을 수행하라.
 
내부적인 검증을 위해 checksums를 구현해라. 예를 들어 SAM 파일에 최종건수등을 trailer에 명시하라.
 
운영환경과 비슷한 환경에서 실제 데이터량에 준하는 부하 테스트를 수행하고 계획하라.
 
백업도 도전이다. 특히 시스템이 24시간 온라인으로 동작하고 있다면, 데이터베이스 백업은 특히 온라인 설계를 고려하여야 한다. 
 
 
 
 

출처 : 스프링 배치 레퍼런스 매뉴얼



출처: https://opennote46.tistory.com/71 [욱'S 노트]

 

 

 

 

 

본 웹사이트는 광고를 포함하고 있습니다.
광고 클릭에서 발생하는 수익금은 모두 웹사이트 서버의 유지 및 관리, 그리고 기술 콘텐츠 향상을 위해 쓰여집니다.
번호 제목 글쓴이 날짜 조회 수
35 [EMF] EMF Tutorial EMF 튜터리얼 file 졸리운_곰 2023.08.23 283
34 Eclipse RAP Tutorial for Beginners - Workbench Application (OLD) file 졸리운_곰 2021.01.30 323
33 Learn Eclipse GMF in 15 minutes file 졸리운_곰 2019.11.27 253
32 [Eclipse] GEF entry series (10, an implementation of the form) file 졸리운_곰 2019.11.25 212
31 GEF Programmer Guide 번역 졸리운_곰 2019.11.25 227
30 Learn Eclipse GMF in 15 minutes file 졸리운_곰 2019.11.20 224
29 RCP 에디터 정리 졸리운_곰 2019.11.20 333
28 다른 그림과 관련하여 GEF 편집기 레이아웃에서 그림의 위치 제한 조건을 동적으로 계산 Dynamically calculating the position constraints for a figure in a GEF editor layout in relation to another figure file 졸리운_곰 2019.11.20 277
27 RCP 등에서 .mf 파일로 다른 프로젝트 익스포트 포함시 라이브러리(메소드)를 찾지 못할 때, Eclipse RCP - cant resolve importing libraries in final build file 졸리운_곰 2019.10.15 410
26 ESE2006-EclipseModelingSymposium15_GMF.pdf file 졸리운_곰 2019.09.21 302
25 GMF_Creation_Review.pdf file 졸리운_곰 2019.09.21 366
24 Eclipse EMF and GMF Tutorial file 졸리운_곰 2019.09.21 222
23 GMF Tutorial/ko file 졸리운_곰 2019.09.20 347
22 Model Driven Architecture approach to domain of graphical editors file 졸리운_곰 2019.09.20 268
21 Single_Sourcing_RAP_RCP_en.pdf file 졸리운_곰 2019.05.15 311
20 Rich client platform 설명 및 배우기 참고 졸리운_곰 2019.05.15 309
19 Rich Ajax Platform, Part 1: 소개 file 졸리운_곰 2019.05.15 320
18 또 하나의 크로스 플랫폼: Eclipse RAP file 졸리운_곰 2019.05.15 319
17 Eclipse 4 RCP 튜토리얼(완료) file 졸리운_곰 2019.05.14 977
16 Updating UI in Eclipse RCP 졸리운_곰 2015.11.07 408
대표 김성준 주소 : 경기 용인 분당수지 U타워 등록번호 : 142-07-27414
통신판매업 신고 : 제2012-용인수지-0185호 출판업 신고 : 수지구청 제 123호 개인정보보호최고책임자 : 김성준 sjkim70@stechstar.com
대표전화 : 010-4589-2193 [fax] 02-6280-1294 COPYRIGHT(C) stechstar.com ALL RIGHTS RESERVED