Java Framework Spring Batch - 소개

2019.12.24 21:57

졸리운_곰 조회 수:207

 

Spring Batch - 소개

스프링 배치 소개

 

엔터프라이즈 환경에서는 많은 어플리케이션은 미션 크리티컬한 비즈니스 수행을 위한 bulk 처리를 요구한다. 대용량 데이터의 자동화되고 복잡한 비즈니스 수행은 유저 상호작용 없는 처리되는 것이 매우 효율적이다.  이러한 작업은 시간 기반의 이벤트(월말 결산, 공지 및 보고), 복잡한 비즈니스 룰을 주기적으로 수행하는 작업(보험 이율 결산, 이율 조정) 또는 내부/외부 시스템으로의 대량 데이터의 송수신 등을 목적으로 한다. 배치 처리는 엔터프라이즈 환경에서 매일 수백만건의 트랜잭션의 처리를 수행한다. 스프링 배치는 엔터프라이즈 시스템에서 강력한 배치 어플리케이션을 개발할 수 있게 디자인된 가볍고 이해하기 쉬운 배치 프레임워크 이다. 스프링 배치는 POJO 기반의 생산성이 뛰어나며 스프링 프레임워크의 지식을 가진 사람들이 쉽게 이해할 수 있다. 또한 진화된 엔터프라이즈 서비스에서 필요한 다양한 요소들에 대한 접근을 쉽도록 제공한다. 스프링 배치는 스케쥴링 프레임워크가 아니다. 좋은 엔터프라이즈 스케쥴러(Quartz, Tivoli, Control-M)가 존재한다.  스케쥴러와 연계하여 수행하지 스케쥴러가 아니라는 의미이다. 스프링 배치는 대용량의 데이터를 처리하는 필수적이고 재사용한 기능(로깅/트레이싱, 트랜잭션 관리, 작업 처리 통계, 작업 재시작, 스킵 및 리소스 관리)을 제공한다. 또한 극한의 대량과 성능을 목표로 배치작업의 최적화 및 분산처리를 위해 진화된 기술 서비스와 아키텍처를 제공한다. 대용량의 정보 처리를 위한 확장 환경의 복잡하고 대량의 배치 작업을 단순하게 하기 위해서는 프레임워크가 효과적일 수 있다.

 

 

스프링 배치 아키텍처

 

스프링 배치는 확정성 있고 다양한 사용자 그룹을 고려하여 설계 되었다. 아래의 그림은 레이어 아키텍처의 스케치이다.

 

 

 

 

경축! 아무것도 안하여 에스천사게임즈가 새로운 모습으로 재오픈 하였습니다.
어린이용이며, 설치가 필요없는 브라우저 게임입니다.
https://s1004games.com

 

이 레이어 아키텍처는 세가지 중요한 요소는 어픝리케이션, 코어와 인프라스트럭쳐이다. 어플리케이션은 스프링 배치를 사용하는 개발자에 의해 작성된

모든 배치 작업 및 커스텀 코드들을 포함한다. 배치 코어는 배치 작업을 컨트롤하고 실행하는데 필요한 코어 런타임 클래스들을 포함한다.

이것은 JobLauncher, Job, Step의 실제 구현체를 포함한다. 어플리케이션과 코어는 공통 인프라스트럭쳐 기반위에 생성되었다.

 

인프라스트럭쳐는 공통적인 리더와 라이터 그리고 RetryTemeplate과 같은 서비스들을 포함한다.

 
일반적인 배치 원칙 및 가이드라인
 
배치 아키텍처는 온라인 아키텍처에 영향을 주고 반대로 받기도 한다. 두 아키텍처와 환경은 가능한 공통 기능을 염두해두어야 한다.
 
가능한 단순하게 복잡한 논리적인 구조를 지양해야 한다.
 
특히 IO와 같은 시스템 리소스의 사용을 최소화하다. 가능한 많은 오퍼레이션을 내부 메모리에서 수행하도록 하자.
 
불필요한 물리적인 IO를 피하기 위해 어플리케이션 IO를 확인하자. 특히 다음 4가지 공통 플로우에 대한 확인이 필요하다.
- 모든 트랜잭션에서 읽어드린 데이터는 동작에 따라 캐슁을 고려하자.
- 같은 트랜잭션에서 
- 불필요한 테이블이나 인덱스 스캔을 고려하다.
- SQL WHERE절에 키 값을 명시하지 말자.
 
배치 실행시 두번 일을 하지 말라. 예를 들어 리포팅 목적으로 데이터를 요약하고, 합계를 증가시켜서 저장해야 한다고 하면, 같은 데이터를 두번 처리하지 않게 하자.
 
충분한 메모리를 할당하자. 메모리 재할당으로 쓸데없는 수행시간 감소를 피하도록하자.
 
항상 데이터 정합성을 고려해라. 적당한 시점에 입력 체크와 레코드 검증을 수행하라.
 
내부적인 검증을 위해 checksums를 구현해라. 예를 들어 SAM 파일에 최종건수등을 trailer에 명시하라.
 
운영환경과 비슷한 환경에서 실제 데이터량에 준하는 부하 테스트를 수행하고 계획하라.
 
백업도 도전이다. 특히 시스템이 24시간 온라인으로 동작하고 있다면, 데이터베이스 백업은 특히 온라인 설계를 고려하여야 한다. 
 
 
 
 

출처 : 스프링 배치 레퍼런스 매뉴얼



출처: https://opennote46.tistory.com/71 [욱'S 노트]

 

 

 

 

 

본 웹사이트는 광고를 포함하고 있습니다.
광고 클릭에서 발생하는 수익금은 모두 웹사이트 서버의 유지 및 관리, 그리고 기술 콘텐츠 향상을 위해 쓰여집니다.
번호 제목 글쓴이 날짜 조회 수
18 [java 인공지능] Spring AI 로 ChatGPT API 만들기 졸리운_곰 2024.12.30 214
17 [java 인공지능] 오라클, 자바 머신러닝 라이브러리 ‘트리뷰오’ 오픈소스로 공개 졸리운_곰 2023.08.27 296
16 [java 인공지능] 자바를 위한 머신 러닝 라이브러리 졸리운_곰 2023.08.27 360
15 [Java 인공지능] 오라클, 자바 머신러닝 라이브러리 ‘트리뷰오’ 오픈소스로 공개 file 졸리운_곰 2023.08.13 358
14 [java 인공지능] [java] 라이프 게임 (life game) file 졸리운_곰 2021.10.19 337
13 How to use Weka in your Java code 졸리운_곰 2020.02.01 307
12 weka and java eclipse example : A Simple Machine Learning Example in Java file 졸리운_곰 2020.01.31 362
11 머신러닝? weka file 졸리운_곰 2020.01.31 357
10 [Weka] Weka를 이용한 Iris 데이터 머신러닝 file 졸리운_곰 2020.01.30 363
9 [강좌] WEKA 사용법 (간단한 분류, 의사결정트리 분석 설명) file 졸리운_곰 2020.01.30 343
8 [JESS] Jess , 이클립스 연동 file 졸리운_곰 2019.12.22 215
7 Jess 간단한 문법 요약 졸리운_곰 2019.12.22 277
6 Jess 6.1 다운로드 friedman-hill_src_1_jess_se file 졸리운_곰 2019.12.22 184
5 java artificial intelligence Rule Engine Jess Working Memory 졸리운_곰 2019.12.22 300
4 Defining Functions in Jess 졸리운_곰 2019.12.22 389
3 Jess Language Basics 졸리운_곰 2019.12.22 272
2 Embedding Jess in a Java Application 졸리운_곰 2019.12.22 298
1 다섯개의 탑 자바로 머신러닝 라이브러리 Top 5 machine learning libraries for Java file 졸리운_곰 2017.08.22 388
대표 김성준 주소 : 경기 용인 분당수지 U타워 등록번호 : 142-07-27414
통신판매업 신고 : 제2012-용인수지-0185호 출판업 신고 : 수지구청 제 123호 개인정보보호최고책임자 : 김성준 sjkim70@stechstar.com
대표전화 : 010-4589-2193 [fax] 02-6280-1294 COPYRIGHT(C) stechstar.com ALL RIGHTS RESERVED