- 전체
- Sample DB
- database modeling
- [표준 SQL] Standard SQL
- G-SQL
- 10-Min
- ORACLE
- MS SQLserver
- MySQL
- SQLite
- postgreSQL
- 데이터아키텍처전문가 - 국가공인자격
- 데이터 분석 전문가 [ADP]
- [국가공인] SQL 개발자/전문가
- NoSQL
- hadoop
- hadoop eco system
- big data (빅데이터)
- stat(통계) R 언어
- XML DB & XQuery
- spark
- DataBase Tool
- 데이터분석 & 데이터사이언스
- Engineer Quality Management
- [기계학습] machine learning
- 데이터 수집 및 전처리
- 국가기술자격 빅데이터분석기사
- 암호화폐 (비트코인, cryptocurrency, bitcoin)
NoSQL MongoDB Bulk Write(대랑 쓰기) & Retryable Write(쓰기 재시도)
2020.10.09 21:55
MongoDB Bulk Write(대랑 쓰기) & Retryable Write(쓰기 재시도)
Bulk Write
MongoDB는 단일 컬렉션(Collection)에 대하여 대량 쓰기, 업데이트, 제거 작업을 bulkWrite를 통해 할 수 있다.
Bulk Write는 Ordered 와 Unordered 두가지가 존재한다.
Ordered 방식은 작업을 순차적으로 실행하는데, 만약 쓰기 작업을 하는 도중 오류가 발생하면 나머지 쓰기 작업을 처리하지 않고 작업을 끝낸다.
Unordered 방식은 쓰기 작업 중 하나가 오류가 발생하더라도 나머지 작업을 계속 실행한다.
- Ordered 방식은 이전 작업을 완료할 때 까지 다음 작업을 처리하지 않기 때문에 처리 속도가 느리다.
(기본적으로 MongoDB는 ordered 방식을 사용)
bulkWrite()는 다음과 같은 작업을 지원한다.
- insertOne
- updateOne
- updateMany
- replaceOne
- deleteOne
- deleteMany
bulkWrite() 사용 방법
bulkWrite()는 다음과 같이 작업을 배열로 작성하여 처리를 진행한다.
try {
db.characters.bulkWrite(
[
{ insertOne :
{
"document" :
{
"_id" : 4, "char" : "Dithras", "class" : "barbarian", "lvl" : 4
}
}
},
{ insertOne :
{
"document" :
{
"_id" : 5, "char" : "Taeln", "class" : "fighter", "lvl" : 3
}
}
},
{ updateOne :
{
"filter" : { "char" : "Eldon" },
"update" : { $set : { "status" : "Critical Injury" } }
}
},
{ deleteOne :
{ "filter" : { "char" : "Brisbane"} }
},
{ replaceOne :
{
"filter" : { "char" : "Meldane" },
"replacement" : { "char" : "Tanys", "class" : "oracle", "lvl" : 4 }
}
}
]
);
}
catch (e) {
print(e);
}
위의 작업들을 순차적으로 진행하며 오류 발생시에는 나머지 작업 처리를 하지 않는다.
또한, 리턴값은 다음과 같다.
{
"acknowledged" : true,
"deletedCount" : 1,
"insertedCount" : 2,
"matchedCount" : 2,
"upsertedCount" : 0,
"insertedIds" : {
"0" : 4,
"1" : 5
},
"upsertedIds" : {
}
}
Retryable Write
Retryable Write를 통해서 MongoDB에서 오류가 발생했을 때, 특정 쓰기 작업을 자동으로 재시도 할 수 있다.
쉽게 말해 작업 중 오류가 발생한다면, 그 작업을 재시도하는 기능이다.
Retryable Write을 위해서는 다음과 같은 조건이 필요하다.
- 복제본 집합* 혹은 공유 클러스터 필요 ( 독립 실행형 인스턴스를 지원하지 않는다)
- WiredTiger** 혹은 in-memory 스토리지 엔진 필요( document-level locking***을 지원해야함)
*복제본 집합은 master/slave의 slave를 말하며 Retryable write를 위해서는 여러개의 slaves 즉 복제본 집합이 필요
**WiredTiger MongoDB의 기본 스토리지 엔진,
(스토리지 엔진은 데이터베이스 엔진과 동일한 의미 DBMS가 CRUD를 하는데 사용하는 기본 소프트웨어 컴포넌트)
***documnet level lockingw, 기본적으로 WiredTiger는 document-level로 동작하는데 document 별로 작업을 처리하고 관리한다.
이 기능을 통하여 동시에 여러개의 document를 처리(쓰기,읽기,삭제) 할 수 있으며, locking을 통해 통제 또한 가능하다.
[출처] https://junghwanta.tistory.com/31
광고 클릭에서 발생하는 수익금은 모두 웹사이트 서버의 유지 및 관리, 그리고 기술 콘텐츠 향상을 위해 쓰여집니다.