데이터 수집 #2 Apache Sqoop을 활용하여 RDBMS 데이터 수집(2)

이전 칼럼의 Apache Sqoop 에 대한 간략한 개요 설명에 이어, Sqoop 설치 및 가장 많이 사용하는 Command 인 Import, Export 에 대하여 정리를 한다.

Sqoop 설치

본 글에서는 Sqoop1 의 최신 버전인 1.4.4를 바탕으로 진행을 한다.

0) 사전준비

Data Store 인 Apache Hadoop은 이미 설치되어 있다고 가정 Hadoop EcoSystem(Hadoop, Hbase, Zookeeper, Pig, Hive 등)을 일괄 설치, 관리해주는 프로젝트를 위한 프로젝트가 있는데, Apache Ambari, Apache Bigtop 이 그것이다. 이를 활용하면 설치, 배포, 버전관리를 쉽게 할 수 있다. 개인적으로는 Apache Ambari가 좀 더 사용자 친화적이여서 추천한다. 그러나, 처음부터 이런 프로젝트를 사용하기 보다는 우선은 각각을 손수 설치해보기를 권장한다.^^

Bash Shell 기준
DBMS는 MySQL Community Server
JDBC Driver는 라이선스 이슈로 Sqoop 배포 패키징에 포함되어 있지 않으므로 직접 DB Vendor에서 다운로드가 필요하다.

1) 필요 환경변수(Hadoop HOME) 세팅
.bash_profile 또는 /etc/profile 등 에 환경변수 값 세팅 필요
export HADOOP_HOME=/home/daisy/hadoop

2) 필요 프로그램 다운로드
Sqoop Binary
% wget http://mirror.apache-kr.org/sqoop/1.4.4/sqoop-1.4.4.bin__hadoop-1.0.0.tar.gz

or
% wget http://mirror.apache-kr.org/sqoop/1.4.4/sqoop-1.4.4.bin__hadoop-2.0.4-alpha.tar.gz

MySQL JDBC Driver
% wget http://dev.mysql.com/get/Downloads/Connector-J/mysql-connector-java-5.1.28.tar.gz

3) 설치

yum, apt-get, zypper 등으로 패키징 설치도 가능하지만, 여기에서는 Hadoop 버전과 매핑된 binary tarball을 사용한다. Sqoop 설치

% tar -zxvf sqoop-1.4.4.bin__hadoop-1.0.0.tar.gz

MySQL Driver 설정 : Sqoop이 설치된 디렉토리 아래 lib로 Copy % cp mysql-connector-java-5.1.28-bin.jar $SQOOP_HOME/lib

Sqoop Import

가장 많이 사용할 Command 인 Import는 RDBMS에 있는 데이터를 Hadoop FileSystem으로 옮기는 명령어이다.



*) 그림출처 : https://blogs.apache.org/sqoop/

위 그림에서와 먼저 가져올 데이터의 메타정보를 가져온 후, Map-only Hadoop Job으로 데이터를 클러스터로 보낸다. 즉, Reduce Job은 없다. (Sqoop1 기준) Sqoop Import 몇 가지 옵션의 사용 예 1) 설치특정 테이블 데이터 import mysql.example.com의 MySQL DB내 mydb Database에 접속하여 acclog 라는 테이블 전체를 Import 하여 Hadoop 저장하는 기본적인 방법

sqoop import \
--connect jdbc:mysql://mysql.example.com/mydb \
--username sqoop \
--password sqoop \
--table acclog \
--target-dir /teststore/input/acclog

2) DB내 전체 테이블 Import
mydb Database에 접속하여 2개 테이블(cities, countires)를 제외한 테이블 전체를 Import

sqoop import-all-tables \
--connect jdbc:mysql://mysql.example.com/mydb \
--username sqoop \
--password sqoop \
--exclude-tables cities,countries \
--warehouse-dir /teststore/input/

3) Mapper 개수 지정
mydb Database 의 acclog 테이블 전체의 데이터를 가져올 때 10개의 mapper 수를 지정함으로써 Hadoop 처리 속도를 조절 할 수 있다. 시스템상황을 고려해서 개수를 설정하면 된다.

sqoop import \
--connect jdbc:mysql://mysql.example.com/mydb \
--username sqoop \
--password sqoop \
--table acclog \
--target-dir /teststore/input/acclog \
--num-mappers 10

참고로, 5대의 Hadoop 클러스터를 이용하여 테스트해본 결과 옵션에 따라 아래와 같은 결과가 나왔다.
조건 : Hadoop 5대 클러스터 / 890만건 4.8GB 데이터
A) 옵션 없음 : 131.75초 소요 (37.33 MB/sec)
B) 옵션 5 : 103.57초 소요 (47.48 MB/sec)
C) 옵션 10 : 63.41초 소요 (77.56 MB/sec)
D) 옵션 20 : 62.59초 소요 (78.57 MB/sec)

4) 일부 데이터, 조건에 맞는 데이터 가져오기
A) --incremental 옵션 사용
acclog 테이블의 seq 칼럼값이 8910000 이상인 것만 import

sqoop import \
--connect jdbc:mysql://mysql.example.com/mydb \
--username sqoop \
--password sqoop \
--table acclog \
--target-dir /teststore/input/acclog \
--num-mappers 10 \
--incremental append \
--check-column seq \
--last-value 8910000

B) 특정 Query 조건에 맞는 데이터 가져오기
sqoop import \
--connect jdbc:mysql://mysql.example.com/mydb \
--username sqoop \
--password sqoop \
--target-dir /teststore/input/acclog \
--query 'SELECT seq, inputdate, searchkey \
FROM acclog
WHERE seq > 10' \
--num-mappers 10

5) 데이터 전송속도 높이기 --direct 옵션
--direct 옵션을 사용하여 DataBase의 Native Tool, 예를 들어 mysqldump를 활용하여 보다 빠르게 데이터를 가져올 수 있다.

sqoop import \
--connect jdbc:mysql://mysql.example.com/mydb \
--username sqoop \
--password sqoop \
--table acclog \
--target-dir /teststore/input/acclog \
--num-mappers 10 \
--direct

단, 해당 옵션은 MySQL, PostgreSQL 만 가능하다. 또한, 해당 클라이언트가 Mapper가 동작하는 Hadoop 클러스터에 모두 설치되어 있어야만 가능하다.

6) 기타 옵션
A) 데이터 전송시 지원 파일 포맷
Sqoop은 데이터 전송시 3가지의 파일 포맷을 지원한다. 파일 포맷은 각각의 옵션을 지정하면 가능하다.
- Text Format (Default)
- Binary Format : Avro(옵션 --as-avrodatafile) , Hadoop's SequenceFile (옵션 --as-sequencefile)

B) 압축 지원
파일 저장 용량을 줄이기 위한 압축도 지원된다. 옵션(--compress)을 사용하면 되며, 압축 알고리즘은 --compression-code 옵션에 해당 압축코덱명을 명기해주면 되며, 지원되는 압축 코덱은 아래와 같다.

- Splittable : Bzip2, LZO
- Not Splittable : Gzip, Snappy

기본 --compress옵션만 사용했을 경우 용량은 20%정도 줄어들지만, 시간은 거의 유사한 것으로 테스트 되었다.

C) HDFS에 저장할 위치 지정
--target-dir 옵션을 활용하여 HDFS에 저장될 데이터의 위치를 지정해 줄 수 있다. 또는, --warehouse-dir 옵션을 활용하여 해당 디렉토리 아래에 import할 테이블 명으로 위치를 지정할 수 있다.

Sqoop Export

Import와 반대로 HDFS에 저장된 데이터를 RDBMS로 보낼 경우 사용하는 Export 명령이 많이 사용된다.


*) 그림출처 : https://blogs.apache.org/sqoop/

마찬가지로, 먼저 DB의 메타데이터를 가져온 후, 데이터를 이동시킨다. Sqoop Export 몇 가지 옵션의 사용 예 1) Hadoop 내 acclog 데이터를 MySQL DB의 acclog 테이블로 데이터를 옮기는 기본 사용 예제 아래 Sqoop Export가 실행이 되면 Insert Query를 통해 해당 DB에 입력이 되게 된다.

sqoop export \
--connect jdbc:mysql://mysql.example.com/mydb \
--username sqoop \
--password sqoop \
--table acclog \
--export-dir /teststore/input/acclog

2) --batch 옵션을 통한 Insert 속도 높이기
Export 속도, 즉, Insert 속도가 느릴 경우 --batch 옵션 또는 sqoop.export.record.per.statement 에 동시 수행할 개수를 지정하여 이용할 수 있다.

sqoop export \
-Dsqoop.export.records.per.statement=10 \
--connect jdbc:mysql://mysql.example.com/mydb \
--username sqoop \
--password sqoop \
--table acclog \
--export-dir /teststore/input/acclog
sqoop.export.records.per.statement의 값을 1보다 크게 지정하면 batch mode로 동작한다. 이 옵션은 export 뒤에 다른 옵션들보다 먼저 나와야 한다. --batch 옵션일 경우는 JDBC batching을 이용하는 것으로, default 값은 connector에 따라 다르다.

3) 기존 데이터셋 Updating
새로운 데이터로 Insert하는 것이 아니라, 기존 Row에 대해 Update를 통해 Export하는 경우

sqoop export \
--connect jdbc:mysql://mysql.example.com/mydb \
--username sqoop \
--password sqoop \
--table acclog \
--export-dir /teststore/input/acclog \
--update-key seq

seq 칼럼값을 기준으로 Update하는 경우임
또한, Update와 동시에 Insert를 해야할 경우는 --update-mode allowinsert 옵션을 활용한다.

Hadoop Ecosystem과 Integration

Scheduling Sqoop Jobs -> Oozie Workflow (Hadoop Scheduler)
Importing Data Directory into Hive : --hive-import, --hive-partition-key
Importing Data into HBase : --hbase-table

경축! 아무것도 안하여 에스천사게임즈가 새로운 모습으로 재오픈 하였습니다.
어린이용이며, 설치가 필요없는 브라우저 게임입니다.
https://s1004games.com

출처 : 한국데이터베이스진흥원

제공 : DB포탈사이트 DBguide.net

[출처] http://www.dbguide.net/knowledge.db?cmd=specialist_view&boardUid=176805&boardConfigUid=108&boardStep=0&categoryUid=