ORACLE BULK SQL 사용예

2020.10.09 21:52

졸리운_곰 조회 수:1561

BULK SQL 사용예

대량의 데이터를 load 하거나 update(delete) 할 때 일반적으로 사용하는 LOOP 문보다 성능이 수십배 이상 좋은 방법이 BULK SQL 을 사용하는 방법이다. 

일반적인 LOOP 문 안에 있는 SQL 은 매 LOOP 마다 1회씩 수행된다. LOOP 가 100만개이면 100만번의 SQL 수행이 발생되는 것이다. 반면에 BULK SQL 을 사용하면 LOOP 없이 1번의 SQL 수행으로 처리할 수 있다.

BULK SQL 처리를 위해 오라클 PL/SQL 에서는 FORALL 과 BULK COLLECT INTO 라는 이라는 예약어를 사용한다. FORALL 은 PL/SQL 이 DML 문장을 SQL 엔진에게 보내는데 사용되고, BULK COLLECT INTO 는 SQL 수행결과 데이터셋을 PL/SQL 엔진에게 보낸다.

BULK SQL 은 MULTI ROW 집합을 한번에 처리하기 때문에 ARRAY 처리가 쉬운 TABLE DATATYPE 같은 collection type 이 주로 사용된다.

BULK SQL 로 수백만건을 한번에 처리할 수도 있지만, 이렇게 하면 PGA 소모가 크기 때문에 1000 ~ 100000 건 단위로 나누어서 작업하는 것이 좋다. 이를 위해 LIMIT 이라는 예약어를 사용한다. 

 

<참고> BULK SQL 에 대해서 자세히 공부하려면 아래의 링크를 보세요.

http://docs.oracle.com/cd/E11882_01/appdev.112/e25519/tuning.htm#BABFHGHI

 

---------------------

BULK SQL 사용예

---------------------

DROP TABLE SH.SALES2;

CREATE TABLE SH.SALES2 AS 

SELECT * FROM SH.SALES

WHERE 1=2;

 

CREATE OR REPLACE PROCEDURE P_BULK_INSERT_TEST IS

 

  CURSOR sales_cur IS

                         SELECT  PROD_ID,

                                 CUST_ID,

                                 TIME_ID,

                                 CHANNEL_ID,

                                 PROMO_ID,

                                 QUANTITY_SOLD,

                                 AMOUNT_SOLD

                         FROM    SH.SALES;

 

  TYPE SALES_TBL_TYPE IS TABLE OF sales_cur%ROWTYPE INDEX BY BINARY_INTEGER;

  SALES_TBL SALES_TBL_TYPE;

 

BEGIN

 

  OPEN sales_cur;

  

  LOOP 

    FETCH sales_cur BULK COLLECT INTO  sales_tbl LIMIT 1000-- PGA 소모를 작게 유지하기 위해 1000건씩만 처리

 

    --각종 계산은 여기에서

    FOR i IN sales_tbl.FIRST..sales_tbl.LAST LOOP

      sales_tbl(i).AMOUNT_SOLD := sales_tbl(i).AMOUNT_SOLD * 1.5;

    END LOOP;

    

    --<방법1> FETCH 된 1000건을 SQL 1회 수행으로 처리

    FORALL i IN sales_tbl.FIRST..sales_tbl.LAST

      INSERT INTO SALES2 VALUES (sales_tbl(i).PROD_ID,

                                 sales_tbl(i).CUST_ID,

경축! 아무것도 안하여 에스천사게임즈가 새로운 모습으로 재오픈 하였습니다.
어린이용이며, 설치가 필요없는 브라우저 게임입니다.
https://s1004games.com

                                 sales_tbl(i).TIME_ID,

                                 sales_tbl(i).CHANNEL_ID,

                                 sales_tbl(i).PROMO_ID,

                                 sales_tbl(i).QUANTITY_SOLD,

                                 sales_tbl(i).AMOUNT_SOLD

                                 );

 

-- <방법2> LOOP를 사용하는 방법; INSERT SQL 1000 번 수행 (속도는 방법1 보다 30배 이상 느림)

--    FOR i IN sales_tbl.FIRST..sales_tbl.LAST LOOP

--      INSERT INTO SALES2 VALUES (sales_tbl(i).PROD_ID,

--                                 sales_tbl(i).CUST_ID,

--                                 sales_tbl(i).TIME_ID,

--                                 sales_tbl(i).CHANNEL_ID,

--                                 sales_tbl(i).PROMO_ID,

--                                 sales_tbl(i).QUANTITY_SOLD,

--                                 sales_tbl(i).AMOUNT_SOLD

--                                 );

--

--    END LOOP;

 

 

    -- UPDATE / DELETE 도 가능

    FORALL i IN sales_tbl.FIRST..sales_tbl.LAST

      UPDATE SALES SET AMOUNT_SOLD = sales_tbl(i).AMOUNT_SOLD

      WHERE PROD_ID = sales_tbl(i).PROD_ID

        AND CUST_ID = sales_tbl(i).CUST_ID

        AND TIME_ID = sales_tbl(i).TIME_ID

        AND CHANNEL_ID = sales_tbl(i).CHANNEL_ID

        AND PROMO_ID = sales_tbl(i).PROMO_ID;

 

    EXIT WHEN sales_cur%NOTFOUND;

  

  END LOOP;

  

  CLOSE sales_cur;

  COMMIT;

  

EXCEPTION

    WHEN OTHERS THEN

        ROLLBACK;

        RAISE_APPLICATION_ERROR(-20001,'RAISE_APPLICATION_ERROR : ' ||SQLCODE||':'|| SUBSTR(SQLERRM,1,200));

END;

 

 

[출처] https://m.blog.naver.com/inhim/100154127152

 

 

 

 

본 웹사이트는 광고를 포함하고 있습니다.
광고 클릭에서 발생하는 수익금은 모두 웹사이트 서버의 유지 및 관리, 그리고 기술 콘텐츠 향상을 위해 쓰여집니다.
번호 제목 글쓴이 날짜 조회 수
공지 오라클 기본 샘플 데이터베이스 졸리운_곰 2014.01.02 87053
공지 [SQL컨셉] 서적 "SQL컨셉"의 샘플 데이타 베이스 SAMPLE DATABASE of ORACLE 가을의 곰을... 2013.02.10 79285
공지 [G_SQL] Sample Database 가을의 곰을... 2012.05.20 96019
46 [데이터분석 & 데이터 사이언스] 수많은 데이터 사이언티스트들이 직장을 떠나는 이유는 무엇인가? file 졸리운_곰 2025.03.09 907
45 [데이터분석][파이썬][python] 한글 글꼴 사용 (matplotlib) 졸리운_곰 2024.04.18 1364
44 [데이터분석 & 데이터 사이언스] 데이터에 관한 꼭 알아야 할 오해와 진실 12가지 졸리운_곰 2024.01.17 1317
43 [데이터분석][파이썬][python] Awesome Dash Awesome file 졸리운_곰 2021.07.10 2346
42 [데이터분석][파이썬][python] ???? Introducing Dash ???? file 졸리운_곰 2021.07.10 1611
41 [dataset] (한글) 욕설 감지 데이터셋 file 졸리운_곰 2021.05.12 1561
40 [데이터분석][python] Dash를 사용하는 초보자 및 기타 모든 사용자를위한 Python의 대시 보드 file 졸리운_곰 2021.04.14 1769
39 [데이터분석][python] Dash를 사용하는 초보자 및 기타 모든 사용자를위한 Python의 대시 보드 file 졸리운_곰 2021.04.14 1609
38 [데이터분석][데이터 사이언스][python][Dash] Python, Dash 및 Plotly를 사용하여 COVID-19 사례 데이터 시각화 file 졸리운_곰 2021.03.28 1504
37 [데이터분석][머신러닝] When not to use machine learning or AI Adventures in wishful thinking, nonstationarity, and pattern-finding / 기계 학습 또는 AI를 사용하지 않아야하는 경우 희망찬 사고, 비정상 성, 패턴 찾기의 모험 file 졸리운_곰 2021.03.28 21624
36 [MSA][머신러닝] 쿠버네티스 기반의 End2End 머신러닝 플랫폼 Kubeflow #1 - 소개 file 졸리운_곰 2021.03.21 1142
35 [데이터사이언스] 데이터 과학자를위한 3 가지 훌륭한 디자인 패턴, 3 Great Design Patterns for Data Scientists file 졸리운_곰 2021.03.04 783
34 [데이터분석] 시계열 데이터에 AI를 사용하는 이유는 무엇입니까? file 졸리운_곰 2021.02.28 1196
33 [데이터분석] AI 예측 및 이상 탐지를위한 시계열 데이터 전처리 file 졸리운_곰 2021.02.28 1041
32 [데이터분석] bitcoin analysis 비트 코인 시계열 데이터에 대한 AI 이상 탐지 file 졸리운_곰 2021.02.27 1601
31 [데이터분석 & 데이터 사이언스] How To Create a Data Science Portfolio Website file 졸리운_곰 2021.02.14 1835
30 [데이터수집4] 오픈 API 데이터 수집 (소셜미디어 데이터 수집) file 졸리운_곰 2020.06.12 1957
29 [데이터수집3] 관계형 데이터베이스 데이터 수집 file 졸리운_곰 2020.06.12 1322
28 [데이터수집2] 분산시스템 로그 수집 (빅데이터 수집) file 졸리운_곰 2020.06.12 1502
27 [데이터수집1] 웹 크롤링, 웹 스크래핑 file 졸리운_곰 2020.06.12 1807
대표 김성준 주소 : 경기 용인 분당수지 U타워 등록번호 : 142-07-27414
통신판매업 신고 : 제2012-용인수지-0185호 출판업 신고 : 수지구청 제 123호 개인정보보호최고책임자 : 김성준 sjkim70@stechstar.com
대표전화 : 010-4589-2193 [fax] 02-6280-1294 COPYRIGHT(C) stechstar.com ALL RIGHTS RESERVED