[python] Apache Airflow PythonOperator 실습하기(중급)

지난 시간에 이어 Python Operator를 실습 해보겠습니다

1) 새로운 DAG 파일을 만듭니다

cd $AIRFLOW_HOME/dags/ && vim my_python_op.py

2) my_python_op.py 소스코드를 입력합니다

from airflow.models import DAG from airflow.utils.dates import days_ago from airflow.operators.python_operator import PythonOperator import time from pprint import pprint args = {'owner': 'jovyan', 'start_date': days_ago(n=1)} dag = DAG(dag_id='my_python_dag', default_args=args, schedule_interval='@daily') def print_fruit(fruit_name, **kwargs): print('=' * 60) print('fruit_name:', fruit_name) print('=' * 60) pprint(kwargs) print('=' * 60) return 'print complete!!!' def sleep_seconds(seconds, **kwargs): print('=' * 60) print('seconds:' + str(seconds)) print('=' * 60) pprint(kwargs) print('=' * 60) print('sleeping...') time.sleep(seconds) return 'sleep well!!!' t1 = PythonOperator(task_id='task_1', provide_context=True, python_callable=print_fruit, op_kwargs={'fruit_name': 'apple'}, dag=dag) t2 = PythonOperator(task_id='task_2', provide_context=True, python_callable=print_fruit, op_kwargs={'fruit_name': 'banana'}, dag=dag) t3 = PythonOperator(task_id='task_3', provide_context=True, python_callable=sleep_seconds, op_kwargs={'seconds': 10}, dag=dag) t4 = PythonOperator(task_id='task_4', provide_context=True, python_callable=print_fruit, op_kwargs={'fruit_name': 'cherry'}, dag=dag) t1 >> [t2, t3] [t2, t3] >> t4

3) 코드를 실행해봅니다 (문법 오류가 없는지 정도를 확인할 수 있습니다)

cd $AIRFLOW_HOME/dags/ && python my_python_op.py

4) airflow 스케쥴러를 실행합니다

airflow scheduler &

5) 스케쥴러를 컨트롤하고 관리할 웹서버를 실행합니다(포트는 변경가능하며 실습에서는 8882 포트 사용)

airflow webserver -p 8882 &

6) 웹브라우저로 접속합니다

http://localhost:8882/admin/

7) DAGs 탭에서 만들었던 my_python_dag을 Off에서 On으로 활성화 합니다

6) Graph View, Tree View, Gantt 탭에서 아래와 같이 그래프를 확인할 수 있습니다

Graph View, 각 Task를 클릭하면 상세팝업이 뜨고 Log도 확인할 수 있다

Tree View, 우측에 여러 회 수행할 때마다 세로열이 추가된다

Gantt 로 시간 X축과 각 Task의 실행 순서와 시간을 알 수 있다

경축! 아무것도 안하여 에스천사게임즈가 새로운 모습으로 재오픈 하였습니다.
어린이용이며, 설치가 필요없는 브라우저 게임입니다.
https://s1004games.com

7) Graph View의 각 Task별 Log를 살펴봅니다

Graph View의 각 Task를 클릭하면 위 팝업이 뜬다. 우측 상단의 View Log를 클릭한다

상세 로그를 통해 각 파라미터 값과 Task에 전달된 값들을 확인할 수 있습니다.

[Task_1 로그]

[Task_2 로그]

[Task_3 로그]

[Task_4 로그]

끝.

​[출처] https://blog.naver.com/wideeyed/221565276777

 

 

 

 

본 웹사이트는 광고를 포함하고 있습니다.
광고 클릭에서 발생하는 수익금은 모두 웹사이트 서버의 유지 및 관리, 그리고 기술 콘텐츠 향상을 위해 쓰여집니다.
번호 제목 글쓴이 날짜 조회 수
15 [python 데이터분석] [jupyter] 주피터 노트북에 이미지 삽입 file 졸리운_곰 2025.09.06 526
14 [python 데이터분석] [Python] Streamlit 사용법 (python 데이터분석 웹 만들기) file 졸리운_곰 2024.12.22 462
13 [python 데이터분석] Anaconda : Error while loading conda entry point: conda-libmamba-solver (libarchive.so.19: cannot open shared object file: No such file or directory) 졸리운_곰 2024.12.14 520
12 [python 데이터분석] Anaconda | Conda update 반영 안됨(update 후에도 버전 변경 없음) file 졸리운_곰 2024.11.18 431
11 [python 데이터분석] Keeping Anaconda Up To Date 졸리운_곰 2024.05.30 552
10 [python 데이터 분석] 국내 경제 100대 통계지표 졸리운_곰 2024.02.18 672
9 [python 데이터 분석] Python 에서 R언어 패키지 호출 : Calling R From Python With rpy2 file 졸리운_곰 2024.01.28 676
8 [python 데이터 분석] 파이썬을 활용한 코스피, 달러 환율정보 수집부터 차트 시각화까지 file 졸리운_곰 2023.12.11 735
7 [Python 데이터분석][pandas] [Python pandas] DataFrame의 문자열 칼럼을 숫자형으로 바꾸기 : pd.to_numeric(), DataFrame.astype() file 졸리운_곰 2023.12.09 357
6 [Python 데이터분석] [Python 환경설정] VS code 설치 및 Anaconda와 연동하기 file 졸리운_곰 2023.03.17 527
5 [Python 데이터분석][python 데이터분석 프로덕션] [Python] Docker를 사용한 Dash 웹앱 생성 file 졸리운_곰 2021.12.10 403
4 [Python 데이터분석] [pandas] 공공데이터(csv) 활용시 한글 깨짐 현상 해결 file 졸리운_곰 2021.09.30 592
3 [Python 데이터분석] 공공데이터포털::공휴일 데이터 조회 (REST API) file 졸리운_곰 2021.09.30 358
2 [Python 데이터 분석] pandas의 to_csv()를 사용해서 csv 파일로 저장하기(save 하기) 졸리운_곰 2021.09.29 603
1 [Python 데이터 분석] 데이터 과학을 단순하게 만드는 3가지 Python 패키지 file 졸리운_곰 2021.09.24 513
대표 김성준 주소 : 경기 용인 분당수지 U타워 등록번호 : 142-07-27414
통신판매업 신고 : 제2012-용인수지-0185호 출판업 신고 : 수지구청 제 123호 개인정보보호최고책임자 : 김성준 sjkim70@stechstar.com
대표전화 : 010-4589-2193 [fax] 02-6280-1294 COPYRIGHT(C) stechstar.com ALL RIGHTS RESERVED