[python] Apache Airflow PythonOperator 실습하기(중급)

지난 시간에 이어 Python Operator를 실습 해보겠습니다

1) 새로운 DAG 파일을 만듭니다

cd $AIRFLOW_HOME/dags/ && vim my_python_op.py

2) my_python_op.py 소스코드를 입력합니다

from airflow.models import DAG from airflow.utils.dates import days_ago from airflow.operators.python_operator import PythonOperator import time from pprint import pprint args = {'owner': 'jovyan', 'start_date': days_ago(n=1)} dag = DAG(dag_id='my_python_dag', default_args=args, schedule_interval='@daily') def print_fruit(fruit_name, **kwargs): print('=' * 60) print('fruit_name:', fruit_name) print('=' * 60) pprint(kwargs) print('=' * 60) return 'print complete!!!' def sleep_seconds(seconds, **kwargs): print('=' * 60) print('seconds:' + str(seconds)) print('=' * 60) pprint(kwargs) print('=' * 60) print('sleeping...') time.sleep(seconds) return 'sleep well!!!' t1 = PythonOperator(task_id='task_1', provide_context=True, python_callable=print_fruit, op_kwargs={'fruit_name': 'apple'}, dag=dag) t2 = PythonOperator(task_id='task_2', provide_context=True, python_callable=print_fruit, op_kwargs={'fruit_name': 'banana'}, dag=dag) t3 = PythonOperator(task_id='task_3', provide_context=True, python_callable=sleep_seconds, op_kwargs={'seconds': 10}, dag=dag) t4 = PythonOperator(task_id='task_4', provide_context=True, python_callable=print_fruit, op_kwargs={'fruit_name': 'cherry'}, dag=dag) t1 >> [t2, t3] [t2, t3] >> t4

3) 코드를 실행해봅니다 (문법 오류가 없는지 정도를 확인할 수 있습니다)

cd $AIRFLOW_HOME/dags/ && python my_python_op.py

4) airflow 스케쥴러를 실행합니다

airflow scheduler &

5) 스케쥴러를 컨트롤하고 관리할 웹서버를 실행합니다(포트는 변경가능하며 실습에서는 8882 포트 사용)

airflow webserver -p 8882 &

6) 웹브라우저로 접속합니다

http://localhost:8882/admin/

7) DAGs 탭에서 만들었던 my_python_dag을 Off에서 On으로 활성화 합니다

6) Graph View, Tree View, Gantt 탭에서 아래와 같이 그래프를 확인할 수 있습니다

Graph View, 각 Task를 클릭하면 상세팝업이 뜨고 Log도 확인할 수 있다

Tree View, 우측에 여러 회 수행할 때마다 세로열이 추가된다

Gantt 로 시간 X축과 각 Task의 실행 순서와 시간을 알 수 있다

경축! 아무것도 안하여 에스천사게임즈가 새로운 모습으로 재오픈 하였습니다.
어린이용이며, 설치가 필요없는 브라우저 게임입니다.
https://s1004games.com

7) Graph View의 각 Task별 Log를 살펴봅니다

Graph View의 각 Task를 클릭하면 위 팝업이 뜬다. 우측 상단의 View Log를 클릭한다

상세 로그를 통해 각 파라미터 값과 Task에 전달된 값들을 확인할 수 있습니다.

[Task_1 로그]

[Task_2 로그]

[Task_3 로그]

[Task_4 로그]

끝.

​[출처] https://blog.naver.com/wideeyed/221565276777

 

 

 

 

본 웹사이트는 광고를 포함하고 있습니다.
광고 클릭에서 발생하는 수익금은 모두 웹사이트 서버의 유지 및 관리, 그리고 기술 콘텐츠 향상을 위해 쓰여집니다.
번호 제목 글쓴이 날짜 조회 수
337 Python Flask 로 간단한 REST API 작성하기 file 졸리운_곰 2021.03.21 465
336 [python][인공지능] FLASK를 이용하여 PYTHON에서 PYTORCH를 REST API로 배포하기 졸리운_곰 2021.03.20 364
» [python] Apache Airflow PythonOperator 실습하기(중급) file 졸리운_곰 2021.03.18 407
334 [python] Apache Airflow 소개 및 실습하기(기초) file 졸리운_곰 2021.03.18 308
333 [python internet, MSA] REST API Development with Flask file 졸리운_곰 2021.03.14 350
332 간단한 Flask, mysql, 파이썬 기반 Open API 웹서버 개발 방법 file 졸리운_곰 2021.03.14 416
331 [파이썬][Flask] [번역] Flask 에서 백그라운드 작업을 처리하는 방법 file 졸리운_곰 2021.03.04 901
330 [python, 인터넷, 인공지능] 다중 사용자를 위한 Jupyterhub 설치Install jupyterhub for multi-user file 졸리운_곰 2021.02.17 331
329 FLASK를 이용하여 PYTHON에서 PYTORCH를 REST API로 배포하기 졸리운_곰 2021.02.09 454
328 Building beautiful REST APIs using Flask, Swagger UI and Flask-RESTPlus file 졸리운_곰 2021.02.09 517
327 [python 파이썬] Creating REST API for TensorFlow models file 졸리운_곰 2021.02.01 488
326 [python 파이썬 인공지능] Keras 모델을 REST API로 배포해보기 file 졸리운_곰 2021.02.01 411
325 gRPC 뽀개보기 졸리운_곰 2021.01.30 514
324 [python] 크롤링한 데이터 DB에 저장하기 file 졸리운_곰 2021.01.29 3215
323 [python] 크롤러 만들어 db에 정보 insert 하기 졸리운_곰 2021.01.29 356
322 python으로 gRPC / tools 설치 및 작동시키기 file 졸리운_곰 2021.01.02 390
321 파이썬 플라스크와 MySQL을 사용해 flask, python, mysql file 졸리운_곰 2020.12.29 756
320 flask - apache 연동(mod_wsgi) file 졸리운_곰 2020.12.29 440
319 Continuous Integration Testing For Flask with Jenkins Create a simple flask app 졸리운_곰 2020.12.29 352
318 Python - mongoDB 다루기 졸리운_곰 2020.12.05 345
대표 김성준 주소 : 경기 용인 분당수지 U타워 등록번호 : 142-07-27414
통신판매업 신고 : 제2012-용인수지-0185호 출판업 신고 : 수지구청 제 123호 개인정보보호최고책임자 : 김성준 sjkim70@stechstar.com
대표전화 : 010-4589-2193 [fax] 02-6280-1294 COPYRIGHT(C) stechstar.com ALL RIGHTS RESERVED