[python] Apache Airflow PythonOperator 실습하기(중급)

지난 시간에 이어 Python Operator를 실습 해보겠습니다

1) 새로운 DAG 파일을 만듭니다

cd $AIRFLOW_HOME/dags/ && vim my_python_op.py

2) my_python_op.py 소스코드를 입력합니다

from airflow.models import DAG from airflow.utils.dates import days_ago from airflow.operators.python_operator import PythonOperator import time from pprint import pprint args = {'owner': 'jovyan', 'start_date': days_ago(n=1)} dag = DAG(dag_id='my_python_dag', default_args=args, schedule_interval='@daily') def print_fruit(fruit_name, **kwargs): print('=' * 60) print('fruit_name:', fruit_name) print('=' * 60) pprint(kwargs) print('=' * 60) return 'print complete!!!' def sleep_seconds(seconds, **kwargs): print('=' * 60) print('seconds:' + str(seconds)) print('=' * 60) pprint(kwargs) print('=' * 60) print('sleeping...') time.sleep(seconds) return 'sleep well!!!' t1 = PythonOperator(task_id='task_1', provide_context=True, python_callable=print_fruit, op_kwargs={'fruit_name': 'apple'}, dag=dag) t2 = PythonOperator(task_id='task_2', provide_context=True, python_callable=print_fruit, op_kwargs={'fruit_name': 'banana'}, dag=dag) t3 = PythonOperator(task_id='task_3', provide_context=True, python_callable=sleep_seconds, op_kwargs={'seconds': 10}, dag=dag) t4 = PythonOperator(task_id='task_4', provide_context=True, python_callable=print_fruit, op_kwargs={'fruit_name': 'cherry'}, dag=dag) t1 >> [t2, t3] [t2, t3] >> t4

3) 코드를 실행해봅니다 (문법 오류가 없는지 정도를 확인할 수 있습니다)

cd $AIRFLOW_HOME/dags/ && python my_python_op.py

4) airflow 스케쥴러를 실행합니다

airflow scheduler &

5) 스케쥴러를 컨트롤하고 관리할 웹서버를 실행합니다(포트는 변경가능하며 실습에서는 8882 포트 사용)

airflow webserver -p 8882 &

6) 웹브라우저로 접속합니다

http://localhost:8882/admin/

7) DAGs 탭에서 만들었던 my_python_dag을 Off에서 On으로 활성화 합니다

6) Graph View, Tree View, Gantt 탭에서 아래와 같이 그래프를 확인할 수 있습니다

Graph View, 각 Task를 클릭하면 상세팝업이 뜨고 Log도 확인할 수 있다

Tree View, 우측에 여러 회 수행할 때마다 세로열이 추가된다

Gantt 로 시간 X축과 각 Task의 실행 순서와 시간을 알 수 있다

경축! 아무것도 안하여 에스천사게임즈가 새로운 모습으로 재오픈 하였습니다.
어린이용이며, 설치가 필요없는 브라우저 게임입니다.
https://s1004games.com

7) Graph View의 각 Task별 Log를 살펴봅니다

Graph View의 각 Task를 클릭하면 위 팝업이 뜬다. 우측 상단의 View Log를 클릭한다

상세 로그를 통해 각 파라미터 값과 Task에 전달된 값들을 확인할 수 있습니다.

[Task_1 로그]

[Task_2 로그]

[Task_3 로그]

[Task_4 로그]

끝.

​[출처] https://blog.naver.com/wideeyed/221565276777

 

 

 

 

본 웹사이트는 광고를 포함하고 있습니다.
광고 클릭에서 발생하는 수익금은 모두 웹사이트 서버의 유지 및 관리, 그리고 기술 콘텐츠 향상을 위해 쓰여집니다.
번호 제목 글쓴이 날짜 조회 수
57 [python 인공지능] Deploy ML models with FastAPI, Docker, and Heroku | Tutorial 졸리운_곰 2025.07.08 467
56 [python 인공지능] [VSCode] VSCode에서 ipynb 파일을 HTML(PDF 등..)로 졸리운_곰 2025.05.27 289
55 [Python 인공지능] [파이썬을 이용한 한글 NLP] 03. 간단한 키워드 추출기 졸리운_곰 2025.01.29 459
54 [Python 인공지능] [ 한글 키워드 시각화 ] 파이썬 python 텍스트 마이닝 한글 ( 워드 클라우드 WordCloud, squrify 트리맵으로 빅데이터 마스터) file 졸리운_곰 2025.01.29 398
53 [Python 인공지능] 기계 학습의 A to Z : IPython notebook과 scikit-learn을 활용한 기계 학습 file 졸리운_곰 2024.08.10 523
52 [python] 인공지능 python : 한글 문서 자동 요약 - lexrank 졸리운_곰 2023.07.06 404
51 [python] 인공지능 katiehouse / django-scikit-learn-tutorial file 졸리운_곰 2023.06.03 664
50 [python] [Anaconda]가상환경 설치,삭제 file 졸리운_곰 2022.12.03 405
49 [python][머신러닝] Scikit-learn Tutorial: Machine Learning in Python file 졸리운_곰 2022.11.29 497
48 [python] 파이썬(sklearn) 사이킷런(sklearn) 기초 졸리운_곰 2022.08.20 321
47 [python] scikit-learn이란 file 졸리운_곰 2022.08.20 455
46 [anaconde3][python] Create environment for tensorflow 1.4 in Anaconda 3 졸리운_곰 2022.07.02 563
45 [python][인공지능] [TensorFlow] Anaconda 가상환경 이용하여 TensorFlow GPU 설치 졸리운_곰 2022.01.20 438
44 [Python 인공지능] TextRank 를 이용한 키워드 추출과 핵심 문장 추출 (구현과 실험) file 졸리운_곰 2021.11.22 597
43 [python][인공지능] FLASK를 이용하여 PYTHON에서 PYTORCH를 REST API로 배포하기 졸리운_곰 2021.03.20 364
42 [python 파이썬] Creating REST API for TensorFlow models file 졸리운_곰 2021.02.01 488
41 [python 파이썬 인공지능] Keras 모델을 REST API로 배포해보기 file 졸리운_곰 2021.02.01 411
40 [파이썬 머신러닝] Scikit-learn 기초 졸리운_곰 2020.01.31 579
39 파이썬으로 간단한 뉴럴 네트워크 만들기 How to Create a Simple Neural Network in Python file 졸리운_곰 2020.01.29 22636
38 Keras를 활용한 주식 가격 예측 file 졸리운_곰 2019.02.25 983
대표 김성준 주소 : 경기 용인 분당수지 U타워 등록번호 : 142-07-27414
통신판매업 신고 : 제2012-용인수지-0185호 출판업 신고 : 수지구청 제 123호 개인정보보호최고책임자 : 김성준 sjkim70@stechstar.com
대표전화 : 010-4589-2193 [fax] 02-6280-1294 COPYRIGHT(C) stechstar.com ALL RIGHTS RESERVED