2024 05 11

airflow korea meetup

이 날은 그 전날 갑자기 소식을 알게된 airflow 한국 밋업을 가게 되었음.

Korea Apache Airflow Meetup @Seoul Elice-Lab https://www.meetup.com/apache-airflow-users-korea/events/299605465/

순서상 마지막의 라이트닝 토크에서 기회를 얻어서 이 repo 를 소개함. (횡설수설) 밋업 자체가 몇년만의 경험이라 마냥 즐거웠음.

미리 준비하지 않은 공유여서 그런지 잘 전달은 안 된 것 같고 이 고통은 나만의 고통이라는 점만 확인함. 현장에서는 즐거웠는데, 기록으로 정리하려니까 그 점은 착잡하네...

이 날의 첫 발표 Airflow@우아한형제들의 발표자이신 박준영님이 이벤트 드리븐이라는 설명에 아래 발표를 공유해주셨음 https://airflowsummit.org/sessions/2023/event-based-dag-parsing-no-more-f5ing-in-the-ui/ 읽어보니 watchdog 를 써서 airflow 의 첫 5분 문제를 해결한 것으로, 내 문제와는 다른 문제를 해결한 것 이었다.

그리고 아래 2개의 AIP 의 존재를 알려주셨음. 매우 감사합니다. https://cwiki.apache.org/confluence/display/AIRFLOW/AIP-67+Multi-team+deployment+of+Airflow+components https://cwiki.apache.org/confluence/display/AIRFLOW/%5BWIP%5D+AIP-70+Migrating+to+asynchronous+programming

특히 AIP-67 는 멀티테넌트 관련 내용으로... 현황 B 정도가 지금 내가 생각하는 내용인듯. 좀 더 읽어봐야 하겠다.

AIP 에 흥미로운 아이디어가 많다는 걸 발견함. https://cwiki.apache.org/confluence/display/AIRFLOW/AIP-61+Hybrid+Execution