2024 05 23

오늘의 계획

• 1시간만 하기
• 그 안에 scheduler loop 화 성공시키기
• 다른건 욕심!

결과

• 1시간 보다 더함. 중간에 컴 꺼진게 좀 컸다.
• 스케쥴러 코드를 거의 다 가져왔다.
  • async context 에서 try-except 를 재현하기 까다로워서 예외처리를 일단 포기 했다.
  • session 도 그런식으로 포기한게 1경우 있다.
  • dag parse 하는 별도의 process 가 기동하는데, 이를 분리하지 않아서 에러가 나는 듯 하다.
    • airflow 가 하던대로 process 만들게 아니라... 다른 방법으로 해야 할 듯 함.
      • scheduler 하듯 await loop 로 바꾸던가
      • 그게 너무 어려우면 asyncio process pool executor 로 보내던가
  • 그 프로세스가 airflow dag-processor 와 같은 코드를 사용하여 기동하는지는 잘 모르겠음.
• 쉽게 갈려고 상속해서 만들었는데, 아마 곧 불가능해 질 것 같음.