Brooklyn 2023-10-28T13:18:00Z

[AWS] Amazon MWAA를 이용한 EC2 인스턴스 스케쥴링과 원격 Python 스크립트 실행(SSHOperators, AWSOperators 사용법) | 6mini.log

너무나 주옥같은 글을 찾은 것 같습니다. 윤민님, 덕분에 많은 공부를 하고 갑니다.
혹시 실례가 안된다면 질문을 드려봐도 괜찮을까요?

1. 람다 15분 이슈에 따라, EC2인스턴스에 크롤러를 위치시키셨는데요. (동일한 문제를 발생한) 크롤러를 추가할 때마다 개별 인스턴스를 생성하셨을까요? 아니면 하나의 인스턴스에서도 여러 개의 크롤러(DAG)이 확장될 수 있게 설계를 하셨는지 궁금합니다.

2. DAG 내에도 크롤러 코드를 포함할 수 있었을 텐데, EC2로 따로 빼신 이유가 있는지도 궁금합니다.

다시 한번 감사합니다!

사이트 방문하기 https://6mini.github.io//aws/2023/05/17/mwaa-operators/