Brooklyn
너무나 주옥같은 글을 찾은 것 같습니다. 윤민님, 덕분에 많은 공부를 하고 갑니다.
혹시 실례가 안된다면 질문을 드려봐도 괜찮을까요?
1. 람다 15분 이슈에 따라, EC2인스턴스에 크롤러를 위치시키셨는데요. (동일한 문제를 발생한) 크롤러를 추가할 때마다 개별 인스턴스를 생성하셨을까요? 아니면 하나의 인스턴스에서도 여러 개의 크롤러(DAG)이 확장될 수 있게 설계를 하셨는지 궁금합니다.
2. DAG 내에도 크롤러 코드를 포함할 수 있었을 텐데, EC2로 따로 빼신 이유가 있는지도 궁금합니다.
다시 한번 감사합니다!