https://nanta-data.dev/tags/gcp/Recent content in Gcp on nanta - 데이터 엔지니어링Hugo -- gohugo.ioko© 2026 nantaFri, 27 Feb 2026 00:00:00 +0000https://nanta-data.dev/posts/bigquery-data-transfer-airflow/Fri, 27 Feb 2026 00:00:00 +0000https://nanta-data.dev/posts/bigquery-data-transfer-airflow/S3 마트 테이블을 BigQuery로 인입하는 파이프라인을 구축했다. PoC에서는 BigQuery Data Transfer 스케줄링을 GCP 쪽에 맡겼지만, 운영으로 가면서 Airflow에 통합했다. 매 배치 틱마다 트랜스퍼 객체를 생성하고 데이터 로드 완료 후 삭제하는 구조다. 사용자 피드백으로 멀티데이 lookback, 동시 실행 쿼터 제한, 빈 소스 경로 감지까지 개선한 과정을 정리한다.