Bigquery on nanta - 데이터 엔지니어링https://nanta-data.dev/tags/bigquery/Recent content in Bigquery on nanta - 데이터 엔지니어링Hugo -- gohugo.ioko© 2026 nantaFri, 27 Feb 2026 00:00:00 +0000BigQuery Data Transfer와 Airflow 통합: 매 배치마다 트랜스퍼를 생성하고 삭제하는 이유https://nanta-data.dev/posts/bigquery-data-transfer-airflow/Fri, 27 Feb 2026 00:00:00 +0000https://nanta-data.dev/posts/bigquery-data-transfer-airflow/S3 마트 테이블을 BigQuery로 인입하는 파이프라인을 구축했다. PoC에서는 BigQuery Data Transfer 스케줄링을 GCP 쪽에 맡겼지만, 운영으로 가면서 Airflow에 통합했다. 매 배치 틱마다 트랜스퍼 객체를 생성하고 데이터 로드 완료 후 삭제하는 구조다. 사용자 피드백으로 멀티데이 lookback, 동시 실행 쿼터 제한, 빈 소스 경로 감지까지 개선한 과정을 정리한다.Superset에서 BigQuery가 무한 블로킹되는 이유: gevent와 gRPC의 호환성 문제https://nanta-data.dev/posts/bigquery-bi-integration/Fri, 27 Feb 2026 00:00:00 +0000https://nanta-data.dev/posts/bigquery-bi-integration/사용자 권한별로 BigQuery를 BI에서 사용할 수 있도록 Redash와 Superset에 연동했다. Redash는 스키마 조회 불가라는 알려진 한계가 있었고, Superset은 더 심각한 문제를 만났다. SqlLab에서는 정상인데 차트 화면에서 쿼리가 무한 블로킹됐다. 원인은 gunicorn의 gevent 워커가 Python 코어 라이브러리를 멍키패칭하면서 BigQuery SDK의 gRPC 호출을 교착시키는 문제였다. 워커 타입을 gthread로 교체해서 해결했고, 업스트림에 문서 픽스 PR을 기여했다.