https://nanta-data.dev/tags/s3/Recent content in S3 on nanta - 데이터 엔지니어링Hugo -- gohugo.ioko© 2026 nantaFri, 27 Feb 2026 00:00:00 +0000https://nanta-data.dev/posts/bigquery-data-transfer-airflow/Fri, 27 Feb 2026 00:00:00 +0000https://nanta-data.dev/posts/bigquery-data-transfer-airflow/S3 마트 테이블을 BigQuery로 인입하는 파이프라인을 구축했다. PoC에서는 BigQuery Data Transfer 스케줄링을 GCP 쪽에 맡겼지만, 운영으로 가면서 Airflow에 통합했다. 매 배치 틱마다 트랜스퍼 객체를 생성하고 데이터 로드 완료 후 삭제하는 구조다. 사용자 피드백으로 멀티데이 lookback, 동시 실행 쿼터 제한, 빈 소스 경로 감지까지 개선한 과정을 정리한다.https://nanta-data.dev/posts/s3-table-buckets-poc/Fri, 27 Feb 2026 00:00:00 +0000https://nanta-data.dev/posts/s3-table-buckets-poc/AWS S3 테이블 버킷은 자동 컴팩션을 제공하는 매니지드 Iceberg다. CDC 싱크 테이블의 컴팩션 문제를 해결할 수 있을지 PoC를 진행했다. Trino, Spark, Kafka Connect 연동을 확인하고, 자동 컴팩션의 동작 특성과 비용을 검토했다. 결론은 모든 테이블에 쓸 서비스는 아니고, CDC 테이블에 한해서 가치가 있다는 것이다.https://nanta-data.dev/posts/trino-alluxio-cache-poc/Fri, 27 Feb 2026 00:00:00 +0000https://nanta-data.dev/posts/trino-alluxio-cache-poc/Trino의 Alluxio 기반 파일 시스템 캐시를 프로덕션 OLAP 환경에서 PoC했다. 캐시를 붙이기만 하면 빨라질 줄 알았는데 EBS 기본 스루풋 125MiB/s가 병목이었다. 스루풋 상향 후 쿼리 성능이 눈에 띄게 개선됐고 S3 API 비용도 월 440만 원 줄었다.