https://nanta-data.dev/tags/emr/Recent content in Emr on nanta - 데이터 엔지니어링Hugo -- gohugo.ioko© 2026 nantaTue, 03 Mar 2026 00:00:00 +0000https://nanta-data.dev/posts/emr-on-eks-lakeformation-poc/Tue, 03 Mar 2026 00:00:00 +0000https://nanta-data.dev/posts/emr-on-eks-lakeformation-poc/EMR-on-EKS에 Spark 잡 레벨의 권한제어를 도입해야 했다. Ranger는 EMR-on-EKS의 구조적 한계(마스터 노드 부재, 플러그인 설치 불가)로 기각되었고, LakeFormation을 선택했다. PoC 과정에서 서비스 라벨 셀렉터 불일치, FGAC의 RDD/UDF/synthetic type 차단, cross-account Glue 접근 제한 등 10개의 이슈를 만났다. 각각의 원인 파악과 우회 방법, 그리고 FGAC가 기존 Spark 코드에 미치는 영향을 정리한다.https://nanta-data.dev/posts/emr-on-eks-vpa-review/Fri, 27 Feb 2026 00:00:00 +0000https://nanta-data.dev/posts/emr-on-eks-vpa-review/EMR on EKS 환경에서 Spark executor 리소스를 자동 최적화하려고 AWS 제공 VPA를 검토했다. 약 한 달간 PoC를 진행했지만 오퍼레이터 자체가 정상 동작하지 않았다. AWS 서포트 케이스를 여러 차례 열었고 매니페스트 번들까지 받아서 커스터마이징했지만 결국 포기했다.