핵심 요구사항
- Databricks를 활용한 데이터 엔지니어링(수집·적재·가공·Mart 구축) 전반 수행 경험
- SQL 기반 데이터 가공 및 분석용 데이터셋 구축 능력
- 대용량 데이터 배치·실시간 파이프라인 구축 및 성능 튜닝 경험
- Data Mart 구축 및 데이터 모델링(L1 / Golden Mart) 경험
- AWS S3 기반 CSV 데이터 적재·처리 및 MES·SPC 등 제조 시스템 연계 경험
Databricks 기반으로 제조 공장의 설비·생산 데이터를 수집·적재·가공하는 파이프라인을 확대·개선하고, 분석 활용을 위한 표준 Data Mart(L1 Mart / Golden Mart)를 구축하는 프로젝트입니다. 신규 설비 도입에 따른 수집 범위 확대, 기존 실시간 파이프라인 안정화·성능 튜닝, MES·SPC 등 제조 시스템 데이터 연계와 생산현황·재공재고·불량·Scrap·장비상태 등 분석용 데이터 구성을 담당합니다. Databricks·SQL 기반 대용량 데이터 엔지니어링과 Data Mart 모델링 경험이 풍부하고, 제조·설비 데이터 도메인 경험이 있는 시니어급 데이터 엔지니어에게 적합합니다.