AWS 기반 데이터 플랫폼 시스템 아키텍처 설계 및 테크 리드 전문가

프로젝트 소개:
- 다수의 외부 플랫폼 데이터를 수집하는 파이프라인을 구축하고, AWS 기반의 데이터 처리 시스템 아키텍처 설계 및 전반적인 기술 품질을 총괄하는 프로젝트입니다.

전체 시스템 구성:
- AWS (ECS/Fargate, S3, CloudWatch), RDS PostgreSQL, Airflow, Scrapy, Playwright

전체 프로젝트 일정:
- 5개월

모집 인원:
- 경력 8~12년 차 1명 (월 700만 원)

근무 형태:
- 상주 근무 (서울 마포구)

상세 업무:
- 다수 외부 플랫폼 데이터 수집 및 데이터 파이프라인 구축
- AWS 기반 데이터 처리 관리 시스템 및 기존 시스템 연계
- AWS 기반 시스템 아키텍처 및 기술 기준 수립
- ECS/Fargate, Airflow, RDS PostgreSQL, S3, CloudWatch 기반 서비스 설계 구축 리딩
- Scrapy, Playwright 기반 데이터 수집 및 ETL 파이프라인 기술 총괄
- HTML, 이미지 파싱, OCR, 데이터 정규화, 표준화, 매핑 처리 및 마스터 데이터 관리 구조 설계
- API 연계 설계, 통합 테스트 주도 및 대용량 데이터 조회 성능 개선
- LLM, 임베딩, 벡터 검색 적용 기준 수립 및 품질, 비용 관리
- 코드리뷰, 기술 이슈 해결, 주요 산출물 품질 관리
- PM 협업을 통한 기술 실행력 확보 및 운영 유지보수 확장이 가능한 시스템 기반 마련

필수 기술:
- AWS, Java, Python, Node.js, REST API, RDBMS, 데이터 모델링

자격 요건:
- 웹, 데이터 플랫폼 또는 SI 구축 프로젝트의 기술 리더 및 테크 리드 경험이 있으신 분
- AWS 기반 서비스 설계 및 운영 경험이 있으신 분
- Java, Python, Node.js 등 서버 개발 언어 중 하나 이상의 실무 경험이 있으신 분
- REST API, RDBMS, 데이터 모델링, 시스템 연계 설계 경험이 있으신 분
- ETL, 배치, 워크플로 파이프라인 설계 및 장애 재처리 경험이 있으신 분
- 대용량 데이터 처리 또는 조회 성능 개선 경험이 있으신 분
- 설계부터 개발, 테스트, 운영 이관까지 전 과정의 기술 품질을 책임지고 기술 의사결정을 주도할 수 있는 분

우대 사항:
- Scrapy, Playwright 등 웹 데이터 수집 기술 경험이 있으신 분
- Airflow, ECS/Fargate, RDS PostgreSQL, S3, CloudWatch 운영 경험이 있으신 분
- OCR, LLM, 임베딩, 벡터 DB를 활용한 데이터 처리 경험이 있으신 분
- 데이터 표준화, 마스터 데이터, 유사도 매칭 및 검증 기능 구축 경험이 있으신 분
- 대기업 SI, 데이터 플랫폼, 커머스, 식자재, 상품정보 시스템 구축 경험이 있으신 분
- 보안 정책, 데이터 보관 및 파기, 접근권한, 감사로그 설계 경험이 있으신 분