[Position Summary]

FDE 데이터 Expert (RAG / Data Pipeline / Knowledge Engineering)

- 고객 데이터의 구조·품질·보안 특성을 분석하고 AI Agent가 활용할 수 있는 데이터 파이프라인과 지식 기반 설계·구현

- 문서/정형/비정형 데이터의 수집·정제·청킹·임베딩·검색·리랭킹·권한통제를 포함한 Production RAG 구축

- 검색 및 답변 품질을 평가 데이터셋과 지표로 검증하고, 구성요소별 실험을 통해 최적의 데이터·검색 전략 도출

- 재사용 가능한 데이터 커넥터, RAG Blueprint, 평가체계 및 운영 표준 자산화

[Role & Responsibilites]

- AI 서비스를 위한 데이터 아키텍처 및 데이터 파이프라인 설계

- RAG, Vector DB, Knowledge Graph 등 AI 데이터 플랫폼 구축

- 정형·비정형 데이터 수집, 전처리, 청킹, 임베딩 파이프라인 설계 및 구현

- 검색 품질, 데이터 품질, Grounding 정확도 평가 및 지속적인 성능 개선

- 데이터 거버넌스 및 메타데이터 관리 체계 수립

- AI 모델 성능 향상을 위한 데이터 전략 수립 및 최적화

[자격요건]
필수사항

- Python/SQL 기반 데이터 처리 및 Batch/Streaming 파이프라인 설계·구현 경험

- 문서 파싱, 정제, Chunking, Embedding, Vector DB 및 검색 시스템 구축 경험

- BM25/Vector/Hybrid Search, RRF, Re-ranking 등 검색기법의 원리와 Trade-off 이해

- Retrieval Precision/Recall, MRR 등 RAG 품질지표를 활용한 평가·튜닝 경험

- 데이터 품질, 변경관리, Lineage, Metadata, 권한 및 보안을 고려한 Production 설계 역량

- 구현한 검색·데이터 구조의 성능과 비용을 실험으로 비교하고 고객에게 근거를 설명하는 역량

선택사항

- Spark, Kafka, Airflow/Dagster, dbt, Databricks/Snowflake/BigQuery 등 활용 경험

- Elasticsearch/OpenSearch, Milvus, Pinecone, Qdrant, pgvector 등 검색·Vector DB 경험

- Knowledge Graph, Neo4j, GraphRAG 또는 Entity Resolution 경험

- RAGAS 등 평가·관측도구와 Golden Dataset 구축 경험

- AWS/Azure/GCP 기반 데이터 플랫폼 구축 및 Kubernetes 운영 경험