국내유명카드사] AI플랫폼 엔지니어

[담당업무] 1. vLLM, SGLang, TensorRT-LLM 등 LLM 추론·서빙 프레임워크를 활용한 모델 서빙 플랫폼 설계, 구축 및 운영 2. LLM 추론 성능 및 GPU 자원 활용 효율 최적화 3...·서빙 프레임워크 활용 경험 4. LiteLLM 등을 활용한 LLM 게이트웨이 구축, 모델 라우팅 및 사용량 관리 경험 5. Langfuse 등을 활용한 LLM Agent Tracing 및 Observability