AI训推平台及引擎研发工程师30k-60k · 16薪
福建本科及以上3-5年vLLM
岗位职责:
1. 主导推理引擎技术选型与架构设计(vLLM/SGLang/TensorRT-LLM)
2. 设计PD Disaggregation、Mooncake KV Transfer、HiCache三级缓存等高级推理架构
3. 制定TP/PP/EP并行策略与MoE模型部署方案
4. 推动INT4/FP8量化、MTP/投机解码等推理加速技术落地
5. 与GPU厂商(NVIDIA、Moore Threads、华为)对接技术验证
岗位要求:
1. 5年以上大规模LLM推理系统经验,精通vLLM/SGLang/TRT-LLM内核
2. 深入理解Transformer/MoE架构、KV Cache机制、CUDA编程
3. 有千卡以上集群推理部署实战经验
4. 熟悉英伟达GPU架构及HBM内存管理
5. 有PD分离架构或分布式KV Cache系统设计经验优先
6.工作地点:福建-厦门市