小米 – 大模型训练和推理框架负责人 职位分析和面试指导

职位描述：

1. 负责大语言模型训练框架开发和优化，包括不限于性能分析，高性能算子，计算和通信优化，可观测性等
2. 负责大语言模型推理框架开发和优化，包括不限于PD分离，专家并行，高性能算子等
3. 负责训练和推理框架团队管理和规划，支持上层大语言和多模态模型的训练和推理

职位要求：

1. 计算机/电子/数学等相关专业硕士及以上学历， 8年以上计算机相关工作经验，3年以上团队管理经验
2. 编程能力 ：精通C/C++，熟悉Python，具备扎实的数据结构与算法基础
3. GPU与CUDA ：熟悉NVIDIA GPU架构及编程模型，掌握CUDA核函数优化、显存管理、多流并发等技术，有实际性能调优经验
4. 熟悉PyTorch、Megatron、vLLM/SGLang等深度学习训练和推理框架， 有分布式系统开发经验
5. 熟悉常用大语言模型，多模型以及生成模型等算法和架构，参与过大模型训练/推理项目

招聘部门：

小米

工作地点：

北京市 ID：A245754

面试建议：

面试小米的大模型训练和推理框架负责人职位，你需要准备的重点是展示你在大语言模型训练和推理框架开发方面的深厚技术背景。面试官会特别关注你在GPU与CUDA优化方面的实际经验，包括核函数优化、显存管理和多流并发等技术。此外，你对PyTorch、Megatron等框架的熟悉程度以及分布式系统开发经验也是考察的重点。 建议你在面试前回顾自己参与过的大模型训练或推理项目，准备具体的案例来说明你在性能调优和框架开发中的贡献。同时，确保你对常用的大语言模型和多模态模型算法有深入的理解。团队管理经验也是这个职位的重要部分，准备好分享你如何领导团队完成技术项目的经验。