腾讯 – 大模型训练框架研发工程师-精调/蒸馏方向 职位分析和面试指导

职位简介：

作为腾讯CSIG的大模型训练框架研发工程师，你将负责强化学习、模型精调、知识蒸馏等核心模块的设计与开发，提升框架的训练效率与易用性，并基于Megatron-LM、DeepSpeed等工具优化大模型分布式训练策略，解决显存、通信与计算瓶颈。同时，你将参与开发轻量化训练框架如LLama-Factory、swift，支持快速模型微调、部署及多硬件平台适配，并跟踪学术动态如RLHF、MoE架构等，将最新研究成果转化为框架功能。此外，你需与产品团队紧密配合，提供框架级解决方案，并编写技术文档与案例赋能公有云客户。职位要求计算机科学、数学、电子工程等相关专业硕士及以上学历，3年以上深度学习框架或工具链开发经验，精通Python，熟练使用C++，具备相关算法原理及工程经验。

>> 在腾讯官网查看完整职位详情。

简历及面试建议：

在撰写简历时，重点突出你在大模型训练框架开发及分布式训练优化方面的经验。具体来说，详细描述你在Megatron-LM、DeepSpeed等开源框架上的使用或二次开发经验，尤其是你如何优化分布式训练策略（数据并行/张量并行/流水并行/专家并行等）以及解决显存、通信与计算瓶颈的案例。此外，强调你在强化学习、知识蒸馏、模型压缩等算法原理方面的理解及相关模块开发经验。如果你有CUDA编程、高性能计算优化（如算子融合、通信优化）的经验，务必在简历中详细说明，并举例说明你如何通过这些技术提升训练效率。最后，展示你在大型项目架构设计方面的能力，尤其是独立解决性能调优、多节点调试等复杂问题的经验。

在面试中，面试官会重点考察你在大模型训练框架开发及分布式训练优化方面的技术深度和实际经验。准备时，确保你能清晰解释Megatron-LM、DeepSpeed等框架的核心原理及你在这些框架上的实际贡献。面试官可能会问你如何解决具体的性能瓶颈问题，因此准备几个你过去项目中遇到的挑战及解决方案的案例。此外，面试官可能会考察你对前沿技术如RLHF、MoE架构的理解，因此提前阅读相关论文并思考如何将这些技术应用到实际框架中。在沟通环节，展示你的团队协作能力和技术热情，因为这也是职位要求中的重要部分。最后，准备好讨论你对未来大模型训练框架发展的看法，以展示你的技术前瞻性。