腾讯 – 混元大模型训练框架研发工程师-（北京/深圳） 职位分析和面试指导

职位简介：

作为腾讯TEG的混元大模型训练框架研发工程师，核心职责是参与开发优化大模型训练框架，支持单任务万卡以上规模高效稳定训练，并参与NLP、多模态大模型结构设计，联合业务进行模型训练效率和效果验证。同时需要参与文生图、文生视频、文生3D等业务的训练性能加速，以及低精度训练性能优化和业务推广、大窗口训练性能优化。该职位要求熟练使用PyTorch框架及主流大模型训练框架DeepSpeed、Megatron，掌握3D并行、ZeRO机制、Flash-Attn等技术原理与优化方向，具备ViT、SD、DiT模型训练性能优化经验者优先，同时需要熟练掌握CUDA性能优化手段并有大模型前沿技术敏锐度，良好的沟通能力和解决问题能力也是必备条件。

>> 在腾讯官网查看完整职位详情。

简历及面试建议：

在撰写针对腾讯混元大模型训练框架研发工程师职位的简历时，你需要特别突出在大模型训练框架方面的专业能力和项目经验。首先，确保简历中详细列出你使用PyTorch框架进行性能分析和优化的具体案例，特别是涉及DDP训练的项目。其次，重点描述你使用DeepSpeed、Megatron等主流大模型训练框架的经验，包括你如何应用3D并行、ZeRO机制、Flash-Attn等技术解决实际问题。如果有ViT、SD、DiT模型训练性能优化的经验，务必详细说明你的具体贡献和成果。此外，CUDA性能优化和算子编写经验也是加分项，可以单独列出相关项目。最后，不要忘记展示你对大模型前沿技术的关注和了解，以及在实际大模型训练调参和效果评测中的经验。简历中的每个项目都应该量化你的贡献和成果，例如提升了多少训练效率或减少了多少资源消耗。

在面试腾讯混元大模型训练框架研发工程师职位时，你需要准备充分的技术问题和实际案例。面试官可能会重点考察你对PyTorch框架和主流大模型训练框架的掌握程度，因此你需要准备好解释3D并行、ZeRO机制、Flash-Attn等技术的原理和应用场景。同时，面试官可能会询问你在ViT、SD、DiT模型训练性能优化中的具体经验，你需要能够详细描述你的优化方法和成果。此外，CUDA性能优化和算子编写经验也是可能的考察点，准备好相关的技术细节和项目案例。在面试中，展示你对大模型前沿技术的敏锐度和实际应用能力也非常重要。最后，面试官可能会考察你的沟通能力和解决问题能力，因此在回答问题时要注意逻辑清晰、表达准确，并能够展示你在团队合作中的贡献。