腾讯 – 训推加速工程师-北京 职位分析和面试指导

职位简介：

作为训推加速工程师，核心职责是优化大规模语言模型分布式训练系统性能，包括实现数据并行、模型并行和流水线并行策略，基于NVIDIA/AMD GPU硬件特性设计优化分布式训练框架核心模块，解决显存瓶颈、通信延迟等关键问题，并开发高效显存管理、梯度压缩等技术。需熟悉CUDA/ROCm编程和GPU内核优化，精通Megatron-LM等分布式训练框架并具备千亿参数模型实战经验，能够通过Profiling工具定位性能瓶颈，同时跟踪LLM训练前沿技术。有DeepSeek系列模型优化或异步强化学习训练框架经验者优先，工作地点为上海。

>> 在腾讯官网查看完整职位详情。

简历及面试建议：

在撰写简历时，要特别突出你在LLM分布式训练系统优化方面的实战经验。首先明确列出你参与过的大型模型训练项目，特别是涉及千亿参数级别的项目，详细说明你负责的优化模块和取得的性能提升指标。对于GPU优化经验，不要简单写’熟悉CUDA编程’，而要具体说明你做过哪些内核优化，比如PTX指令调优案例或显存带宽优化方案，最好能量化优化前后的性能对比。如果你有参与开源项目贡献的经历，特别是Megatron-LM、ColossalAI等框架的代码提交，一定要单独列出并附上GitHub链接。对于DeepSeek系列模型或DualPipe等特殊经验，建议在简历中设立专门章节进行描述，包括你解决的问题和创新的方法。技术栈描述要精确到具体工具链版本和优化手段，避免笼统的’熟悉分布式训练’这类表述。

面试准备要围绕分布式训练优化的核心能力展开。技术深度方面，准备好讨论你解决过的最具挑战性的性能瓶颈案例，包括问题定位过程、采用的优化策略和最终效果。要熟悉主流Profiling工具的使用技巧，面试官可能会让你现场分析一段性能数据。系统设计问题可能会考察你如何为一个新型号的大语言模型设计分布式训练方案，要能清晰阐述不同并行策略的选择依据和权衡考量。对于GPU硬件优化，要准备几个典型的CUDA内核优化案例，并能解释NVLink、InfiniBand等互联技术对训练性能的影响。如果面试官问到前沿技术，可以结合论文谈谈你对3D并行或ZeRO优化的理解，但要注意区分理论认知和实战经验。遇到场景题时，建议采用结构化思维方式：先明确性能指标，再分析可能的瓶颈点，最后提出优化方案并评估trade-off。记得准备1-2个你主导的重大优化项目，用STAR法则完整呈现问题背景、你的角色、采取的行动和可量化的成果。