Token Foundry-大模型训练Infra研发工程师-北京/上海/杭州
岗位描述:● 负责主流深度学习框架在Token Foundry大模型场景下的工程优化,包括但不局限于MoE模型大规模训练框架、多模态训练框架、RLHF训练框架等,参与包括基模型Pretrain、SFT等多个阶段的训练任务优化; ● 致力于提升不同阶段模型训练负载的极限吞吐,能够针对不同模型负载系统化的分析不同;任职要求:● 熟悉计算机体系结构基础知识,有扎实异构计算优化(GPGPU/x86/ARM等)、高性能网络架构通信优化、分布式训练策略优化等方面的经验; ● 扎实的工程能力,优良的编程风格,熟悉Python/C++语言和常用设计模式,具备复杂系统的设计开发调试能力; ●
