职位描述
岗位职责:
1、支持小红书推荐、搜索和电商等业务的模型迭代需求
2、负责深度学习系统的架构设计开发、解决高并发、高可靠性、高扩展性的系统
3、对xtr、bert、LLM等模型进行深度优化,通过算子融合、模型压缩、量化等手段优化现有模型推理性能
4、设计并实现高效的分布式离线推理方案,支持高效的离线批量模型推理
5、负责深度学习领域的调研和技术引入,通过新硬件、新技术的落地,持续提升模型能力
任职要求:
1、熟练掌握C/C++,具有良好的工程能力、编程习惯、以及沟通能力
2、掌握分布式系统原理,参与过大规模分布式系统的设计、开发和维护
3、熟悉 tensorflow/pytorch等训练推理框架,掌握GPU等的高性能计算优化技巧优先
4、搜广推模型服务推理优化经验者优先;
5、深入了解Transformer、LLM 模型者优先
6、对ray有开发、使用经验者优先