工作职责：

1、 负责语言、视觉、多模态模型推理框架的优化和维护，持续提升模型推理效率、提升并发能力、降低硬件资源占用；
2、 参与边缘侧AI计算框架设计和优化，能快速适配主流的GPU/NPU/DSP等芯片；
3、 参与模型产品交付工作，提升模型部署效率和交付效率；
4、 参与大模型在国产化设备的优化。

任职资格：

1、扎实的C/C++设计基础，具有计算机体系结构知识。
2、有机器学习框架开发经验，熟悉PyTorch、TensorFlow中的一种，有实际开发经验。
3、 熟悉vLLM、Triton、TensorRT、OnnxRuntime等推理框架或服务框架；
4、 熟悉NVIDIA等硬件平台，了解边缘设备的AI模型推理的特点；
5、 对Transformer结构和常见的LLM和LVM的网络结构有基本了解；
6、一年以上GPU算法部署和优化相关工作经验。