崗位職責：
1、AI服務平臺開發(fā)：
開發(fā)與維護高可用、高并發(fā)的模型推理API服務。
構(gòu)建模型部署和管理平臺，支持模型的A/B測試、灰度發(fā)布、版本管理與回滾。
實現(xiàn)高效的請求批處理、動態(tài)擴縮容和負載均衡策略。
2、高性能與優(yōu)化：
對模型服務進行性能剖析與優(yōu)化，包括GPU利用率提升、推理延遲降低等。
集成和使用高性能推理引擎（如vLLM, TensorRT, ONNX Runtime, Triton Inference Server）。
優(yōu)化數(shù)據(jù)存儲與訪問，與向量數(shù)據(jù)庫、對象存儲等系統(tǒng)集成。
3、系統(tǒng)與工具開發(fā)：
開發(fā)提升算法團隊效率的內(nèi)部工具（如數(shù)據(jù)標注平臺、自動化評測工具等）。
編寫高質(zhì)量、模塊化、可測試的代碼，并撰寫清晰的技術(shù)文檔。
崗位要求：
1、教育背景： 計算機科學、軟件工程或相關(guān)專業(yè)本科及以上學歷。
2、編程能力： 精通Python，5年以上后端開發(fā)經(jīng)驗，深刻理解計算機原理、網(wǎng)絡(luò)、多線程/異步編程。熟練掌握至少一個Web框架（如FastAPI, Django, Flask）。
3、系統(tǒng)架構(gòu)能力： 具備扎實的系統(tǒng)設(shè)計能力，熟悉微服務架構(gòu)、容器化技術(shù)（Docker/Kubernetes）和云服務平臺（AWS/GCP/Azure）。
4、工程化經(jīng)驗： 熟悉CI/CD工具鏈（如GitLab CI, Jenkins），有構(gòu)建自動化平臺或工具的經(jīng)驗。了解基礎(chǔ)的數(shù)據(jù)結(jié)構(gòu)和算法。
5、AI/ML了解： 對機器學習和深度學習有基本了解，有與算法團隊合作或?qū)⒛Ｐ蜕暇€的實際經(jīng)驗。
6、軟技能： 強烈的責任心、出色的解決問題能力和團隊協(xié)作精神。
優(yōu)先考慮條件：
1、有大規(guī)模模型服務（尤其是大語言模型）部署和性能調(diào)優(yōu)經(jīng)驗。
2、熟悉MLOps相關(guān)開源工具（如MLflow, Kubeflow, Ray）。
3、有開發(fā)過AI平臺或內(nèi)部開發(fā)者工具的經(jīng)驗。
4、熟悉消息隊列（如Kafka）、緩存（如Redis）等中間件。