崗位職責(zé)
1. 負(fù)責(zé)大模型訓(xùn)練平臺(tái)的架構(gòu)設(shè)計(jì)、核心模塊開(kāi)發(fā)與性能優(yōu)化，支持大規(guī)模分布式訓(xùn)練任務(wù)；
2. 參與數(shù)據(jù)集的構(gòu)建、清洗、預(yù)處理及高效存儲(chǔ)方案設(shè)計(jì)，確保數(shù)據(jù)質(zhì)量與訓(xùn)練效率；
3. 實(shí)現(xiàn)模型微調(diào)（Fine-tuning）全流程工具鏈開(kāi)發(fā)，包括參數(shù)配置、訓(xùn)練策略?xún)?yōu)化及資源調(diào)度；
4. 開(kāi)發(fā)模型驗(yàn)證與評(píng)估系統(tǒng)，設(shè)計(jì)自動(dòng)化測(cè)試框架，確保模型效果符合業(yè)務(wù)需求；
5. 優(yōu)化訓(xùn)練-驗(yàn)證-部署全鏈路流程，提升平臺(tái)易用性與穩(wěn)定性；
6. 跟蹤大模型技術(shù)前沿，探索高性能計(jì)算、顯存優(yōu)化等關(guān)鍵技術(shù)落地。
任職要求
1. 必備技能：
- 計(jì)算機(jī)相關(guān)專(zhuān)業(yè)專(zhuān)科及以上學(xué)歷，3年以上Python開(kāi)發(fā)經(jīng)驗(yàn)；
- 熟悉大模型訓(xùn)練框架（如PyTorch、DeepSpeed、Megatron-LM等），有模型訓(xùn)練平臺(tái)開(kāi)發(fā)經(jīng)驗(yàn)；
- 具備大模型應(yīng)用或大模型訓(xùn)練平臺(tái)開(kāi)發(fā)經(jīng)驗(yàn)；
- 熟悉數(shù)據(jù)處理工具鏈（Pandas/Numpy/Dask等），具備大規(guī)模數(shù)據(jù)集構(gòu)建與管理經(jīng)驗(yàn)；
- 熟悉Linux開(kāi)發(fā)環(huán)境，了解Docker/Kubernetes等容器化技術(shù)。
- 了解理解模型微調(diào)技術(shù)（如Lora、Adapter等），能獨(dú)立完成訓(xùn)練流程開(kāi)發(fā)與調(diào)優(yōu)；
- 了解模型評(píng)估指標(biāo)（如BLEU、ROUGE、準(zhǔn)確率等）及驗(yàn)證工具開(kāi)發(fā)；
- 有LLM（如Qwen、ChatGLM、Baichuan等）訓(xùn)練或優(yōu)化經(jīng)驗(yàn)；
- 熟悉LangChain、LlamaIndex等開(kāi)源生態(tài)；
- 熟悉dify、lammafactory；
2. 加分項(xiàng)：
- 掌握模型壓縮、量化或推理加速技術(shù)；