崗位職責(zé)：
負(fù)責(zé)設(shè)計(jì)和開(kāi)發(fā)高性能、高可用的分布式網(wǎng)絡(luò)爬蟲(chóng)系統(tǒng)，保障數(shù)據(jù)采集的效率和穩(wěn)定性；
使用Elasticsearch構(gòu)建搜索和分析系統(tǒng)，實(shí)現(xiàn)海量數(shù)據(jù)的快速檢索與聚合；
基于MongoDB/Redis設(shè)計(jì)數(shù)據(jù)存儲(chǔ)方案，優(yōu)化數(shù)據(jù)庫(kù)性能及查詢效率；
對(duì)接阿里云OSS等對(duì)象存儲(chǔ)服務(wù)，管理非結(jié)構(gòu)化數(shù)據(jù)資源；
參與LLM（大語(yǔ)言模型）相關(guān)項(xiàng)目的開(kāi)發(fā)，包括數(shù)據(jù)預(yù)處理、特征工程及API集成；
持續(xù)優(yōu)化系統(tǒng)架構(gòu)，解決高并發(fā)、分布式場(chǎng)景下的技術(shù)難題。
任職要求：
本科及以上學(xué)歷，計(jì)算機(jī)相關(guān)專業(yè)，3年以上Python開(kāi)發(fā)經(jīng)驗(yàn)；
精通Scrapy/Requests/BeautifulSoup等爬蟲(chóng)框架，熟悉反爬機(jī)制破解（驗(yàn)證碼識(shí)別、IP代理等）；
熟練掌握以下至少兩種數(shù)據(jù)庫(kù)技術(shù)：
Elasticsearch（索引設(shè)計(jì)、分詞優(yōu)化、聚合查詢）
MongoDB（副本集、分片集群、聚合管道）
Redis（數(shù)據(jù)結(jié)構(gòu)、持久化、集群模式）
熟悉阿里云OSS/S3等對(duì)象存儲(chǔ)服務(wù)，了解文件分片上傳和CDN加速；
有LLM項(xiàng)目經(jīng)驗(yàn)者優(yōu)先（如：LangChain應(yīng)用、RAG系統(tǒng)開(kāi)發(fā)、Prompt工程等）；
熟悉分布式系統(tǒng)設(shè)計(jì)，了解Celery/Dask等異步任務(wù)框架；
良好的編碼習(xí)慣，能獨(dú)立完成技術(shù)方案設(shè)計(jì)和文檔編寫(xiě)。
加分項(xiàng)：
有千萬(wàn)級(jí)數(shù)據(jù)爬取或處理經(jīng)驗(yàn)
熟悉Kubernetes/Docker容器化部署
了解機(jī)器學(xué)習(xí)基礎(chǔ)算法和框架（PyTorch/TensorFlow）