崗位職責：
負責設計和開發(fā)高性能、高可用的分布式網絡爬蟲系統(tǒng)，保障數據采集的效率和穩(wěn)定性；
使用Elasticsearch構建搜索和分析系統(tǒng)，實現海量數據的快速檢索與聚合；
基于MongoDB/Redis設計數據存儲方案，優(yōu)化數據庫性能及查詢效率；
對接阿里云OSS等對象存儲服務，管理非結構化數據資源；
參與LLM（大語言模型）相關項目的開發(fā)，包括數據預處理、特征工程及API集成；
持續(xù)優(yōu)化系統(tǒng)架構，解決高并發(fā)、分布式場景下的技術難題。
任職要求：
本科及以上學歷，計算機相關專業(yè)，3年以上Python開發(fā)經驗；
精通Scrapy/Requests/BeautifulSoup等爬蟲框架，熟悉反爬機制破解（驗證碼識別、IP代理等）；
熟練掌握以下至少兩種數據庫技術：
Elasticsearch（索引設計、分詞優(yōu)化、聚合查詢）
MongoDB（副本集、分片集群、聚合管道）
Redis（數據結構、持久化、集群模式）
熟悉阿里云OSS/S3等對象存儲服務，了解文件分片上傳和CDN加速；
有LLM項目經驗者優(yōu)先（如：LangChain應用、RAG系統(tǒng)開發(fā)、Prompt工程等）；
熟悉分布式系統(tǒng)設計，了解Celery/Dask等異步任務框架；
良好的編碼習慣，能獨立完成技術方案設計和文檔編寫。
加分項：
有千萬級數據爬取或處理經驗
熟悉Kubernetes/Docker容器化部署
了解機器學習基礎算法和框架（PyTorch/TensorFlow）