崗位職責： 1.參與設計和開發(fā)高效、穩(wěn)定的網絡爬蟲系統(tǒng)，從各種網站和平臺抓取數(shù)據(jù)。 2.使用 Java 和 Python 編寫和維護爬蟲腳本，處理反爬蟲機制，確保數(shù)據(jù)抓取的準確性和效率。 3.采用包括AI大模型在內的多種方式對抓取的數(shù)據(jù)進行清洗、整理和存儲，并進行初步的分析和處理。 4.與團隊成員合作，解決爬蟲開發(fā)過程中遇到的技術難題。 5.關注爬蟲技術的*新發(fā)展，并積極學習和應用新技術。。 任職要求： 1.2-3年爬蟲相關工作經驗，計算機科學、軟件工程或?？萍耙陨蠈W歷。 2.熟練掌握 Java 和 Python 編程語言，具備良好的代碼風格和文檔習慣。 3.熟悉常用的爬蟲框架和庫，例如 Scrapy、Selenium 等。 4.了解 HTTP協(xié)議、HTML、CSS、JavaScript 等前端技術，能夠分析網頁結構并提取所需數(shù)據(jù)。 5.熟悉常見的反爬機制，并能夠使用相應的策略進行應對。 6.熟悉使用 MySQL、Elasticsearch，了解 Linux 操作系統(tǒng)和常用命令。 7.具備良好的問題分析和解決能力、良好的溝通能力和團隊合作精神，能夠獨立完成爬蟲任務，能夠與團隊成員有效協(xié)作。 8.工作踏實、認真、負責，執(zhí)行力強，能夠在快節(jié)奏和高壓力環(huán)境下保持高效工作，確保項目按時交付。 9.有分布式爬蟲、數(shù)據(jù)清洗、數(shù)據(jù)分析等相關經驗者優(yōu)先。 10.有AI大模型數(shù)據(jù)清洗經驗者優(yōu)先。 薪資：面談