一、崗位職責(zé)
1.爬蟲架構(gòu)與核心開發(fā)
基于 Python 語言主導(dǎo)高性能爬蟲系統(tǒng)的架構(gòu)設(shè)計與核心模塊開發(fā)，充分發(fā)揮 Python 在爬蟲領(lǐng)域的優(yōu)勢，確保系統(tǒng)能高效、穩(wěn)定地應(yīng)對大規(guī)模數(shù)據(jù)采集任務(wù)。
深度優(yōu)化 Python 爬蟲框架（如 Scrapy）的性能，包括但不限于對調(diào)度器、下載器、管道等核心組件的定制化開發(fā)，提升爬蟲的并發(fā)處理能力和數(shù)據(jù)抓取效率。
運用 Python 相關(guān)技術(shù)解決爬蟲開發(fā)中的復(fù)雜問題，如利用異步編程（asyncio、aiohttp）提升網(wǎng)絡(luò)請求效率，借助多線程、多進程處理 CPU 密集型任務(wù)等。
2.反爬對抗與技術(shù)突破
運用 Python 深入研究各類網(wǎng)站和 APP 的反爬機制，針對 JS 混淆、動態(tài)渲染、驗證碼等反爬手段，開發(fā)相應(yīng)的 Python 解決方案，如使用 PyExecJS 執(zhí)行 JS 代碼、Selenium 結(jié)合 Python 進行動態(tài)頁面渲染處理等。
基于 Python 構(gòu)建反反爬策略體系，實現(xiàn) IP 代理池的動態(tài)管理、請求頭的智能偽裝、Cookie 的自動處理等功能，保障爬蟲的持續(xù)穩(wěn)定運行。
3.數(shù)據(jù)處理與系統(tǒng)優(yōu)化使用 Python 對爬取到的海量數(shù)據(jù)進行清洗、轉(zhuǎn)換、存儲等處理，熟練運用 Pandas、NumPy 等數(shù)據(jù)處理庫提升數(shù)據(jù)處理效率和質(zhì)量。
負責(zé) Python 爬蟲系統(tǒng)的性能監(jiān)控與優(yōu)化，通過日志分析、性能測試等手段，定位系統(tǒng)瓶頸并進行針對性優(yōu)化，降低資源消耗，提高系統(tǒng)的可靠性。
與團隊協(xié)作，將 Python 爬蟲系統(tǒng)與數(shù)據(jù)存儲、數(shù)據(jù)分析等平臺進行無縫對接，實現(xiàn)數(shù)據(jù)的全流程自動化處理。
4.團隊協(xié)作與技術(shù)沉淀
沉淀 Python 爬蟲開發(fā)相關(guān)的技術(shù)文檔、工具類庫和解決方案，推動團隊技術(shù)積累和復(fù)用。
二、任職要求
1.Python 技術(shù)深度
精通 Python 語言特性及高級用法，有 5 年以上 Python 開發(fā)經(jīng)驗，其中至少 3 年專注于爬蟲方向開發(fā)，能熟練運用 Python 解決爬蟲開發(fā)中的復(fù)雜技術(shù)問題。
深入理解 Python 爬蟲相關(guān)框架（Scrapy、BeautifulSoup、Requests 等）的底層原理，具備豐富的框架二次開發(fā)經(jīng)驗，能根據(jù)業(yè)務(wù)需求定制化框架功能。
熟練掌握 Python 異步編程（asyncio、aiohttp、tornado 等）、多線程、多進程等并發(fā)編程技術(shù)，并在爬蟲項目中有成功的大規(guī)模應(yīng)用案例。
熟悉 Python 與其他技術(shù)的集成應(yīng)用，如 Python 與數(shù)據(jù)庫（MySQL、MongoDB、Redis）的高效交互，Python 與 Docker、Kubernetes 等容器化技術(shù)的結(jié)合使用。
2.爬蟲專業(yè)能力
具備豐富的 Web 端和 APP 端爬蟲開發(fā)經(jīng)驗，熟悉各類網(wǎng)頁解析技術(shù)（XPath、CSS 選擇器、正則表達式等），能高效提取網(wǎng)頁中的目標數(shù)據(jù)。
深入了解常見的反爬機制（如 IP 封鎖、UA 驗證、Cookie 驗證、驗證碼、動態(tài)加載等），并能運用 Python 技術(shù)制定有效的應(yīng)對策略。
具備一定的逆向工程能力，能使用 Python 相關(guān)工具（如 Frida、Unidbg 等）對 APP 進行逆向分析，解析加密協(xié)議和數(shù)據(jù)。
3.其他技能要求
熟悉 Linux 操作系統(tǒng)，能熟練使用 Python 腳本進行系統(tǒng)運維和自動化部署，具備良好的問題排查和解決能力。
具備良好的代碼規(guī)范和文檔編寫習(xí)慣，能寫出高質(zhì)量、可維護的 Python 代碼。
擁有較強的學(xué)習(xí)能力和創(chuàng)新精神，能快速掌握新技術(shù)并應(yīng)用到實際工作中，應(yīng)對不斷變化的爬蟲技術(shù)挑戰(zhàn)。

加分項
1.有大型分布式 Python 爬蟲系統(tǒng)設(shè)計與開發(fā)經(jīng)驗，能處理日均千萬級以上數(shù)據(jù)采集任務(wù)優(yōu)先
2.有AIGC經(jīng)驗，有RAG,Langchain,dify等AI框架開發(fā)經(jīng)驗優(yōu)先