崗位職責(zé)
1.分布式爬蟲系統(tǒng)架構(gòu)與開發(fā)：負(fù)責(zé)設(shè)計、開發(fā)、優(yōu)化及維護(hù)高性能分布式爬蟲系統(tǒng)，支撐大規(guī)模、高并發(fā)數(shù)據(jù)抓取需求，確保系統(tǒng)的穩(wěn)定性、高效性和可擴(kuò)展性。負(fù)責(zé)網(wǎng)頁信息抽取、清洗、消重和結(jié)構(gòu)化處理，保證數(shù)據(jù)質(zhì)量與采集效率。
2.逆向分析與協(xié)議破解（含Hook技術(shù)）：
1.Web端：深入研究并破解各類反爬機(jī)制，如JS混淆（OB、VMP）、加密算法、驗證碼等。精通JS Hook技術(shù)（如攔截 XMLHttpRequest、Fetch API、Cookie操作、環(huán)境檢測函數(shù)等），以攔截關(guān)鍵函數(shù)、獲取加密參數(shù)、修改瀏覽器環(huán)境，輔助逆向調(diào)試和協(xié)議還原。
2.移動端(APP)：負(fù)責(zé)對Android應(yīng)用進(jìn)行逆向分析（反編譯、動態(tài)調(diào)試、代碼還原）。熟練使用 Frida、Xposed 等工具進(jìn)行APP內(nèi)存數(shù)據(jù)Hook、函數(shù)調(diào)用攔截，破解通信協(xié)議，提取加密密鑰或明文數(shù)據(jù)。研究核心業(yè)務(wù)邏輯，如協(xié)議分析、加密算法破解、風(fēng)控機(jī)制對抗。
3.反爬蟲策略設(shè)計與突破：研究各類反爬蟲機(jī)制（驗證碼、IP封鎖、動態(tài)渲染、請求限速等），制定針對性解決方案（如代理IP池構(gòu)建、動態(tài)瀏覽器模擬、AI驗證碼識別、請求頻率調(diào)控），提升抓取效率與成功率。
4.數(shù)據(jù)處理與業(yè)務(wù)支撐：開發(fā)自動化腳本（Python為主）實現(xiàn)數(shù)據(jù)采集、清洗、結(jié)構(gòu)化提取與深度挖掘。結(jié)合業(yè)務(wù)需求輸出數(shù)據(jù)價值建議，推動爬蟲技術(shù)與業(yè)務(wù)場景深度結(jié)合。
任職要求
必備技能
1.學(xué)歷與經(jīng)驗：本科及以上學(xué)歷，計算機(jī)相關(guān)專業(yè)優(yōu)先。5年及以上大規(guī)模爬蟲/反爬經(jīng)驗，有大型分布式爬蟲項目主導(dǎo)經(jīng)驗者優(yōu)先。
2.爬蟲與逆向核心能力：
(1)精通Python開發(fā)，熟練掌握Scrapy、requests、aiohttp、Selenium等爬蟲框架和庫。
(2)精通JS逆向：深刻理解JavaScript核心原理，能獨立處理OB混淆、VMP加固、反調(diào)試等前端保護(hù)方案。
(3)精通Hook技術(shù)：深入理解Hook原理，具備實際Web端JS Hook（如Tampermonkey、瀏覽器插件注入）和移動端Hook（Frida、Xposed）項目經(jīng)驗，能實現(xiàn)對應(yīng)用邏輯和系統(tǒng)函數(shù)的攔截與修改。
(4)精通網(wǎng)絡(luò)協(xié)議：深刻理解HTTP/HTTPS/TCP/WebSocket等協(xié)議，精通Charles、Fiddler、mitmproxy、Wireshark等抓包分析工具。
3.移動端逆向能力：熟練掌握Android逆向常用工具（Jeb, Jadx, Frida, Xposed, Apktool）。熟悉ARM匯編，具備SO庫分析和Native層代碼逆向能力。掌握靜態(tài)分析與動態(tài)調(diào)試技術(shù)，熟悉常見加密算法及逆向分析技巧。
4.架構(gòu)與數(shù)據(jù)庫：熟悉分布式系統(tǒng)架構(gòu)、消息隊列（如Kafka、RabbitMQ）及爬蟲調(diào)度方案。熟練使用MySQL、MongoDB、Redis等數(shù)據(jù)庫。
優(yōu)先考慮
1.有成熟、可演示的逆向技術(shù)成果（如GitHub開源項目、含F(xiàn)ridahook腳本的APP逆向案例、復(fù)雜反爬攻克案例）。
2.熟悉WebAssembly (WASM) 的分析與調(diào)試，能處理WASM加密場景。
3.有移動端抓包經(jīng)驗，能獨立繞過SSL Pinning（證書綁定）。
4.具備數(shù)據(jù)挖掘、機(jī)器學(xué)習(xí)基礎(chǔ)，能將AI技術(shù)（如LLM、圖像識別）融入反爬/數(shù)據(jù)處理場景者優(yōu)先。
5.有數(shù)據(jù)庫（如PostgreSQL）插件開發(fā)或Hook經(jīng)驗者優(yōu)先。