工作職責：1.負責Web網頁數(shù)據及接口的抓取工作，包括動態(tài)網頁、API接口以及小程序的數(shù)據抓取，確保數(shù)據抓取的準確性和時效性。2.開發(fā)并維護小程序接口抓取系統(tǒng)，優(yōu)化抓取鏈路，提升數(shù)據獲取效率和質量。3. 開發(fā)、維護現(xiàn)有爬蟲系統(tǒng)，包括調度、抓取、維護、驗證等爬蟲工作。4. 對不同網站的防御機制和反爬蟲策略進行深入研究，提煉關鍵技術點。5. 能夠解決協(xié)議反爬、風控、人機識別等高級問題。6. 負責爬蟲技術難點的攻克。7.撰寫相關技術文檔，確保代碼和系統(tǒng)具有良好的可維護性。
崗位職責：
任職要求：1. 對Python和計算機網絡有深入理解，能夠熟練運用多線程技術，掌握主流爬中框架，具備小程序抓取相關經驗；2. 精通JavaScript逆向工程、虛擬機、代碼混淆、抽象語法樹(AST)等技術，并有實際的JavaScript逆向和分析，能獨立完成小程序包解析、反編譯及接口逆向；3. 熟悉常見反爬機制，驗證碼識別，IP代理池應用lp池、headers認證和cookie等;4. 能夠分析網絡鏈路，并處理TLS/HTTP2等協(xié)議流量識別、IP識別問題；5. 了解基本的機器學習算法，可解決一些基礎的圖像驗證碼識別、人機對抗等問題；6. 熟悉Redis、MySQL、redis、git等常用中間件使用；