崗位職責：
1、負責開發(fā)網(wǎng)絡爬蟲系統(tǒng)以及優(yōu)化爬蟲策略，進行多平臺信息的抓取和分析；
2、完成數(shù)據(jù)采集與爬取、解析處理、入庫等數(shù)據(jù)日常工作；
3、積極主動思考探索爬蟲在實際業(yè)務中的價值，參與設計數(shù)據(jù)有效利用策略，從數(shù)據(jù)合理性、完整性角度提供建議；
4、把握網(wǎng)絡爬蟲核心技術研究方向，研究優(yōu)化方向，提升爬蟲系統(tǒng)的穩(wěn)定性、可擴展性；
5、設計爬蟲策略和防屏蔽規(guī)則，提升網(wǎng)頁抓取的效率和質量。
任職要求：
1、 統(tǒng)招專科以上學歷，1年以上爬蟲項目經(jīng)驗，計算機相關專業(yè)，具備良好的計算機專業(yè)知識；
2、熟悉python/java語言，具備扎實的編程功底，具有良好的程序設計能力；
3、 熟悉爬蟲原理，熟悉Scrapy、pyspider等主流爬蟲框架，能夠解決封賬號、封IP、驗證碼、網(wǎng)頁限制爬取等問題，且有實際經(jīng)驗；
4、熟練使用正則表達式、css、xpath等數(shù)據(jù)清洗方法；
5、 業(yè)務理解和分析轉化能力較強，富有進取精神及團隊合作精神，責任心強，善于合作溝通，能夠承受壓力；
6、加分項：有App采集經(jīng)驗，掌握fiddler、charles等抓包工具的使用，掌握xposed、frida、ida pro的使用方法，可以獨立解決復雜加密算法的破解。