崗位職責： 1、負責設(shè)計和開發(fā)分布式爬蟲和調(diào)度系統(tǒng)，爬蟲核心算法和調(diào)度策略優(yōu)化； 2、負責部分網(wǎng)站驗證碼破解和現(xiàn)有爬蟲系統(tǒng)效率的提升； 3、負責網(wǎng)絡(luò)數(shù)據(jù)抓取規(guī)劃和數(shù)據(jù)鏈路規(guī)劃、高效且穩(wěn)定爬取指定網(wǎng)站的數(shù)據(jù)； 4、構(gòu)建高可用性、高可擴展性的網(wǎng)絡(luò)信息搜集平臺； 5、優(yōu)化現(xiàn)有數(shù)據(jù)清洗，數(shù)據(jù)提取，結(jié)構(gòu)化，入庫等過程； 6、有爬取新媒體數(shù)據(jù)的實戰(zhàn)經(jīng)驗，如：微信公眾號、微博、抖音、快手、西瓜、頭條等 7、會解密，各種驗證碼，滑塊驗證碼，加減乘除，協(xié)議爬取，新媒體爬取等，數(shù)據(jù)庫，js逆向，分析數(shù)據(jù)標簽化 8、熟練掌握正則表達式、XPath、json數(shù)據(jù)傳輸、HTML、CSS、js等網(wǎng)頁信息抽取技術(shù)。 9、熟悉各種爬蟲技術(shù):adsl撥號、正則表達式、脫殼技術(shù)、加密、圖片破解、二維碼識別、滑塊驗證碼破解、httpClient、分布式爬蟲調(diào)度、代理ip調(diào)度算法、配置化爬蟲、授權(quán)爬蟲; 任職要求 1、計算機相關(guān)專業(yè)，python語言，三年以上爬蟲經(jīng)驗； 2、有獨立負責過爬蟲平臺搭建、爬蟲系統(tǒng)處理經(jīng)驗，爬蟲項目規(guī)劃能力； 3、熟悉Scrapy、Pyspider、nutch、webmagic等主流爬蟲框架使用，了解js引擎技術(shù)等優(yōu)先考慮； 4、熟悉js逆向，混淆原理，js語法樹，客戶端常用簽名算法等； 5、具備web挖掘等搜索引擎相關(guān)知識，有豐富的網(wǎng)絡(luò)爬蟲、網(wǎng)頁去重、網(wǎng)頁信息抽取的經(jīng)驗； 6、掌握網(wǎng)頁抓取原理及技術(shù)，包括基于Cookie的登錄管理，基于headless的采集，熟悉正則表達式、XPath、Jsoup等網(wǎng)頁信息抽取技術(shù)； 7、熟悉Linux平臺開發(fā)、常用操作及命令，良好的編碼習慣，有獨立思考的能力，善于解決問題； 8、具備較強的團隊協(xié)作精神，工作責任心強，良好的溝通、理解和執(zhí)行能力。