崗位職責： 1、負責公司數(shù)據(jù)源抓取需求，滿足公司對多源數(shù)據(jù)采集要求； 2、負責開發(fā)分布式爬蟲框架，管理分布式爬蟲服務器，開發(fā)任務調度引擎； 3、負責爬蟲核心算法的策略優(yōu)化研究，提升爬蟲抓取效率和質量，提升網(wǎng)頁抓取的效率和質量； 4、設計爬蟲策略和防屏蔽規(guī)則，解決封賬號、封IP、驗證碼、JS加密等難點攻克； 5、利用主流的大數(shù)據(jù)相關技術，對抓取后的網(wǎng)頁數(shù)據(jù)進行清洗、存儲等；并持續(xù)優(yōu)化平臺，以便滿足各種爬取業(yè)務需求。 6、熟悉robots協(xié)議 崗位要求: 1、有扎實的數(shù)據(jù)結構和算法功底； 2、工作認真細致踏實，有較強的學習能力，熟悉常用爬蟲工具； 3、熟悉linux開發(fā)環(huán)境，熟悉python，熟悉其他開發(fā)語言優(yōu)先； 4、理解http，熟悉html, DOM, xpath,css,js,ajax； 5、有Python分布式抓取系統(tǒng)的開發(fā)、架構經驗，至少熟悉并使用過一種主流爬蟲架構，如Scrapy、Gocolly、Webmagic等； 6、熟悉反爬策略的應對，能夠解決封賬號、封IP、驗證碼、JS加密等問題； 7、熟悉Mysql、Redis、MongoDB等數(shù)據(jù)庫，有過數(shù)據(jù)庫調優(yōu)和海量數(shù)據(jù)存儲經驗者