崗位職責(zé)：1、負(fù)責(zé)公司網(wǎng)絡(luò)數(shù)據(jù)爬取和三方數(shù)據(jù)分析;2、參與公司數(shù)據(jù)倉(cāng)庫(kù)的建設(shè)和數(shù)據(jù)分析平臺(tái)的建設(shè)；3、設(shè)計(jì)公司業(yè)務(wù)執(zhí)行策略和防屏蔽規(guī)則，提升數(shù)據(jù)抓取執(zhí)行的效率和質(zhì)量, 并對(duì)策略持續(xù)優(yōu)化；4、承擔(dān)部分?jǐn)?shù)據(jù)開發(fā)的工作;任職要求：1、熟悉Python和常用的開源庫(kù)，熟練使用Django/Flask等至少一種主流的web開發(fā)框架；2、熟悉Mysql，mongoDB， Redis，Clickhouse等數(shù)據(jù)庫(kù)的使用和優(yōu)化；3、熟悉HTTP協(xié)議、網(wǎng)頁(yè)渲染技術(shù)，能抓包分析數(shù)據(jù);4、熟悉爬蟲主流框架Scrapy、requests、Selenium、gocolly，webmagic等框架（深入了解其中一種）;5、熟悉應(yīng)用IP代理池、Headers認(rèn)證和Cookie等;6、有分布式爬蟲、反爬機(jī)制經(jīng)驗(yàn)者優(yōu)先;7、熟悉js逆向，js破解優(yōu)先考慮;8、熟練使用sql或python進(jìn)行數(shù)據(jù)開發(fā)，基于數(shù)據(jù)倉(cāng)庫(kù)做數(shù)據(jù)做統(tǒng)計(jì)分析，有BI工具使用經(jīng)驗(yàn)優(yōu)先;9、有參與實(shí)時(shí)監(jiān)控爬蟲的進(jìn)度和警報(bào)反饋系統(tǒng)的優(yōu)先考慮;10、有參與過(guò)相關(guān)3C商品與大型分布式爬蟲項(xiàng)目的優(yōu)先考慮;