崗位職責(zé): 1、學(xué)習(xí)運用各種*新國外軟件/插件來提高工作效率。 2、爬取相關(guān)網(wǎng)站公開數(shù)據(jù)，負(fù)責(zé)破解各類反爬機(jī)制。 3、不斷提升數(shù)據(jù)抓取系統(tǒng)的自動化水平，負(fù)責(zé)數(shù)據(jù)分析任務(wù) 4、熟練使用各種網(wǎng)絡(luò)工具，接受新事物能力強，學(xué)習(xí)能力強，求知欲強， 任職要求: 1、兩年以上Python開發(fā)經(jīng)驗,計算機(jī)軟件相關(guān)專業(yè)本科生，英語讀寫能力良好 2、熟練使用python編程、爬蟲相關(guān)庫進(jìn)行網(wǎng)絡(luò)爬蟲開發(fā) 3、熟悉多線程、多進(jìn)程、協(xié)程，有分布式爬蟲架構(gòu)，數(shù)據(jù)分析經(jīng)驗者優(yōu)先 4、熟練使用常用爬蟲框架和工具:scrapy,selenium等 5、熟練掌握SQL，并熟練使用mysql、mongodb等 6、掌握網(wǎng)頁抓取原理及技術(shù)，熟悉html,dom,xpath,beautifulsoup,動態(tài)js數(shù)據(jù)解析，精通正則等，可以從結(jié)構(gòu)化和非結(jié)構(gòu)化的數(shù)據(jù)中獲取信息 7、熟練使用常用 Linux 命令，有一定的Shell腳本編寫能力 8、學(xué)習(xí)能力強，接受新事物，有團(tuán)隊意識，能承受壓力 9、可接受加班