近期日采達到其中一項就行

1. 近期淘寶商品采集5w+

2.PDD商品近期采集5000+

3.抖音商品近期采集1w+



雙休+五險一金+餐補

彈性上下班



【工作職責(zé)】：

1、負(fù)責(zé)分布式網(wǎng)絡(luò)爬蟲系統(tǒng)及數(shù)據(jù)庫的設(shè)計與開發(fā)；

2、研究及破解電商及自媒體app反爬策略，保證爬取的穩(wěn)定性；

3、維護和優(yōu)化已有的爬蟲服務(wù)；

4、負(fù)責(zé)爬蟲核心算法的策略優(yōu)化研究，設(shè)計爬蟲策略和防屏蔽規(guī)則，充分利用資源，提升網(wǎng)頁抓取的效率和質(zhì)量；

5、負(fù)責(zé)數(shù)據(jù)平臺建設(shè)，數(shù)據(jù)清洗、處理,提供數(shù)據(jù)服務(wù)以及數(shù)據(jù)管理；

6、分析、理解大數(shù)據(jù)業(yè)務(wù)需求,設(shè)計技術(shù)方案并落地實施;

7、處理各個業(yè)務(wù)在使用數(shù)據(jù)平臺過程中的各種問題，分析并給出優(yōu)化方案；

8、可以獨立跟進需求項目開發(fā)進度。



【任職要求】：

1、計算機相關(guān)專業(yè)，3年以上Python爬蟲工作經(jīng)驗；

2、熟悉爬蟲原理及常用的反扒技術(shù)，包括但不限于JS防護、混淆、逆向分析、加密、App破解、防逆向、加固、代理等技能，具備較好的前端分析技能；

2、熟悉各類HOOK框架包括單不限于frida、xposed；

3、有天貓、京東、抖音等國內(nèi)主流平臺任意一個平臺的項目經(jīng)驗，有App端數(shù)據(jù)采集經(jīng)驗；

4、熟悉網(wǎng)絡(luò)爬蟲開發(fā)原理，對互聯(lián)網(wǎng)各種類型數(shù)據(jù)交互模式熟悉，知道如何處理需登錄網(wǎng)站、動態(tài)網(wǎng)頁等各種情況下的數(shù)據(jù)采集方法；

5、熟悉selenium、Appnium、Airtest、Scrapy、pyspider等爬蟲相關(guān)框架；

6、熟悉常用數(shù)據(jù)庫(MySQL/Oracle/SQLSever/Redis) ，熟悉索引技術(shù)和SQL優(yōu)化，了解RabbitMQ、InfluxDB。