【崗位描述】
1.負(fù)責(zé)公司指定數(shù)據(jù)源采集需求，滿足公司對多源數(shù)據(jù)采集要求；
2.負(fù)責(zé)優(yōu)化采集策略，進行多平臺信息的采集和清洗；
3.負(fù)責(zé)內(nèi)部數(shù)據(jù)管理平臺規(guī)劃和建設(shè)，完成數(shù)據(jù)采集與解析處理、入庫等數(shù)據(jù)日常工作；
4.積極主動思考探索爬蟲在實際業(yè)務(wù)中的價值，參與設(shè)計數(shù)據(jù)有效利用策略，從數(shù)據(jù)合理性、完整性角度提供建議；
5.負(fù)責(zé)數(shù)據(jù)采集策略優(yōu)化，提升數(shù)據(jù)抓取的效率和質(zhì)量；
6.設(shè)計數(shù)據(jù)采集規(guī)則，解決數(shù)據(jù)采集清洗中的難點問題；
7.對抓取后的數(shù)據(jù)進行清洗、存儲等；并持續(xù)優(yōu)化平臺，以便滿足各種數(shù)據(jù)采集業(yè)務(wù)需求。

【任職要求】
1.計算機、信息管理、自動化、數(shù)學(xué)等相關(guān)專業(yè)，本科及以上學(xué)歷，5年以上相關(guān)工作經(jīng)驗；
2.熟悉主流爬蟲工具，或熟悉python及其相關(guān)分布式數(shù)據(jù)采集框架；熟練掌握SQL、ETL數(shù)據(jù)處理開發(fā)工作；
3.熟練使用數(shù)據(jù)庫。熟悉數(shù)據(jù)庫原理，SQL常見問題和調(diào)優(yōu)，數(shù)據(jù)庫服務(wù)器管理等；熟悉數(shù)據(jù)清洗相關(guān)概念和方法；
4.工作態(tài)度細致、耐心。對數(shù)據(jù)敏感；對技術(shù)充滿好奇心。愛發(fā)現(xiàn)、肯鉆研，能深入；
5.有超強的自我驅(qū)動力和主觀能動性，良好的團隊意識。