【崗位速覽】
負(fù)責(zé)工業(yè)品電商平臺的數(shù)據(jù)治理體系構(gòu)建、標(biāo)注平臺系統(tǒng)開發(fā)及分布式爬蟲系統(tǒng)建設(shè)，支撐多模態(tài)數(shù)據(jù)協(xié)同與安全合規(guī)。

【核心職責(zé)】
1、負(fù)責(zé)標(biāo)注平臺的系統(tǒng)架構(gòu)設(shè)計和開發(fā)，建立數(shù)據(jù)治理體系，保障數(shù)據(jù)安全合規(guī)與標(biāo)注質(zhì)量的持續(xù)監(jiān)控；
2、構(gòu)建標(biāo)注工作流可視化模塊，實現(xiàn)多模態(tài)數(shù)據(jù)協(xié)同標(biāo)注，開發(fā)自動化標(biāo)注質(zhì)量檢查工具與數(shù)據(jù)可視化看板；
3、主導(dǎo)分布式爬蟲系統(tǒng)的建設(shè)，優(yōu)化數(shù)據(jù)調(diào)度、抓取、解析、存儲全棧流程。

【任職要求】
1、熟練掌握J(rèn)ava開發(fā)，熟悉Spring Boot、RocketMQ、Redis、MySQL等主流框架；
2、精通io、多線程、集合等基礎(chǔ)框架，熟練使用Spring、MyBatis等技術(shù)；
3、具備分布式系統(tǒng)開發(fā)經(jīng)驗，深入理解RPC通信框架、分布式事務(wù)、消息隊列等技術(shù)；
4、掌握Python開發(fā)，具備扎實的編碼能力；
5、熟練使用Scrapy、PySpider等專業(yè)框架，掌握其核心原理和自定義擴(kuò)展；
6、會用Selenium、Puppeteer等工具模擬瀏覽器行為，處理JavaScript渲染內(nèi)容；
7、熟悉常見反爬封禁策略，并具備相關(guān)的實戰(zhàn)經(jīng)驗；
8、熟悉k8s、Docker的使用，熟悉Linux常用命令，獨立完成日常部署更新等。

【加分項】
1、有工業(yè)品或電商平臺數(shù)據(jù)標(biāo)注、爬蟲系統(tǒng)相關(guān)項目經(jīng)驗；
2、具備高并發(fā)、分布式系統(tǒng)性能調(diào)優(yōu)經(jīng)驗；
3、熟悉數(shù)據(jù)安全合規(guī)規(guī)范及落地實踐。