職責(zé):

1，設(shè)計(jì)、開(kāi)發(fā)和維護(hù)基于 Python 的數(shù)據(jù)采集系統(tǒng)，包括爬蟲(chóng)、API 接口調(diào)用等。
2，分析目標(biāo)網(wǎng)站結(jié)構(gòu)和數(shù)據(jù)接口，制定數(shù)據(jù)采集策略。
3，解決數(shù)據(jù)采集過(guò)程中遇到的反爬蟲(chóng)機(jī)制、數(shù)據(jù)加密等問(wèn)題。
4，清洗、整理和存儲(chǔ)采集到的數(shù)據(jù)，確保數(shù)據(jù)質(zhì)量和完整性。
5，與數(shù)據(jù)分析師、開(kāi)發(fā)工程師等團(tuán)隊(duì)成員協(xié)作，提供數(shù)據(jù)支持。
6，關(guān)注數(shù)據(jù)采集領(lǐng)域的*新技術(shù)和發(fā)展趨勢(shì)，不斷提升技術(shù)水平。

必備技能:

1，精通 Python 編程語(yǔ)言，熟悉常用數(shù)據(jù)結(jié)構(gòu)、算法和設(shè)計(jì)模式。
2，熟悉 HTTP/HTTPS 協(xié)議、HTML、CSS、JavaScript 等 web 技術(shù)。
3，熟悉主流數(shù)據(jù)采集框架，如 Scrapy、BeautifulSoup、Requests 等。
4，熟悉數(shù)據(jù)庫(kù)技術(shù)，如 MSSQL、MongoDB 等，能夠進(jìn)行數(shù)據(jù)的存儲(chǔ)和查詢。
5，具備良好的代碼風(fēng)格和文檔編寫(xiě)習(xí)慣，熟悉 Git 版本控制工具。
6，具備良好的問(wèn)題分析和解決能力，能夠獨(dú)立完成數(shù)據(jù)采集任務(wù)。

加分項(xiàng):

1，熟悉分布式數(shù)據(jù)采集、異步編程、消息隊(duì)列等技術(shù)。
2，熟悉機(jī)器學(xué)習(xí)、自然語(yǔ)言處理等技術(shù)，能夠進(jìn)行數(shù)據(jù)分析和挖掘。
3，有大數(shù)據(jù)處理經(jīng)驗(yàn)，熟悉 Hadoop、Spark 等分布式計(jì)算框架。
4，有反爬蟲(chóng)經(jīng)驗(yàn)，熟悉常見(jiàn)反爬蟲(chóng)策略和應(yīng)對(duì)方法。

其他:

1，計(jì)算機(jī)科學(xué)、軟件工程或相關(guān)專業(yè)本科及以上學(xué)歷。
2，至少 2 年及以上相關(guān)工作經(jīng)驗(yàn)。
3，具備良好的溝通能力和團(tuán)隊(duì)合作精神，工作積極主動(dòng)，責(zé)任心強(qiáng)。