一面可約線上 , 合適的技術(shù)咖快來(lái)呀 ~
崗位職責(zé)：
1. 數(shù)據(jù)采集與自動(dòng)化：
- 設(shè)計(jì)并開(kāi)發(fā)針對(duì)私域平臺(tái)(有贊 & 微盟)店鋪、公域平臺(tái)（如某音、某手、小某書(shū)、千川等）的爬蟲(chóng)系統(tǒng)，實(shí)現(xiàn)數(shù)據(jù)自動(dòng)化采集。
- 解決動(dòng)態(tài)網(wǎng)頁(yè)、反爬機(jī)制（如IP封禁、驗(yàn)證碼）JavaScript渲染頁(yè)面等技術(shù)難題，確保數(shù)據(jù)高可用性。
2. 數(shù)據(jù)處理與落地：
- 負(fù)責(zé)數(shù)據(jù)清洗、去重、結(jié)構(gòu)化處理，并將數(shù)據(jù)存入MySQL/MongoDB等數(shù)據(jù)庫(kù)。
- 與服務(wù)端工程師協(xié)作，開(kāi)發(fā)API接口供業(yè)務(wù)部門調(diào)用數(shù)據(jù)。
3. 系統(tǒng)優(yōu)化與維護(hù)：
- 設(shè)計(jì)分布式爬蟲(chóng)架構(gòu)（如Scrapy-Redis），提升爬取效率與穩(wěn)定性。
- 監(jiān)控任務(wù)狀態(tài)，優(yōu)化反爬策略（代理IP池、請(qǐng)求頻率控制、瀏覽器指紋模擬）。
4. 特殊需求支持：
- 實(shí)現(xiàn)驗(yàn)證碼識(shí)別（對(duì)接第三方平臺(tái)如打碼平臺(tái)，或本地模型訓(xùn)練）。
- 處理復(fù)雜場(chǎng)景（如直播數(shù)據(jù)實(shí)時(shí)抓取、登錄場(chǎng)景及數(shù)據(jù)解密）。
任職要求：
1. 技術(shù)能力：
- 核心技能：
- 精通Python，熟悉Scrapy、BeautifulSoup、Selenium、Playwright等爬蟲(chóng)框架。
- 掌握HTTP協(xié)議、代理IP池搭建、動(dòng)態(tài)網(wǎng)頁(yè)逆向分析（Chrome DevTools抓包）。
- 熟悉MySQL/MongoDB等數(shù)據(jù)庫(kù)，具備SQL優(yōu)化能力。
- 反爬與驗(yàn)證碼能力：
- 獨(dú)立設(shè)計(jì)反反爬策略（User-Agent輪換、瀏覽器指紋模擬）。
- 有驗(yàn)證碼識(shí)別經(jīng)驗(yàn)（對(duì)接打碼平臺(tái)、使用Tesseract或本地模型）。
- 工具鏈與架構(gòu)：
- 熟悉Airflow任務(wù)調(diào)度、Redis緩存、Docker/Kubernetes容器化部署。
- 熟悉CI/CD工具（Jenkins、GitLab CI）者優(yōu)先。
2. 實(shí)戰(zhàn)經(jīng)驗(yàn)：
- 獨(dú)立完成過(guò)字節(jié)系千川或者某音創(chuàng)作中心的數(shù)據(jù)爬取。
- 有處理高并發(fā)、高防網(wǎng)站（抖音、社交媒體）經(jīng)驗(yàn)者優(yōu)先。
3. 軟技能：
- 良好的問(wèn)題解決能力，能快速定位并修復(fù)爬蟲(chóng)異常。
- 能與跨部門協(xié)作（業(yè)務(wù)部門、服務(wù)端團(tuán)隊(duì)）。

技術(shù)棧要求 ：
技術(shù)/工具 : Scrapy、Selenium、Playwright、Requests、BeautifulSoup
反爬策略 : 代理IP池（如ProxyMesh）、瀏覽器指紋模擬（如Puppeteer）、動(dòng)態(tài)請(qǐng)求頭管理
數(shù)據(jù)處理 : Pandas、Numpy、正則表達(dá)式、JSON/XML解析
存儲(chǔ)與調(diào)度 : MySQL、MongoDB、Redis、Airflow、Kafka（消息隊(duì)列）
部署與監(jiān)控 : Docker、Kubernetes、ELK（日志監(jiān)控）、Prometheus（指標(biāo)監(jiān)控）