核心職責?
1、數(shù)據(jù)采集服務搭建：主導設(shè)計并開發(fā)電商平臺（得力、蘇寧等）公開數(shù)據(jù)采集方案，精準爬取商品信息、訂單詳情、價格動態(tài)等核心數(shù)據(jù)，保障數(shù)據(jù)采集的完整性與時效性。?
2、數(shù)據(jù)管道運維優(yōu)化：負責現(xiàn)有采集任務、數(shù)據(jù)同步流程的日常維護，持續(xù)迭代采集策略、調(diào)度機制及數(shù)據(jù)清洗規(guī)則，提升數(shù)據(jù)質(zhì)量、采集效率，降低資源消耗。?
3、數(shù)據(jù)同步閉環(huán)建設(shè)：參與設(shè)計并實現(xiàn)內(nèi)部業(yè)務狀態(tài)（如訂單妥投、簽收、退款）向上游電商平臺的回傳模塊，確保數(shù)據(jù)流轉(zhuǎn)的閉環(huán)性與一致性。?
4、反爬策略攻關(guān)：深入研究各類電商平臺反爬機制（驗證碼、IP 封禁、頻率限制等），制定針對性突破方案，保障數(shù)據(jù)采集通道長期穩(wěn)定暢通。?
5、技術(shù)沉淀與文檔編寫：撰寫規(guī)范、清晰的技術(shù)文檔（設(shè)計方案、接口文檔、運維手冊等），沉淀技術(shù)經(jīng)驗，助力團隊協(xié)作與知識傳承。?
任職要求?
必備條件?
1、學歷與經(jīng)驗：計算機相關(guān)專業(yè)本科及以上學歷，3 年以上 Python 開發(fā)經(jīng)驗，且具備數(shù)據(jù)采集 / 爬蟲項目實戰(zhàn)經(jīng)歷。?
2、技術(shù)能力：?
1）精通 Python 語言，熟練運用 Scrapy、Requests、BeautifulSoup 等主流采集工具庫，能獨立完成復雜采集需求開發(fā)。?
2）深入理解 HTTP/HTTPS、TCP/IP 等網(wǎng)絡協(xié)議，熟練使用瀏覽器開發(fā)者工具（F12）進行請求分析、接口調(diào)試。?
3）具備處理驗證碼識別、IP 池搭建、頻率控制等常見反爬機制的實際經(jīng)驗，能快速定位并解決采集過程中的技術(shù)問題。?
4）熟悉 MySQL/PostgreSQL 等關(guān)系型數(shù)據(jù)庫，能編寫高效 SQL 語句，具備數(shù)據(jù)存儲、查詢優(yōu)化基礎(chǔ)。?
5）掌握 Linux 基本操作命令，能獨立完成服務部署、日志排查、任務調(diào)度等工作。?
3、綜合素質(zhì)：具備優(yōu)秀的邏輯思維能力、自主學習能力和責任心，抗壓能力強，能在快節(jié)奏項目中高效推進工作，確保交付質(zhì)量。
?4、優(yōu)先條件?
1）擁有爬蟲集群搭建與維護經(jīng)驗，熟悉 Celery（任務隊列）、Zookeeper（分布式協(xié)調(diào)）、Redis（緩存）等技術(shù)的實際應用。?
2）有電商平臺（尤其是得力、蘇寧等）數(shù)據(jù)采集或數(shù)據(jù)同步項目經(jīng)驗者優(yōu)先。?
3）熟悉 RabbitMQ/Kafka 等消息隊列、Redis 分布式緩存的應用場景與實踐技巧。?
4）具備 Selenium、Playwright 等工具處理動態(tài)渲染網(wǎng)頁（JS 加載、AJAX 異步請求）的開發(fā)經(jīng)驗。?
5）了解 Docker 容器化技術(shù)，有容器化部署、運維經(jīng)驗者優(yōu)先。