職責(zé)描述：
1、爬蟲開發(fā)與數(shù)據(jù)采集
設(shè)計(jì)并實(shí)現(xiàn)高效穩(wěn)定的分布式爬蟲系統(tǒng)，采集各類公開數(shù)據(jù)源
2、處理反爬機(jī)制（驗(yàn)證碼、IP封禁、動(dòng)態(tài)加載、加密參數(shù)等）
3、保證數(shù)據(jù)采集的準(zhǔn)確性、完整性和時(shí)效性
4、維護(hù)和優(yōu)化現(xiàn)有爬蟲系統(tǒng)，提升采集效率和穩(wěn)定性
2. Python應(yīng)用開發(fā)
1、參與公司核心業(yè)務(wù)系統(tǒng)的后端開發(fā)與維護(hù)
2、設(shè)計(jì)和開發(fā)RESTful API接口服務(wù)
3、編寫高質(zhì)量、可維護(hù)的代碼，進(jìn)行代碼審查和性能優(yōu)化
4、參與系統(tǒng)架構(gòu)設(shè)計(jì)和技術(shù)方案選型
5、 數(shù)據(jù)處理與分析
5.1對(duì)采集數(shù)據(jù)進(jìn)行清洗、去重、結(jié)構(gòu)化處理
5.2開發(fā)數(shù)據(jù)ETL流程，構(gòu)建數(shù)據(jù)倉(cāng)庫(kù)
5.3配合數(shù)據(jù)團(tuán)隊(duì)進(jìn)行數(shù)據(jù)分析與可視化
6、系統(tǒng)運(yùn)維與監(jiān)控
6.1部署和維護(hù)爬蟲及后端服務(wù)
6.2建立監(jiān)控告警體系，確保系統(tǒng)7×24小時(shí)穩(wěn)定運(yùn)行
任職要求：
1、計(jì)算機(jī)相關(guān)專業(yè)本科及以上學(xué)歷
2、2年以上Python開發(fā)經(jīng)驗(yàn)
3、深入理解Python核心特性（裝飾器、生成器、多線程/多進(jìn)程等）
4、熟悉Python主流框架：
Web框架：Django/Flask/FastAPI至少一種
異步框架：asyncio/aiohttp實(shí)際項(xiàng)目經(jīng)驗(yàn)
5、爬蟲專項(xiàng)技能
熟練掌握爬蟲生態(tài)工具：
請(qǐng)求庫(kù)：requests、aiohttp、httpx
解析庫(kù)：BeautifulSoup、lxml、parsel
框架：Scrapy、Scrapy-Redis、PySpider
自動(dòng)化：Selenium、Playwright、Puppeteer
熟悉反爬應(yīng)對(duì)方案：
IP代理池（芝麻代理、快代理等）
驗(yàn)證碼識(shí)別（打碼平臺(tái)或自建識(shí)別）
瀏覽器指紋偽裝
了解常見數(shù)據(jù)存儲(chǔ)方案：
關(guān)系型數(shù)據(jù)庫(kù)：MySQL/PostgreSQL
NoSQL：MongoDB/Redis/Elasticsearch
6、技術(shù)棧要求
數(shù)據(jù)庫(kù)：熟練使用SQL，了解ORM框架（SQLAlchemy/DjangoM）
隊(duì)列中間件：RabbitMQ/Kafka/Redis Queue
容器化：Docker基本使用，了解Docker Compose
版本控制：Git熟練使用
Linux：熟悉常用命令和服務(wù)器部署