我們正在尋找一位出色的數(shù)據(jù)科學(xué)家加入我們的團(tuán)隊,從數(shù)據(jù)中挖掘洞見和創(chuàng)新,以改善我們的基準(zhǔn)和AI驅(qū)動的工具。
關(guān)于這個角色
我們正在尋找一位動手型數(shù)據(jù)工程師,來設(shè)計、構(gòu)建和維護(hù)為我們的AI x web3 AI代理產(chǎn)品提供動力的編排層。你將設(shè)計和維護(hù)一個強大、可擴展的管道,用于攝取、轉(zhuǎn)換、驗證和提供各種異構(gòu)數(shù)據(jù)集,確保研究和生產(chǎn)環(huán)境中的低延遲、高可靠的數(shù)據(jù)流。
你將負(fù)責(zé)的工作:
領(lǐng)導(dǎo)數(shù)據(jù)編排。在Dagster中實施和操作端到端工作流,協(xié)調(diào)提取、轉(zhuǎn)換和加載階段的任務(wù)。
利用Databricks。在Databricks上構(gòu)建和優(yōu)化現(xiàn)有的ETL作業(yè)。
整合不同的數(shù)據(jù)源。開發(fā)和維護(hù)用于REST/WebSocket API、社交流媒體平臺和第三方端點的連接器 - 處理速率限制、重試和模式演變。
設(shè)計數(shù)據(jù)模型。在數(shù)據(jù)湖/倉庫中定義原始、臨時和精選的模式,以支持機器學(xué)習(xí)訓(xùn)練、分析和實時查詢。
確保數(shù)據(jù)質(zhì)量和可觀察性。嵌入驗證檢查(如使用Great Expectations)、儀表化、日志記錄和警報,以滿足服務(wù)水平協(xié)議并及早發(fā)現(xiàn)異常情況。
跨職能協(xié)作。與其他產(chǎn)品開發(fā)團(tuán)隊成員合作,將數(shù)據(jù)需求轉(zhuǎn)化為高性能服務(wù)和自助式API。

你應(yīng)該具備:
2年以上數(shù)據(jù)工程師或類似角色的經(jīng)驗,擁有構(gòu)建和優(yōu)化生產(chǎn)管道及編排工作流的良好記錄。
對Dagster在現(xiàn)代數(shù)據(jù)技術(shù)棧中用于工作流定義、調(diào)度和監(jiān)控有深入了解。
編寫和調(diào)優(yōu)Databricks上的Spark作業(yè)的實踐經(jīng)驗,包括Delta Lake*佳實踐。
擅長構(gòu)建用于REST、WebSocket和GraphQL源的強大連接器,管理分頁、身份驗證和模式漂移。
精通設(shè)計星型/雪花模式,并使用數(shù)據(jù)倉庫/數(shù)據(jù)湖(如BigQuery、Snowflake、Delta Lake)。
有使用數(shù)據(jù)驗證框架(Great Expectations)和可觀察性工具(Prometheus、Grafana、ELK)的經(jīng)驗。
你能撰寫清晰的文檔,分享管道模式,并向技術(shù)和業(yè)務(wù)利益相關(guān)方呈現(xiàn)數(shù)據(jù)洞見。