崗位職責(zé):
1、負(fù)責(zé)數(shù)據(jù)倉(cāng)庫(kù)的創(chuàng)建和管理,創(chuàng)建ETL平臺(tái),負(fù)責(zé)將原始數(shù)據(jù)轉(zhuǎn)換到數(shù)據(jù)倉(cāng)庫(kù)中,原始數(shù)據(jù)來(lái)源包括公司自有的用戶數(shù)據(jù),在社交社區(qū)中收集的文本數(shù)據(jù),合作伙伴提供的相關(guān)數(shù)據(jù);
2、主持網(wǎng)上數(shù)據(jù)的爬取業(yè)務(wù);主持?jǐn)?shù)據(jù)爬取平臺(tái)的設(shè)計(jì),實(shí)施及管理;
3、參與同合作伙伴以及其它數(shù)據(jù)提供商之間的交流,負(fù)責(zé)對(duì)第三方所提供數(shù)據(jù)接入方面接口方面進(jìn)行技術(shù)和工程方面的評(píng)估和同公司現(xiàn)有系統(tǒng)的接入;
4、負(fù)責(zé)同業(yè)務(wù)部門(mén)溝通,設(shè)計(jì)及擴(kuò)展數(shù)據(jù)倉(cāng)庫(kù)功能及數(shù)據(jù)爬取深度和廣度;
5、積極地采用開(kāi)源工具和技術(shù)提升數(shù)據(jù)庫(kù)及ETL的效能。
任職要求:
1、計(jì)算機(jī)科學(xué)專(zhuān)業(yè)本科/碩士;
2、至少3年數(shù)據(jù)庫(kù),數(shù)據(jù)挖掘或數(shù)據(jù)倉(cāng)庫(kù)方面的實(shí)際工作經(jīng)驗(yàn);
3、精通或熟悉關(guān)系數(shù)據(jù)庫(kù)及至少一種No-SQL數(shù)據(jù)庫(kù)、 精通或熟悉數(shù)據(jù)倉(cāng)庫(kù)理論及相關(guān)管理相關(guān)工具和技術(shù);
4、了解新的ETL理念,熟悉ETL技術(shù),特別是開(kāi)源ETL平臺(tái)(如DataX)及有開(kāi)發(fā)分布式ETL平臺(tái)的經(jīng)驗(yàn)者優(yōu)先考慮;
5、能夠接受及適應(yīng)在快節(jié)奏,測(cè)試驅(qū)動(dòng),持續(xù)迭代的工作環(huán)境。
職位類(lèi)別:
數(shù)據(jù)庫(kù)開(kāi)發(fā)工程師
舉報(bào)