解析資料工程師職務、薪資待遇，與資料分析師、科學家的差別是什麼？

工程師的分類百百種，在一般軟體上有前後端工程師，去負責一個產品的呈現樣貌與運作邏輯；而不管是線上軟體服務，或是線下實體零售，都會蒐集識別化或去識別化的用戶資料，此時就需要資料科學相關的工程師來幫企業爬梳這些數據，以整理現象、預測趨勢。在大企業中，資料處理上的職能分類十分多元，除了資料庫工程師、大數據工程師、爬蟲工程師、機器學習工程師，也有本篇即將介紹的資料工程師。Glints將在下文簡短地帶大家來看資料工程師的職能、待遇，以及大家最常問的資料科學職業相關問題—資料工程師與資料分析師、科學家的差別是什麼？

資料工程師是什麼？

資料工程師是企業中負責與數據打交道的人之一，他們需要以程式去收集、讀取、清理，與探索企業的資料，以抓取符合企業分析需求的數據。簡言之，他們需要發展演算法，將企業所擁有的數據轉換成可發揮實際作用的分析指標。

從Coursera關於資料工程的課程可以看到，資料工程師職務包含以下：

寫程式碼（Coding）：程式語言專業是資料工程師最重要的工作技能之一，常見的程式語言包含SQL、NoSQL、Python、Java、R，和Scala。
關聯式和非關聯式資料庫（Relational and non-relational database）：資料庫是最常見於資料存放的地方，資料工程師需要了解關聯式與非關聯式的資料庫如何運作，才能寫程式以抓取資料。
ETL（Extract, transform, and load）系統：ETL是將資料從資料庫搬到一個儲存庫（repository）的過程，實作包含資料的清洗與轉換，常見的工具包含Xplenty、Stitch、Alooma，和Talend。
資料儲存（Data storage）：不同型態資料的存放方法也不盡相同，資料工程師需要知道什麼樣的資料適合哪種儲存方式。
自動化（Automation and scripting）：一間公司所蒐集到的用戶資料可能十分巨大，以程式自動化高重複性的任務也是資料工程師的日常之一。
機器學習（Machine learning）：機器學習是被認為和資料科學家比較相關的職能，但了解其概念對於資料工程師在團隊協作上也十分有助益。
大數據工具（Big data tools）：以工具和技術方法去管理用戶的大數據，常用工具如Hadoop、MongoDB或Kafka。
雲端計算（Cloud computing）：了解如何應用雲端儲存和運算於企業中，並將存於實體機房的資料逐漸轉放至雲端。
資料安全（Data security）：有些公司會有專職的資安團隊，不過大部分時候資料工程師也需要負責安全地管理與儲存資料，以防資料外洩。

資料工程師的薪資待遇

資料工程師是薪資優渥的職業，就美國而言，的平均年薪可以達到$112,493，相較於其它資料相關職位如資料分析師、資料庫管理師都更高。

從下圖可以看到，光是在Glints職缺網站中不分地區搜尋「data engineer」，就有高達3000多個職缺，可接受遠端工作的相關職缺也高達750個。如果對軟體工程師的遠端工作有興趣，可以閱讀《軟體工程師海外遠端工作薪水比較高，怎麼說？》。

search data engineer job opening on glints

資料工程師與資料分析師、資料科學家的差異？合作方式是什麼？

data engineer vs data scientist vs data analyst — Source: European Leadership University

在一般資料科學的團隊中有資料分析師、工程師以及科學家，他們的職能差異如下：

資料分析師（Data Analyst）

資料分析師是資料領域的初階職位，背景多為具有統計或數據背景的學士畢業生，所需的技能有資料處理、資料建模（data modeling），以及將數據以視覺化的報告呈現，以幫助公司解答數據相關的問題，並協助做出數據導向的商業決策。常用的數據分析工具有Excel、Tableau和SQL，活用這些工具能讓自己在眾多申請者之中凸顯而出。

資料工程師（Data Engineer）

資料工程師多為資料相關領域的碩士畢業生，或是在資料分析、軟體工程上有一定背景者。它所需的技能除了上述的資料處理、建模之外，更集中在資料架構設計，像是清理數據資料，讓它們能更容易地被存取和使用，除此外也包含建立與整合APIs。他們需要理解如何將工作數據化（data pipelining）並以這些指標去執行成果優化。

資料科學家（Data Scientist）

資料科學家相較前述兩個職位需要更深厚的資料科學領域經驗，主要負責以統籌的面向做數據資料的處理和解析，以既有的資料去推測預算，解決複雜的商業問題。所需的技能包含進階統計分析、模型訓練，以及深度機器學習。

更進一步了解他們如何協作，可以大致將他們的職能對應分為以下幾個工作階段：

資料蒐集與處理（資料工程師）：處理初始資料的存取與轉換，將它們清理為可以被運用的形式。
解析資料（資料分析師）：針對特定議題去處理並解析數據資料，以提供決策依據。
訓練模型（資料科學家）：建立模型工具，進一步分析資料，讓它們變成可解決商業問題的模式。

結論

資料科學是驅動企業成長的重要團隊，它能夠幫助企業從龐大的數據中找出現象趨勢，並應用為可解決問題的工具，現為軟體工程師的你也可以考慮轉職相關資料職位。

如果你希望可以得到更多資訊，可以追蹤Glints的臉書粉絲頁，每個星期都可以看到熱門職缺與職涯資訊。

你也可以到Glints – Taiwan去了解更多！或是註冊帳號，收到職缺通知！

延伸閱讀：

對軟體工程師求職有興趣的人，可以看看Glints的其他精選文章