詳解阿里云數(shù)據(jù)中臺，一篇文章全面了解大數(shù)據(jù)“網(wǎng)紅”

導讀：本文從數(shù)據(jù)處理技術DT從業(yè)者的角度出發(fā)，系統(tǒng)介紹了阿里云的數(shù)據(jù)中臺概念和操作思路，也是阿里內(nèi)部對近期關于數(shù)據(jù)中臺的負面評價的回應。

圖片來自“Unsplash”

本文來自于云棲社區(qū)，作者譚虎、陳曉勇。

原文鏈接:https://mp.weixin.qq.com/s/YEkdIp4C2jOu6TVMafhi0A

一直想寫一篇關于數(shù)據(jù)中臺正面文章，現(xiàn)在有閑時做些總結，想充分詮釋一下DT內(nèi)部人如何看待數(shù)據(jù)中臺。

數(shù)據(jù)中臺的概念是最早由阿里巴巴首次提出，是為了應對內(nèi)部眾多業(yè)務部門千變?nèi)f化的數(shù)據(jù)需求和高速時效性的要求而成長起來的，它既要滿足業(yè)務部門日常性的多個業(yè)務前臺的數(shù)據(jù)需求，又要滿足像雙十一，六一八這樣的業(yè)務高峰、應對大規(guī)模數(shù)據(jù)的線性可擴展問題、應對復雜活動場景業(yè)務系統(tǒng)的解耦問題，而在技術、組織架構等方面采取的一些變革。

數(shù)據(jù)中臺的定義

阿里巴巴數(shù)據(jù)中臺是阿里云上實現(xiàn)數(shù)據(jù)智能的最佳實踐，它是由數(shù)據(jù)中臺方法論+組織+工具所組成，數(shù)據(jù)中臺方法論采用實現(xiàn)企業(yè)數(shù)據(jù)的全局規(guī)劃設計，通過前期的設計形成統(tǒng)一的數(shù)據(jù)標準、計算口徑，統(tǒng)一保障數(shù)據(jù)質量，面向數(shù)據(jù)分析場景構建數(shù)據(jù)模型，讓通用計算和數(shù)據(jù)能沉淀并能復用，提升計算效能;數(shù)據(jù)中臺的建設實施必須有能與之配合的組織，不僅僅相應崗位的人員要配備齊全，而且組織架構建設也需要對應，有一個數(shù)據(jù)技術部門統(tǒng)籌企業(yè)的數(shù)字化轉型，數(shù)據(jù)賦能業(yè)務中形成業(yè)務模式，在推進數(shù)字化轉型中實現(xiàn)價值;數(shù)據(jù)中臺由一系列的工具和產(chǎn)品組成，阿里云數(shù)據(jù)中臺以智能數(shù)據(jù)構建與管理Dataphin產(chǎn)品、商業(yè)智能QuickBI工具和企業(yè)參謀產(chǎn)品為主體等一系列工具組成。

阿里云在過去幾年中經(jīng)過數(shù)十個實際項目沉淀形成實施標準化流程和方法論。阿里云OneData數(shù)據(jù)中臺解決方案基于大數(shù)據(jù)存儲和計算平臺為載體，以OneModel統(tǒng)一數(shù)據(jù)構建及管理方法論為主干，OneID核心商業(yè)要素資產(chǎn)化為核心，實現(xiàn)全域鏈接、標簽萃取、立體畫像，以數(shù)據(jù)資產(chǎn)管理為皮，數(shù)據(jù)應用服務為枝葉的松耦性整體解決方案。其數(shù)據(jù)服務理念根植于心，強調(diào)業(yè)務模式，在推進數(shù)字化轉型中實現(xiàn)價值。

數(shù)據(jù)中臺的概念來自于阿里巴巴“大中臺，小前臺”業(yè)務戰(zhàn)略下的數(shù)據(jù)化實踐，它是關于“數(shù)據(jù)價值化和數(shù)據(jù)資產(chǎn)化”的一整套解決方案，內(nèi)容包括數(shù)據(jù)中臺方法論，組織，數(shù)據(jù)產(chǎn)品三個方面。

數(shù)據(jù)中臺建設成果主要體現(xiàn)在兩方面：一個是數(shù)據(jù)的技術能力，另一個是數(shù)據(jù)的資產(chǎn)。今天阿里的各個業(yè)務都在共享同一套數(shù)據(jù)技術和資產(chǎn)。阿里內(nèi)部為這個統(tǒng)一化的數(shù)據(jù)體系命名為“OneData”。Onedata體系包括OneModel，OneID，OneService3個方面，在OneData體系之下，不斷擴大的業(yè)務版圖內(nèi)的各種業(yè)務數(shù)據(jù)，都將按統(tǒng)一的方式接入中臺系統(tǒng)，之后通過統(tǒng)一化的數(shù)據(jù)服務反哺業(yè)務。

如下圖所示：

數(shù)據(jù)中臺頂層設計

數(shù)據(jù)中臺定位于計算后臺和業(yè)務前臺之間，其關鍵職能與核心價值是大數(shù)據(jù)以業(yè)務視角而非純技術視角出發(fā)，智能化構建數(shù)據(jù)、管理數(shù)據(jù)資產(chǎn)與提供數(shù)據(jù)調(diào)用、數(shù)據(jù)監(jiān)控、數(shù)據(jù)分析與數(shù)據(jù)展現(xiàn)等多種服務。承技術啟業(yè)務，是建設智能數(shù)據(jù)和催生數(shù)據(jù)智能的引擎;而以數(shù)據(jù)中臺內(nèi)核價值為中段的數(shù)據(jù)中臺業(yè)務模式不是純數(shù)據(jù)、不是純技術、也不是純業(yè)務，它同時關注著與大數(shù)據(jù)能力相關的上下游，以大數(shù)據(jù)為中軸線，基于技術而又深入業(yè)務，它以數(shù)據(jù)產(chǎn)品+數(shù)據(jù)技術+方法論+場景實現(xiàn)的綜合性輸出，同時為智能化數(shù)據(jù)、技術極致提升和數(shù)據(jù)智能化業(yè)務負責。

一方面專注于從業(yè)務視角，建設標準統(tǒng)一、融會貫通、資產(chǎn)化、服務化、閉環(huán)自優(yōu)化的數(shù)據(jù)中臺智能數(shù)據(jù)體系，同時極致化追求技術上的降本提效。另一方面，致力于智能數(shù)據(jù)與業(yè)務場景深度融合的業(yè)務數(shù)據(jù)化與數(shù)據(jù)業(yè)務化中的各類智能化價值創(chuàng)新。

數(shù)據(jù)中臺與傳統(tǒng)數(shù)據(jù)倉庫差異

數(shù)據(jù)倉庫已經(jīng)經(jīng)歷了40多年的發(fā)展，廣泛應用于大型商業(yè)企業(yè)，幫助業(yè)務人員和高層人員做分析和決策，它起源于決策支持系統(tǒng)(decision support system)，其展現(xiàn)形式更多以報表方式實現(xiàn)。因此數(shù)據(jù)倉庫是一個面向主題的、集成的、非易失性的，隨時間變化的用來支持管理人員決策的數(shù)據(jù)集合。

傳統(tǒng)的企業(yè)級數(shù)倉還是以TD，Oracle，IBM/DB2等傳統(tǒng)數(shù)據(jù)庫為主, 由于受限于數(shù)據(jù)的處理能力，很少有EDW的數(shù)據(jù)容量超過1TB，因此不能對基礎數(shù)據(jù)進行跨域的處理(原因是RMDBS對大數(shù)據(jù)量的關聯(lián)join處理耗時非常長)，因此要對新的指標分析的時候需要從基礎數(shù)據(jù)重新生成匯總表，耗時耗力，使用方法上無法實現(xiàn)跨數(shù)據(jù)集或數(shù)據(jù)域的處理。新一代的數(shù)據(jù)倉庫采用分布式架構，一般基于MPP數(shù)據(jù)庫或大數(shù)據(jù)平臺實現(xiàn)數(shù)據(jù)分析，因此傳統(tǒng)的數(shù)據(jù)倉庫具有以下幾個特點：

業(yè)務主題性：傳統(tǒng)的數(shù)倉要求解決服務問題，比如對一個生產(chǎn)型企業(yè)來說公司的主題域是產(chǎn)品、訂單、銷售商、材料等，要解決應用問題可能是庫存、銷售、銷售商等。其有業(yè)務是面向主題的。

系統(tǒng)集成性：在傳統(tǒng)數(shù)據(jù)倉庫中，集成是最重要的，由于計算和存儲的成本原因，其數(shù)據(jù)需要從不同的數(shù)據(jù)源抽取過來并集中，其數(shù)據(jù)的冗余度需要盡可能的降低，因此數(shù)據(jù)進入數(shù)據(jù)倉庫中需要進行轉化、格式化、重新排列和匯總等操作，其所有數(shù)據(jù)具有單一物理特性，都是結構化方式存在。在系統(tǒng)架構方面，也是以集中式存儲和計算方式存在，新一代的數(shù)倉采用分布式計算，但軟件產(chǎn)品采用集中部署方式存在。

非易失性：數(shù)倉系統(tǒng)會記錄所有記錄，與業(yè)務系統(tǒng)相比，它不會對記錄進行變化操作(update和delete)，它會保留所有記錄的變化，但受限于成本和計算能力考慮，數(shù)倉不會記錄全量明細數(shù)據(jù)，特別是日志數(shù)據(jù)，因此大部分數(shù)倉平臺的數(shù)據(jù)容量在TB級別。

時間變化性：數(shù)據(jù)倉庫中每個數(shù)據(jù)單元只是在某一時間是準確的，因此數(shù)據(jù)單元的準確性與時間相關，數(shù)據(jù)倉庫中的數(shù)據(jù)時間范圍5-10年。

系統(tǒng)一體化: 傳統(tǒng)數(shù)倉以系統(tǒng)整體設計為特性，軟件平臺圍繞著數(shù)據(jù)庫或計算平臺以整套服務為主，結合度縝密，對外服務也較單一。傳統(tǒng)的數(shù)倉采用集

中式數(shù)據(jù)庫作為數(shù)據(jù)和計算平臺，近10年來，新興企業(yè)采用分布式數(shù)據(jù)庫和大數(shù)據(jù)技術實現(xiàn)OLAP類數(shù)倉建設，但其本質還是基于一個整體來考慮的。

在系統(tǒng)和服務上數(shù)據(jù)中臺與傳數(shù)倉有很多明顯的區(qū)別，首先表現(xiàn)在服務對象方面，傳統(tǒng)的數(shù)倉只是滿足領導數(shù)據(jù)決策的需要，因此更多的體現(xiàn)在報表輸出，使用者以小部分的業(yè)務人員和決策層為主，新需求的開發(fā)周期以月甚至到年為計。而數(shù)據(jù)中臺由于起家于互聯(lián)網(wǎng)企業(yè)，其使用對象擴大到一線服務人員和商家企業(yè)，其業(yè)務需求更繁雜，很難用一套報表系統(tǒng)滿足需求，因此催生出一個生態(tài)的數(shù)據(jù)服務。

其次是體系架構上，數(shù)據(jù)中臺是由多系統(tǒng)組成，除了計算平臺外，其方案由多個分布式服務系統(tǒng)提供，滿足不同業(yè)務需求和高并發(fā)和系統(tǒng)自動擴容需求，除了大數(shù)據(jù)存儲和計算平臺外，還包含數(shù)倉建設、工作臺開發(fā)IDE、任務調(diào)度、數(shù)據(jù)同步服務、對外統(tǒng)一數(shù)據(jù)服務、資產(chǎn)管理系統(tǒng)、實時流計算平臺和開發(fā)平臺、oneID計算和查詢模塊，敏捷BI報表開發(fā)等多個組件，通過多個維度組件組成一整套方案。

再則，在服務表現(xiàn)形式上數(shù)據(jù)中臺體現(xiàn)的更多樣化，數(shù)據(jù)中臺不僅能提供報表基礎服務功能，而且為了滿足各個業(yè)務部門不同需求，會提供領導決策系統(tǒng)、行業(yè)分析、業(yè)務洞察、業(yè)務重塑，自助查詢等多個功能，滿足從領導層、PD、業(yè)務人員、開發(fā)人員等各個層級的需求。

在繼承性方面，數(shù)據(jù)中臺采用傳統(tǒng)的數(shù)倉Kimball維度建模法，按照事實表，維表來構建數(shù)據(jù)中臺的數(shù)據(jù)模型。

數(shù)據(jù)中臺與數(shù)據(jù)湖區(qū)別

業(yè)界近3年對datalake說的比較多，是結合近10年來大數(shù)據(jù)理念興起的，首次由Dan Woods在2011年7月福布斯上的“Big Data Requires a Big, New Architecture”中提出，它提出CIO們應該考慮數(shù)據(jù)湖(“Data lake”)這個思維方式來替代數(shù)據(jù)倉庫(“data warehouse”)的思維，它的架構和理念是把原先不存儲的基礎數(shù)據(jù)也存儲起來，匯總各個數(shù)據(jù)源的數(shù)據(jù)方便以后的數(shù)據(jù)分析和查詢，因此數(shù)據(jù)湖是數(shù)據(jù)的聚集、加工為目的數(shù)據(jù)資源池，但是數(shù)據(jù)湖只是解決了聚集問題，在數(shù)據(jù)加工方面由于不可控制的需求變得異常繁重，由于數(shù)據(jù)的繁雜和混亂引入數(shù)據(jù)治理讓數(shù)據(jù)的加工更是舉步維艱。

傳統(tǒng)上數(shù)據(jù)湖中的數(shù)據(jù)會存儲原始數(shù)據(jù)，量大并且非結構化和半結構化的數(shù)據(jù)較多，需要有一個低成本分布式存儲和計算架構來承載這些數(shù)據(jù)，屬于ODS層，缺乏數(shù)據(jù)主題和加工能力，因此近期對數(shù)據(jù)湖上的數(shù)據(jù)治理項目和應用越來越多。

數(shù)據(jù)湖匯集了原始ODS數(shù)據(jù)，解決了傳統(tǒng)數(shù)倉基礎數(shù)據(jù)缺乏的問題，作為企業(yè)數(shù)倉平臺的補充，有其重要的意義，但數(shù)據(jù)湖的作用在于匯集企業(yè)的各個數(shù)據(jù)源，有一個存放和分析之地，在規(guī)劃中沒有一個整體的數(shù)據(jù)資產(chǎn)規(guī)劃和管理職能，這會導致其功能薄弱性，不能承擔整體的數(shù)據(jù)處理和管理之重，實際在一些大型企業(yè)，使用數(shù)據(jù)湖其數(shù)據(jù)陷阱就會馬上出現(xiàn)，業(yè)務人員的需求需要DBA或IT人員經(jīng)過繁雜的處理步驟才能實現(xiàn)達到業(yè)務人員的數(shù)據(jù)分析目的，其會耗費開發(fā)人員的時間耗以周計，原因之一是數(shù)據(jù)湖沒有一個數(shù)據(jù)構建和管理平臺去管理和計算這些數(shù)據(jù)，因此不講治理的雜亂無章的數(shù)據(jù)看似能提升數(shù)據(jù)獲取，數(shù)據(jù)分析的效率，實際上并不能承擔企業(yè)智能化的使命。

企業(yè)數(shù)據(jù)智能需要解決企業(yè)數(shù)據(jù)智能所面臨的諸多問題，企業(yè)數(shù)據(jù)智能需要解決數(shù)據(jù)的快速計算和結果產(chǎn)出;需要對企業(yè)數(shù)據(jù)資產(chǎn)有整體規(guī)劃和掌控;需要有一個好的方法論處理業(yè)務邏輯繁雜的統(tǒng)計;需要有一個好的構建和管理平臺面向業(yè)務使用方和開發(fā)使用方...這些都是數(shù)據(jù)湖所不能解決的問題。

數(shù)據(jù)中臺是由阿里巴巴在2015年在內(nèi)部技術演進和組織優(yōu)化中提出中臺戰(zhàn)略中提到的，數(shù)據(jù)湖本身的缺陷正是數(shù)據(jù)中臺強項，二者可以起到方案補充的作用，在現(xiàn)有技術框架中數(shù)據(jù)中臺可以基于Hadoop數(shù)據(jù)湖平臺作為數(shù)據(jù)存儲和計算載體，實現(xiàn)數(shù)據(jù)的加工和處理，數(shù)據(jù)中臺更多實現(xiàn)數(shù)據(jù)的管理，強調(diào)利用數(shù)據(jù)的能力，強調(diào)數(shù)據(jù)開發(fā)和高效的使用，數(shù)據(jù)中臺的數(shù)據(jù)資產(chǎn)管理可以對數(shù)據(jù)湖中的數(shù)據(jù)按照數(shù)據(jù)域方式進行管理并結合業(yè)務的邏輯實現(xiàn)整個數(shù)據(jù)模型的加工和開發(fā)。

數(shù)據(jù)中臺與數(shù)據(jù)域相比，數(shù)據(jù)中臺強調(diào)方法論，組織和工具的建設。非常強調(diào)數(shù)據(jù)賦能業(yè)務，衍生出很多的數(shù)據(jù)業(yè)務產(chǎn)品。比如在阿里面向商家的生意參謀，面向人物屬性的標簽服務、面向行業(yè)小二的行業(yè)洞察…這些都極大的擴展了數(shù)據(jù)價值，其次數(shù)據(jù)中臺按分析的原子指標和派生指標方式做計算并存儲在Maxcompute平臺上，如有及時查詢要求會同步分析結果數(shù)據(jù)給MPP或其他DB。這塊在數(shù)據(jù)頂層設計，全域資產(chǎn)、統(tǒng)一技術、產(chǎn)品業(yè)務上與Datalke及EDW是不同的。

現(xiàn)有大數(shù)據(jù)平臺廠商和云服務廠商推崇數(shù)據(jù)湖有其商業(yè)目的，AWS認為“云數(shù)據(jù)湖代表未來，能從數(shù)據(jù)中挖掘出更多價值”。AWS對數(shù)據(jù)湖的理解是基于同一存儲、對接各類引擎進行分析查詢工作，因此推崇Amazon S3來構建數(shù)據(jù)湖;微軟推崇“Azure Data lake”基于HDinsight(原先Hortonworks公司產(chǎn)品，現(xiàn)是Cloudera產(chǎn)品)上層使用hive，spark，U-SQL計算引擎實現(xiàn)計算和查詢;華為推薦DAYU數(shù)據(jù)湖運營平臺，強調(diào)統(tǒng)一管理和功能的豐富性。這些解決方案非常強調(diào)存儲服務和想配套的硬件銷售。

最后說到底都是企業(yè)提供數(shù)據(jù)計算、存儲和應用的平臺，最終各種平臺的目的都是要更好地服務于業(yè)務。

數(shù)據(jù)中臺所面臨的挑戰(zhàn)

隨著數(shù)據(jù)中臺理念的普及，各行各業(yè)逐步接受了這個概念，很多廠商通過招投標采購、自身投入等各種方式建設了數(shù)據(jù)中臺，但在建設和具體運營中發(fā)現(xiàn)了很多問題，諸如數(shù)據(jù)運營是否能產(chǎn)生效益，對業(yè)務是否有推動價值，取數(shù)是否快速敏捷等問題…

數(shù)據(jù)中臺建設是一個循序漸進的建設過程，數(shù)據(jù)積累和分析維度都有一個數(shù)據(jù)和知識積累，認知的過程，和業(yè)務系統(tǒng)的“交鑰匙”工程有本質不同，營銷，市場和供應鏈的數(shù)據(jù)是在不斷變化中，營銷活動，產(chǎn)品也在不斷發(fā)展和更新中，因此，數(shù)據(jù)中臺建設是一個不停迭代和發(fā)展的過程，需要持續(xù)投入是數(shù)據(jù)中臺運營部門所面臨的最大的挑戰(zhàn)。

業(yè)務數(shù)據(jù)的分析需求會有很大變化，回顧互聯(lián)網(wǎng)或傳統(tǒng)產(chǎn)業(yè)的發(fā)展歷程，在2007年iPhone智能手機以一個全新的形式推向市場前，傳統(tǒng)的數(shù)據(jù)分析需求還是停留在PC或線下數(shù)據(jù)的分析，而今天，幾乎所有的分析維度幾乎都是來自線上終端(手機)需求或由線上數(shù)據(jù)來推動線下運營的需求。而今天隨著5G和AI技術的發(fā)展，越來越多的IOT設備產(chǎn)生的數(shù)據(jù)開始支撐著數(shù)據(jù)分析場景，比如商場、飯店已經(jīng)開始使用攝像頭等傳感器來收集游客對商品或服務的喜好，這些都觸動對數(shù)據(jù)中臺的分析需求，這2個小小例子說明數(shù)據(jù)中臺的分析需求是在不斷變化中，因此數(shù)據(jù)中臺建設也需要持續(xù)迭代和發(fā)展，而不是自我運行的，這需要開發(fā)人員在不斷迭代中找到事物發(fā)展的規(guī)律，總結形成數(shù)據(jù)服務應用，滿足普遍化的業(yè)務需求。在GPS傳感器集成到手機中前，人們無法獲知運動中的人位置，通過定位傳感器衍生出位置服務，比如大眾點評中的餐飲家政等生活圈的服務，這些數(shù)據(jù)會催生出人新的位置標簽，生活圈等指標數(shù)據(jù)，這些對業(yè)務運營有非常大的幫助，因為有了這個信息，你不會再給一個偶爾因為差旅去商家消費的顧客再發(fā)送促銷信息，也不會給偶爾消費的人有促銷廣告，這會幫助你的營銷更有針對性，更精準。

傳統(tǒng)企業(yè)在數(shù)倉建設都有一個分析平臺，固化了很多分析指標，這些分析指標每天發(fā)生一些變化，為決策層提供了決策支撐，但指標的更替和變化確以月和年計，這導致對新業(yè)務和事物的業(yè)務反饋不夠及時，因此面對這一挑戰(zhàn)需要有一個靈活的數(shù)據(jù)中臺加工機制來滿足這些需求。這首先需要有一個組織來支撐這個運營目標，使得運營和開發(fā)團隊為這個目標達成這個目標，在阿里巴巴內(nèi)部數(shù)據(jù)技術及產(chǎn)品部門就是這個組織的典型代表，通過組織機制來推動運營，滿足業(yè)務部門不間斷的數(shù)據(jù)需求，同時基于需求開創(chuàng)了一套方法論并開發(fā)了一系列的工具幫助業(yè)務部門達成這一業(yè)務目標。這需要數(shù)據(jù)中臺的開發(fā)團隊開發(fā)一套方便，便捷的自助取數(shù)工具來滿足業(yè)務部門的需求。

誠然，在數(shù)據(jù)建設中還會碰到一些其他潛在問題，諸如需求不明確，分析場景設計不合理，數(shù)據(jù)指標和分析思路不夠能解決用戶痛點等情況，但這些都可以通過增加投入，特別是加強咨詢和調(diào)研的力度來解決這些問題。

尾聲

數(shù)據(jù)中臺是很多傳統(tǒng)企業(yè)做數(shù)字化轉型的重點投入，這需要從戰(zhàn)略、方法論、工具、執(zhí)行和組織層面做系統(tǒng)規(guī)劃、有序執(zhí)行，阿里過去多年經(jīng)歷了內(nèi)部多年的建設沉淀出多個工具和數(shù)據(jù)產(chǎn)品，經(jīng)過央視網(wǎng)、海底撈、飛鶴、聯(lián)華商超、南航等多個傳統(tǒng)行業(yè)落地項目的淬煉得出實施的方法論，這些轉型先鋒為中國企業(yè)的數(shù)字化轉型具有借鑒意義。

阿里巴巴數(shù)據(jù)中臺團隊，致力于輸出阿里云數(shù)據(jù)智能的最佳實踐，助力每個企業(yè)建設自己的數(shù)據(jù)中臺，進而共同實現(xiàn)新時代下的智能商業(yè)!

阿里巴巴數(shù)據(jù)中臺解決方案，核心產(chǎn)品：

Dataphin，以阿里巴巴大數(shù)據(jù)核心方法論OneData為內(nèi)核驅動，提供一站式數(shù)據(jù)構建與管理能力;

Quick BI，集阿里巴巴數(shù)據(jù)分析經(jīng)驗沉淀，提供一站式數(shù)據(jù)分析與展現(xiàn)能力;

Quick Audience，集阿里巴巴消費者洞察及營銷經(jīng)驗，提供一站式人群圈選、洞察及營銷投放能力，連接阿里巴巴商業(yè)，實現(xiàn)用戶增長。