Dava Blog

OneID是指將分布在不同系統中的同一個實體用同一個ID進行標識，這是在數據治理領域經常出現的一個概念。由于企業中存在大量的數據孤島（業務源系統各自為戰），因此作為下游數據倉庫的架構及開發人員，迫切的需要將不同系統中同一個實體信息進行拉通，這樣在后續的報表、駕駛艙等應用中，指標的口徑才能準確有效。OneID最早是阿里提出來，屬于OneData理論的一部分，通過識別實體的關鍵屬性，將不同系統中的實體進行拉通、拆分、歸并等操作。以下是根據在證券資管公司的品種與主體的OneID建設實踐進行的總結。

1、設計原則

1、穩定性：保持OneID系統實體和源系統實體關系的穩定性，OneID實體只隨源系統數據變化而變化
2、全面性：任何一個源系統的實體都需要與OneID實體建立關系
3、真實性：若OneID實體的“證件號”一致，則進行歸并
4、優先級：OneID屬性取值，根據系統優先級進行取值

2、拉通屬性

基于對源系統的數據探查及行業背景知識及常識，推斷可進行拉通的屬性。如客戶通過證件類型、證件號碼、名稱進行拉通，產品通過產品編碼進行拉通。

3、邏輯處理方案

首先會創建實體信息表、實體識別信息表、實體與源系統關系表三張基礎表，記錄OneID所需的核心關鍵信息?；诤诵谋恚琌neID系統需要實現拉通、拆分、歸并等基礎操作邏輯。

1、拉通：通過拉通屬性將分布在不同源系統中的同一實體進行拉通，賦予唯一的編碼。

2、拆分：將不同源系統中已拉通的同一實體進行拆分，賦予新的編碼。

3、歸并：將OneID系統中的實體進行關聯，標記為同一個實體。

其中，拉通-拆分是互為正反操作，代表的是源系統實體與OneID實體之間建立聯系或拆開聯系。

具體處理流程可以有以下兩種思路（只要把所有的邏輯情形考慮完整即可，參照MECE法則）：

4、技術落地方案

在實現OneID邏輯的技術方案中，利用編程語言（Java或Python）進行開發，結構會相對比較清晰。另一種方案就是基于SQL開發，雖然沒有編程語言方便，但是可直接利用數據團隊的現成的平臺環境，無需再單獨維護一套環境，并且可以直接利用數據團隊成員的技術棧。實際環境中，公司已采購了大數據平臺作為離線數據倉庫平臺，通過每日夜間進行批處理， 提供T-1日的數據報表等離線數據服務。因此最終采用基于Spark SQL的OneID邏輯開發的落地方案，以下是詳細的處理流程：

5、系統開發上線

在產品場景中，由于公司內部的產品數據量較小，實體數量在1萬以下。在客戶OneID場景中，數據量適中，實體數量在百萬左右。在建設過程中，團隊共5人，邏輯梳理時間周期約一個月，代碼開發周期約一個月。SQL代碼量方面，產品OneID只有幾百行，客戶OneID有幾千行，目前系統建設上線運行已三年多，運行穩定。

6、總結

OneID的主要作用就是將分散在不同系統中的同一實體進行識別出來。與OneID類似的概念和系統還有很多，如在客戶數據方面，企業一般會有CRM系統，同時還會建設CDI（Customer Data integration）系統將客戶信息進行整合以便為后續的營銷場景提供服務。CDI系統的數據源通常包括公司內部的線上線下渠道的客戶信息，以及用于清洗的外部第三方采購數據（如采購的客戶住址信息）。

OneID系統與主數據系統也非常類似，主數據是指描述企業“核心業務實體”且被反復使用的高價值、高共享、高穩定性數據。常見的有客戶、產品、賬戶、組織、人員、供應商、項目等各類主數據。

OneID系統的上線只是一個開始，要想真正的使用起來，后續仍然需要一個漫長持續的運營過程。上線之前，業務人員等數據使用方已習慣原有的系統ID，要改變習慣切換到新的OneID需要一個過程。在此期間，要保證OneID系統數據的準確性、完整性和及時性，才能逐步贏得業務的信任，只有結合嚴謹的設計方案、合理的代碼處理、持續的運營才能真正的給業務提供價值。