需要元數(shù)據管理

組織中有效的元數(shù)據管理為數(shù)據提供正確的上下文和描述。此外，為了理解和信任數(shù)據，需要了解其背景——數(shù)據是如何產生的，以及是如何使用的。此外，需要知道基于這些數(shù)據做出的決策是什么，以及如何利用它來獲得更好的競爭優(yōu)勢。

為了在這個新的數(shù)字時代取得成功，組織需要創(chuàng)建細致的數(shù)據產品。數(shù)據產品不僅僅是報告或分析，而是一個全面的解決方案。在正確的時間和正確的設備上向正確的人提供分析、比較、富有洞察力的信息。

如果沒有完整的元數(shù)據管理解決方案，就很難創(chuàng)建這些數(shù)據產品。隨著數(shù)據量的增長和大數(shù)據技術的爆炸式增長，CDO（首席數(shù)據官）必須著眼于通過元數(shù)據更有效地管理其數(shù)據。根據最新估計，到 2022 年，元數(shù)據管理行業(yè)規(guī)模將達到 78.5 億左右，并且將逐年增長 27%。

什么是元數(shù)據？

元數(shù)據是“提供有關其他數(shù)據的信息的數(shù)據[信息]。這種理解來自于在上下文中設置數(shù)據，允許被重用和檢索以用于多種業(yè)務用途和時間?！?/span>根據印度大學, “元數(shù)據是關于數(shù)據的數(shù)據，是關于特定數(shù)據集、對象或資源的描述性信息，包括其格式、收集時間和收集者。雖然元數(shù)據最常見的是指網絡資源，但也可以是物理或電子資源。可以使用軟件自動創(chuàng)建或手動輸入。”

結構化或結構化的一些典型元數(shù)據元素非結構化數(shù)據是： 標題、描述和摘要；標簽和類別；創(chuàng)建時間和創(chuàng)建者；最后修改者和時間；誰可以訪問或更新。

除此之外，組織中的元數(shù)據分類為：

結構化數(shù)據的元數(shù)據

包括數(shù)據庫表的列結構、CSV 文件的標題行、來自 JSON、XML 和 Avro 文件的列定義。

業(yè)務元數(shù)據

包括安全級別、隱私級別和首字母縮寫詞級別。IT 和業(yè)務都需要高質量的元數(shù)據來理解手頭的信息。如果沒有有用的元數(shù)據，組織就有根據錯誤數(shù)據做出錯誤決策的風險。

什么是元數(shù)據管理？

圖書館目錄是元數(shù)據管理的經典和最古老的例子之一。查找用于在圖書館目錄中查找書籍作者或主題并搜索所需書籍的書籍。接下來是雅虎！搜索引擎，在其中索引了來自各個網站的所有元數(shù)據。最后，當谷歌通過處理實際數(shù)據來設計元數(shù)據時，革命發(fā)生了。

為用戶提供了前所未有的深入搜索體驗，使用戶能夠在所需的上下文中進行搜索。然而，企業(yè)元數(shù)據管理仍處于圖書館目錄級別（手動完成）或 Yahoo 級別（通過使用各種元數(shù)據管理產品完成）。

一個理想的元數(shù)據管理程序應該是數(shù)據驅動的并從上下文中派生出來。提供所有常見問題的答案，例如關于數(shù)據的人、內容、時間、地點和原因是元數(shù)據管理。

應該如何進行有效的 MDM？

以下是確保它的幾個步驟：

布局政策和程序

有效的元數(shù)據管理始于元數(shù)據的政策、程序、工具和人工管理。員工是元數(shù)據管理的中心。公司必須有工具讓員工之間就數(shù)據和元數(shù)據進行順暢的交互。以下應該是有效元數(shù)據管理的角色：

CDO 和高管的角色

定義元數(shù)據管理規(guī)則，并使用一些工具來執(zhí)行它們。這些規(guī)則應包括各種安全方面和元數(shù)據更改方法。

分析師和其他數(shù)據公民的角色

分析師應遵循元數(shù)據管理規(guī)則。此外，如果他們詢問有關數(shù)據和元數(shù)據的深刻問題，這些問題和評論可以被保存。稍后，這可以使其他分析師在研究相同數(shù)據時受益。

MDM 工具的功能

應該有強大的工具來提供對元數(shù)據的訪問，并且它們應該執(zhí)行高管定義的所有規(guī)則。這些工具可以提供的一些功能包括：

1. 樣本數(shù)據

在這里，我們在生成樣本數(shù)據的數(shù)據上打開表格，為元數(shù)據提供數(shù)據上下文。因此，我們豐富了我們對元數(shù)據的理解。

2. 數(shù)據統(tǒng)計（配置文件）

統(tǒng)計信息提供了一些常見問題的答案，例如計數(shù)、不同值、最常用的值、空計數(shù)、最大值和最小值。

3. 血統(tǒng)

能夠幫助了解數(shù)據的來源、傳輸方式以及在數(shù)據到達之前發(fā)生的各種轉換。此外，能夠了解這些數(shù)據的其他用途。

4. 以前的溝通

溝通是有效元數(shù)據管理的關鍵，因此將所有與元數(shù)據相關的對話集中在一個地方很重要。此外，有關該元數(shù)據的所有評論和評論也應在此處提供。

5. 與其他元數(shù)據的關系

對于 MDM 工具來說，找到數(shù)據之間的關系以使數(shù)據搜索成為可能至關重要。有多種方法可以實現(xiàn)這一點——手動、人工管理、通過元數(shù)據語義匹配自動或通過數(shù)據匹配自動。