什麼是數據孤島及其導致的問題？

數據是您的競爭優勢。 它使您能夠改進您的流程、產品和運營，以建立比競爭對手更好的業務。 但數據也很脆弱，如果沒有適當的數據治理，數據完整性可能會受到損害。

在這篇博文中，我們將討論數據完整性問題的主要原因之一：數據孤島。 讓我們深入研究它們是什麼、為什麼存在以及如何分解它們。

關鍵要點

• 數據孤島是個人或部門維護的組織中其他人無法訪問的數據。
• 不斷壯大的組織、糟糕的數據文化和缺乏合適的技術是造成孤立數據的主要原因。
• 數據孤島是有問題的，因為它們會限制業務可見性、威脅數據完整性、浪費公司資源、創建協作性較低的環境、導致糟糕的客戶體驗並損害數據安全性。
• 孤立數據的一些常見症狀是洞察時間緩慢或由於缺乏業務可見性而使員工感到沮喪。
• 打破數據孤島是一個漫長而具有挑戰性的過程。 您可以通過使用自動化平台（例如從不同來源提取數據、轉換數據並將其推送到單一真實來源 (SSOT) 的 ETL 管道）使這一過程更加順暢。

什麼是數據孤島？

將數據孤島視為屬於某個部門甚至個人的業務數據孤島，並且組織中的其他人無法訪問。 這會導致信息孤立，最終破壞組織的數據質量。

為什麼會存在數據孤島？

沒有人一開始就計劃建立數據孤島。 但有些組織更容易受到它們的影響。

組織結構適用於孤立的數據

企業通常受益於職責分離。 但是部門化會導致一些數據的孤立。 由於每個部門都出於自己的目的收集自己的數據，因此他們無意中造成了數據孤島。

企業沒有良好的數據質量文化

數據文化不成熟的組織更有可能出現數據孤島問題。 這些公司通常缺乏文檔和數據治理，因此對收集、管理和存儲數據沒有共同的理解。

這導致員工在共享他們收集的數據時沒有得到適當的指導。

技術正在限制數據質量工作

技術有時會破壞組織維護高質量數據的努力。

當企業使用各種軟件來運行其業務時，這些不同的軟件可能彼此不兼容。 這使數據共享變得複雜。

或者，一些組織無法獲得優先考慮不同數據源之間通信的技術，這不可避免地導致數據孤島問題。

業務增長削弱了數據管理實踐

業務增長導致新部門、新員工、新流程和新軟件的形成，以支持不斷擴大的業務。

當數據管理不是優先事項時，所有這些最近的變化都會讓個人隨心所欲地編造東西——這幾乎總是會導致數據質量問題，尤其是數據孤島。

數據孤島的常見示例

數據本身並不孤島。 正是我們採取的行動將數據放入孤島。 下面是對組織限制數據可訪問性（通常是無意的）的常見用例的回顧。

在大多數業務運營中使用電子表格

在許多公司中，電子表格仍然是最流行的處理、查詢和民主化數據的工具。 儘管它們經常成為數據團隊的痛處。

非技術專家（例如營銷人員或財務人員）掌握電子表格公式並使用單個 VLOOKUP 完成令人難以置信的事情。

儘管它們易於使用，但電子表格常常成為數據的墳墓。 進行所需的查詢後，數據會在某人的雲中丟失並且無法到達集中存儲。

當電子表格從原型轉移到生產時，它也會變成一個數據孤島。 如果您的某些業務邏輯圍繞電子表格展開，則這是一個明顯的跡象，表明您必須想出一些更實用的東西。 避免電子表格的原因有很多，從數據上限到無法將每個電子表格都包含在數據治理流程中。

如何從電子表格中解除數據孤島：首先查看對您的某些業務運營至關重要的巨大電子表格。 由於它們的大小以及位於它們之上的眾多宏和公式，它們很可能效率低下。

找到一種將數據傳輸到更可持續的架構（例如雲數據倉庫）的方法，將提高數據的可訪問性和每個與數據交互的員工的個人績效。

結構不良的轉換查詢

當聚合不同類型的數據（例如財務、營銷和銷售數據）以創建單一事實來源時，事情會變得有點混亂。

首先，不同的數據有不同的命名約定，必須對齊才能有意義。 此外，您必須在之前的查詢之上創建額外的查詢，以創建關於活動績效、收入增長等的臨時報告。

最終，您最終得到一個只有其所有者才有意義的三頁長的 SQL 查詢。 您的轉換作業可能非常複雜，以至於部分所需數據根本無法到達數據管道。

最糟糕的是，分析師可以發現指標的急劇減少/增加，但他們無法理解其背後的原因，因為他們無法弄清楚這些數據是如何查詢的。

如何從復雜查詢中解除數據孤島：這個問題可以通過兩種不同的方式來解決。

如果您的公司在內部執行轉換，將復雜的查詢分解為多個檢查點並將它們存儲在表中以進行中間數據質量檢查。 明確定義的轉換步驟和每個步驟後的數據質量驗證可確保沒有任何數據從管道中流失。

另一種選擇是對不同類型的數據使用自動轉換解決方案。 例如，自動化營銷數據管道 Improvado 根據預定義的配方轉換所有數據。 您可以選擇任何配方，並準確了解轉換過程後數據的外觀。

Improvado 還允許您在無代碼、類似電子表格的界面中創建自己的類似 SQL 的轉換查詢。 您可以清楚地看到不同數據條目之間的依賴關係，並以您需要的任何方式轉換數據，而無需編寫任何 SQL 查詢。

將您的數據作為人質的第三方解決方案

當今市場上到處都是 ETL 解決方案，它們可以從任何來源提取數據，將其轉換為易於理解的格式，並將其顯示在富有洞察力的儀表板中。 然而，這些解決方案中的大多數都有一個主要缺點：供應商鎖定。

我們以 Datorama (Salesforce Marketing Cloud) 為例。 它是適用於大型公司的綜合解決方案，可自動生成營銷報告並簡化來自數百個來源的數據。 乍一看，這是每個營銷人員的夢想。 它具有來自所有流行廣告平台的數據的臨時報告。

如果從數據孤島的角度來看，事情會變得複雜。 您無法將數據從 Datorama 加載到您的內部存儲或將此數據與您身邊收集的第三方見解合併。 換句話說，您會被僅在 Datorama 中可用的數據所束縛，並且您也無法在平台之外分享有用的見解。

這種供應商鎖定使您依賴供應商並且容易受到定價政策的任何變化的影響。 如果您不同意價格變化，您不能簡單地放棄該平台，因為您會丟失您積累的所有歷史數據。 這就是為什麼在將數據委託給此類平台之前必須三思。

如何避免您的數據被困：如果您決定使用第三方平台，請選擇一個可以讓您完全訪問您的數據的供應商。

再一次，讓我們來看看 Improvado。 它為您提供了不同的方式來存儲您的數據。 它可以加載到您的雲數據倉庫，例如 Google Big Query，或者您可以從 Improvado 的環境中查詢您的數據。 如果您沒有自己的數據倉庫或管理數據倉庫的專業知識，Improvado 可提供數據倉庫管理服務。

這樣，您就知道您的數據在任何情況下都將保留在您身邊，並且您可以讓公司的任何員工都可以完全訪問這些數據。

為什麼數據孤島有問題？

數據孤島是一個非常普遍的問題，具有深遠的組織和業務影響。

限制業務可見性

當相關業務數據無法連接到中央數據庫時，決策者得出的見解將無法反映業務運營的真實狀態。 這可能會導致弊大於利的業務決策。

此外，當分析師需要不易訪問的數據時，他們將花費大量時間從不同的地方找到它。 這減少了獲得洞察力的時間，即獲得可操作洞察力所需的平均時間，並降低了業務敏捷性。

如果部門之間沒有數據交換，一些見解可能會完全脫離分析。

例如，在沒有銷售和營銷協調的情況下，您將如何將銷售線索歸因於收入並確定表現最佳的渠道？ 或者，如果沒有來自客戶成功團隊的信息，您如何知道客戶的 LTV？

破壞數據完整性

數據孤島導致業務數據不完整，從而危及數據完整性。

這至少會導致糟糕的商業決策，最壞的情況下會導致大災難——正如美國宇航局在失去火星氣候軌道器後了解到的那樣，因為兩個部門未能就他們使用不同的測量單位進行溝通。

即使您不在航空航天行業工作，您仍然容易受到數據孤島造成的偏見的影響。 想像一個營銷部門試圖在沒有相關銷售數據的情況下優化收入活動。 整個優化完全是猜測。

浪費商業資源

數據存儲成本可能非常昂貴。 由於許多數據孤島存儲相似或過時的數據，您的組織正在將預算資源分配給不再為組織服務的數據存儲。

最終，基於這些數據的業務決策甚至可能會損害業務收入。 例如，如果您在產品發布期間有不准確的數據，您的電子郵件服務提供商 (EMS) 可能會向客戶發送錯誤的電子郵件。 或者去了錯誤的路段，或者在錯誤的日子。 這不僅會破壞客戶信任，還會影響投資回報率。

減少員工協作

不自由共享的數據會在員工和部門之間造成衝突。

假設您想知道新消息是否引起共鳴並傳達給潛在客戶。 為此，您需要評估銷售線索質量並驗證銷售線索轉化率。

如果需要很長時間才能從銷售中獲取這些數據，如果有的話，會減慢您的流程怎麼辦？ 這可能會在您和銷售部門的聯繫人之間引發可怕的感情。

同樣，缺乏數據透明度會阻礙不同部門之間的協作。 他們變成了自己的小島，好點子在那裡消亡，因為不鼓勵協作。

放大糟糕的客戶體驗

每次客戶與企業互動時，都會有一款軟件可以記錄這種互動。

現在想像一下，如果沒有辦法在這些不同的工具之間連接數據。 大量數據將被孤立，您將很難確定要優化客戶旅程的哪一部分以及如何個性化每次客戶互動。

這將進一步導致脫節的客戶體驗，使他們遠離您的品牌。

損害數據安全

當數據存儲在集中式數據安全網絡無法訪問的某人的數字文件夾中時，組織就很難對這些檔案採取安全措施。 您將無法控制用戶權限，這會增加數據洩露的威脅。

你怎麼知道你有數據孤島問題？

數據孤島問題通常會在日常業務運營中顯現出來。 它們影響著各個級別的每個人，從決策者到一線員工。

高層管理人員需要很長時間才能獲得他們做出決策所需的信息。 他們不知道要使用哪些槓桿來實現業務目標。 缺乏對行業趨勢的了解意味著他們通常對不斷變化的客戶需求反應遲緩。

缺乏銷售和營銷一致性也可能是數據孤島問題的症狀。 當個人覺得他們無法訪問相關數據以執行工作時，指責其他“隱瞞”信息的員工很方便。 這通常會導致不健康的競爭和有毒的工作環境，更不用說績效不佳和收入損失了。

如何打破數據孤島

打破數據孤島可能是企業面臨的最具挑戰性的任務之一。 他們在公司文化中根深蒂固，很難消除。 打破它們必須是自上而下的舉措和全公司的教育計劃。

接受它們的存在

任何組織都可能發生數據孤島。 你的公司越快接受這一點，你就會越早採取必要的步驟來消除它們。

弄清楚您的組織是如何做出決策的

任何組織中數據的主要目標都是做出更好的決策。 因此，要了解公司內部的數據流，您首先需要明確定義決策過程。

Fresh FP&A 的首席執行官兼著名的財務影響者 Chris Ortega 建議使用稱為決策週期的框架。 根據這個框架，決策週期將決策分解為五個核心支柱：

1. 進程
2. 數據
3. 信息
4. 知識
5. 商業決策

這些支柱相互關聯。 換句話說，進程驅動數據。 然後數據變成信息。 反過來，這些信息會變成影響所有業務決策的知識。

當您意識到組織內部是如何做出決策時，您就可以識別跨部門的數據孤島，並找到合適的技術來自動化將數據轉化為知識的過程，並減少決策過程中的摩擦。

識別組織中的數據孤島

確定數據孤島問題的根本原因。 是公司文化嗎？ 技術？ 過程？ 然後製定合併、替換或管理它們的計劃。

如果您在組織內部有孤立的數據，您的部門可能作為獨立的業務部門運作。 這意味著您需要識別每個部門內部的任何孤立數據。

以下是一些表明您走在正確軌道上的跡象：

• 一個部門經常抱怨缺少特定業務活動的數據。
• 沒有足夠的數據來了解該部門對公司業務流程的影響（想像一下，在您公司的整體努力中缺少一塊拼圖）。
• 特定部門的成功指標存在不確定性。
• 無法快速訪問部門的數據。

此外，聯繫您的 IT 團隊以獲取每個部門使用的系統列表，以便更好地了解數據丟失的位置。

確定不同部門和個人的數據需求

列出需要數據的不同團隊並弄清楚他們需要什麼以及為什麼需要它。 然後確定哪些其他部門已經記錄了該數據以及他們如何記錄這些數據。

整合所有數據和應用程序

想辦法讓不同的業務應用程序相互通信。 你能結合一些應用程序嗎？ 是否有任何軟件使共享數據變得困難？ 您可以替換您當前使用的任何工具嗎？

一旦你弄清楚了這一點，就為你的組織收集的所有數據建立一個真實來源。 利用靈活且可擴展的工具，例如幫助打破數據孤島、將數據轉換為一種格式並將統一數據加載到數據倉庫的 ETL 平台。

為您的數據添加業務背景

數據本身是一個非常技術性的概念。 有表格、聯接、聯合和更多的技術術語。 但是當涉及到業務流程時，您的數據必須具有業務上下文。

想像一個名為“cost-flowchart-1.XML”的數據庫表。 對於非技術人員來說，這聽起來不像是什麼有價值的東西。 但是，當每個人都知道此表是成本中心層次結構或本季度吸引的潛在客戶圖表時，它就具有了一定的意義。

非孤立數據是公司範圍內的資產，而不僅僅是數據工程師的一組數字。 因此，與它交互的任何人都應該易於閱讀。

正如 SAP 業務應用程序和平台高級副總裁 Jagdish Sahasrabudhe 在他最近的演講中所說：“只有當您為數據分配了上下文和語義時，才能使數據更接近業務流程。 沒有它，它只是一堆比特和字節。”

為非孤立數據制定策略

默認情況下，讓您的數據可訪問是很好的。 但是，在更大的範圍內，您需要問自己一個問題：“為什麼我的公司需要它？”

這可能是創新的快速啟動，也可能是一項未能取得任何成果的舉措。 這些結果之間的唯一區別是策略。

在使用數據推動創新方面，您可能會考慮尋找合作夥伴來填補經驗和戰略差距。 與其將此責任推給您或您的同事，不如將其委派給幫助過不同行業的多家公司的團隊？

通過專業服務框架，Improvado 從供應商到合作夥伴，幫助客戶團隊構建有洞察力的儀表板，並根據可用數據做出明智的決策。 在此過程的早期獲得指導和專業知識非常重要，這樣您才能製定明確的策略來處理新數據。

制定和調動您的數據質量計劃

數據質量通常被視為 IT 問題，但實際上，這是一項共同責任。 鼓勵數據所有權，因此每個人都有責任創建和存儲高質量的數據。 為確保您的數據治理計劃取得成功，請讓公司中的每個人都清楚易懂。

最後，使數據透明度成為業務的一個重要方面。 停止部門之間的競爭文化，強調協作對業務增長的重要性。

管理您的新數據文化

啟動新的數據質量系統需要時間。 有些員工可能會重蹈覆轍，或者對他們應該做什麼感到困惑。

為這些缺點做好準備。 在團隊習慣您的新數據管理方法的同時，靈活地管理未來的數據。

輪到你了

打破數據孤島應該是完整數據管理計劃的一部分。 當您對組織如何收集、管理和存儲數據制定了明確的規定時，數據孤島就不太可能發生。