什么是数据孤岛及其导致的问题？

数据是您的竞争优势。 它使您能够改进您的流程、产品和运营，以建立比竞争对手更好的业务。 但数据也很脆弱，如果没有适当的数据治理，数据完整性可能会受到损害。

在这篇博文中，我们将讨论数据完整性问题的主要原因之一：数据孤岛。 让我们深入研究它们是什么、为什么存在以及如何分解它们。

关键要点

• 数据孤岛是个人或部门维护的组织中其他人无法访问的数据。
• 不断壮大的组织、糟糕的数据文化和缺乏合适的技术是造成孤立数据的主要原因。
• 数据孤岛是有问题的，因为它们会限制业务可见性、威胁数据完整性、浪费公司资源、创建协作性较低的环境、导致糟糕的客户体验并损害数据安全性。
• 孤立数据的一些常见症状是洞察时间缓慢或由于缺乏业务可见性而使员工感到沮丧。
• 打破数据孤岛是一个漫长而具有挑战性的过程。 您可以通过使用自动化平台（例如从不同来源提取数据、转换数据并将其推送到单一真实来源 (SSOT) 的 ETL 管道）使这一过程更加顺畅。

什么是数据孤岛？

将数据孤岛视为属于某个部门甚至个人的业务数据孤岛，并且组织中的其他人无法访问。 这会导致信息孤立，最终破坏组织的数据质量。

为什么会存在数据孤岛？

没有人一开始就计划建立数据孤岛。 但有些组织更容易受到它们的影响。

组织结构适用于孤立的数据

企业通常受益于职责分离。 但是部门化会导致一些数据的孤立。 由于每个部门都出于自己的目的收集自己的数据，因此他们无意中造成了数据孤岛。

企业没有良好的数据质量文化

数据文化不成熟的组织更有可能出现数据孤岛问题。 这些公司通常缺乏文档和数据治理，因此对收集、管理和存储数据没有共同的理解。

这导致员工在共享他们收集的数据时没有得到适当的指导。

技术正在限制数据质量工作

技术有时会破坏组织维护高质量数据的努力。

当企业使用各种软件来运行其业务时，这些不同的软件可能彼此不兼容。 这使数据共享变得复杂。

或者，一些组织无法获得优先考虑不同数据源之间通信的技术，这不可避免地导致数据孤岛问题。

业务增长削弱了数据管理实践

业务增长导致新部门、新员工、新流程和新软件的形成，以支持不断扩大的业务。

当数据管理不是优先事项时，所有这些最近的变化都会让个人随心所欲地编造东西——这几乎总是会导致数据质量问题，尤其是数据孤岛。

数据孤岛的常见示例

数据本身并不孤岛。 正是我们采取的行动将数据放入孤岛。 下面是对组织限制数据可访问性（通常是无意的）的常见用例的回顾。

在大多数业务运营中使用电子表格

在许多公司中，电子表格仍然是最流行的处理、查询和民主化数据的工具。 尽管它们经常成为数据团队的痛处。

非技术专家（例如营销人员或财务人员）掌握电子表格公式并使用单个 VLOOKUP 完成令人难以置信的事情。

尽管它们易于使用，但电子表格常常成为数据的坟墓。 进行所需的查询后，数据会在某人的云中丢失并且无法到达集中存储。

当电子表格从原型转移到生产时，它也会变成一个数据孤岛。 如果您的某些业务逻辑围绕电子表格展开，则这是一个明显的迹象，表明您必须想出一些更实用的东西。 避免电子表格的原因有很多，从数据上限到无法将每个电子表格都包含在数据治理流程中。

如何从电子表格中解除数据孤岛：首先查看对您的某些业务运营至关重要的巨大电子表格。 由于它们的大小以及位于它们之上的众多宏和公式，它们很可能效率低下。

找到一种将数据传输到更可持续的架构（例如云数据仓库）的方法，将提高数据的可访问性和每个与数据交互的员工的个人绩效。

结构不良的转换查询

当聚合不同类型的数据（例如财务、营销和销售数据）以创建单一事实来源时，事情会变得有点混乱。

首先，不同的数据有不同的命名约定，必须对齐才能有意义。 此外，您必须在之前的查询之上创建额外的查询，以创建关于活动绩效、收入增长等的临时报告。

最终，您最终得到一个只有其所有者才有意义的三页长的 SQL 查询。 您的转换作业可能非常复杂，以至于部分所需数据根本无法到达数据管道。

最糟糕的是，分析师可以发现指标的急剧减少/增加，但他们无法理解其背后的原因，因为他们无法弄清楚这些数据是如何查询的。

如何从复杂查询中解除数据孤岛：这个问题可以通过两种不同的方式来解决。

如果您的公司在内部执行转换，将复杂的查询分解为多个检查点并将它们存储在表中以进行中间数据质量检查。 明确定义的转换步骤和每个步骤后的数据质量验证可确保没有任何数据从管道中流失。

另一种选择是对不同类型的数据使用自动转换解决方案。 例如，自动化营销数据管道 Improvado 根据预定义的配方转换所有数据。 您可以选择任何配方，并准确了解转换过程后数据的外观。

Improvado 还允许您在无代码、类似电子表格的界面中创建自己的类似 SQL 的转换查询。 您可以清楚地看到不同数据条目之间的依赖关系，并以您需要的任何方式转换数据，而无需编写任何 SQL 查询。

将您的数据作为人质的第三方解决方案

当今市场上到处都是 ETL 解决方案，它们可以从任何来源提取数据，将其转换为易于理解的格式，并将其显示在富有洞察力的仪表板中。 然而，这些解决方案中的大多数都有一个主要缺点：供应商锁定。

我们以 Datorama (Salesforce Marketing Cloud) 为例。 它是适用于大型公司的综合解决方案，可自动生成营销报告并简化来自数百个来源的数据。 乍一看，这是每个营销人员的梦想。 它具有来自所有流行广告平台的数据的临时报告。

如果从数据孤岛的角度来看，事情会变得复杂。 您无法将数据从 Datorama 加载到您的内部存储或将此数据与您身边收集的第三方见解合并。 换句话说，您会被仅在 Datorama 中可用的数据所束缚，并且您也无法在平台之外分享有用的见解。

这种供应商锁定使您依赖供应商并且容易受到定价政策的任何变化的影响。 如果您不同意价格变化，您不能简单地放弃该平台，因为您会丢失您积累的所有历史数据。 这就是为什么在将数据委托给此类平台之前必须三思。

如何避免您的数据被困：如果您决定使用第三方平台，请选择一个可以让您完全访问您的数据的供应商。

再一次，让我们来看看 Improvado。 它为您提供了不同的方式来存储您的数据。 它可以加载到您的云数据仓库，例如 Google Big Query，或者您可以从 Improvado 的环境中查询您的数据。 如果您没有自己的数据仓库或管理数据仓库的专业知识，Improvado 可提供数据仓库管理服务。

这样，您就知道您的数据在任何情况下都将保留在您身边，并且您可以让公司的任何员工都可以完全访问这些数据。

为什么数据孤岛有问题？

数据孤岛是一个非常普遍的问题，具有深远的组织和业务影响。

限制业务可见性

当相关业务数据无法连接到中央数据库时，决策者得出的见解将无法反映业务运营的真实状态。 这可能会导致弊大于利的业务决策。

此外，当分析师需要不易访问的数据时，他们将花费大量时间从不同的地方找到它。 这减少了获得洞察力的时间，即获得可操作洞察力所需的平均时间，并降低了业务敏捷性。

如果部门之间没有数据交换，一些见解可能会完全脱离分析。

例如，在没有销售和营销协调的情况下，您将如何将销售线索归因于收入并确定表现最佳的渠道？ 或者，如果没有来自客户成功团队的信息，您如何知道客户的 LTV？

破坏数据完整性

数据孤岛导致业务数据不完整，从而危及数据完整性。

这至少会导致糟糕的商业决策，最坏的情况下会导致大灾难——正如美国宇航局在失去火星气候轨道器后了解到的那样，因为两个部门未能就他们使用不同的测量单位进行沟通。

即使您不在航空航天行业工作，您仍然容易受到数据孤岛造成的偏见的影响。 想象一个营销部门试图在没有相关销售数据的情况下优化收入活动。 整个优化完全是猜测。

浪费商业资源

数据存储成本可能非常昂贵。 由于许多数据孤岛存储相似或过时的数据，您的组织正在将预算资源分配给不再为组织服务的数据存储。

最终，基于这些数据的业务决策甚至可能会损害业务收入。 例如，如果您在产品发布期间有不准确的数据，您的电子邮件服务提供商 (EMS) 可能会向客户发送错误的电子邮件。 或者去了错误的路段，或者在错误的日子。 这不仅会破坏客户信任，还会影响投资回报率。

减少员工协作

不自由共享的数据会在员工和部门之间造成冲突。

假设您想知道新消息是否引起共鸣并传达给潜在客户。 为此，您需要评估销售线索质量并验证销售线索转化率。

如果需要很长时间才能从销售中获取这些数据，如果有的话，会减慢您的流程怎么办？ 这可能会在您和销售部门的联系人之间引发可怕的感情。

同样，缺乏数据透明度会阻碍不同部门之间的协作。 他们变成了自己的小岛，好点子在那里消亡，因为不鼓励协作。

放大糟糕的客户体验

每次客户与企业互动时，都会有一款软件可以记录这种互动。

现在想象一下，如果没有办法在这些不同的工具之间连接数据。 大量数据将被孤立，您将很难确定要优化客户旅程的哪一部分以及如何个性化每次客户互动。

这将进一步导致脱节的客户体验，使他们远离您的品牌。

损害数据安全

当数据存储在集中式数据安全网络无法访问的某人的数字文件夹中时，组织就很难对这些档案采取安全措施。 您将无法控制用户权限，这会增加数据泄露的威胁。

你怎么知道你有数据孤岛问题？

数据孤岛问题通常会在日常业务运营中显现出来。 它们影响着各个级别的每个人，从决策者到一线员工。

高层管理人员需要很长时间才能获得他们做出决策所需的信息。 他们不知道要使用哪些杠杆来实现业务目标。 缺乏对行业趋势的了解意味着他们通常对不断变化的客户需求反应迟缓。

缺乏销售和营销一致性也可能是数据孤岛问题的症状。 当个人觉得他们无法访问相关数据以执行工作时，指责其他“隐瞒”信息的员工很方便。 这通常会导致不健康的竞争和有毒的工作环境，更不用说绩效不佳和收入损失了。

如何打破数据孤岛

打破数据孤岛可能是企业面临的最具挑战性的任务之一。 他们在公司文化中根深蒂固，很难消除。 打破它们必须是自上而下的举措和全公司的教育计划。

接受它们的存在

任何组织都可能发生数据孤岛。 你的公司越快接受这一点，你就会越早采取必要的步骤来消除它们。

弄清楚您的组织是如何做出决策的

任何组织中数据的主要目标都是做出更好的决策。 因此，要了解公司内部的数据流，您首先需要明确定义决策过程。

Fresh FP&A 的首席执行官兼著名的财务影响者 Chris Ortega 建议使用称为决策周期的框架。 根据这个框架，决策周期将决策分解为五个核心支柱：

1. 进程
2. 数据
3. 信息
4. 知识
5. 商业决策

这些支柱相互关联。 换句话说，进程驱动数据。 然后数据变成信息。 反过来，这些信息会变成影响所有业务决策的知识。

当您意识到组织内部是如何做出决策时，您就可以识别跨部门的数据孤岛，并找到合适的技术来自动化将数据转化为知识的过程，并减少决策过程中的摩擦。

识别组织中的数据孤岛

确定数据孤岛问题的根本原因。 是公司文化吗？ 技术？ 过程？ 然后制定合并、替换或管理它们的计划。

如果您在组织内部有孤立的数据，您的部门可能作为独立的业务部门运作。 这意味着您需要识别每个部门内部的任何孤立数据。

以下是一些表明您走在正确轨道上的迹象：

• 一个部门经常抱怨缺少特定业务活动的数据。
• 没有足够的数据来了解该部门对公司业务流程的影响（想象一下，在您公司的整体努力中缺少一块拼图）。
• 特定部门的成功指标存在不确定性。
• 无法快速访问部门的数据。

此外，联系您的 IT 团队以获取每个部门使用的系统列表，以便更好地了解数据丢失的位置。

确定不同部门和个人的数据需求

列出需要数据的不同团队并弄清楚他们需要什么以及为什么需要它。 然后确定哪些其他部门已经记录了该数据以及他们如何记录这些数据。

整合所有数据和应用程序

想办法让不同的业务应用程序相互通信。 你能结合一些应用程序吗？ 是否有任何软件使共享数据变得困难？ 您可以替换您当前使用的任何工具吗？

一旦你弄清楚了这一点，就为你的组织收集的所有数据建立一个真实来源。 利用灵活且可扩展的工具，例如帮助打破数据孤岛、将数据转换为一种格式并将统一数据加载到数据仓库的 ETL 平台。

为您的数据添加业务背景

数据本身是一个非常技术性的概念。 有表格、联接、联合和更多的技术术语。 但是当涉及到业务流程时，您的数据必须具有业务上下文。

想象一个名为“cost-flowchart-1.XML”的数据库表。 对于非技术人员来说，这听起来不像是什么有价值的东西。 但是，当每个人都知道此表是成本中心层次结构或本季度吸引的潜在客户图表时，它就具有了一定的意义。

非孤立数据是公司范围内的资产，而不仅仅是数据工程师的一组数字。 因此，与它交互的任何人都应该易于阅读。

正如 SAP 业务应用程序和平台高级副总裁 Jagdish Sahasrabudhe 在他最近的演讲中所说：“只有当您为数据分配了上下文和语义时，才能使数据更接近业务流程。 没有它，它只是一堆比特和字节。”

为非孤立数据制定策略

默认情况下，让您的数据可访问是很好的。 但是，在更大的范围内，您需要问自己一个问题：“为什么我的公司需要它？”

这可能是创新的快速启动，也可能是一项未能取得任何成果的举措。 这些结果之间的唯一区别是策略。

在使用数据推动创新方面，您可能会考虑寻找合作伙伴来填补经验和战略差距。 与其将此责任推给您或您的同事，不如将其委派给帮助过不同行业的多家公司的团队？

通过专业服务框架，Improvado 从供应商到合作伙伴，帮助客户团队构建有洞察力的仪表板，并根据可用数据做出明智的决策。 在此过程的早期获得指导和专业知识非常重要，这样您才能制定明确的策略来处理新数据。

制定和调动您的数据质量计划

数据质量通常被视为 IT 问题，但实际上，这是一项共同责任。 鼓励数据所有权，因此每个人都有责任创建和存储高质量的数据。 为确保您的数据治理计划取得成功，请让公司中的每个人都清楚易懂。

最后，使数据透明度成为业务的一个重要方面。 停止部门之间的竞争文化，强调协作对业务增长的重要性。

管理您的新数据文化

启动新的数据质量系统需要时间。 有些员工可能会重蹈覆辙，或者对他们应该做什么感到困惑。

为这些缺点做好准备。 在团队习惯您的新数据管理方法的同时，灵活地管理未来的数据。

轮到你了

打破数据孤岛应该是完整数据管理计划的一部分。 当您对组织如何收集、管理和存储数据制定了明确的规定时，数据孤岛就不太可能发生。