数据分析和数据挖掘之间的区别
已发表: 2019-09-25虽然数据挖掘是当今机器学习、网络抓取和人工智能领域的热门话题； 数据剖析是一个相对少见的话题，并且在网络上的存在相对较少。 思考数据剖析和数据挖掘有什么区别？
好吧，数据挖掘是指在您收集的数据中查找模式或从某些数据点得出结论。 这完全是关于已收集的数据——CSV 文件中的行和列。 但是，数据分析是关于可以从数据集中提取的元数据并分析此元数据以找到可以更好地使用数据集的用途。
由于今天提到的两个主题都是重量级的，并且涉及许多步骤和程序以及最佳实践，我们将进一步详细说明它们。
什么是数据分析
虽然数据分析就是从我们手中的数据集中查找数据或元数据，但它可以进一步分解为三种不同类型的元数据：
- 关系信息可以从大型数据集中找到。 假设您有一个包含 10 个表的数据集。 您可以通过更改另一个表中的值来查找哪些表是相关的以及哪些表会更改的数据。
- 元数据也可以从内容中发现。 这通常与数据错误、缺少字段等有关。 例如，如果某个特定字段在超过 50% 的数据中为空，我们在进行任何分析时可能不得不放弃该数据点。
- 结构信息也可以从我们的数据中发现。 该信息可以是各种类型的。 它可以是数据集的统计平均值、中位数或最大值。 它甚至可以是从城市家庭收集的数据点的百分比和从城市收集的百分比。 简而言之，它会告诉我们很多关于数据外观的信息，而无需我们进入 Excel 工作表并检查每一行。
我们讨论的不同类型的元数据为我们提供了比原始数据本身更多的关于手头数据的信息。 此信息可用于查找数据适合您的流程的位置以及使用数据的最佳位置。 也可以从此元数据中识别数据清洁度或丢失数据的百分比，并相应地进行更改以使数据可用。 在数据点和表中找到的关系也可用于设置冗余检查等。
数据分析的最佳实践
虽然我们一直在讨论数据和元数据以及我们可以用它做的所有事情，但仍有行业标准和最佳实践，即关于如何使用元数据和查看哪些元数据的指针和参考。 偏离最佳实践和常用方法可能会导致您发现错误的方向。 一些方法和最佳实践如下：
- 数据点之间的关系——需要存储这些关系，以便在使用 SQL 等查询语言时，可以轻松提取相关数据。 假设您正在分析汽车制造商的表格，并且您想找到特定制造商迄今为止销售的每辆汽车的马力。 只有在制造商表、汽车表和汽车规格表之间的关系明确定义的情况下，这些信息才能很容易地获得。
- 数据点检查——它是对空、空白和错误填充数据点的识别。 它必须与数据集一起存储，以便任何拿起数据库的人一开始就知道这些限制。
- 统计数据点——这是指在某些情况下可能很重要的统计值。 它指的是数据库每一列的平均值、中值、众数、最大值、最小值、频率等值。
- 模式——数据中存在不同的模式。 例如，在检查一列时，您可能会发现它仅包含是或否，因此它是一个布尔列。 一方面，它可能是男性或女性。 所以它是分类数据。 此外，使用正则表达式匹配，人们甚至可以识别某些列是密码、地址、姓名、年龄、电子邮件地址还是电话号码。 所有这些信息都必须单独捕获，以便阅读数据库的任何人都可以更好地理解数据结构。
什么是数据挖掘
数据挖掘是一个跨学科的主题，它依赖于统计、网络抓取、数据提取、机器学习以及数据库系统。 由于覆盖面广，从致力于识别人体癌细胞的科学家到试图实现每月目标的销售团队，每个人都在使用它。
然而，数据挖掘本身包含多个步骤，例如数据发现、预处理、后处理、可视化等，我们将对此进行讨论。 虽然有很多步骤，但在数据中查找模式的实际过程通常是自动或半自动的，主要涉及找出哪种算法适合哪个数据集。
同样，此时需要注意的重要一点是数据挖掘与数据分析非常不同。 前者主要使用机器学习和统计模型来发现隐藏的模式，而后者则用于测试数据集上的模型和假设。
数据挖掘涉及的步骤
数据挖掘中涉及的通常步骤如下。
- 了解业务问题。
- 更清楚地了解数据。
- 清理数据并为建模做准备。
- 从数据中创建 ML 或统计模型。
- 评估模型并审查其在测试环境中的性能。
- 在生产环境中部署解决方案并检查其性能。
- 大多数企业通常遵循简化的流程，包括预处理、数据挖掘和结果集验证。
结论
您可能已经注意到，这两个主题中的某些步骤（例如数据清理和数据准备）是相似的。 处理数据总是涉及一些通用的“最佳实践”，无论您对数据做什么，都需要遵循这些实践。 数据已成为大多数业务流程的输入，其中的输出产生智能信息。 然而，收集数据本身就是一项艰巨的工作。 这就是 PromptCloud 存在的原因。 我们的数据抓取团队提供 DaaS 解决方案，适用于从小型家族企业和初创公司到财富 500 强领跑者的各种公司。