AI如何影响数据治理

正文

请到「今天看啥」查看全文

你知道你的数据在哪里吗?为了让治理工作有效，企业需要对所有相关数据存储进行全面的清查，并了解其内容。由于云数据存储的无序激增，再加上用于识别运营趋势和异常的半结构化日志，识别、访问和分类企业数据的任务变得越来越艰巨。数据目录软件将所有这些存储库映射出来。

AI可以帮助企业数据目录的每个阶段，从自动发现企业相关的每个数据存储开始。目录工具的范围各不相同，但有些工具使用AI来企业访问控制策略和/或在企业的数据结构中启用自然语言搜索。AI驱动的数据目录大大减少了与分类数据资产相关的手工劳动，并揭示了数据谱系，显示数据的来源及其变化。

元数据管理

有效的元数据管理，即管理描述公司数据的信息，是成功治理的基础。AI目录工具可以识别元数据，以正确分类数据资产，但元数据管理对健康的数据资产也至关重要。因此，从数据集成软件到数据可观察性平台的一系列产品现在都提供元数据管理功能。

AI注入的元数据管理工具缓解了手动数据分类的乏味工作，并帮助调和元数据描述中的差异。过去，企业一直认为元数据是相对静态的，但如今，AI工具可以持续监控和收集关于数据存储、使用和流动的动态元数据。除了其他好处外，深层次的元数据可用于AI推荐最佳存储平台，甚至建议潜在的数据集成管道。

数据质量

AI对数据治理的最大影响体现在数据质量上，数据质量有六个维度：准确性、完整性、一致性、唯一性、及时性和有效性。显然，缺乏这些质量的数据会对操作造成灾难性后果。更不用说，数据科学家和分析师通常在使用数据之前就深陷清洗数据的困境。

AI/ML 工具可以自动推断缺失值、规范化数据格式、标记数据异常等功能。尽管人类仍然需要做出判断(例如两个名字相同的客户是同一个人还是不同人)，但总体上节省的时间可以是巨大的。随着 AI 工具从大量数据中学习模式，它们的推荐、关联和校正能力将不断提升，这些基线可以用于实时监控数据质量。

数据建模

构建数据库或整个数据架构从收集和分析数据需求开始，并开发适应这些需求的逻辑和物理模型。几种产品提供使用 AI 让数据架构师和工程师轻松生成数据模型的可视化表示。

如今，在许多企业中，数据建模正在被颠覆，以服务于 AI/ML 应用。许多 AI 数据工具提供自动特征工程，从数据集中提取关键数据特征，为 AI 训练做准备。结合 AutoML(自动化机器学习)，这种活动反过来支持不同类型的模型选择：选择合适的 ML 模型来驱动应用程序或支持预测分析。如果数据不足以适当训练模型，AI 驱动的数据模拟工具可以从现有数据存储中提取数据并生成类似真实数据的合成数据。

请到「今天看啥」查看全文