AI高速崛起，数据平台迎来重要革新！

正文

请到「今天看啥」查看全文

大数据发展的重要阶段

时至今日，情况又发生了巨大的变化。正如大家所看到的，AI浪潮来了。

█ AI时代的数据平台挑战

从2023年开始，以ChatGPT为代表的AI大模型，掀起了一股席卷全球的AI浪潮，改变了人类社会的方方面面。

作为AI的三大要素之一，数据的重要性进一步提升。我们不仅需要更多、更可靠、更准确的数据，还需要更强大的数据平台，能够为业务应用（尤其是AI应用）提供支撑。

传统数据平台，一般拥有三大典型应用场景。

第一个是BI看板和离线报表。BI就是Business Intelligence，商业智能。通过BI看板和离线报表，可以将各种数据指标以可视化方式展示出来，帮助企业管理层更好地了解和分析企业运营情况。

第二个是离线数据处理。这个主要是指业界常说的ETL（Extract,Transform,Load，即提取、转换、加载）。通过数仓分层和数据预处理，对数据做“精炼”，为后面的数据分析或BI应用做准备。

第三个是实时的交互式分析。这个主要是要实现毫秒级的AD-Hoc（临时性的、非计划性的活动或决策）实时分析。

传统数据平台的典型应用场景

进入AI时代，数据平台的各方面开始发生变化。

先看看传统数据工程领域的变化。

首先，场景开始有点延伸。有了大模型所提供的自然语言处理能力，用户与数据平台之间的交互，就可以变成自然语言交互。例如，企业管理者直接提问，自然语言理解生成分析SQL，数据平台给出数据洞察的结果。

其次，数据平台需要实现一体化。以前，一家企业的某个业务处理数据的方式只有一种，离线处理或者交互式处理。未来，可能同时需要多种处理方式，需要数据平台能够以一个平台承载多种需求（例如离线数据处理+交互式处理），实现一体化。

第三，数据的规模急速扩张，但是高效实时处理的需求是不能打折扣的。这就要求平台实现批流一体、增量计算。也就是说，批处理+实时处理也要一体化。

大数据与AI的融合，也产生了一些新的场景。数据平台需要支持大模型的发展。

第一个场景，是数据和AI的一体化。

在大模型开发架构中，通常是数据团队和模型团队是分开的，各自使用各自的平台、工具，会增加开发成本，影响开发效率。更好的解决方案，是数据平台提供一个统一的接口，实现“DataOps+AIOps一体化”，降低运维与开发成本。

请到「今天看啥」查看全文