对2024年大数据及其相关领域的预测

正文

请到「今天看啥」查看全文

在过去的几年里，首席技术官的角色已经成为精通技术的人和精通商业的人之间的桥梁，负责使正确的解决方案创造最佳的整体业务成果。随之而来的是沟通方面的挑战，因为CTO需要导航如何将技术转化为组织董事会和高管的ROI。2024年，随着AI(AI)技术变得司空见惯，培训C级同事的能力将变得更加重要。首席技术官不仅需要能够与业务的技术方面合作，以确保AI领域的现实可能性，而且还需要在业务层面上沟通其潜力-从员工生产力和产品角度。

AI将弥合经理和他们的直接下属之间的差距。2024年，AI将填补管理者无意中造成的缺失空白。无论是精心设计更深思熟虑的绩效评估，还是为他们的直接下属确定内部增长机会，AI都将为经理们缺乏经验或过于疲惫而无法处理的任务提供亟需的支持。这些AI能力将帮助他们成为更强大的经理，进而使他们能够更好地授权他们的直接下属。

AI将需要自我解释： 用户将要求对他们的AI之旅有一个更透明的理解，并要求一种方式来表明所有步骤都符合治理和合规法规。白宫最近发布的关于AI的行政命令将给各组织带来更大压力，要求它们证明自己遵守了有关网络安全、消费者数据隐私、偏见和歧视的新标准。

2024年，AI将经历一次品牌重塑。虽然AI传言者预测将会迎来“AI冬天”——或者人们对这项技术的兴趣将会放缓，部分原因是这项技术在某些方面的过度曝光——但值得注意的是，目前的很多注意力都集中在AI的负面方面。埃隆·马斯克最近谈到了AI将如何“结束所有工作”，而最近在布莱奇利公园举行的“AI安全峰会”本身就暗示了一种风险缓解的因素。事实是，恐惧是有销路的，在某种程度上，它会让人们更有可能关注。但是，随着越来越多的人习惯于使用AI工具，随着像ChatGPT这样的东西进一步提高人们的意识，明年应该会有更多的人睁开眼睛，看看AI应该如何被使用——在许多方面，已经是这样——作为一种他们从未欣赏过的生活中的善的力量。当然，他们需要在不忽视技术的风险或局限性的情况下做到这一点，并通过寻找实用、实用的方法将这些风险降至最低。随着AI变得更加主流和时尚，我们可以看到更多面向消费者的品牌通过差异化和吸引客户的方式，更清楚地阐述他们使用AI的方式。

AI将迫使我们把数据整理得井然有序： AI的好坏取决于它提供的数据。随着我们将AI应用到我们生活的更多部分，由劣质数据源和优质数据源提供信息的领域将变得越来越明显。明年，产品负责人、数据科学家和首席架构师将需要更紧密地合作，以确保支持他们产品的数据是最新的，而不是孤立的，作为单一的真理来源，并且版本适当。

AI对2024年总统选举的影响： AI承诺塑造2024年的竞选方法和辩论；然而，有趣的是，到目前为止，即使是具有科技背景的候选人也避免了AI的细节。我们看到人们对AI和机器学习产生了极大的兴趣，因为它们改变了世界的工作方式、做生意和使用数据的方式。作为一个全球社会，我们需要意识到并仔细考虑AI的潜在缺点，例如意外的偏见、错误的基线数据和/或伦理考虑。即使这个话题没有在辩论中涉及，AI的挑战和机遇也是下一届政府必须努力应对的。

AI回应了帮助管理数据过剩的呼声： 今天的数据专业人士指尖上有大量的信息，但许多人可能缺乏他们需要的可操作的洞察力。而且，随着跨分布式来源分类的数据不断增加(每天3.2877亿TB)，组织正在努力应对数据管理方面的挑战。数据是企业拥有的最有价值的资产之一，但除非它能够被有效地利用、理解和应用，否则它从根本上是无用的。随着我们接近2024年，数据管理正在迅速演变为一个由AI主导的未来。AI是IT团队在当今日益复杂的分布式和混合数字环境中导航的答案。由于这些技术处理的信息比任何人都多，因此它们通过确保应用程序和服务在不需要人工干预的情况下正常运行来支持资源受限的IT团队。尤其是AI支持的可观察性和ITSM解决方案，通过使IT团队能够自动执行任务、检测安全威胁和性能异常、优化性能并基于数据分析做出更好的决策，可以提升IT团队的水平。然而，我们在2024年的前进道路需要深思熟虑的规划，并敏锐地理解AI如何以及以什么方式帮助我们。今年在几个大型IT会议的展厅漫步时，我惊讶地发现，几乎每个供应商的展位上都挂着AI的说明。这些夸张的标题不会把一个差劲或平庸的产品变成好产品。而那些通过匆忙实施最新的闪亮新技术而不进行分析来开始AI之旅的组织，最不可能看到长期和可持续的成功。相反，仔细规划你的AI战略，你将在未来很长一段时间内收获回报。

公司将提高非技术团队在数据和分析方面的技能，为AI主导的未来做准备：AI具有巨大的潜力来转变许多知识工作者的角色，但存在一个问题：理解数据和分析的员工太少，无法有效地使用它们。生成性模型实际上是为生成数据而设计的。我们比以往任何时候都更需要人们在业务上下文或原始出站的调整中解释输出和层，以确保它是适当的。

网络运营的AIOps： 网络优化可以支持更好的AI性能，但AI也可以支持更好的网络性能。虽然AIOps(面向IT运营的AI)还为时尚早，但它已经开始显示出潜力。虽然AIOps覆盖了IT运营的所有领域，但现在正在成为一个重要组件的领域是网络运营的AIOps。网络工程师正面临日益复杂的网络环境，将分散的劳动力、大量设备和云基础设施等结合在一起。AIOps通过基于大数据和机器学习的自动化、预测性分析和根本原因分析来简化网络运营管理。AIOPS可以为客户加快故障排除和解决问题的速度，同时降低成本，因为宝贵的NOC员工可以从事更关键的任务，这些任务是当今AI无法解决的。2023年末，一项调查发现，虽然只有4%的受访者已经在组织范围内集成了某种AIOPS，但另有15%的受访者实施了AIOPS作为概念证明，29%的受访者确定了未来实施的用例。预计未来四年市场规模将增加两倍，到2028年将达到近650亿美元。

优化AI的使用将决定未来供应链的赢家： AI和预测分析将在未来十年区分制造业和零售业的赢家和输家。利用大数据优化库存、预测需求、控制成本和个性化建议的领导者将主宰分析能力较差的同行。未能采用的公司将看到成本螺旋式上升，效率直线下降。

预计AI会遭到反弹，因为组织会浪费更多的时间和金钱来试图“把它做对”： “随着组织更深入地研究AI，实验肯定会成为2024年上半年的一个关键主题。那些负责AI实施的人必须以“快速尝试，快速失败”的心态来领导，但太多时候，这些角色需要了解他们所瞄准的变量，没有明确的预期结果，并且难以提出正确的AI问题。最成功的组织会很快失败，并很快从吸取的教训中恢复过来。企业应该预料到在AI实验上花费额外的时间和金钱，因为这些做法中的大多数都不是植根于科学方法。今年年底，如果得出正确的结论，AI将出现明显的赢家。失败也带来了围绕数据的更多质疑，这些数据助长了AI的潜力。例如，数据分析师和首席执行官都会提出这样的问题：我们正在使用的数据有多干净？我们对这些数据的合法权利是什么，特别是如果在任何新型号中使用的话？那我们客户的合法权益呢？任何新技术都会带来更多的质疑，反过来，整个企业也会有更多的参与。

组织将(最终)管理围绕AI的炒作： 随着围绕GenAI的震耳欲聋的噪音达到高潮，组织将被迫缓和炒作，并培养一种现实和负责任的方法来应对这项颠覆性技术。无论是关于GPU短缺的AI危机，培训大型语言模型(LLM)的气候影响，还是对隐私、伦理、偏见和/或治理的担忧，这些挑战在好转之前将会恶化，导致许多人怀疑一开始应用GenAI是否值得。虽然企业压力可能会促使组织在AI方面做一些事情，但数据驱动必须是第一位的，并且仍然是首要任务。毕竟，确保数据是有组织的、可共享的和相互关联的，就像询问GenAI模型是否可信、可靠、确定、可解释、合乎道德和没有偏见一样重要。在将GenAI解决方案部署到生产中之前，组织必须确保保护其知识产权并计划潜在的责任问题。这是因为，虽然GenAI在某些情况下可以取代人，但LLM没有专业责任保险。这意味着，涉及GenAI的业务流程仍需要广泛的“人在回路”参与，这可能会抵消任何效率收益。2024年，预计将看到供应商通过添加专注于满足GenAI市场趋势的新界面来加快其产品提供的增强。然而，组织需要意识到，这些可能只不过是固定的创可贴。应对数据质量等挑战，并确保统一、语义一致地访问准确、值得信赖的数据，将需要制定明确的数据战略，并采取现实的业务驱动方法。如果没有这一点，组织将继续支付不良数据税，因为AI/ML模型将难以通过概念验证，最终无法实现炒作。

对AI的看法： 与任何炒作周期一样，许多人会因为糟糕的计划或知识或能力不足而跳到这一步，他们将产生糟糕的、甚至危险的代码和应用程序。在AI上大举投资然后失败的组织可能会陷入困境。其他接受这些有问题的AI应用程序和流程的组织可能会遭受数据泄露、糟糕或错误的决策，以及对糟糕代码的依赖。

推动更大的AI可解释性： 在过去的两年里，商界见证了AI的重大进步。然而，包括神经网络在内的复杂AI系统的一个决定性特征是，它们的行为并不总是像我们可能预期的那样。事实上，AI系统选择到达目的地的路径可能与人类专家应对相同挑战的方式有很大不同。随着AI系统变得越来越复杂，研究这些选择并构建AI可解释性工具将变得越来越重要。组织必须有能力分析AI系统的决策，以制定足够的保障措施。此外，AI系统提供的用于解释他们思维的输出将对随着时间的推移做出进一步改进至关重要。

平衡AI内容和禁令的行为-可见性与控制： 出版商考虑AI禁令源于对其内容保持控制的愿望。然而，这种方法可能会导致搜索结果的可见性降低，因为搜索引擎越来越依赖AI来管理内容。整合与排除：虽然一些品牌可能会将AI禁令视为保护其内容的一种方式，但他们可能会错过AI，特别是LLM在内容匹配和查询理解方面提供的优势。反对AI禁令的理由是，LLMS可以利用替代手段访问内容，这使得完全排除具有挑战性。平衡法案：品牌将需要在保护其内容和利用AI来提高其在搜索结果中的可见度和相关性之间找到平衡。这可能涉及制定微妙的政策，在不完全排除的情况下规范AI与内容的交互。

AI当然可以帮助清理“杂乱的数据”，但它也有点循环，因为AI的使用应该建立在强有力的数据治理的基础上，因为数据保护法要求公司了解哪些个人数据被用于AI用例。因此，在2024年，我们将看到更多的关注数据库存和分类，作为希望依靠AI力量的公司的必要基础。

在我看来，营销界正准备从广泛的营销独白转向互动的、AI驱动的客户对话。这一变化将要求重新评估营销技术堆栈，以优先考虑实时、有意义的互动。与此同时，个性化将从感知到的侵扰性过渡到通过响应性对话建立信任。我相信这将逐步淘汰传统的导航，如下拉菜单，取而代之的是搜索和聊天界面。在这种不断发展的格局中，公司将认识到他们的AI战略与他们的数据战略内在地联系在一起。要有效、合规地利用新的接口和工具，确保数据质量和相关性处于这些技术进步的前沿，强调精益数据变得至关重要。

优化AI的使用将决定未来供应链的赢家： AI和预测分析将在未来十年区分制造业和零售业的赢家和输家。利用大数据优化库存、预测需求、控制成本和个性化建议的领导者将主宰分析能力较差的同行。未能采用的公司将看到成本螺旋式上升，效率直线下降。

对于开发人员来说，AI已经被证明是一个极其强大的工具，尽管许多人对其能力的程度表示怀疑，并担心它有可能扰乱传统的工作场所做法、工作和流程。在我看来，AI将增强开发人员的日常工作流程，而不是取代它。越来越多的开发人员将使用AI来自动化简单的任务，如扫描性能问题、发现工作流中的模式和编写测试用例。它实际上将把开发人员解放出来，把更多的时间花在有影响力的、创新的工作上，而不是“AI顶升”。

随着每个行业的领导者开始接受这项技术，AI将使团队更紧密地联系在一起：在未来一年内，AI将成为开发生命周期的主要驱动力-不仅是作为IT助理，而且作为协作工具。开发人员和工程团队的工作主要局限于后端，但我预计，随着AI在企业总体目标中变得更加根深蒂固，IT领导者将成为关键顾问。随着组织寻求利用AI进行自动化、原型制作、测试和质量保证，以大幅减少开发新项目所需的时间，技术人员和非技术人员都需要协调他们的AI战略。这将使技术人员能够更频繁地创新，而非技术人员可以参与构建解决方案，而不仅仅是提供需求。

关于采用/投资AI： 投资AI工具可以成为帮助一些开发人员提高生产率的杠杆。提示方面的培训越多，您就越有可能从开发人员那里获得更高的生产力。缺点是，AI通常并不真正了解问题空间，并且可能使用低于平均水平的代码。互联网上的许多培训代码不适合您的应用程序。其中一些并不适合任何应用程序，所以指望AI让开发人员变得更好是不太可能的。AI是一种工具或杠杆，而不是训练和技能的替代品。

推动AI进步的数字容量竞赛： AI是一项渴望数据的技术，未来几年对移动和处理这些数据的带宽需求将飙升。AI应用程序的发展速度远远超过了基础设施建设的速度，导致了容量短缺的风险。网络基础设施必须迅速发展，以满足连接需求并避免紧缩。这将需要在新技术和基础设施方面进行投资，并在网络运营商、超大规模巨头和其他利益相关者之间采取更具协作性的方法。AI是一个价值万亿美元的机会，它将推动前所未有的带宽需求，使其与5G和物联网等其他炒作周期有很大不同，这些周期的货币化尚不清楚。严重依赖数据和计算的行业——如医疗保健、金融和制造业——将首先受益于AI。超大规模巨头将在数字基础设施上投入巨资，为这一激增做好准备，在我们展望未来时，规模较小的参与者必须效仿，否则就会被甩在后面。

公司将优先关注数据基础和AI创新之间的差距。没有数据战略就没有AI战略，公司将需要优先填补数据战略中的差距；具体地说，就是更高效、更安全地访问更准确数据的基本要素。

总体而言，理解和利用AI的全部价值的门槛仍然很低，但这不会持续很长时间，因为市场压力继续加速AI的采用。企业AI的未来将集中在已在使用的产品和服务中内置AI。但随着AI创新的发展，我们将看到企业学会建立自己的内部AI数据平台，并将部分工作流转移到自己的基础设施中。对于想要走在前列的企业来说，现在就开始投资建立他们的内部专业知识是至关重要的。与分散在公司各处的单个AI项目相比，建立一个AI和数据科学的中央“卓越中心”将更有利。

实时AI监控： 数据驱动的未来：2024年将见证实时AI监控系统的崛起，能够即时检测和解决数据异常。这项变革性的技术将确保数据的可靠性和可访问性，特别是对于不断增长的非结构化数据。

在繁荣之后，许多AI公司将会灭亡，这是对数据隐私、安全和安全加强审查的直接结果。因此，2024年将是安全、安全的AI公司之年，AI投资和创新的爆炸式增长将巩固和加速。所有领域的赢家都将开始涌现。AI将成为主流，不再是试验性生产的支持性工具，而是一项重要的战略商业资产。它将以极快的速度运行，并在2024年底之前推动重大商业决策。在提供更高计算能力的同时降低能耗和总拥有成本的AI模型和芯片将成为趋势。换句话说，ESG(环境、社会和治理)将很快成为新的北极星。

AGI将在未来一年取得进展： 通用人工智能距离成为现实非常遥远，但它比以往任何时候都更近。我们今天在LLMS中拥有的是人类智能的模糊副本。它相当不错，它可以做一些令人惊叹的事情来改善你的业务。但LLM能否发明一种有效的经济学理论或疫苗来抗击大流行?人类可以!我相信我们在过去的几年里取得了巨大的飞跃，但我相信我们中的任何一个人都不知道我们距离真正的创意天才还有多长时间。

AI将简化软件开发流程： “开发人员目前所做的许多耗时的任务将很快实现自动化，使流程和任务更加流畅，同时创造出我们以前从未见过的速度和效率水平。此外，对于开发人员来说，了解AI最终将成为一项必备技能。至关重要的是，行业继续接受这项技术，并了解它的好处，以便提高创新的速度，并允许开发人员在消除乏味、重复的任务的同时，精益求精地专注于他们的专业。

非结构化数据集缺少与成功的AI数据管道的链接： 组织将使用分布式非结构化数据集来加强其AI战略和AI数据管道，同时实现传统企业解决方案所不具备的性能和可扩展性。组织面临的最大挑战之一是让分布式非结构化数据集在其AI战略中发挥作用，同时提供传统企业解决方案所没有的性能和规模。至关重要的是，数据管道设计为使用所有可用的计算能力，并可以使数据可用于云模型，如Databricks和Snowflake中的云模型。2024年，在全球数据环境中，对全球实时协调的数据的高性能本地读/写访问将变得不可或缺和无处不在。

● 大数据 ●

投资于数字转型将是2024年CIO议程上的优先事项，特别是在通胀上升的情况下，因为这将允许更好的风险管理、降低成本和改善客户体验。此外，按照我们今年看到的趋势，GenAI也将得到持续的投资。在评估我们最初的业务需求和目标时，同样至关重要的是我们致力于建立优先考虑负责任使用的指导方针。最后，作为一个行业，我认为我们需要接受数据孤岛。我们不能忽略竖井，因此我们需要更好地启用它们，并使它们能够提取所需的经过审查的数据。

大数据的固有特征-数量、速度、价值、多样性和准确性-每年都保持不变，而每年涌现的不断发展的技术帮助我们使用领域知识来了解数据并获得更多洞察力，从而加速业务转型。

大数据洞察将不再只是数据科学家的专利： 从大数据中提取有意义的商业洞察的能力在很大程度上一直是高度专业化的数据科学家的领域。但是，就像在网络安全领域一样，这些专家相当稀少，越来越多的团队对这种有限的资源提出了要求。在接下来的一年里，我们将看到这种变化呈指数级增长。数据交换矩阵平台和数据科学与机器语言(DSML)平台正在改变游戏规则，统一并简化对企业数据的访问。这些平台更友好的用户界面使更多团队中的更多人能够看到企业面临的威胁或其他挑战并采取行动。数据的民主化来得并不是太快，因为AI的进步正在使不良行为者更容易渗透。随着更多的人关注并能够采取保护行动，企业真正有机会保持领先于威胁。

首席数据官(或任何数据领导者)首先需要成为变革管理专家，其次是数据专家，才能在2024年取得成功。创造一种数据文化与梦想之地“建立它，他们就会来”的方法完全相反；CDO们发现自己太多地独自呆在一个领域，只有自己的梦想。你必须将“数据梦想”带到组织的所有领域，才能使数据驱动的文化成为现实；创生式AI是CDO必须做到这一点的最有形和最相关的容器。

在接下来的一年里，我们预测对演进数据湖的需求将不断增长，以及genAI如何帮助组织更容易访问大数据。企业领导者将寻求的不仅仅是一个有组织的存储空间；他们将寻找一个智能和交互的平台，促进与数据的有意义的对话，并将其转化为可操作的见解。GenAI中的大型语言模型(LLM)为弥合大数据和决策之间的差距带来了新的机会。在LLMS的支持下，智能代理将具有理解和响应自然语言查询的创造性能力，为企业开辟了新的天地，因为它将允许他们的用户以对话的方式与数据打交道。这种转变推动组织走向组织良好的数据存储库，使用户能够对其数据有有用的理解。

2024年是我们停止移动数据并开始使用数据的一年： 20多年来，数据增长速度超过了连接速度，导致了一个指数级的问题。指数级的问题可能会突然变得不堪重负，就像一个装满沙粒的罐子，每天都会翻一番。前一天它还是半满的，第二天它就满了。数据传输速率无法满足我们的需求，这促使了像亚马逊的AWS Snowmobile这样的解决方案，这是一个45英尺长的航运集装箱，由一辆卡车拉着，旨在传输艾字节级的数据。我们已经到了无法将所有数据转移到需要分析或使用的地方的地步——我们已经从数据中心转移到了数据中心。每天在边缘(例如，工厂、医院、自动驾驶汽车)产生数以亿计的数据，为新的AI模型提供动力。然而，我们的AI生态系统主要驻留在云中，将这些海量数据从边缘转移到云中是不可行的。2024年，我们预见到工具的兴起，这些工具允许我们在不移动数据的情况下就地处理数据。这些工具将使云应用程序能够像访问本地数据一样访问边缘数据，或使数据中心应用程序能够像访问本地数据一样访问云数据。欢迎来到数据无处不在的时代。

请到「今天看啥」查看全文