淘宝直播AI提效探索的一些心得

正文

请到「今天看啥」查看全文

科学

智能分析业务报表数据和实验数据，支持业务自助化取数，并提供数据智能分析、业务洞察建议和趋势预测能力，生成数据分析洞察报告；

针对AB实验数据，给出智能化解读和后续的实验可能优化方向建议；

数据

研发

基于需求理解，通过筛选组合数据指标、维度、标签生成SQL，完成应用层模型自动化开发；

将需求的感性理解抽象为数据规则，并配合产品基座+AI能力实现基于规则的代码生成和自动化研发流程等

AI能力

谈及当下AI所能提供的能力，其实主要是指基于LLM的Generative AI的能力范畴，当然未来可能是AGI。

开头先来考个古，被誉为第一位计算机程序员的Ada Lovelace，在1843年关于查尔斯·巴贝奇分析机的笔记中，洛夫莱斯指出，这台机器“没有任何创造新事物的企图”，只能执行“我们已知如何命令它去做的任何事情”。这一观察揭示了计算系统的一个基本限制：它们的操作依赖于人类的输入，其创造力也有一定的界限。

Ada Lovelace

她对计算机器的本质提供了早期且深刻的见解，这些见解在当今关于人工智能，特别是大语言模型（LLMs）的讨论中仍然具有相关性；基于LLMs的Generative AI本质上是在做文本预测生成，尽管这些模型能够生成看似原创且有洞察力的文本，但它们从根本上来说仅限于操纵和重组其训练数据中已有的信息。

人和AI的区别在于，人在阅读或听到一段文字时，他们不仅仅是在处理词语，而是将这些词语与对世界的更广泛理解联系起来，从中汲取个人经历、文化背景以及深刻内化的因果关系和逻辑；相比之下，LLMs尽管在计算上非常复杂，但缺乏真正的“世界观”，它们不具备对世界复杂性的内在理解（当然未来AGI的概念下可能可以），也不具备支配事件的因果关系或人类通过一生的经历所获得的常识，相反，它们的知识反映了其训练数据的庞大内容。它们根据从这些数据中提取的模式和结构来识别和生成文本，而不是基于任何内在的理解，因此LLMs更像是工具，其所展现的能力反映的是它们所训练的数据。

LLMs具有涌现和泛化能力，即在模型规模突破临界之后，开始具备从训练数据中发现新的、更高级的特征和模式，并且可以将模式应用到未经训练过的数据上，外在表现为上下文学习能力（In-Context Learning）、按指令执行能力（Instruction Following）、逐步推理能力（Step-by-Step Reasoning）和知识推理和迁移能力（Transfer Learning）。

AI在展现强大能力的同时，也有一些局限性：

1. 随时间增加的错误（Increasing Errors Over Time）：想象一下你正在尝试预测句子中的下一个词，每次尝试时都有很小的可能出错。随着你继续预测更多的词，这些小比例的错误会累积起来，出错的可能性也会增加。这意味着你想要生成的文本越长，出现错误的机会就越高。这就像蒙着眼睛试图走直线一样；你走得越远，偏离路线的可能性就越大。

2. 固定的思维过程（Fixed Thinking Process）：当这些AI模型生成文本时，它们是一次生成一个词，并为每个词使用固定数量的计算能力。这就像在对话中，无论话题多么复杂，你都只有几秒钟的时间来思考接下来要说哪个词。如果我们希望模型“更深入地”思考下一个词，我们不能简单地告诉它这样做；我们只能让它生成更多的词，这是一种试图从模型中获取更深层次思考的间接方式。这种固定的过程限制了模型的规划或前瞻性思考的能力。

3. 缺乏真正的规划（Lack of True Planning）：这些模型不会规划；它们是基于训练过程中见过的过去例子做出反应的。如果它们似乎在创建计划，通常是因为它们之前见过非常相似的情况，并模仿了那种回应。

4. 对世界的理解有限（Limited Understanding of the World）：语言模型是通过文本数据进行训练的，这意味着它们只知道可以用文字表达的内容。然而，许多人类知识和日常常识无法完全通过文字捕捉。例如，知道如何骑自行车、游泳或认出朋友的脸，涉及的感觉和运动技能是无法仅从文本中学到的。这意味着虽然AI可以帮助写作和生成想法（比如克服写作障碍），但在需要深厚事实知识或对世界有物理理解的任务上，它会遇到困难。

5. 过度估计AI的智能（Overestimating AI's Intelligence）：这些模型可以生成流畅且语法正确的文本，这很容易让人认为它们比实际更聪明。然而，它们的智能能力是表面的。它们无法真正理解世界是如何运作的，这意味着我们距离能够与人类智力在更广泛意义上匹敌的AI还有相当长的距离。

心得体会

当前的探索和应用是工程技术团队的开发为主导，角色的优势是非常了解研发工程链路的现状和细节，在探索的过程中是以当前主流大模型的能力和叠加一些上层偏Prompt Engineering和ICL(In-Context Learning)的方式增强的能力为基础，通过对当前链路局部或变革式的重新设计，然后在LLM能力之上做解决方案的落地。

因此在这个过程中，对于AI能力的认知，以及对于自身研发链路的细节的了解，合理设计AI能力和链路拆解任务的适配，是最终解决方案是否有效和方案是否可以长期演进迭代的关键。

▐ 任务拆分

请到「今天看啥」查看全文