AI开发者中间件工具生态2024年总结

正文

请到「今天看啥」查看全文

首先是以模型初创企业为代表，提供先进的商业闭源模型，如 OpenAI、Anthropic、智谱及 MiniMax 等。

其次是由 TogetherAI、Groq、Fireworks、Replicate、硅基流动等组成的 GPU 推理集群服务提供商，它们处理扩展与缩减等技术难题，并在基本计算费用基础上收取额外费用，从而让应用公司无需承担构建和管理 GPU 推理集群的高昂成本，而是可以直接利用抽象化的 AI 基础设施服务。

第三类是传统的云计算平台，例如亚马逊的 Amazon Bedrock、阿里云百炼平台、微软的 Azure AI、谷歌 Vertex AI 等，允许应用开发者轻松部署和使用标准化或定制化的 AI 模型，并通过 API 接口调用这些模型。

最后一类是本地推理，SGLang、vLLM、TensorRT-LLM 在生产级 GPU 服务负载中表现出色，受到许多有本地托管模型需求的应用开发者的欢迎，此外，Ollama 和 LM Studio 也是在个人计算机上运行模型的优选方案。

除模型层面外，应用层面的工具同样在快速发展，工具的进步紧密跟随 AI 应用的发展趋势。自 ChatGPT 发布以来，应用构建方式大致经历了三个阶段。

首先是基于单一提示词模板的聊天助手类应用，此阶段重点关注模型和提示词的安全性以及模型输出的可控性。例如，garak 可用于检测模型幻觉、数据泄露和生成毒性内容等问题；rebuff 则针对提示词注入进行检测；DSPy 框架提供了系统高效的编程方法，帮助解决应用开发中的提示编写问题；而 LMFormat Enforcer、Guidance 及 Outlines 等项目旨在帮助开发者控制模型输出的结构，以获得高质量的输出。

第二个阶段涉及通过组合一系列提示词和第三方工具或 API 来编排复杂的工作流，这是目前成熟的 AI 应用构建思路之一。值得注意的是，RAG 技术的出现，得益于大语言模型天然适合处理知识密集型任务，RAG 通过从外部记忆源检索相关信息，不仅提高了模型生成的精确性和相关性，还解决了大语言模型在数据隐私保护、实时数据处理和减少幻觉问题等方面的局限。RAG 技术在数据预处理和索引构建方面的努力，直接影响最终应用的效果。

尤其是在本地数据预处理方面，PDF 内容处理成为一大难点，众多开源项目应运而生，如基于传统 OCR 技术和版面分析的 Unstructured 和 Marker 库，以及结合了多模态大模型识别能力的 ZeroX 和 GPTPDF 库。

请到「今天看啥」查看全文