CommunityOverCode Asia 2024 专题介绍之 AI

正文

请到「今天看啥」查看全文

Datastrato 创始人兼首席执行官，前 LF AI & DATA 主席，Apache 软件基金会成员，Apache Hadoop、YuniKorn、Ozone 等多个项目的 Committer 和项目管理委员会成员，同时也是多个 ASF 项目的导师。

王臣汉

CommunityOverCode Asia 2024

OpenBayes 贝式计算创始人兼 CEO，曾就职于华特迪⼠尼互动媒体集团、AVOS Systems 等世界知名企业，中⽂语义理解基准 CLUE 基⾦会秘书⻓、天津⼤学⻉式计算联合研究中心副主任。

议程亮点

CommunityOverCode Asia 2024

7 月 28 日 14:00 - 17:15

演讲议题： LLM 时代数据基础设施的演进

分享时间： 7 月 28 日 14:00 - 14:30

议题介绍：

由 LLM（大型语言模型）驱动的数据可以使应用程序更高效、准确和个性化，人工智能已被广泛应用于自然语言处理、推荐系统和数据分析等各种场景，并取得了显著成果。大型模型可以更好地优化数据，而深度优化的数据可以更好地训练大型模型，LLM 和数据相互补充。

在本次演讲中，我们将介绍我们的开源项目 Gravitino 如何构建一个统一的元数据湖，通过 Single Source Of Truth 来管理数据团队和人工智能团队的所有元数据。这不仅填补了人工智能模型元数据管理的空白，还提供了 Java、Python 和 NodeJS 的客户端，使得来自不同部门的数据团队、人工智能团队和业务团队可以使用 Gravitino 在单一的真实数据源中管理他们的元数据。Gravitino 不仅填补了人工智能模型元数据管理的空白，还提供了 Java、Python 和 NodeJS 的客户端， 使得来自不同部门的数据团队、人工智能团队和业务团队可以无缝地完成数据 ETL、数据清洗、特征工程、模型训练、模型发布以及应用程序和模型集成的整个过程，加速数据和人工智能的融合。

Gravitino 还提供统一的 IAM 权限管理和对来自多个数据源的异构（结构化/非结构化）数据的统一读写支持，以支持多云环境，使得人工智能团队可以充分利用公有和私有数据中心中的 GPU、存储、云服务等基础设施资源，并降低模型训练的成本和周期。演讲者还将分享小米、唯品会和其他互联网公司如何使用 Gravitino 来解决人工智能模型训练中的问题和挑战。

演讲嘉宾：

Xun Liu丨 Datastrato Co-Founder & COO

Xun Liu ，拥有二十年的软件开发经验，过去十年一直在大数据开发领域工作。他是 Apache 软件基金会的成员和孵化器导师，并孵化了 Apache 中的多个开源项目，同时也是 Apache Hadoop 和 Zeppelin 的 Committer 成员之一。Xun Liu 是 Datastrato 的联合创始人兼首席运营官，目前负责公司开源项目 Gravitino 的运营工作。

---

演讲议题： 在 Apache 生态系统中增强 LLM 的可观测性：基于 OTel 和自动 Python 探针注入

请到「今天看啥」查看全文