【NTU博士论文】从小型深度神经网络到大型语言模型：构建可信 AI 的软件工程视角

正文

请到「今天看啥」查看全文

研究 的 目标 是 通过 改进 这 三 个 阶段 来 提升 AI 模型 的 可信度。 我们 的 主要 方法 借鉴 传统 软件 调 试 与 修复 的 理念， 首先 识别 问题， 再 实施 修复 措施。

此外， 大型 语言 模型（ LLMs） 正在 重 塑 整个 软件 产业。 因此， 本文 从 训练、 推理 与 测试 三 个 阶段 出发， 探讨 从 小型 深度 神经 网络（ DNNs） 到 LLMs 的 AI 软件 调 试 与 修复 方法。

❶ 训练 阶段： 可信 性 问题 与 修复 方法

我们 首先 关注 模型 在 训练 过程 中 产生 可信 性 问题 的 原因。 训练 数据 通常 是 引发 问题 的 关键 所在。 针对 数据 层 的 调 试， 我们 聚焦 于 社会 影响 较大 的 问题—— 公平性（ fairness） 。 我们 的 目标 是 分析 每 个子 群体（ 即 具有 相同 敏感 属性 的 一 组 数据） 在 训练 过程 中的 贡献， 进而 揭示 偏差 的 根源。

我们 发现， 不同 子 群体 在 训练 中的 贡献 不均 是 造成 不公平

请到「今天看啥」查看全文