GitHub Copilot 加入基于 AI 的代码密码扫描功能

正文

请到「今天看啥」查看全文

GitHub 尝试了多种技术来提高检测质量，包括尝试不同的 LLM 模型（例如将 GPT-4 作为验证扫描器）、重复提示（“投票”）和多样化的提示策略。最终，他们与微软合作，采用了微软的 MetaReflection 技术，这是一种离线强化学习形式，结合了思维链（Chain of Thought，CoT）和少量样本提示来提高准确率。

正如 GitHub 的博文所述：

我们最终决定采用这些技术的组合，并正式公开预览 Copilot 的密码扫描功能，向所有 GitHub Secret Protection 的用户全面开放。

为了进一步验证这些改进，并为全面推出做好准备，GitHub 实现了一个“镜像测试”框架。该框架涉及在公开预览的一个子集代码库上测试提示和过滤更改。通过使用最新的改进来重新扫描这些代码库，GitHub 可以在不影响用户的情况下评估对实际警报量和误报解决的影响。

测试结果表明，检测量和误报量均显著减少，对实际的密码发现影响微乎其微。在某些情况下，误报量甚至减少了 94%。博文总结道：

对比显示，在私有和公开预览阶段所做的所有修改都提升了精确度，而且没有降低召回率。我们已准备好为所有 GitHub Secret Protection 用户提供一个可靠且高效的密码检测机制。

请到「今天看啥」查看全文