RAG的有趣新尝试:将文本编码进MP4文件实现思路及Agentic-doc处理文档

正文

请到「今天看啥」查看全文

一个是构建索引，怎么把chunk编码成视频做存储

chunk转二维码并记录索引，做embedding后送Faiss。

1、mp4文件的构成

之前的方案，需要额外有一个存储文档chunk的数据库，比如es，mongodb或者mysql，所以，为了解决这个问题，就用mp4来存储 一个个chunk，那么怎么存储，就是编码为一个个二维码 ，然后记录出这个二维码位于整个视频中所在的帧索引，也就是timestamp，所以就会形成以下这个结构：

那么，问题来了，怎么把chunk变成一个二维码？那就是 使用FFmpeg用于视频编码，使用libzbar0用于二维码解码 。

2、索引文件

索引文件包括：memory_index.json+ memory_index.faiss

请到「今天看啥」查看全文