LeRobot的数据集系统（上）

正文

请到「今天看啥」查看全文

处理数据集元数据，包括：

• 特征描述（形状、类型、名称）

• 任务定义

• 事件信息

• 用于标准化的数据集统计数据

MultiLeRobotDataset

将多个LeRobot数据集实例合并为一个数据集：

• 支持使用来自多个数据集的数据进行训练

• 处理具有不同特征的数据集之间的兼容性

• 维护数据集标识符以便进行源跟踪

数据集创建和管理

工厂函数

make_dataset 工厂函数提供一种基于配置创建数据集的统一方法：

delta 时间戳

delta 时间戳允许在检索数据点时进行时间偏移，从而实现：

• 访问相对于当前时间步长的过去和未来帧

• 为依赖于历史的策略创建观察窗口

• 预测未来状态以进行规划

# Example: Setup delta timestamps for different features

delta_timestamps = {

"observation.state": [-0.1, -0.05, 0], # Past and current states

"observation.image": [0], # Current image only

"action": [0, 0.05, 0.1] # Current and future actions

}

数据集特征和模式

存储的各种数据格式如下

视频处理

对于包含视觉数据的数据集，LeRobot 提供高效的视频处理功能：

数据集记录

数据集系统支持高效记录新数据集：

• 使用 LeRobotDataset.create() 创建新数据集

• 使用 add_frame() 将数据帧添加到 episode 缓冲区

• 使用 save_episode() 完成并存储 episode

• 使用 push_to_hub() 推送至 Hugging Face Hub

数据集转换

对于使用旧版 LeRobot 创建的数据集，可以使用转换实用程序升级到最新格式：

请到「今天看啥」查看全文