只有说得清用什么数据训练出来,训练结果才有意义。数据集版本会冻结一组任务片段,连同它们的标签、训练/验证/测试划分和你选择的预处理。版本还记录了片段来自哪些录制、由哪些算法版本和参数处理,所以任何结果都可以追溯、可以复现。每个项目的版本按 v1、v2 依次编号。
创建版本
选择任务片段
打开项目下的「版本」,点击右上角的「创建版本」。默认会使用「项目内全部任务片段」。如果只想用其中一部分,先在「任务片段」里勾选或筛选,再从那里点「创建版本」。名称会自动填成下一个编号,你可以改成团队容易认出的名字。
「任务片段」部分有两个选项默认关闭:「包含质量检查未通过的任务片段」和「包含质量检查还没跑完的任务片段」。带警告的片段会被纳入,并有一行文字告诉你数量。如果有片段被挡在外面,比如还在等待匿名化,或者被手动排除,对话框会列出原因和对应的处理办法。
设置划分
在「划分」中选择「策略」,并填写「训练集占比」「验证集占比」和「测试集占比」,比如 0.8、0.1 和 0.1。「按录制」让整条录制只进入一个划分,测试数据不会混进训练。录制较少时,「按任务片段」更合适,它也是机器人项目的默认选项。另外还可以按采集员、按任务或按手动标签划分。填写「随机种子(可选)」可以让划分结果固定;留空则使用版本号。
选择标签
在「标签」中,「最新标签」使用最新的标签,即使还没有人审核通过。没有审核过的 AI 建议片段也会被纳入,对话框会提示数量。「仅已审核通过的标签」只使用审核人批准过的标签,没审核过的片段不会进入版本。
设置预处理
在「预处理」中,可以统一重采样到一个帧率、只保留部分相机、裁掉开头和结尾的空闲时间,以及限制单个片段的最长时长。字段留空就保持数据原样。最后点击「创建版本」。至少有一个片段符合条件时,这个按钮才可用。
版本列表
「版本」列出所有版本,以及各自的片段数、时长和划分数量。行末的「⋯」菜单可以「设置别名」(比如 prod),或者「移入回收站」。移入回收站的版本 30 天内可以恢复。
数据集卡片
打开一个版本就能看到它的数据集卡片。开头提醒你这个版本已冻结,接着是片段数、时长、数据大小和划分比例条,然后是判定摘要、相机、任务,以及各个特征和它们的形状。再往下是「README」,点「编辑 README」就能编写。右侧是引用或加载这个版本需要的标识(ID、引用、摘要),以及采集来源、隐私状态、创建人和创建时间。
再往下,「使用此版本」提供可以直接复制的 Python 和 CLI 代码,以及引用格式。页面右上角是「导出」和「训练模型」。
版本中的任务片段
「任务片段」标签页列出版本包含的片段,每个片段都标有划分和质检结论。用「划分」筛选,可以只看训练、验证或测试。
版本不会改变
版本一旦创建就保持原样。之后对片段、标签或质检结果的修改都不会影响它,数据集卡片上也写明了这一点。想换片段或换设置,就新建一个版本。旧版本和它的导出都会保留,所以上个月训练的模型,依然能追溯到它用过的那份数据。