工作流中的每个步骤都运行一个算法。「算法」页是所有算法的目录,放进工作流之前,你可以在这里看清每个算法做什么、需要什么、产出什么。
内置算法,按类别分组
「内置」标签按用途把平台算法分组,每组标有数量。每一行有一句简介,右侧有两个标签,比如「输入:录制」和「输出:特征」,一眼就能看出它在工作流中的位置。
| 类别 | 作用 | 内置算法 |
|---|---|---|
| 「标准化」 | 把上传的文件转成 LeRobot v3 录制。 | 标准化 MCAP、标准化视频 |
| 「质检」 | 衡量质量,写出质检结果。 | 原始文件指标、视觉指标 |
| 「变换」 | 修改录制本身。 | 脱敏 |
| 「增强」 | 为录制添加新数据,比如位姿或深度。 | 传感器标定、手部姿态、手部姿态(MANO)、头部位姿(视觉惯性)、双目深度、全身姿态(SMPL-H)、第一视角 3D 可视化、视频预览、判断任务是否成功 |
| 「切分」 | 在录制中找出任务片段。 | 提议任务片段、录制自带任务片段 |
| 「整理」 | 决定哪些任务片段进入新的数据集版本。 | 筛选任务片段、划分数据集 |
| 「导出」 | 把数据集版本打包成可下载的文件。 | LeRobot v3 导出 |
「提议任务片段」和「判断任务是否成功」会调用视觉语言模型。它们的结果在有人审核之前都只是 AI 的建议,控制台也会这样标注。
带类型的输入和输出
每个算法都声明了它接收和产出的数据类型:「原始文件」「录制」「特征」「质检结果」「任务片段」「数据集版本」「整理决定」或「导出文件」。它还固定在某一级运行:每条录制一次、每个任务片段一次,或每个数据集版本一次。工作流编辑器正是靠这些类型帮你自动连线,并拒绝不可能成立的连接。
详情页
点击一个算法打开它的详情页。「输入文件」列出它读取什么、哪些是必需的,「输出文件」列出它写出什么,「参数」列出每项设置及默认值,也就是你在工作流编辑器里可以调整的那些。会写出质检项或特征的算法,还会逐一列出它们的名称。
有些算法需要 GPU。目录里的简介会写明,详情页右侧的「资源」给出具体要求,比如双目深度需要 1 块 GPU、显存至少 9 GiB。GPU 步骤会排队,直到有显存足够的 GPU 空出来。
版本
算法都有版本,工作流里的每个步骤使用其中一个确定的版本,步骤的设置里会显示是哪个。内置算法的详情页显示「最新版本」,团队算法则列出保存过的每个版本。版本保存后不会再变,所以发布的工作流会一直按你测试时的样子运行。
团队自己的算法
「自定义」标签列出团队编写的算法及其最新版本。可以按名称或代码搜索,点击查看详情。在工作流编辑器的算法库里,它们和内置算法排在同一类别下,带有「团队」标记。
想自己写一个,点击「新建算法」。团队所有者、管理员和研究员可以创建和保存团队算法,具体做法见编写自定义算法。