Mind Reality

说出来，它就出现

3D 建模又慢又要专业技能。在 Mind Reality 里，你只要说出你想要的东西。

系统写出物件、检查它、赋予动作，再放进房间。你可以触摸、拖动，也可以绕着它走。在演示中，用户做出了齿轮、阀门、机械鸟、风车和时钟，每一个都会动。

我负责的部分

团队共三人。下面是我做的部分。

• 用 LangGraph 做的多 agent 架构
• 用 Three.js 生成物件，以及 16 个视角的检查
• Unity 与 HoloLens 2 端
• 实时语音 agent
• 书面报告和演示视频
• 海报，与队友一起完成

前面是语音，后面是 agent

实时语音 agent 和你对话，把每件工作交给用 LangGraph 做的子 agent。每个子 agent 只看到自己的任务，所以提示词保持精简。

用代码当 3D 格式

模型写的是 Three.js 代码，不是网格。代码是文本，所以模型能只修一部分，不必从头再来。

工具服务器在无头浏览器里执行代码，再导出 glTF 给 Unity。

放进房间前先看 16 个视角

工具服务器沿着物件周围的双螺旋路径，从 16 个相机位置拍下物件。多模态模型检查这些画面，找出穿模、比例失衡这类缺陷。没通过的物件退回给 agent 修正，次数有上限。

下面是系统生成的魔法师，16 个视角中的 4 个。

按计划生成动画

动画 agent 写出一个 C# planner，它只能调用固定的动作库。Unity 在运行时用 Roslyn 编译它并挂到物件上，不用重新构建。

先看再提议的 agent

语音 agent 可以用 HoloLens 的相机拍下房间，理解场景，再提议适合放进来的物件。

建立在实验室的平台上

多人混合现实串流来自实验室的远程渲染平台 LARR（Zeng、Huang 与 Huang，IEEE ICC Workshops 2023）。团队在它之上做了生成流程。

有了 LARR，两位用户能从桌子两侧看到同一组物件。