chill/chill_notes
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity
Files
682e3e52df5453e27fe8d48e7d28a6e3c2c30940
chill_notes/AI工程/3DGS在VR眼镜上的显示方案研究.md
FNS Service 682e3e52df Update from Sync Service
2026-06-22 11:30:51 +08:00

11 KiB
Executable File
Raw Blame History

3DGS 数据在 VR 眼镜上的显示方案研究

研究日期：2026-06-07 关键词：3DGS, 3D Gaussian Splatting, SuperSplat, VR, WebXR, Meta Quest

一、3DGS (3D Gaussian Splatting) 技术概述

什么是 3DGS？

3D Gaussian Splatting 是 2023 年 SIGGRAPH 发表的革命性 3D 场景表示技术（论文作者：Kerbl, Kopanas 等），用数百万个半透明的椭圆高斯球来重建 3D 场景，而非传统的多边形网格。

核心优势：

  • 📸 照片级真实感：从照片/视频直接生成，效果逼真
  • ⚡ 实时渲染：优化后可达交互帧率
  • 🌟 体积表示：自然处理半透明材质、精细细节、复杂光照
  • 💰 低成本：比传统 3D 建模便宜且快速

数据格式

格式 说明 大小
PLY 标准二进制 3DGS 格式（未压缩） 大（数百MB~数GB）
SOG PlayCanvas 压缩格式（ZIP + WebP） PLY 的 1/15~1/20
SPZ SuperSplat 项目格式 压缩后更小

二、SuperSplat 工具

基本信息

核心功能

  1. 检查（Inspect）：加载 .ply / .splat 文件，查看高斯球分布
  2. 编辑（Edit）：选中/删除/移动高斯球，清理噪点
  3. 优化（Optimize）：压缩、裁剪、降采样，减小文件体积
  4. 发布（Publish）：导出优化后的文件，或直接发布到 SuperSplat 平台

⚠️ SuperSplat 本身不支持 VR

SuperSplat 是一个编辑器，运行在桌面浏览器的 2D 界面中。它不直接支持 VR 模式。

要在 VR 中查看 3DGS 数据，需要使用以下方案之一。

三、3DGS 在 VR 上显示的技术方案

方案对比

方案 平台 渲染技术 VR 支持 难度 适用场景
PlayCanvas + WebXR Web 浏览器 WebGL/WebGPU ✅ WebXR ⭐⭐ 最简单，跨平台
RSR Windows 原生 Direct3D 12 + OpenXR ✅ OpenXR ⭐ 最佳性能，PC VR
Unity VR Viewer Windows (Unity) CUDA + OpenXR ✅ OpenXR ⭐⭐⭐ 开发者，需 NVIDIA GPU
A-Frame + GS Web 浏览器 WebGL ✅ WebXR ⭐⭐ 快速原型
VRSplat Linux/CUDA CUDA + OpenGL ✅ 研究 ⭐⭐⭐⭐ 学术研究

方案 1：PlayCanvas + WebXR（推荐入门）

原理：PlayCanvas Engine 原生支持 Gaussian Splatting 渲染 + WebXR API。

流程：

  1. 用 SuperSplat 编辑/优化 3DGS 数据
  2. 导出 PLY 或 SOG 文件
  3. 在 PlayCanvas 项目中加载并启动 WebXR VR 会话

优势：

  • 浏览器直接运行，无需安装
  • Meta Quest 浏览器原生支持 WebXR
  • Apple Vision Pro Safari 也支持

代码示例（PlayCanvas）：

// 检查 VR 支持并启动
button.element.on('click', () => {
  if (app.xr.supported && app.xr.isAvailable(pc.XRTYPE_VR)) {
    app.xr.start(entity.camera, pc.XRTYPE_VR, pc.XRSPACE_LOCALFLOOR);
  }
});

局限：

  • 浏览器性能有限，大场景可能卡顿
  • 移动端 VR（Quest 独立模式）渲染能力受限

方案 2：RSR — Rapid Splat Renderer（推荐高性能）

特点：

  • 原生 D3D12 渲染，性能最强
  • 支持 PLY 和 SOG 格式
  • 支持完整球谐函数（SH up to order 3）
  • 可选 NVIDIA DLSS 超分辨率（RTX GPU）
  • 免费个人/非商业使用

使用方式：

RSR.exe                     # 启动文件浏览器
RSR.exe <path-to-scene>     # 直接打开场景

按 V 或 F11 切换 VR 模式，支持 OpenXR（SteamVR / Oculus / 其他 OpenXR 运行时）。

VR 控制方式：

  • 左摇杆：移动
  • 右摇杆：转向/上下
  • 左/右手柄 Grip：拖拽/缩放场景
  • A 键：重置视角

系统要求：

  • Windows 10/11 x64
  • DirectX 12 GPU
  • OpenXR 兼容 VR 头显
  • NVIDIA RTX GPU（可选，用于 DLSS）

方案 3：Unity + CUDA VR Viewer

特点：

  • 使用原始 CUDA 光栅化器，渲染质量最高
  • 支持同时加载多个模型
  • 支持深度混合（高斯球与 3D 场景混合）
  • 支持多相机渲染

性能参考（bicycle 场景，RTX 3060 Ti）：

  • 桌面 OpenGL (FOV 60°): 12ms (80 FPS)
  • Unity DirectX11 (FOV 60°): 15ms (67 FPS)
  • Unity OpenXR (双眼, FOV 90°): 38ms (26 FPS)

注意：VR 模式需要渲染双眼 + 更大 FOV，性能开销约 2.5-3x

硬件要求：

  • CUDA GPU（Compute Capability 7.0+，即 RTX 2060 以上）
  • 推荐 RTX 4070+
  • 16GB RAM

方案 4：VRSplat（学术方案）

四、VR 眼镜选型

根据 3DGS 渲染需求分类

3DGS 渲染对 GPU 要求极高（百万级高斯球实时排序+渲染），需要区分两种使用模式：

A. PC VR 模式（推荐）：VR 眼镜连接 PC，由 PC GPU 负责渲染 B. 独立 VR 模式：VR 眼镜自带芯片渲染，性能受限

推荐设备

🥇 方案 A：PC VR（最佳体验）

设备 价格（人民币） 分辨率 FOV 连接方式 推荐理由
Meta Quest 3 ¥3,500-4,000 2064×2208/眼 110° WiFi串流/USB-C 性价比之王，WebXR+PC串流都支持
Meta Quest 3S ¥2,200-2,800 1832×1920/眼 96° WiFi串流/USB-C 预算有限首选，3 的降配版
Pico 4 Ultra ¥3,500-4,000 2160×2160/眼 105° WiFi串流/USB-C 国行首选，售后好，国内生态完善
Pico 4 ¥1,800-2,500 2160×2160/眼 105° WiFi串流/USB-C 性价比之选
Valve Index ¥6,000+ 1440×1600/眼 130° DP直连 FOV最大，刷新率144Hz
HTC Vive Pro 2 ¥7,000+ 2448×2448/眼 120° DP直连 分辨率最高，专业级
Bigscreen Beyond 2 ¥7,000+ 2560×2560/眼 110° DP直连 超轻(仅127g)，Micro OLED，极致画质

PC VR 的关键：GPU 决定体验，建议：

  • 最低：RTX 3060 Ti（VR 模式约 26 FPS，可接受但不算流畅）
  • 推荐：RTX 4070 Super 以上（流畅体验 60+ FPS）
  • 理想：RTX 4080/4090（大场景也能流畅）

🥈 方案 B：独立 VR（便捷但性能受限）

设备 价格 芯片 分辨率 3DGS 能力 备注
Meta Quest 3 ¥3,500 Snapdragon XR2 Gen 2 2064×2208/眼 ⚠️ 仅小场景 浏览器 WebXR 运行 PlayCanvas
Meta Quest 3S ¥2,200 Snapdragon XR2 Gen 2 1832×1920/眼 ⚠️ 仅小场景 同上
Apple Vision Pro ¥25,000+ M2 + R1 3660×3200/眼 ✅ 较好 Safari WebXR，芯片性能强
Pico 4 Ultra ¥3,500 Snapdragon XR2 Gen 2 2160×2160/眼 ⚠️ 仅小场景 国行，浏览器支持 WebXR

独立模式的限制：

  • 移动端 GPU 性能仅为 PC 的 1/10~1/5
  • 3DGS 场景必须大幅压缩（减少高斯球数量到数十万级）
  • 只能通过 WebXR 浏览器方案（PlayCanvas）
  • 大场景基本无法流畅运行

🥉 方案 C：混合模式（Quest 串流 PC）

这是性价比最优方案：

  1. 购买 Meta Quest 3 / Pico 4 Ultra
  2. 独立使用时通过浏览器 WebXR 查看小场景
  3. 连接 PC 时通过 Steam Link / Air Link / Virtual Desktop 使用 RSR 等原生方案

一台设备，两种模式，兼顾便携和性能。

最终推荐

需求 推荐设备 理由
💰 预算优先 Meta Quest 3S + PC ¥2,200 起步，PC 串流体验完整
⚖️ 性价比最优 Meta Quest 3 + PC（RTX 4070+） ¥3,500，独立+PC双模式
🇨🇳 国内首选 Pico 4 Ultra + PC 国行保修，国内售后完善
🎯 专业级 Bigscreen Beyond 2 + PC（RTX 4090） Micro OLED 极致画质
🍎 苹果生态 Apple Vision Pro 25K+，M2 芯片性能强，但贵

五、完整工作流

拍照/录像 → 训练3DGS模型 → SuperSplat编辑优化 → VR显示
   ↓              ↓                ↓                ↓
 手机/相机    gaussian-splatting   superspl.at/editor  ↓
 Polycam     gsplat/nerfstudio   裁剪/压缩/清理      ↓
 Luma AI                            ↓                ↓
                                导出 PLY/SOG          ↓
                                           ┌─────────┴──────────┐
                                           ↓                    ↓
                                    WebXR方案              原生方案
                                  (PlayCanvas)          (RSR/Unity)
                                           ↓                    ↓
                                    Quest浏览器           PC + OpenXR
                                    (独立模式)            (PC VR模式)

六、关键参考链接

工具

3DGS 训练

数据来源

文档

七、总结建议

  1. 如果你有 PC（RTX 4070+）：买 Meta Quest 3 或 Pico 4 Ultra，用 RSR 渲染，体验最佳
  2. 如果只有笔记本：Quest 3S 最低预算入门，通过 Steam Link 连笔记本
  3. 如果要给客户展示：SuperSplat 编辑优化 → PlayCanvas WebXR 发布 → 发链接即可在 Quest 浏览器打开
  4. 3DGS 数据必须优化：原始 PLY 文件太大，用 SuperSplat 裁剪+压缩后再用于 VR
Reference in New Issue View Git Blame Copy Permalink