Update from Sync Service
This commit is contained in:
FNS Service
273
AI工程/3DGS在VR眼镜上的显示方案研究.md
Executable file
273
AI工程/3DGS在VR眼镜上的显示方案研究.md
Executable file
@@ -0,0 +1,273 @@
|
||||
# 3DGS 数据在 VR 眼镜上的显示方案研究
|
||||
|
||||
> 研究日期：2026-06-07
|
||||
> 关键词：3DGS, 3D Gaussian Splatting, SuperSplat, VR, WebXR, Meta Quest
|
||||
|
||||
---
|
||||
|
||||
## 一、3DGS (3D Gaussian Splatting) 技术概述
|
||||
|
||||
### 什么是 3DGS？
|
||||
|
||||
3D Gaussian Splatting 是 2023 年 SIGGRAPH 发表的革命性 3D 场景表示技术（论文作者：Kerbl, Kopanas 等），用**数百万个半透明的椭圆高斯球**来重建 3D 场景，而非传统的多边形网格。
|
||||
|
||||
**核心优势：**
|
||||
- 📸 **照片级真实感**：从照片/视频直接生成，效果逼真
|
||||
- ⚡ **实时渲染**：优化后可达交互帧率
|
||||
- 🌟 **体积表示**：自然处理半透明材质、精细细节、复杂光照
|
||||
- 💰 **低成本**：比传统 3D 建模便宜且快速
|
||||
|
||||
### 数据格式
|
||||
|
||||
| 格式 | 说明 | 大小 |
|
||||
|------|------|------|
|
||||
| **PLY** | 标准二进制 3DGS 格式（未压缩） | 大（数百MB~数GB） |
|
||||
| **SOG** | PlayCanvas 压缩格式（ZIP + WebP） | PLY 的 1/15~1/20 |
|
||||
| **SPZ** | SuperSplat 项目格式 | 压缩后更小 |
|
||||
|
||||
---
|
||||
|
||||
## 二、SuperSplat 工具
|
||||
|
||||
### 基本信息
|
||||
|
||||
- **开发者**：PlayCanvas
|
||||
- **GitHub**：https://github.com/playcanvas/supersplat（⭐9k+）
|
||||
- **在线版**：https://superspl.at/editor
|
||||
- **许可证**：MIT（免费开源）
|
||||
- **技术栈**：纯 Web（TypeScript + PlayCanvas Engine），浏览器直接运行
|
||||
|
||||
### 核心功能
|
||||
|
||||
1. **检查（Inspect）**：加载 .ply / .splat 文件，查看高斯球分布
|
||||
2. **编辑（Edit）**：选中/删除/移动高斯球，清理噪点
|
||||
3. **优化（Optimize）**：压缩、裁剪、降采样，减小文件体积
|
||||
4. **发布（Publish）**：导出优化后的文件，或直接发布到 SuperSplat 平台
|
||||
|
||||
### ⚠️ SuperSplat 本身不支持 VR
|
||||
|
||||
SuperSplat 是一个**编辑器**，运行在桌面浏览器的 2D 界面中。它**不直接支持 VR 模式**。
|
||||
|
||||
要在 VR 中查看 3DGS 数据，需要使用以下方案之一。
|
||||
|
||||
---
|
||||
|
||||
## 三、3DGS 在 VR 上显示的技术方案
|
||||
|
||||
### 方案对比
|
||||
|
||||
| 方案 | 平台 | 渲染技术 | VR 支持 | 难度 | 适用场景 |
|
||||
| ---------------------- | --------------- | -------------------- | -------- | ---- | ---------------- |
|
||||
| **PlayCanvas + WebXR** | Web 浏览器 | WebGL/WebGPU | ✅ WebXR | ⭐⭐ | 最简单，跨平台 |
|
||||
| **RSR** | Windows 原生 | Direct3D 12 + OpenXR | ✅ OpenXR | ⭐ | 最佳性能，PC VR |
|
||||
| **Unity VR Viewer** | Windows (Unity) | CUDA + OpenXR | ✅ OpenXR | ⭐⭐⭐ | 开发者，需 NVIDIA GPU |
|
||||
| **A-Frame + GS** | Web 浏览器 | WebGL | ✅ WebXR | ⭐⭐ | 快速原型 |
|
||||
| **VRSplat** | Linux/CUDA | CUDA + OpenGL | ✅ 研究 | ⭐⭐⭐⭐ | 学术研究 |
|
||||
|
||||
### 方案 1：PlayCanvas + WebXR（推荐入门）
|
||||
|
||||
**原理**：PlayCanvas Engine 原生支持 Gaussian Splatting 渲染 + WebXR API。
|
||||
|
||||
**流程**：
|
||||
1. 用 SuperSplat 编辑/优化 3DGS 数据
|
||||
2. 导出 PLY 或 SOG 文件
|
||||
3. 在 PlayCanvas 项目中加载并启动 WebXR VR 会话
|
||||
|
||||
**优势**：
|
||||
- 浏览器直接运行，无需安装
|
||||
- Meta Quest 浏览器原生支持 WebXR
|
||||
- Apple Vision Pro Safari 也支持
|
||||
|
||||
**代码示例**（PlayCanvas）：
|
||||
```javascript
|
||||
// 检查 VR 支持并启动
|
||||
button.element.on('click', () => {
|
||||
if (app.xr.supported && app.xr.isAvailable(pc.XRTYPE_VR)) {
|
||||
app.xr.start(entity.camera, pc.XRTYPE_VR, pc.XRSPACE_LOCALFLOOR);
|
||||
}
|
||||
});
|
||||
```
|
||||
|
||||
**局限**：
|
||||
- 浏览器性能有限，大场景可能卡顿
|
||||
- 移动端 VR（Quest 独立模式）渲染能力受限
|
||||
|
||||
### 方案 2：RSR — Rapid Splat Renderer（推荐高性能）
|
||||
|
||||
- **GitHub**：https://github.com/warpgatelabs/RSR（⭐44）
|
||||
- **技术**：Direct3D 12 + OpenXR
|
||||
- **平台**：Windows only
|
||||
|
||||
**特点**：
|
||||
- 原生 D3D12 渲染，性能最强
|
||||
- 支持 PLY 和 SOG 格式
|
||||
- 支持完整球谐函数（SH up to order 3）
|
||||
- 可选 NVIDIA DLSS 超分辨率（RTX GPU）
|
||||
- **免费个人/非商业使用**
|
||||
|
||||
**使用方式**：
|
||||
```
|
||||
RSR.exe # 启动文件浏览器
|
||||
RSR.exe <path-to-scene> # 直接打开场景
|
||||
```
|
||||
按 V 或 F11 切换 VR 模式，支持 OpenXR（SteamVR / Oculus / 其他 OpenXR 运行时）。
|
||||
|
||||
**VR 控制方式**：
|
||||
- 左摇杆：移动
|
||||
- 右摇杆：转向/上下
|
||||
- 左/右手柄 Grip：拖拽/缩放场景
|
||||
- A 键：重置视角
|
||||
|
||||
**系统要求**：
|
||||
- Windows 10/11 x64
|
||||
- DirectX 12 GPU
|
||||
- OpenXR 兼容 VR 头显
|
||||
- NVIDIA RTX GPU（可选，用于 DLSS）
|
||||
|
||||
### 方案 3：Unity + CUDA VR Viewer
|
||||
|
||||
- **GitHub**：https://github.com/clarte53/GaussianSplattingVRViewerUnity（⭐373）
|
||||
- **技术**：Unity + CUDA 原生插件 + OpenXR
|
||||
|
||||
**特点**：
|
||||
- 使用原始 CUDA 光栅化器，渲染质量最高
|
||||
- 支持同时加载多个模型
|
||||
- 支持深度混合（高斯球与 3D 场景混合）
|
||||
- 支持多相机渲染
|
||||
|
||||
**性能参考**（bicycle 场景，RTX 3060 Ti）：
|
||||
- 桌面 OpenGL (FOV 60°): 12ms (80 FPS)
|
||||
- Unity DirectX11 (FOV 60°): 15ms (67 FPS)
|
||||
- **Unity OpenXR (双眼, FOV 90°): 38ms (26 FPS)**
|
||||
|
||||
**注意**：VR 模式需要渲染双眼 + 更大 FOV，性能开销约 2.5-3x
|
||||
|
||||
**硬件要求**：
|
||||
- CUDA GPU（Compute Capability 7.0+，即 RTX 2060 以上）
|
||||
- 推荐 RTX 4070+
|
||||
- 16GB RAM
|
||||
|
||||
### 方案 4：VRSplat（学术方案）
|
||||
|
||||
- **GitHub**：https://github.com/Cekavis/VRSplat（⭐57）
|
||||
- **论文**："VRSplat: Fast and Robust Gaussian Splatting for Virtual Reality"
|
||||
- 专门优化 VR 渲染的学术方案，解决了 VR 中的高斯球渲染痛点
|
||||
|
||||
---
|
||||
|
||||
## 四、VR 眼镜选型
|
||||
|
||||
### 根据 3DGS 渲染需求分类
|
||||
|
||||
3DGS 渲染对 GPU 要求极高（百万级高斯球实时排序+渲染），需要区分两种使用模式：
|
||||
|
||||
**A. PC VR 模式（推荐）**：VR 眼镜连接 PC，由 PC GPU 负责渲染
|
||||
**B. 独立 VR 模式**：VR 眼镜自带芯片渲染，性能受限
|
||||
|
||||
### 推荐设备
|
||||
|
||||
#### 🥇 方案 A：PC VR（最佳体验）
|
||||
|
||||
| 设备 | 价格（人民币） | 分辨率 | FOV | 连接方式 | 推荐理由 |
|
||||
|------|---------------|--------|-----|---------|---------|
|
||||
| **Meta Quest 3** | ¥3,500-4,000 | 2064×2208/眼 | 110° | WiFi串流/USB-C | 性价比之王，WebXR+PC串流都支持 |
|
||||
| **Meta Quest 3S** | ¥2,200-2,800 | 1832×1920/眼 | 96° | WiFi串流/USB-C | 预算有限首选，3 的降配版 |
|
||||
| **Pico 4 Ultra** | ¥3,500-4,000 | 2160×2160/眼 | 105° | WiFi串流/USB-C | 国行首选，售后好，国内生态完善 |
|
||||
| **Pico 4** | ¥1,800-2,500 | 2160×2160/眼 | 105° | WiFi串流/USB-C | 性价比之选 |
|
||||
| **Valve Index** | ¥6,000+ | 1440×1600/眼 | 130° | DP直连 | FOV最大，刷新率144Hz |
|
||||
| **HTC Vive Pro 2** | ¥7,000+ | 2448×2448/眼 | 120° | DP直连 | 分辨率最高，专业级 |
|
||||
| **Bigscreen Beyond 2** | ¥7,000+ | 2560×2560/眼 | 110° | DP直连 | 超轻(仅127g)，Micro OLED，极致画质 |
|
||||
|
||||
**PC VR 的关键**：GPU 决定体验，建议：
|
||||
- **最低**：RTX 3060 Ti（VR 模式约 26 FPS，可接受但不算流畅）
|
||||
- **推荐**：RTX 4070 Super 以上（流畅体验 60+ FPS）
|
||||
- **理想**：RTX 4080/4090（大场景也能流畅）
|
||||
|
||||
#### 🥈 方案 B：独立 VR（便捷但性能受限）
|
||||
|
||||
| 设备 | 价格 | 芯片 | 分辨率 | 3DGS 能力 | 备注 |
|
||||
|------|------|------|--------|-----------|------|
|
||||
| **Meta Quest 3** | ¥3,500 | Snapdragon XR2 Gen 2 | 2064×2208/眼 | ⚠️ 仅小场景 | 浏览器 WebXR 运行 PlayCanvas |
|
||||
| **Meta Quest 3S** | ¥2,200 | Snapdragon XR2 Gen 2 | 1832×1920/眼 | ⚠️ 仅小场景 | 同上 |
|
||||
| **Apple Vision Pro** | ¥25,000+ | M2 + R1 | 3660×3200/眼 | ✅ 较好 | Safari WebXR，芯片性能强 |
|
||||
| **Pico 4 Ultra** | ¥3,500 | Snapdragon XR2 Gen 2 | 2160×2160/眼 | ⚠️ 仅小场景 | 国行，浏览器支持 WebXR |
|
||||
|
||||
**独立模式的限制**：
|
||||
- 移动端 GPU 性能仅为 PC 的 1/10~1/5
|
||||
- 3DGS 场景必须大幅压缩（减少高斯球数量到数十万级）
|
||||
- 只能通过 WebXR 浏览器方案（PlayCanvas）
|
||||
- 大场景基本无法流畅运行
|
||||
|
||||
#### 🥉 方案 C：混合模式（Quest 串流 PC）
|
||||
|
||||
这是**性价比最优方案**：
|
||||
1. 购买 Meta Quest 3 / Pico 4 Ultra
|
||||
2. 独立使用时通过浏览器 WebXR 查看小场景
|
||||
3. 连接 PC 时通过 Steam Link / Air Link / Virtual Desktop 使用 RSR 等原生方案
|
||||
|
||||
**一台设备，两种模式，兼顾便携和性能。**
|
||||
|
||||
### 最终推荐
|
||||
|
||||
| 需求 | 推荐设备 | 理由 |
|
||||
|------|---------|------|
|
||||
| 💰 **预算优先** | Meta Quest 3S + PC | ¥2,200 起步，PC 串流体验完整 |
|
||||
| ⚖️ **性价比最优** | **Meta Quest 3 + PC（RTX 4070+）** | ¥3,500，独立+PC双模式 |
|
||||
| 🇨🇳 **国内首选** | **Pico 4 Ultra + PC** | 国行保修，国内售后完善 |
|
||||
| 🎯 **专业级** | Bigscreen Beyond 2 + PC（RTX 4090） | Micro OLED 极致画质 |
|
||||
| 🍎 **苹果生态** | Apple Vision Pro | 25K+，M2 芯片性能强，但贵 |
|
||||
|
||||
---
|
||||
|
||||
## 五、完整工作流
|
||||
|
||||
```
|
||||
拍照/录像 → 训练3DGS模型 → SuperSplat编辑优化 → VR显示
|
||||
↓ ↓ ↓ ↓
|
||||
手机/相机 gaussian-splatting superspl.at/editor ↓
|
||||
Polycam gsplat/nerfstudio 裁剪/压缩/清理 ↓
|
||||
Luma AI ↓ ↓
|
||||
导出 PLY/SOG ↓
|
||||
┌─────────┴──────────┐
|
||||
↓ ↓
|
||||
WebXR方案 原生方案
|
||||
(PlayCanvas) (RSR/Unity)
|
||||
↓ ↓
|
||||
Quest浏览器 PC + OpenXR
|
||||
(独立模式) (PC VR模式)
|
||||
```
|
||||
|
||||
---
|
||||
|
||||
## 六、关键参考链接
|
||||
|
||||
### 工具
|
||||
- SuperSplat Editor: https://superspl.at/editor
|
||||
- PlayCanvas Engine: https://playcanvas.com
|
||||
- RSR (Rapid Splat Renderer): https://github.com/warpgatelabs/RSR
|
||||
- Unity VR Viewer: https://github.com/clarte53/GaussianSplattingVRViewerUnity
|
||||
- VRSplat: https://github.com/Cekavis/VRSplat
|
||||
- Splatapult (C++ OpenGL): https://github.com/hyperlogic/splatapult
|
||||
|
||||
### 3DGS 训练
|
||||
- 原始实现: https://github.com/graphdeco-inria/gaussian-splatting
|
||||
- gsplat (CUDA 加速): https://github.com/nerfstudio-project/gsplat
|
||||
- Nerfstudio: https://github.com/nerfstudio-project/nerfstudio
|
||||
|
||||
### 数据来源
|
||||
- Polycam (拍照生成3DGS): https://poly.cam/gaussian-splatting/
|
||||
- Luma AI: https://lumalabs.ai
|
||||
|
||||
### 文档
|
||||
- PlayCanvas Gaussian Splatting: https://developer.playcanvas.com/user-manual/gaussian-splatting/
|
||||
- PlayCanvas XR: https://developer.playcanvas.com/user-manual/xr/
|
||||
- SuperSplat User Guide: https://developer.playcanvas.com/user-manual/gaussian-splatting/editing/supersplat/
|
||||
|
||||
---
|
||||
|
||||
## 七、总结建议
|
||||
|
||||
1. **如果你有 PC（RTX 4070+）**：买 Meta Quest 3 或 Pico 4 Ultra，用 RSR 渲染，体验最佳
|
||||
2. **如果只有笔记本**：Quest 3S 最低预算入门，通过 Steam Link 连笔记本
|
||||
3. **如果要给客户展示**：SuperSplat 编辑优化 → PlayCanvas WebXR 发布 → 发链接即可在 Quest 浏览器打开
|
||||
4. **3DGS 数据必须优化**：原始 PLY 文件太大，用 SuperSplat 裁剪+压缩后再用于 VR
|
||||
Reference in New Issue
Block a user