NVIDIA AIBOX 单目深度估计

English | 简体中文

Firefly 所推出的 NVIDIA 系列的 AIBOX 可实现深度估计，该技术是一种从单张或者多张图像预测场景深度信息的技术，广泛应用于计算机视觉领域，尤其是在三维重建、场景理解和环境感知等任务中起到了关键作用。

深度估计技术可以分为多目深度估计和单目深度估计。其中单目摄像头具有成本低、设备普及、图像获取方便等优势，使得单目深度估计技术备受关注‌。深度学习技术的快速发展也为单目深度估计提供了新的解决方案。

NVIDIA 系列 AIBOX

NVIDIA 核心模组的 AIBOX 可实现单目深度估计。该系列产品均搭载 NVIDIA 原装 Jetson Orin 核心板模组，可提供卓越的 AI 计算能力、大容量统一内存和全面的软件堆栈，能够以超高能效驱动最新的生成式 AI 应用。

	AIBOX-OrinNX	AIBOX-OrinNano
模组	Jetson Orin NX 16GB	Jetson Orin Nano 8GB
AI 性能	157 TOPS	67 TOPS
GPU	搭载 32 个 Tensor Core 的 1024 核 NVIDIA Ampere 架构 GPU	搭载 32 个 Tensor Core 的 1024 核 NVIDIA Ampere 架构 GPU
CPU	8 核 Arm Cortex - A78 64 位 CPU 2MB L2 + 4MB L3	6 核 Arm Cortex A78 64 位 CPU 1.5MB L2 + 4MB L3
DDR	16GB 128 位 LPDDR5 102.4GB/s	8GB 128 位 LPDDR5 68 GB/s
HDMI	4K@60Hz	4K@30Hz

FastDepth 是一种用于嵌入式系统的深度估计算法，其核心特点是其在速度和准确性之间的良好平衡，能够在资源有限的设备上运行，如智能手机或嵌入式系统。

网络框架：

为了减小模型体积，提高运算效率，让模型更适用于嵌入式设备，使用 NetAdapt 算法对 FastDepth 进行了裁剪。

网络裁剪：

$ git clone --recursive --depth=1 https://github.com/dusty-nv/jetson-inference

参考：https://github.com/dusty-nv/jetson-inference/blob/master/docs/building-repo-2.md

$ ./depthnet.py room_0.jpg output_room_0.jpg

1、自动驾驶：在自动驾驶汽车中，单目深度估计技术用于提供实时、低成本的深度信息，帮助车辆识别障碍物、道路标记和交通信号等，从而做出正确的驾驶决策‌。

2、机器人导航：在工厂、仓库和家庭等环境中，机器人需要精确的深度信息来识别障碍物并进行避障。单目深度估计技术可以为机器人提供实时的深度感知能力，提高其导航和操作的准确性‌。

3、增强现实（AR）：在增强现实应用中，单目深度估计技术提供精确的深度信息，使得虚拟内容能够更加自然地融入现实场景，提升用户体验‌。

4、安全监控：在安全监控领域，单目深度估计技术帮助监控系统识别出运动物体的距离和速度，提高监控的准确性和实时性‌。

5、虚拟现实和游戏：在虚拟现实和游戏中，单目深度估计技术为用户提供更加真实的沉浸式体验，通过精确的深度信息，游戏和虚拟现实场景中的物体可以呈现出更加逼真的透视效果‌。