这篇论文介绍了一个名为LIV-GaussMap的系统，这是一个集成了激光雷达（LiDAR）、惯性测量单元（IMU）和视觉（Visual）的多模态传感器融合系统，用于实时3D辐射场地图渲染。该系统通过不同的表面散射技术提高了映射的保真度、质量和结构精度。它利用LiDAR和视觉数据的互补特性来捕捉大规模3D场景的几何结构，并以高保真度恢复其视觉表面信息。 系统的核心贡献包括： 1. 使用LiDAR-惯性系统测量的高斯分布来构建场景中平面表面的密集、精确的地图结构。 2. 通过视觉派生的光度梯度来优化LiDAR-视觉地图的结构，使用球谐系数构建可微的椭球高斯，从而实现实时渲染和提高地图的准确性和真实感。 3. 通过引入可微椭球表面高斯来优化地图结构，解决了扫描过程中关键注入角度导致的点云分布不合理的问题，提高了地图的准确性。 4. 公开了相关的软件和硬件包以及自收集的数据集，以促进社区的发展。 论文还详细介绍了系统的方法论，包括使用自适应体素地图初始化LiDAR点云，利用光度梯度优化和球谐系数优化来细化地图结构，以及使用高斯云进行新视角图像合成。实验结果表明，该系统在室内和室外环境中都能有效地捕捉和存储多视角图像信息，提高了新视角渲染的性能。 此外，论文还进行了与现有技术的比较实验，包括与Plenoxel、F2-NeRF和3D高斯散射等方法的比较，以及对LiDAR结构优化的消融研究。实验结果表明，LIV-GaussMap在插值和外推任务中的性能均优于其他视觉方法，并且在结构重建方面也显示出优越性。 LIV-GaussMap：基于LiDAR-惯性-视觉融合的实时3D辐射场映射渲染 沈洪1,∗, 何俊杰2,∗, 郑新华2, 王和生4, IEEE高级会员，方浩5, IEEE会员， 刘康成2†, IEEE会员，郑春然3, 沈少杰1, IEEE高级会员 摘要 — 我们介绍了一个集成的精确LiDAR、惯性和视觉多模态传感器融合映射系统，该系统基于可微表面散射技术来提高映射的保真度、质量和结构精度。值得注意的是，这也是LiDAR-视觉-惯性传感器融合的一种新型紧密耦合地图形式。 该系统利用LiDAR和视觉数据的互补特性来捕捉大规模3D场景的几何结构，并以高保真度恢复其视觉表面信息。表面高斯场景的初始姿态是通过具有自适应尺寸的LiDAR-惯性系统获得的。然后，我们通过视觉派生的照片度梯度优化和细化高斯分布，以优化LiDAR测量的质量和密度。 我们的方法兼容各种类型的LiDAR，包括固态和机械LiDAR，支持重复和非重复扫描模式。通过LiDAR加强结构构建，促进了跨不同LIV数据集的实时逼真渲染的生成。它在生成实时逼真场景方面表现出显著的韧性和多样性，潜在应用于数字孪生和虚拟现实领域，同时也在实时SLAM和机器人领域具有潜在应用价值。 我们在Github3上发布了我们的软件和硬件以及自收集的数据集，以惠及社区。 索引术语 — LiDAR, 多传感器融合, 映射, 辐射场, 3D高斯散射。 I. 引言 同时定位与映射（SLAM）对于自主导航至关重要，它结合了未知环境的地图构建和代理位置的跟踪[2], [3]。传统的SLAM系统受限于单一传感器，如摄像头或LiDAR，面临光照敏感性或深度感知问题。多模态传感器融合在SLAM中通过整合摄像头、LiDAR和IMU的数据，提高了地图的准确性和鲁棒性[4]–[6]。这一领域的主要发展包括LiDAR-惯性视觉里程计和先进的融合技术如卡尔曼滤波器，以及显著的系统如LIC-Fusion, Camvox, LVI-SAM, R2LIVE, R3LIVE和FAST-LIVO，显著提高了SLAM的效率和精度[6]–[11]。 然而，现有的LiDAR-惯性视觉系统存在局限性，我们的方法通过LiDAR和视觉数据的互补特性，以高保真度恢复大规模3D场景的几何结构和视觉表面信息，展示了在生成实时逼真场景方面的显著韧性和多样性，这些场景可能用于数字孪生和虚拟现实，同时也在实时SLAM和机器人领域具有潜在应用价值。我们在Github上发布了我们的软件和硬件以及自收集的数据集，以惠及社区。 注：由于原文内容较长，以上为部分翻译。如果需要更多部分的翻译，请告知。 图2展示了香港科技大学广州校区C1楼的室内和室外场景的空中视角。与3D-GS [1]的基于视觉构建结构相比，我们的方法产生了一个没有伪影的更精细的结构。这种方法主要设计用于具有Lambertian表面的环境，基于假设环境在不同观察方向上表现出各向同性的光度特性。这些系统内的视觉信息通常表示为与3D点 [6]或彩色像素 [10] [11]相关的图像块。 在具有非Lambertian表面（如玻璃或反射金属）的环境中进行跟踪和映射是具有挑战性的，因为它们的反射特性会变化。克服这一点需要专门的传感器或算法来提高这些环境中的准确性。 最近在新视角合成方面的进展已经展示了从新视角生成令人印象深刻的照片级真实图像的能力。这些方法采用了隐式表示，如神经辐射场 [12]，或显式表示，如网格和有符号距离函数，包括新兴的3D高斯溅射技术 [1]。通过在保持视觉完整性的谐波球函数的同时重建场景的几何结构，这些方法能够创建高度真实的图像。 然而，在新视角合成领域，对高PSNR的关注往往忽略了地图结构，导致外推性能差，这对于机器人学至关重要。像COLMAP和SfM [13]这样的技术在低纹理场景中受到限制。多模态传感器融合可以改善这一点，提高几何精度并实现更密集、更精确的地图。 总的来说，本工作的主要贡献可以总结如下： •我们提出利用来自LiDAR-惯性系统的高斯分布测量来构建场景中平面表面的密集和精确地图结构。这种测量允许我们准确地表示表面特性并创建详细的地图。 •我们提出使用具有球谐系数的不同可微椭球高斯来构建LiDAR-视觉地图，这意味着从不同观察方向的视觉测量信息。这种方法能够实现实时渲染，具有照片级真实性能，增强地图的准确性和真实感。 •我们提出通过结合可微椭球表面高斯进一步优化地图结构，以解决扫描过程中关键注入角度导致的点云分布不合理的问题，解决点云分布不均或测量不准确的问题。 •所有相关的软件和硬件包以及自收集的数据集将公开提供，以造福社区。 据我们所知，这项研究是首次利用多模态传感器融合构建精确且照片级真实的高斯地图。通过将LiDAR-惯性系统的准确地图与视觉光度测量相结合，我们实现了对环境的全面和详细表示。 我们提出的方法已经在包括机械Ouster OS1-128、半机械Livox Avia和固态Realsense L515在内的不同类型LiDAR的多样化公共真实世界数据集上进行了严格的测试和验证。评估的场景包括室内和室外。实验结果证实了我们的算法在有效捕捉和存储多视角图像信息方面的有效性。这种能力使得新视角的渲染性能得到了提升。 II. 相关工作 A. 关于多模态传感器映射的相关研究 在机器人学领域，多模态传感器融合用于定位，如LiDAR-惯性视觉里程计，正在被广泛研究。LiDAR可以提供真实世界环境的准确几何测量，而相机提供环境的纹理和外观的详细2D图像。同时，惯性导航系统提供高频运动测量。整合这些传感器被认为是机器人应用的理想选择。在这个领域的许多工作，如LIC-Fusion [7]、R2LIVE [10]、LVI-SAM [9]、Camvox [8]、R3LIVE [11]和FAST-LIVO [6]，通过增强机器人的感知能力做出了显著贡献。 其中，R3LIVE [11]和FAST-LIVO [6]采用了紧密耦合的迭代误差状态卡尔曼滤波方法进行多模态传感器融合。它们提供了准确且实时的里程计，并生成彩色点云。 图3展示了地图构建过程。最初，场景的高斯分布是通过卡尔曼滤波的激光雷达-惯性系统得到的。场景中3D物体的表面通过激光雷达测量进行估计。高斯沿着表面扩展，形成初始的彩色点云。这进一步发展成为椭球体表面高斯。然后我们利用光度梯度增强高斯分布，得到优化的点云和优化的表面高斯。这个优化后的地图允许我们合成具有精确光度的新视图，并生成没有任何间隙的地图。 R3LIVE使用RGB彩色点云中的光度误差，而FAST-LIVO则利用来自不同视角的变形图像块，类似于SVO。这些方法突显了机器人学中多模态传感器融合的灵活性。基于LIV的SLAM系统可以生成高密度的彩色点云，用于逼真的可视化。然而，这些点云可能存在空洞，缺乏光度真实性。此外，对于各向异性、非朗伯体表面（如玻璃和金属），RGB值在不同视角下可能会变化，导致RGB点云地图模糊。在[14]中，提出了一种高效的LIO方法，采用具有平面特征的自适应体素，以改善场景映射和精确的激光雷达扫描注册。 在基于体素的映射和里程计方法的背景下，[11]和[6]使用固定大小的体素来映射世界，而[14]则构建具有自适应大小的体素。这些方法通过高斯分布来模拟场景中的表面，类似于用于计算机图形学和3D可视化中的新视图合成的表面溅射[1][15][16]。 B. 关于新视图合成的相关工作 新视图合成随着连续辐射场建模的进步而发展，使用显式表示如网格、点云、SDFs或隐式表示如NeRF[12]。这些方法与传统的基于离散点云的SLAM系统不同，通过将场景视为连续的、视角依赖的函数来创建更逼真的图像。Instant-NGP[17]通过其多分辨率网格结构进一步加速了这一过程，实现了实时渲染和更快的训练。Mip-NeRF 360[18]通过非线性参数化和新的正则化器解决了无界场景和采样问题。尽管使用神经网络进行高保真、低内存合成的隐式表示，但它们仍然计算密集。最近的工作集中在显式地图表示上，如使用球谐函数进行基于体素的体积密度表示。Yu等人[19]引入的PlenOctrees利用球谐函数进行体积渲染，从不同方向模拟光线，提供了一种紧凑高效的表示复杂3D场景的方法。Fridovich-Keil等人[20]提出的Plenoxels使用球谐函数表示场景为稀疏3D网格，通过梯度方法优化，无需神经网络，显著降低了计算需求，实现了比NeRF快100倍的实时渲染速度。基于Zwicker等人的表面溅射[16]的溅射渲染概念，通过Wang等人[21]的基于点的几何溅射的可微表面溅射，以及Zhang等人[15]在溅射中优化SH系数的梯度，最近，Kerbl等人[1]开发了一种方法，将空间物体表面模拟为各向异性高斯分布的溅射，从而实现从新视角合成图像。 III. 方法论 我们的系统如图4所示，集成了硬件和软件组件。硬件方面，它配备了硬件同步的激光雷达-惯性传感器和相机，确保激光雷达点云和图像捕获的精确同步，以实现准确的数据对齐和融合。软件方面，过程从激光雷达-惯性里程计[14]开始，使用自适应体素地图表示平面表面。激光雷达点云被分割成体素，计算平面的协方差以获得初始的椭圆形溅射估计。最后一步涉及利用来自不同视角的图像，通过光度梯度细化球谐系数和激光雷达高斯结构。这种方法产生了一个光度准确的激光雷达-视觉地图，提高了映射精度和视觉真实性。 LIV-GaussMap 设备设置 相机 @10Hz 激光雷达 @10Hz IMU @200Hz 更新球谐系数和结构 状态 传播操作流程梯度流 硬同步 关键帧选择器 光度优化 可学习球谐 求和 k 预测颜色Alpha混合 jW CT 当前RGB c所选关键帧 c 投影运动 未失真状态 估计 残差 计算 自适应大小体素地图 异步复制 地图 注册 检索预测 点云 当前姿态 和图像激光雷达-惯性视觉系统 自适应大小体素 3D协方差和SHs点 带有平面法线的点 表面估计和 平面约束 用于点的控制 前向 传播 初始化3D高斯 初始化3D高斯 Ij Ij图4. 图像左侧展示了传感器输入和我们的设备设置。它包括一个外部传感器组件，由同步的激光雷达-惯性传感器与相机配对。在右侧，我们展示了我们的算法流程，包括：1. 场景的初始表示是基于IESKF的激光雷达-惯性系统，使用自适应体素提供场景的初始高斯结构。2. 随后，我们通过光度梯度优化高斯结构和球谐系数。这涉及到使用图像计算光栅化损失，以进一步细化场景表示。 A. 使用激光雷达测量初始化高斯 最初，我们采用自适应体素来分割激光雷达点云，灵感来自[14]中讨论的八叉树方法。我们精心构建了一个细致的高斯表面。最初，我们应用自适应体素来分割激光雷达点云，类似于[14]中受启发的八叉树。我们的体素分割的自适应性是基于评估某个参数η，它作为判断体素内部是否有平面特征表面的标志。为了获得具有高斯表面法线向量的更精确地图，我们允许体素进一步细分为更细的级别。如果体素通过多次细分足够小，即使曲面也可以近似。 体素可以通过其平均位置p、法线向量n和协方差矩阵Σn,p来表征。 p=1 NNX i=1wpi 体素内的协方差Σn,p可以按以下方式计算，表示点wpi的分布： Σn,p=1 NNX i=1 T 我们把特征值λ表示为协方差Σn,p的法线向量n，这是假设的高斯平面[14]。相应的特征值λ表示高斯平面在每个方向上的分布。如果表示平面表面厚度的η仍然显著，就进行进一步的细分。 η=λminq λmid2+λ2 min+λmax2 分布矩阵Σn,p用于确定点云的近似形状和姿态，其中包含表面高斯的姿态。然而，为了无缝地将这些激光雷达点与周围点集成，并确保无孔比例缩放，保持原始数据的完整性，我们为每个点引入了一个缩放因子α，由点密度确定。这个缩放因子允许相应地重新缩放点。 Σwpi=αiΣn,p 我们用以下优雅的椭球高斯形式定义激光雷达点云的3D辐射场： G =e−1 2TΣwpi−1 B. 使用光度梯度优化球谐系数和地图结构 激光雷达-惯性系统提供的结构通过视觉光度梯度进一步细化，以增强映射。此外，我们利用类似于计算机图形中的高阶球谐，来描绘视图依赖的辐射表面。 我们使用二阶球谐[22]，每个高斯需要总共27个球谐系数。这是复杂性和准确性之间的平衡。通过优化激光雷达高斯的球谐系数，可以获得更逼真的地图，通过光度梯度实现。 世界坐标系中的点是wpi，LIV系统的姿 这段文字是一篇关于利用激光雷达（LiDAR）和惯性测量单元（IMU）系统进行三维建模和新视角合成的研究论文的一部分。以下是对这段内容的中文翻译： "Cnvi=wT−1 Cn·wpi ∥wT−1 Cn·wpi∥ θ= arccos Cnvizq Cnvi2 x+Cnvi2 y+Cnvi2 z  ϕ= arctan 2 球谐函数对观察方向敏感。 c =∞X ℓ=0ℓX m=−ℓkm ℓs 2ℓ+ 1 4π! !Pm ℓeimϕ 其中，Pm ℓeimϕ代表勒让德多项式。 如图3所示，这个LIV系统最初生成了一个密集的点云，每个点云由位置wpi、协方差矩阵ΣWpi、法向量n、颜色c和不透明度α组成。 因此，从世界坐标系到相机坐标系Cnat图像平面的LiDAR点云投影可以表示为： Cnqi=π 为了训练一个预测图像In的点云模型，我们采用了一个损失函数，由均方误差（MSE）组成，用于优化点云的结构和球谐系数，即 L= NX n=1X q∈R In−ˆIn +λLD-SSIM C. 3D高斯地图的自适应控制 LiDAR-惯性系统导出的结构并不完美。它可能在测量玻璃表面或扫描过度或不足的区域时遇到困难。 为了解决这些问题，我们采用结构细化来应对欠重建和过密情况。 在几何特征尚未良好重建的情况下，视空间内可能会出现明显的位移梯度。在我们的实验中，我们建立了一个预定义的阈值来识别需要加密的区域。我们复制邻近的高斯点，然后使用光度梯度优化来精确定位这些复制的高斯点以完成重建。 对于过密区域，我们定期评估其净贡献，如公式所示，并消除过度非必要的区域。这有效地减少了地图中的冗余点并提高了优化效率。 每个点的净贡献Aj i由以下公式确定： Aj i =αj ii−1Y k=1 其中，每个点的不透明度αj i使用以下公式计算： αj i =1√ 2πr2e−∥pj i−u∥2 2r2 为了提高效率，我们只考虑距离u特定最大距离内且不透明度显著的点。D. 使用高斯进行新视角合成 通过使用光栅化[16]从LiDAR生成的高斯云合成图像，可以通过以下方程进行alpha混合来合成图像的新视角： ˆIn =MX i=1Aj icj IV. 真实世界实验 如表I所示，四个评估数据集的详细设备配置被呈现。为了全面评估我们算法的有效性，我们特意在两个公开可访问的数据集和两个专有数据集上进行了测试，这些数据集涵盖了广泛的LiDAR模式。 具体来说，我们利用了FusionPortable数据集[23]，它具有重复扫描的LiDAR，以及FAST-LIVO数据集[6]，它包括来自公共来源的非重复LiDAR数据。与现有数据集相比，我们的数据集提供了在室内外环境中捕获的全面LiDAR模式，确保了硬件同步和准确的内在[24]和外在[25]参数校准。此外，我们还提供了点云形式的真实结构，以便于结构精度评估。对于我们的映射系统的执行，我们使用了一台由Intel Core i9 12900K 3.50GHz处理器和一块NVIDIA GeForce RTX 4090驱动的高性能台式电脑。 实验结果突出显示了一个优化良好的地图结构，超过了原始的新视角合成方法。 在接下来的部分中，我们进行了比较和消融实验来评估优化因素，这揭示了在PSNR和结构分数上都有显著的改进。 A. 与先前工作的新型视角合成评估 如图6所示，我们在真实世界数据集上评估了我们的映射系统在渲染质量方面的性能，与其他最先进的框架进行了比较，即Plenoxel[20]、F2-NeRF[3]和3d Gaussian splatting[1]。 如表II和图5所示的箱形图所示，我们的框架在插值PSNR方面取得了5dB的 表 I 测试数据集中激光雷达-惯性视觉系统的规格 数据集 FAST-LIVO [6] FusionPortable [23] 我们的设备 I 我们的设备 II 激光雷达设备名称 Livox Avia Ouster OS1-128 RealSense L515 Livox Avia 每秒点数 240,000 2,621,440 23,000,000 240,000 扫描机制 机械式，非重复 机械式，重复 固态，非重复 范围 3 m−450 m 1 m−120 m 9 m -25 m 3 m−450 m 视场角 70.4°×77.2° 45°×360° 70°×55° 70.4°×77.2° IMU BM1088 ICM20948 BMI085 BMI088 相机设备名称 MV-CA013-21UC FILR BFS-U3-31S4C RealSense L515 MV-CA013-21UC 快门模式 全局快门 全局快门 滚动快门 全局快门 分辨率 1280×1024 1024×768 1920×1080 1280×1024 视场角 72°×60° 66.5°×82.9° 70°×43° 72°×60° 同步 ✓ ✓ ✓ ✓ 结构真实性 × ✓ ✓ ✓ 数据集序列 HKU_LSK HKU_MBHKUST_indoor UST_RBMSUST_C2_indoor UST_C2_outdoor 表 II 我们的方法与先前工作的定量评估 PSNR[dB] ↑ SSIM↑ LPIPS↓ PSNR↑ SSIM↑ LPIPS↓ Plenoxel [20] 26.744 0.844 0.452 12.916 0.628 0.575 Mip-NeRF-360 [18] 28.446 0.820 0.444 19.213 0.726 0.526 F2-NeRF [26] 32.556 0.941 0.193 19.100 0.764 0.387 3d Gaussian Splatting [1] 31.900 0.913 0.241 15.112 0.647 0.503 我们的方法 32.787 0.926 0.190 19.220 0.803 0.331 Plenoxel Mip-NeRF-360 F2-NeRF 3D-GS 我们的方法25303540PSNR[dB]PSNR Plenoxel Mip-NeRF-360 F2-NeRF 3D-GS 我们的方法102030PSNR[dB]PSNR 图 5. 这个箱线图展示了领先方法和我们的方法在插值和外推方面的性能比较，通过PSNR值来衡量。 B. 基于激光雷达结构的渲染性能消融研究 基于上述实验，我们发现3D高斯散射表现出显著的竞争力。因此，我们后续的实验将主要围绕比较3D高斯散射技术和我们的激光雷达辅助高斯结构构建方法。如表 III 所示，为了验证我们算法的有效性，我们逐步集成了我们的优化方法，并监测了相应的PSNR变化。 我们设计了几种比较实验作为消融分析的案例。 案例 I: 实施3D-GS作为基线。案例 II: 激光雷达初始化高斯，显示地图重建 插值 外推 GT Mip-NeRF 360 3D-GS F2-NeRF Plenoxel 我们的方法 3D-GS 我们的方法Plenoxel 插值 外推 GT Mip-NeRF 360 3D-GS F2-NeRF Plenoxel 我们的方法 3D-GS 我们的方法Plenoxel GT Mip-NeRF 360 F2-NeRF 图 6. 我们提出了一个全面比较我们提出的方法和最先进技术的方法，展示了合成新视角的插值和外推结果。上排展示了插值视角，而下排展示了外推视角合成。 表 III 地图结构优化的消融研究 指标 方法 HKU_MB HKU_LSK UST_C2_outdoor UST_C2_indoor UST_RBMS 平均值 PSNR[dB] ↑ 案例 I 24.390 31.222 31.843 31.721 31.663 30.168 案例 II 24.341 25.964 31.983 29.625 30.211 28.425 案例 III 24.240 31.045 33.229 31.975 31.047 30.307 案例 IV 25.140 31.597 33.644 32.726 31.277 30.877 SSIM ↑ 案例 I 0.793 0.798 0.897 0.916 0.872 0.856 案例 II 0.814 0.780 0.895 0.891 0.864 0.849 案例 III 0.809 0.804 0.909 0.918 0.868 0.862 案例 IV 0.825 0.805 0.916 0.926 0.870 0.868 LPIPS ↓ 案例 I 0.316 0.277 0.115 0.219 0.338 0.253 案例 II 0.304 0.292 0.147 0.219 0.358 0.264 案例 III 0.301 0.273 0.101 0.195 0.349 0.244 案例 IV 0.296 0.259 0.094 0.190 0.341 0.236 PSNR[dB] ↑ 案例 I 15.144 23.831 24.426 18.657 23.868 21.185 案例 II 16.503 22.400 25.653 20.511 23.792 21.772 案例 III 16.178 24.821 25.047 18.964 24.879 21.978 案例 IV 16.530 24.808 25.912 19.220 25.545 22.403 SSIM ↑ 案例 I 0.403 0.680 0.570 0.766 0.849 0.654 案例 II 0.441 0.657 0.674 0.771 0.847 0.679 案例 III 0.451 0.686 0.612 0.775 0.848 0.675 案例 IV 0.470 0.684 0.648 0.801 0.851 0.691 LPIPS ↓ 案例 I 0.530 0.402 0.307 0.370 0.389 0.399 案例 II 0.494 0.355 0.302 0.314 0.393 0.372 案例 III 0.482 0.356 0.314 0.341 0.382 0.375 案例 IV 0.479 0.348 0.275 0.336 0.371 0.362 成本时间[min] 案例 I 26m9s 16m58s 24m16s 14m15s 20m43s 20m28s 案例 II 34m14s 17m3s 25m55s 17m38s 24m5s 23m47s 案例 III 19m37s 14m19s 16m26s 12m20s 18m54s 16m19s 案例 IV 18m19s 13m41s 16m33s 13m4s 18m46s 16m5s 没有视觉优化。案例 III：通过光度梯度优化点云分布，增强案例 II，提高地图精度和鲁棒性。案例 IV：进一步使用光度梯度进行高斯姿态优化，提升地图质量。 比较案例 I 和 II，激光雷达的性能随场景复杂度变化。在复杂结构如 "HKU_MB" 中，激光雷达的精度降低，可能会降低 PSNR。在更简单的场景如 "UST_C2_outdoor" 中，激光雷达能够实现精确估计，特别是在外推任务中增强 PSNR。在案例 III 中，优化点云分布加快了过程，但可能会 V. 结论 我们提出了一种基于LiDAR-惯性视觉融合的实时3D辐射场映射系统，该系统利用LiDAR-惯性视觉多模态传感器的融合。我们的方法利用了LiDAR精确的表面测量能力，结合LiDAR-惯性系统中固有的自适应体素特征，实现了快速的初始场景结构获取。然而，在LiDAR扫描过程中不可避免地会遇到关键的入射角，这可能导致点云分布不合理或测量不准确。为了解决这个问题，我们利用从视觉观测中导出的光度梯度进一步优化LiDAR结构，从而提高PSNR性能。此外，我们提出的LiDAR-视觉地图无缝集成了来自所有视角的LiDAR测量和视觉观测，提供了实时渲染能力。通过广泛的现实世界实验，我们一致证明了我们的算法实现了优越的几何结构。此外，它生成的新视角图像在PSNR上优于其他最先进的基于视觉的方法，无论是对于外推还是插值姿态。 参考文献 [1] B. Kerbl, G. Kopanas, T. Leimkühler, 和 G. Drettakis, “3d gaussian splatting for real-time radiance field rendering,” ACM Transactions on Graphics, vol. 42, no. 4, pp. 1–14, 2023. [2] K. Liu 和 M. Cao, “Dlc-slam: A robust lidar-slam system with learning-based denoising and loop closure,” IEEE/ASME Transactions on Mechatronics, 2023. [3] Q. Xu, Z. Xu, J. Philip, S. Bi, Z. Shu, K. Sunkavalli, 和 U. Neumann, “Point-nerf: Point-based neural radiance fields,” in Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2022, pp. 5438–5448. [4] K. Liu 和 H. Ou, “A light-weight lidar-inertial slam system with high efficiency and loop closure detection capacity,” in 2022 International conference on advanced robotics and mechatronics. IEEE, 2022, pp. 284–289. [5] K. Liu, “A robust and efficient lidar-inertial-visual fused simultaneous localization and mapping system with loop closure,” in 2022 12th international conference on CYBER technology in automation, control, and intelligent systems. IEEE, 2022, pp. 1182–1187. [6] C. Zheng, Q. Zhu, W. Xu, X. Liu, Q. Guo, 和 F. Zhang, “Fast-livo: Fast and tightly-coupled sparse-direct lidar-inertial-visual odometry,” in 2022 IEEE/RSJ International Conference on Intelligent Robots and Systems. IEEE, 2022, pp. 4003–4009. [7] X. Zuo, P. Geneva, W. Lee, Y. Liu, 和 G. Huang, “Lic-fusion: Lidar-inertial-camera odometry,” in 2019 IEEE/RSJ International Conference on Intelligent Robots and Systems. IEEE, 2019, pp. 5848–5854. [8] Y. Zhu, C. Zheng, C. Yuan, X. Huang, 和 X. Hong, “Camvox: A low-cost and accurate lidar-assisted visual slam system,” in 2021 IEEE International Conference on Robotics and Automation. IEEE, 2021, pp. 5049–5055. [9] T. Shan, B. Englot, C. Ratti, 和 D. Rus, “Lvi-sam: Tightly-coupled lidar-visual-inertial odometry via smoothing and mapping,” in 2021 IEEE international conference on robotics and automation. IEEE, 2021, pp. 5692–5698. [10] J. Lin, C. Zheng, W. Xu, 和 F. Zhang, “R2 live: A robust, real-time, lidar-inertial-visual tightly-coupled state estimator and mapping,” IEEE Robotics and Automation Letters, vol. 6, no. 4, pp. 7469–7476, 2021. [11] J. Lin 和 F. Zhang, “R3live: A robust, real-time, rgb-colored, lidar-inertial-visual tightly-coupled state estimation and mapping package,” in 2022 International Conference on Robotics and Automation. IEEE, 2022, pp. 10 672–10 678. [12] B. Mildenhall, P. P. Srinivasan, M. Tancik, J. T. Barron, R. Ramamoorthi, 和 R.