扩散模型在毫米波雷达点云生成中的应用综述

引言

毫米波雷达（mmWave radar）因其在雨、雾、雪等恶劣天气下的稳定感知能力，近年来在自动驾驶和机器人领域受到高度关注。相较于光学传感器（如摄像头、LiDAR），毫米波雷达具备抗环境干扰的显著优势。然而，毫米波雷达点云数据也存在固有缺陷：一方面，受多路径反射、散射等影响，其回波中常混入大量杂波和虚假点（“鬼点”），导致点云 杂乱；另一方面，由于天线孔径和信号处理限制，雷达点云相对于LiDAR 极度稀疏，缺乏详细的几何信息。上述问题使得毫米波雷达在高精度感知任务中的独立应用受限，往往只能作为辅助传感器。

针对提高毫米波雷达点云质量这一挑战，研究者将扩散模型（Diffusion Model）引入该领域，期望通过生成式方法实现雷达点云的超分辨率重建与去噪增强。扩散模型近年在图像生成和超分辨率等任务上屡创佳绩，其逐步去噪迭代过程可从噪声中恢复高质量数据。对于噪声多、稀疏性的毫米波雷达点云，这种强大的生成能力被认为非常契合需求。本综述将围绕扩散模型生成毫米波雷达3D点云的最新研究进展展开，包括典型应用场景、技术路线、开源资源以及与LiDAR数据生成的对比分析。

扩散模型生成毫米波雷达点云的研究现状

近年来，多项研究工作探索了利用扩散模型来生成或增强毫米波雷达点云，以提升自动驾驶感知的性能，特别是在目标检测、场景重建以及雨雾等恶劣条件下的鲁棒感知方面。下面归纳几项具有代表性的研究：

• 基于Range Image的雷达点云超分辨率（Wu等人，2025）：Wu等提出将毫米波雷达点云投影为深度图（Range Image）表示，并结合预训练的图像扩散模型来增强点云。该方法创新性地利用了与人类视觉一致的Range Image作为中间表征，使毫米波雷达数据形式接近自然图像，从而充分迁移大规模图像扩散模型的先验知识。训练过程中，以高精度LiDAR点云生成的Range Image作为监督，让扩散模型学会从噪声中还原出高质量的雷达Range Image。推理时，模型以毫米波雷达的多通道Range Image为条件，从纯高斯噪声迭代生成清晰的Range Image，再反投影回三维得到致密雷达点云。实验证明该方法可生成与LiDAR相近的稠密点云，在ColoRadar等数据集上将毫米波雷达单帧点云的密度和准确度显著提升。

• 跨模态扩散的雷达点云增强（Zhang等人，2024）：Zhang等将毫米波雷达感知问题视作图像恢复任务。他们使用毫米波雷达的距离-方位二维矩阵(RAH)作为输入表示，目标输出为对应场景的LiDAR 俯视深度图（BEV Bird’s Eye View）。模型采用条件扩散架构，将雷达RAH作为条件，引导扩散模型从噪声生成高质量的LiDAR BEV图。训练时通过雷达-激光配对数据进行跨模态学习，让模型学会将稀疏噪声的雷达表示映射为稠密精准的激光表示。此外，作者引入了一步生成的一致性模型加速采样，实现了单步生成LiDAR级点云。该方法在公开数据集上取得了新的精度纪录，可生成接近LiDAR精度的雷达点云。值得一提的是，这一工作特别针对微型无人车（MAV）在视觉受限环境中的导航需求，证明了在极端光照条件下，利用扩散增强的雷达点云可获得与LiDAR相当的建图与感知效果。

• Radar-Diffusion点云超分辨率（Luan等人，2024）：Luan等提出“Radar-diffusion”框架，用于毫米波4D成像雷达点云的超分辨率增强。他们将原始雷达点和对应LiDAR点云都转换为二维的俯视栅格图(BEV)表示，并编码高度信息形成多通道影像。在此基础上，构造了均值回归随机微分方程（SDE）形式的前向/逆向扩散过程：前向过程模拟从高质量LiDAR BEV退化到稀疏雷达BEV的噪声添加；逆向过程则由一个基于U-Net的神经网络估计得分函数，逐步去噪还原出高分辨率BEV。特别地，作者设计了关注有效目标区域与空白区域的双重损失，以平衡训练中真实目标和背景空隙的生成效果。此外，通过将连续5帧雷达数据对齐融合作为输入，提高了点云稠密化的可靠性。实验在View-of-Delft (VoD)和RadarHD数据集上进行，Radar-diffusion在Fréchet距离、Chamfer距离等指标上明显优于以往方法。增强后的点云在下游配准、检测等任务中表现出更高的精度和鲁棒性。

• 其他扩散模型应用：除了点云重建增强，扩散模型也被用于毫米波雷达感知的其他任务。例如，mmDiff模型将人体姿态估计转化为扩散生成问题，利用毫米波雷达点云估计稳定精确的3D人体关键点（该方法将雷达信息作为条件，引导扩散模型生成符合雷达观测的骨架姿态）。又如，Wu等（2024）将扩散模型嵌入雷达-摄像头3D目标检测框架中，通过在特征提取阶段对齐雷达点云与图像，并对雷达特征施加扩散去噪，有效缓解了雷达数据的稀疏和歧义，提高了小目标和远距离目标的检测性能。值得注意的是，这种方法不依赖LiDAR监督，在nuScenes大型数据集上实现了新的检测精度SOTA，体现了扩散模型在雷达异质传感融合中的潜力。

以上研究表明，扩散模型在毫米波雷达点云的生成式增强方面展现出优异表现。通过将毫米波雷达数据表示转换为适合扩散模型处理的格式（如Range Image或BEV图）、结合跨模态或多帧信息作为条件，扩散模型能够去除雷达噪声点、补全缺失结构，生成接近LiDAR质量的稠密点云。这极大地拓宽了毫米波雷达在自动驾驶感知中的应用前景，使其在恶劣天气下也能提供高精度的环境感知。表1汇总了部分代表性研究及其核心技术方案。

表1：代表性毫米波雷达点云生成扩散模型研究一览

注：以上列举了不同代表性方法的核心特点和技术指标，其中部分开源项目及数据集可在GitHub或公开论文附录中获取。

技术路线与方案综述

扩散模型用于毫米波雷达点云生成通常遵循以下技术路线：首先，将雷达原始数据转换为适合扩散模型处理的表示形式；然后，设计神经网络架构实现扩散过程（通常为U-Net骨干，结合时空注意力或Transformer模块）；接着，采用特定的训练策略（如条件扩散、连续SDE建模等）进行模型训练；最后，执行必要的配准与后处理将生成结果还原为3D点云。下面对这些环节分别加以概述：

数据表示与输入格式

输入数据格式直接影响扩散模型的效果。毫米波雷达原始输出可包括目标点列表（含距离、方位、速度等信息）或雷达数据张量（如距离-多普勒频谱）。直接在不规则的点云空间应用扩散较为困难，因此现有工作多将雷达点云栅格化为二维图像形式：

• Range-Azimuth Heatmap (RAH)：将雷达探测单位按照方位角和距离映射到二维网格，像素值表示目标反射强度。RAH保留了雷达原始测角分辨率和强度信息，但由于包含多普勒维度且人眼不直观，直接用于扩散模型时效果有限。

• Bird’s Eye View (BEV)投影：将雷达点在地平面投影形成俯视平面图，每个网格记录是否有目标或目标高度等。BEV图直观表示地面目标分布，常用于检测任务。然而BEV忽略了仰角信息，无法体现高度结构，且对稀疏点云而言很多网格为空，给扩散模型带来挑战。

• Range Image（深度图）：以雷达自身为坐标系，将点云按照水平角度和垂直角度排列成二维图像，像素值为距离。这种表示与LiDAR的扫描深度图类似，每行对应雷达俯仰角，每列对应方位角。Range Image充分保留了三维几何结构和稠密的像素网格，是一种对人类和扩散模型都更自然直观的表示。Wu等就采用多通道Range Image作为扩散模型的输入代理。此外，通过将雷达点云按距离分层形成多通道深度图，可以一定程度缓解单层深度图的遮挡问题。

• 多帧融合表示：为弥补单帧雷达点云的极端稀疏性，一些方法将时间序列上的多个帧配准叠加，提高有效点密度。例如Radar-diffusion将前后5帧雷达点经过位姿对齐后融合为输入BEV影像，提供了更丰富的环境上下文，有助于模型辨别真杂波与静态结构。

除了上述常见表示，也有研究融合雷达其他维度信息作为输入条件：如雷达的多普勒速度图、反射强度图等，以丰富网络感知的要素。总体而言，选择合适的数据表示（尤其是充分包含三维结构的图像表示）是扩散模型成功应用于雷达点云生成的关键第一步。

模型结构与扩散生成过程

在网络架构上，主流方法大多采用基于U-Net的扩散网络。U-Net结构通过下采样-上采样路径提取多尺度特征，并可方便地融合条件信息（例如将雷达观测作为条件输入到中间层）。具体而言：

• 时域离散扩散模型 (DDPM)：许多工作沿用DDPM框架，逐步向数据添加噪声并训练模型学习逆过程。网络以U-Net为骨干，将时间步编码以及条件信息拼接入特征，预测每步噪声或直接预测洁净数据。在雷达点云应用中，模型通常以条件形式接入雷达观测（如RAH、Range Image等），即学习 $p(x_0 | \text{radar})$ 的生成。Zhang等的跨模态扩散和Wu等的Range Image扩散均属于此类，只不过Wu等充分利用了预训练的图像扩散模型作为初始化，提升了生成质量。DDPM的一个局限是逐步采样开销较大，因此Zhang等结合了一致性蒸馏技术，将原需多步的扩散简化为单步生成，大幅加快了推理速度。

• 连续时间扩散模型 (Score-Based SDE)：也有工作采用连续扩散的得分网络方法。Luan等引入了 Ornstein–Uhlenbeck 类型的均值回复随机过程对LiDAR BEV到雷达BEV的退化进行建模。他们训练一个U-Net去近似该连续扩散过程的得分函数（即数据梯度），通过数值解SDE的逆方程来采样高质量点云。这种方法等价于DDPM的无限小步长情形，在理论上保证了生成分布的准确性，但实现上需要解决训练稳定性和采样效率问题。Radar-diffusion使用了自适应的SDE解算和特定损失设计，成功将该方法应用于实际数据并获益于其生成质量提升。

• 条件与控制策略：无论离散或连续扩散，条件扩散是毫米波雷达点云生成的普遍选择，即模型生成过程受控于雷达当前观测。在实现上，条件信息可在网络编码阶段融合（如将雷达图像与噪声输入拼接）或在解码过程中引入（如通过交叉注意力将条件特征注入U-Net中间层）。例如，Wu等通过多通道雷达Range Image条件，使扩散模型以该条件为“指南”恢复对应场景的Range Image。Zhang等的方法则将雷达RAH与LiDAR BEV成对训练，使网络在条件RAH下学习生成配对的LiDAR BEV。此外，Wu等在扩散网络中嵌入语义先验，将来自摄像头的特征用作指导，以提升目标区域的生成可信度。总的来说，跨模态条件融合（雷达+摄像头/IMU/LiDAR）和时序条件融合（多帧雷达）是提高生成点云质量的有效手段。

• 网络模块与注意力：在U-Net骨干中，不少方法加入了自注意力（Self-Attention）或Transformer模块来捕捉全局相关性。例如在高分辨率特征层使用自注意力，以便模型在去噪时考虑到不同空间位置点的关联。这对雷达点云这样的稀疏数据尤其重要，可避免生成孤立无关联的点。部分研究还使用了Transformer编码器作为条件分支，将多视角特征提取后送入扩散U-Net。总体来看，扩散模型的网络设计延续了图像扩散领域的成熟架构，并针对点云任务进行适当调整（如多输入分支、高维注意力等）。

配准与后处理

由于毫米波雷达往往与其他传感器（LiDAR、相机）配合使用，数据配准与对齐是训练此类扩散模型的前提。典型做法是在数据集中提供严格时间同步和空间标定的雷达与LiDAR数据。研究者通常采用KITTI等格式将不同传感器点云转换到同一坐标系下，以获得逐帧对应的雷达表示和LiDAR真值。例如，Zhang等使用ColoRadar数据集时，将毫米波雷达的RAH与同时刻LiDAR的BEV通过已知外参进行投影对齐，以确保网络输入的雷达图像与监督的LiDAR图像在空间上一一对应。Wu等的方法也强调了雷达与LiDAR Range Image在时空上的严格对齐，否则模型难以学习二者的映射关系。

在推理阶段，扩散模型生成的中间表示（如Range Image或BEV图）需要转换回三维点云。这通常通过反投影实现：对于Range Image，直接根据像素的距离和对应角度算出3D坐标；对于BEV高程图，可将每个栅格的高度信息转化为地面坐标系下的点。同时时需要过滤无效点和残余噪点。扩散模型尽管学会了去噪，但仍可能生成少量不合理点。例如，Wu等在将增强Range Image反投影后，会结合原始雷达数据的遮挡关系剔除明显越墙的“透视”点，以避免生成伪影。Luan等的方法则在生成过程中已经通过专门的损失抑制了空白区域的噪声点。若有必要，下游还可对生成点云执行聚类滤波（例如DBSCAN去除孤立点）来进一步清理。

此外，在多帧融合情境下，需考虑运动补偿问题：当输入包含来自连续多帧的点云时，必须使用雷达或车辆的位姿信息先将点云变换到同一参考帧下。这通常借助里程计/IMU的数据完成。如果对动态物体进行增强，还需要更复杂的运动配准或光流算法来对齐运动目标，否则多帧融合会产生重影。

综上，精确的雷达-LiDAR数据配准、适当的结果滤波与坐标变换，是保证扩散模型生成结果在实际3D场景中可用的必要步骤。许多研究在论文附录中提供了数据预处理和后处理的细节及代码，方便复现他们的配准流程。

开源项目、代码和数据资源

扩散模型在毫米波雷达点云上的研究热度上升，也催生了相关开源代码库和数据集的发布：

• 开源代码项目：ZJU FAST实验室发布了Radar-Diffusion开源库（对应Zhang等RA-L 2024论文），包含预训练模型、一键推理脚本等，可实现毫米波雷达点云一步生成LiDAR点云的功能。同样地，Ruixu Geng等人为他们提出的DREAM-PCD方法提供了官方实现（GitHub: ruixv/DREAM-PCD），包括数据集RadarEyes的工具和增强算法代码。另有Akarsh Prabhakara等的RadarHD项目代码公开在GitHub上，实现了基于U-Net的毫米波雷达高分辨点云生成算法，是Radar-Diffusion等工作的早期参考基线。

• 公开数据集：高质量的数据集对于训练和评估扩散模型至关重要。以下是几个常用或新近推出的毫米波雷达相关数据集：

  • ColoRadar：科罗拉多大学发布的毫米波雷达数据集，包含52段序列，涵盖矿井、室内走廊和户外道路等场景，总计145分钟的同步3D FMCW雷达+3D激光+IMU数据。ColoRadar提供了标定和评估工具，被Radar-Diffusion等工作用来作为雷达-LiDAR配对训练数据源。
  • View-of-Delft (VoD)：由荷兰代尔夫特理工提供的自动驾驶多传感器数据集，包括8600余帧同步的Velodyne 64线LiDAR、立体相机以及ZF 3+1D成像雷达数据。VoD中特有的新型成像雷达提供了更密集的点云（带速度信息），Luan等在其工作中使用该数据集验证了算法对不同雷达硬件的通用性。
  • RadarHD Dataset：卡内基梅隆大学等发布，与RadarHD方法配套，采集了低成本单芯片雷达在室内外的点云数据，用于验证雷达生成点云在看穿遮挡场景下的应用。该数据集注重雷达点云与真实环境的配准，为扩散模型评估提供了多样场景。
  • RadarEyes：清华大学团队构建的大规模室内毫米波雷达数据集，包含超过100万帧数据。RadarEyes使用两台正交放置的单芯片雷达并辅以LiDAR和相机，提供了丰富的角度覆盖和传感器交叉参考，用于DREAM-PCD等方法的训练。其多雷达配置对扩散模型来说也是潜在的更高难度实验平台（需要融合多雷达的信息）。
  • 其他数据资源：自动驾驶领域已有的一些数据集也包含毫米波雷达信息，例如nuScenes数据集提供了每辆车5个雷达的点云（每帧约数十个点），主要用于目标检测评测；Oxford Radar RobotCar数据集使用了Navtech成像雷达记录城市道路，但其雷达是2D平面扫描类型，数据格式与上述FMCW点云有所差异。还有Astyx高分辨雷达数据集、丰田提供的RadarScenes等，涵盖不同环境下雷达点云及目标标注。这些数据集为研究提供了多样的数据来源，不过并非都附带对应LiDAR用于监督训练，需要视具体任务选择。

• 模拟与仿真工具：在现实数据之外，一些开源仿真框架可用于生成虚拟雷达点云以扩充训练数据或测试算法鲁棒性。例如，CARLA模拟器自带基础的雷达传感器模型，可以输出模拟的雷达检测结果（包含距离、方位和速度）供研究人员转换为点云使用。此外，UCSD等提出了Shenron / C-Shenron框架，将高保真雷达传感模型集成进CARLA中。该框架利用场景中的高精度LiDAR点云和相机图像来生成逼真的毫米波雷达多视角回波，从而得到接近真实的点云模拟数据。仿真工具允许控制天气、交通等参数，在极端场景下大量生成带标注的雷达点云数据，对于训练扩散模型提升雨雾等条件下的泛化能力很有价值。不过需要注意模拟与真实之间的差异，通常扩散模型训练仍以真实数据为主，仿真数据作为辅助。

综上，当前社区已经积累了一批可供利用的代码和数据资源，使研究者能够更便捷地复现并改进毫米波雷达点云的扩散生成方法。在GitHub上也出现了一些汇总资源的项目（例如awesome-radar-perception和awesome-diffusion-models列表），方便查找相关论文、代码和数据。

与LiDAR点云生成的对比研究

毫米波雷达与激光雷达都是产生点云的主动传感器，但在数据特性和生成任务上存在显著差异。这也导致了基于扩散模型的生成方法在两者上的技术侧重不同：

• 数据密度与细节：激光雷达点云密集且具有明确的物体轮廓，而毫米波雷达点云稀疏且充满噪声。扩散模型在LiDAR点云生成中常用于真实场景合成，即在已有大量真实LiDAR数据基础上，无监督地学习其分布并生成新样本。例如，有研究提出LiDAR扩散模型 (LiDM)，将64线激光雷达扫描转换为Range Image或体素表示，再通过潜空间扩散生成逼真的新场景点云。这些模型关注的是生成样本的多样性和保真度，需要确保生成点云在几何结构上合理，如建筑物、车辆的形状完整。这方面扩散模型的优势在于稳定训练和逐步细化，使生成的LiDAR场景在统计上与真实数据分布接近。

• 任务定位差异：毫米波雷达点云生成更多是一个有监督的增强/重建任务，即利用高质量传感器（LiDAR、相机等）作为教师，提升雷达点云质量。因此雷达扩散模型更像是执行点云超分辨率或去噪，评价指标侧重于与真值的接近程度（如Chamfer距离、Hausdorff距离等)。而LiDAR点云生成通常是无监督的生成建模，用于数据扩充或仿真，评价时除了统计指标（FID分数等），有时还会检查下游任务效果，如检测器在合成数据上的表现。两者虽然都可以使用扩散模型，但训练范式截然不同：一个是条件扩散（有条件约束），一个是无条件或弱条件扩散。

• 模型架构与表示：由于LiDAR点云本身足够稠密，不少LiDAR生成方法直接对Range Image或分块的深度图应用扩散。例如RangeLDM通过VAE将LiDAR深度图压缩到潜编码，再用扩散模型在潜空间生成，从而快速采样出新点云。同时，为保持LiDAR三维结构，一些工作会引入判别器或对象级约束确保生成点云中物体的形状正确。相比之下，毫米波雷达点云扩散几乎都需要依赖外部输入（雷达当前帧观测）才能生成有意义的结果——单独依靠模型“想象”一个毫米波雷达场景是很困难的，因为信息太少且歧义大。因此，雷达扩散模型更强调多源数据融合（跨模态、跨时间），而LiDAR扩散更强调高维数据的高效表示和采样（如利用潜变量加速生成）。

• 评价指标：LiDAR点云生成的评价近年来发展出一些感知层面的指标。比如Chen等提出了Fréchet Point Cloud Distance的变体，使用预训练的分割网络提取特征来计算生成点云与真实点云的距离。毫米波雷达点云增强则更多采用几何指标和下游性能，如Chamfer距离降低了多少，检测AP提高了多少等。此外，对于雷达点云中特有的鬼点去除和真实新点生成，目前缺乏专门定义的指标，通常通过可视化和任务效果来侧面评估。

值得一提的是，一些研究开始同时生成雷达与LiDAR点云或者比较两者的生成结果。例如RF-Genesis工作探索了利用多模态扩散模型零样本生成视觉场景和对应毫米波雷达数据，以评估跨模态泛化能力。虽然该方向尚在起步，但随着扩散模型的灵活性提高，将来有可能出现统一的生成框架，同时适用于LiDAR和雷达，通过共享表示和差异化细节生成来提升多传感器模拟的逼真度。

结语

综上所述，扩散模型为毫米波雷达点云的数据增强与生成提供了有力工具。通过精巧的输入表示选择和跨模态条件融合，扩散模型克服了雷达点云稀疏杂乱的固有难题，在自动驾驶感知任务中实现了前所未有的点云质量提升。当前已有多种架构和方案证明了扩散模型在雷达点云超分辨率、去噪以及辅助目标检测等方面的价值。伴随更多开源数据和代码的出现，这一领域有望迅速发展。未来研究方向包括：利用时间序列信息进一步增强动态场景一致性、探索更高效的实时生成以适应车载计算限制、以及发展统一模型生成多模态传感器数据。借助扩散模型的强大生成能力，毫米波雷达在自动驾驶中的角色有望从辅助提升为可靠的主力感知，在各种环境下保障车辆对周围世界的“看见”与“看清”。

参考文献：

1. 【1】Ruixin Wu et al. “Diffusion-Based mmWave Radar Point Cloud Enhancement Driven by Range Images”, arXiv preprint arXiv:2503.02300, 2025

2. 【2】Ruibin Zhang et al. “Towards Dense and Accurate Radar Perception Via Efficient Cross-Modal Diffusion Model”, IEEE RA-L 2024

3. 【3】Kexin Luan et al. “Diffusion-Based Point Cloud Super-Resolution for mmWave Radar Data”, IEEE ICRA 2024

4. 【4】Cong Fan et al. “Enhancing mmWave Radar Point Cloud via Visual-inertial Supervision (mmEMP)”, arXiv:2404.17229, 2024

5. 【5】R. Guan et al. “Through Fog High-Resolution Imaging Using Millimeter Wave Radar” (利用条件GAN恢复雷达点云细节, 2023)

6. 【6】Akarsh Prabhakara et al. “High Resolution Point Clouds from mmWave Radar (RadarHD)”, IEEE ICRA 2023

7. 【7】ZJU-FAST Lab, Radar-Diffusion 开源项目 – Code for Cross-Modal Radar-LiDAR Diffusion Model, GitHub, 2024

8. 【8】Autonomous Robotics & Perception Group, ColoRadar Dataset, Univ. of Colorado, 2021

9. 【9】Intelligent Vehicles Group, View-of-Delft (VoD) Dataset, TU Delft, 2022

10. 【10】Ruixu Geng et al. “DREAM-PCD: Deep Reconstruction and Enhancement of mmWave Radar Pointcloud”, IEEE TIP 2024

11. 【11】Yizhi Wu et al. “A Robust Diffusion Modeling Framework for Radar-Camera 3D Object Detection”, WACV 2024

12. 【12】Qianjiang Hu et al. “RangeLDM: Fast Realistic LiDAR Point Cloud Generation”, arXiv:2403.10094, 2024

13. 【13】Jiangshan Lu et al. “Towards Realistic Scene Generation with LiDAR Diffusion Models”, arXiv:2404.00815, 2024

14. 【14】PapersWithCode, Point Cloud Generation Task, Latest SOTA methods overview, 2024