正文
中文标题:
RoCoSDF:自由手持三维超声成像形状重建
发表期刊:MICCI2024
发表时间:
2024年8月11日
1 研究背景
(1)高质量的几何形状重建对自由手三维超声成像的发展至关重要,但由于探头厚度导致的升高畸变,基于多视角超声数据的形状重建仍存在较大挑战。
(2)提出了一种新颖的基于学习的框架——
RoCoSDF
,通过从行列扫描数据集中提取的连续形状特征,有效生成隐式表面。该框架通过编码不同视角的超声数据为对应的神经符号距离函数(SDF),并在归一化的三维空间中操作这些 SDF,恢复实际表面轮廓。
(3)RoCoSDF 通过综合多个视角的 SDF,生成平滑、连续的符号距离场,以隐式表示实际几何形状。此外,引入两个正则化器,用于约束 SDF 在表面附近的行为,从而进一步细化形状。
(4)对由两种超声探头采集的 12 组形状数据进行实验表明,RoCoSDF 能够准确地从多视角超声数据中重建几何形状,其性能优于现有方法。
2 研
究方法
2.1 重建流程
(a) 分别训练以从输入的行-列数据集中预测行和列SDFs;
(b) 融合预测的SDFs以获距离场;
(c) 在距离场中采样查询点和SDF值以进行形状细化;
(d) 使用Marching Cube算法从优化的SDF中提取3D网格。
2.2 RoCoSDF:多视图神经形状重建
(1)神经SDF预测
使用两个MLP神经网络分别预测行扫描和列扫描的神经SDFs。
(2)SDF融合
通过CSG(Constructive Solid Geometry)操作,通过SDFro和SDFco的交集来粗略融合SDF。
(3)SDF采样和细化
进一步训练fopt以优化融合的距离场,设计SDF采样器直接在SDFroco的3D立方体中采样查询点和SDF值。
2.3 模型训练与损失函数
网络使用两种学习策略进行训练:自监督学习和监督学习。
自监督学习用于训练fro和fco,因为没有可用的真实SDFs;
监督学习用于训练fopt,使用SDFroco作为伪真实值。
3 研究结果
3.1 数据采集和准备
(1)使用六个计算机辅助设计的(CAD)脊椎模型作为3D打印的模型,包括三个典型的胸椎(T4, T8, T12)和三个典型的腰椎(L1, L3, L5)。
(2)
这些CAD模型作为评估的真值
。
使用两种不同的超声换能器(UT1和UT2)收集两组数据。每个模型由一个UT扫描,每个行-列扫描对应1个形状和2个扫描。两个UTs从6个模型中获得12个形状和24个扫描。
3.2 评估指标
这些距离是计算从重建网格和相应的CAD模型中随机采样的点之间的距离。
3.3 实现细节
(1)三个神经网络frow, fcol和fopt由8个MLP和256个隐藏通道组成,第四层有跳跃连接。除了最后一层外,每层后都附有Relu激活函数。
(2)使用Adam优化器训练frow, fcol和fopt,迭代1.0 × 10^4次。学习率设置为0.001,采用余弦衰减计划。
(3)批量大小、λscc和λadl分别设置为5000、0.01和0.01。αnonmfd和λmfd分别设置为100和0.6。
(4)网络使用Pytorch实现,并在配备24GB内存的单个NVIDIA RTX 3090 GPU上训练。
3.4 定性和定量结果
(1
)RoCoSDF在两个数据集上的所有四个评估指标上均优于UNSR。
(2)与UNSR行扫描相比,在UT1扫描中MAD和RMSE分别提高了27%和24%,在UT2扫描中与UNSR列扫描相比,MAD和RMSE分别提高了32%和35%。
(3)尽管UT2探头的重建质量较差,但该方法仍能准确恢复真实结构。
统计显著性在所有指标上均小