CNN以脆弱著称,这意味着当应用于与用于训练的图像完全不同的图像时,CNN容易出现故障。
CT中的图像重建是一个数学过程,从患者周围多个不同角度获取的X射线投影数据生成断层图像。图像重建对图像质量以及辐射剂量有着根本性的影响。对于给定的辐射剂 量,希望在不牺牲图像精度和空间分辨率的情况下以尽可能低的噪声重建图像。
在追求低辐射剂量CT的过程中,放射科医生应当了解迭代重建算法的优缺点和评估方法,以及新的图像重建和降噪技术,以促进辐射剂量的降低。迭代重建算法是目前使用最广泛的CT降噪方法,可提高图像质量,并极大地促进了辐射剂量的降低。各种迭代重建方法有不同的优点和局限性。除了迭代重建技术外,近年来基于卷积神经网络(CNN)的新型CT降噪方法应用于临床。基于CNN的降噪技术可以在保持高水平图像细节的同时降低图像噪声,但可能存在独特的缺点。放射科医生应该熟悉这些不同的替代方法,以便将现有的CT技术用于不同的诊断任务。
迭代重建概述
重建方法有两大类:解析重建和迭代重建(IR)。商用CT扫描仪上最常用的解析重建方法是滤波反投影(FBP),它在将数据反投影(2D或3D)到图像空间之前,对投影数据使用1D滤波器。FBP方法的流行主要是因为其计算效率和数值稳定性。
传统的基于FBP的方法是根据解析公式对滤波后的投影数据进行反投影来重建图像,以解决X射线逆变换问题。由于FBP图像的计算效率和准确性,其在临床扫描仪中的常规使用已超过40年。
FBP的缺点是,它假设正弦图(Sinogram)可以完美代表被成像对象,而滤波步骤放大了采集信号中的噪声,产生了我们习惯的轴位图像(包含特征性噪声)。除统计噪声外,采集数据中的任何其他像差都可能产生明显的图像伪影,例如条纹或带状伪影。尽管这些FBP图像可能非常粗糙,但我们的放射科医生是看着它们“长大”的,所以通常会觉得查看FBP图像比迭代重建图像更舒服,即使对患者辐射剂量的担忧已经使得可接受的信噪比越来越低。
近年来,随着处理能力的不断提高,迭代重建技术已成为现代CT扫描仪主要的图像重建方式。迭代重建通常通过迭代优化目标函数来重建图像,通常在图像域和投影数据域之间交替进行正向和反向投影,直到根据收敛准则将目标函数最小化。目标函数通常通过合并已知对象信息来建模CT系统、X射线衰减和检测过程,以保持边缘结构并降低噪声。
迭代重建通常作为一种低剂量技术进行销售,但这其实并不准确;当前的迭代重建技术旨在降低图像噪声或促进以较低剂量获得的诊断图像的重建,其噪声水平与传统的FBP技术相当。
典型的迭代重建(IR)方法。每个迭代循环中优化的目标函数和系统模型都可能有许多变化(包括前者的各种统计模型和正则化项,后者的各种系统几何和检测模型)。
与FBP相比,迭代重建方法具有许多优点,首先,建模CT系统(X射线源和探测器)和X射线光谱更精确。其次,光子统计可用于为可靠的投影分配更高的权重,并为不太可靠的投影分配较低的权重,从而潜在地减少伪影并提高剂量效率。可以包括先验信息,例如局部区域中的对象平滑度,以减少图像噪声的同时保持结构边界的清晰度。此外,迭代重建算法可以很容易地处理不规则的扫描几何图形,即使数据采集不遵循传统的轴位或螺旋几何图形。
迭代重建算法在图像质量改善和伪影校正方面的优势早已明确。由于计算限制,早期迭代重建,例如ASiR(GE 医疗)、IRIS(西门子医疗)、AIDR(佳能医疗)和iDose(飞利浦医疗)都不属于真正的IR。他们本质上是应用一种算法,通过减少最终图像中CT值的像素间变化来降低图像噪声。这些早期的“平滑算法”有可能去除重要细节和边缘信息,因此经常使用频率相关函数,其中存在于噪声存在的典型频率中的像素值变化被平滑,但在图像边缘区域平滑程度较低。这些技术在图像域中运行,即应用于FBP重建图像,而不是原始数据。
下一代迭代重建技术(AIDR3D、iDose4和SAFIRE)更为复杂,但仍依赖FBP重建图像,并在图像域和/或原始数据域中应用辅助迭代统计处理。对信号在正弦图中的分布进行统计分析,可以识别信号差、噪声高的区域。然后,可以对正弦图数据应用加权因子,以便在FBP重建中,对来自高信号和低噪声区域的数据赋予比低信号、高噪声投影更高的权重。这减少了质量较差的投影数据产生的噪声。这种方法在去除图像伪影方面比单独在图像空间中的处理更有效,但应用这些技术去除噪声和伪影并“改善”整体图像质量后,仍然存在丢失临床相关(非伪影)信息的风险。
现在,最复杂的迭代重建技术(VEO、IMR、FIRST、ADMIRE)使用正向投影重建图像(从初始FBP或IR生成的图像)以创建模拟正弦图。通过将该模拟正弦图与真实正弦图比较,可以推断出初始重建图像与扫描对象不匹配的位置。然后合成校正图像,校正重建图像,然后再次前向投影以与采集的正弦图进行比较。该过程迭代设定次数,或直到采集的模拟正弦图和真实正弦图之间达到收敛。这种前向投影、比较和校正过程是基于模型的迭代重建(MBIR)技术的组成部分。
MBIR技术的成功依赖于前向投影的准确性。理论上,该算法可以考虑系统噪声(统计和电子)、物理(线束硬化、X射线散射、患者吸收特性和探测器特性)和系统特定“光学”的建模,这包括几何校正,以解释球管中产生X射线有限尺寸的焦点;探测器尺寸;体素尺寸,X射线通过体素体积的路径长度不同(取决于移动角度)。
然而,MBIR是计算密集型算法:根据所进行的系统建模的程度,即使使用专用计算机,重建扫描容积可能需要几十分钟才能完成。第一个商用软件(Veo;GE医疗)在大幅降低辐射暴露水平的情况下,在图像质量方面具有相当大的优势。然而,非常慢的重建速度和复杂的工作流程阻碍了它的广泛应用。
因此,在实践中,MBIR算法必须在可接受的重建时间和系统模型的复杂性之间实现平衡。MBIR技术通常特定于单个扫描仪型号,因为任何给定扫描仪的几何结构、探测器和球管特性都取决于扫描仪,而不仅仅取决于供应商。
肝脏等效背景模型中不同低密度水平(每行从右到左)和尺寸(从上到下)的低对比度模体。这些图像是由16名腹部放射科医生进行的多读者体模研究的一部分。每个框显示不同曝光水平,图像使用FBP或IR技术重建(ASiR 30%或MBIR,GE医疗;SAFIRE 1或SAFIRE 5,西门子医疗)。尽管迭代重建方法降低了图像噪声,但FBP和IR算法在较低剂量下模体的可见度会下降。
然而,尚未证明,与同一制造商的混合迭代重建算法相比,这些MBIR算法允许在低辐射剂量下能否保持低对比度检测能力。
例如,Padole等评估了用IMR重建的超低剂量采集(<1 mSv)的准确性,并得出结论,在平均CTDIvol为1.3 mGy并用IMR重建的腹部CT采集不能保留临床诊断性能。与其他非线性重建方法类似,一些MBIR方法可能会由于增强低空间频率和高空间频率而导致CT图像过度平滑,从而导致典型的塑料或斑点状外观。
最近,基于深度学习的CNN在医学影像界引起了关注。这些技术已应用于低剂量CT图像,以减轻噪声,同时保持图像质量和诊断性能。使用不完整或稀疏数据进行图像重建或伪影校正代表了一种不同的方法来减轻低剂量图像上的统计噪声。
评估降噪效果的方法
虽然提供了关于图像重建方法不同特征的信息,但传统的客观图像质量指标(例如,噪声水平、对比度噪声比、噪声功率谱、截面灵敏度曲线、调制传递函数)并不能反映诊断放射科医生感知的CT图像的诊断信息。由于迭代重建的非线性特性使其具有与对比度相关的空间分辨率,因此传统的图像质量客观测量方法不足以确定目标诊断性能所需的辐射暴露水平。
迭代重建的对比度依赖性空间分辨率也使得在较低辐射剂量下检测低对比度物体特别具有挑战性,因为空间边界可能变得模糊不清。相比之下,高对比度任务(如肺结节检测或CT血管造影)可以通过使用迭代重建技术和更积极的辐射剂量减少成功执行,而不会大量损失诊断信息,因为在较大的对比度差异中可以保持空间分辨率。
与先进的技术相结合,例如用于正确评估非线性成像重建的模型观测器和可检测性指数,设计良好的多观察者研究(即负责评估图像质量感知和病变检测的放射科医生的可变队列)评估特定的临床任务,对于评估这些新的降噪方法仍然至关重要。资料性评估使用客观参考标准(如组织病理学分析或随访)对给定临床任务(如肝转移检测)的常规辐射剂量和低剂量CT图像进行比较。
克利夫兰临床研究小组表明,如果试图提高小的低对比度病变的检测能力,与FBP相比,在减少曝光条件下使用基于图像的去噪算法有很大的局限性。最近的研究表明,非线性去噪算法能够在辐射剂量小到中等程度降低的情况下保持低对比度病变的检测。
总的来说,对于肝脏低对比度病变的评估,使用患者图像的多读者研究表明,迭代重建算法在中等程度的辐射照射减少情况下不能提高性能,并且不能在大程度的辐射剂量减少情况下保持性能。随着迭代重建之外的新重建技术的出现(例如,基于深度学习的图像重建),后续基于任务的诊断评估将至关重要。
与传统的客观图像质量指标不同,数学模型观察员在提供任务驱动的图像质量评估方面表现出了潜力,特别是当模型观察员被确定在临床相关任务中与人类观察员(如放射科医生)存在统计相关性时。作为一种流行的模型观察器,信道化Hotelling观察器(CHO)使用一组数学图像滤波器(即Gabor通道)来模拟人类初级视觉皮层的神经反应。CHO的建立需要一个训练程序,其中使用信号存在和信号缺失图像创建模板,然后计算测试统计数据以进行性能分析。
建立信道化Hotelling观察者的流程图。通道滤波器是数学图像滤波器(如Gabor滤波器),用于模拟初级视觉皮层中的人类神经反应。在训练过程中使用信号存在和信号缺失图像创建模板。将测试图像馈送至通道滤波器,并将相应的滤波器响应与模板相乘,以计算测试统计数据,以便进行进一步的性能分析。在性能分析中,通常使用的优值(FOM)是接收机工作特性曲线(AUC)或可检测性指数(d’)下的面积。
传统的模型观测器通常是基于模型的研究,涉及在统一背景下的信号检测任务。然而,新兴的基于深度学习的模型观察员使用了大量DeepCNN的预训练过滤器,并通过使用诊断目标和周围解剖背景的逼真图像(例如,用于评估肝转移和肺结节检测的性能),大大扩展了目标病变的表示。
基于深度学习的模型观测器(DL-MO)框架,包括预训练的Deep-CNN、偏最小二乘回归判别分析(PLS-DA)、结节搜索过程以及内部噪声分量。
与传统的模型观测器相比,这些深度学习模型观测器使用更先进的统计学习方法(如偏最小二乘判别分析)来创建用于测试统计计算的模板。
先验迭代重建(PIR)去噪方法使用先前或后续阶段的投影数据进行降噪。PIR可与另一种混合迭代重建方法结合使用,并可用于单能量或双能量检查。在多期增强CT方案中,PIR被证明可以有效地促进辐射剂量减少,以诊断包括肝细胞癌在内的肝脏病变,减少至少50%,而不会损失诊断性能。
肝细胞癌患者的动脉期CT图像,常规剂量(a),先验迭代重建(PIR)半剂量(b)。注意,与全剂量图像相比,半剂量PIR图像上的小高血管肿瘤(圆形)的显著性没有改变。
频分多带滤波(FS-MBF)是一种类似的降噪方法,它使用冗余信息,但对CT图像而不是投影数据进行操作。因此,FS-MBF是一种更实用的多期检测降噪选择。
双能CT允许在一个称为材料分解的过程中识别和量化不同材料的元素组成,该过程可以提供碘、钙和水的特定基于材料的图像,或创建虚拟单能图像,模拟CT图像的外观,就好像它是使用单能级光子获得的一样,因此,在较低能量下增强碘信号差异。不幸的是,这些算法进一步增加了CT图像噪声和某些伪影。已经并正在开发多种新的降噪方法来解决单能重建问题。
先验知识感知迭代去噪(PKAID)是一种新的去噪算法的另一个示例,该算法使用材料特定图像之间的冗余结构信息。PKAID利用不同能级的能谱图像之间的结构相似性。与其他需要投影数据的类似去噪模式(如先验图像约束压缩感知(PICCS))相比,PKAID在图像域中执行,因此是一种更可行的选择。体模和体内研究均显示,在部署PKAID以提高碘对比噪声比并保持从双源双能量CT扫描仪获取的图像的空间分辨率方面,前景广阔。
使用先进的降噪技术对碘特定图像进行降噪。混合图像和碘特异性图像来自在双源双能CT系统上进行的活体人头CTA。使用基于标准最小二乘法的材料分解(MD-LS)获得的碘特定图像(和放大视图)具有高噪声,这会降低血管的可见性和轮廓。总变化正则化材料分解(MD-TV)图像减少了噪声,但也减少了空间分辨率和小结构的损失(箭头)。先验知识感知的迭代去噪-材料分解(MD-PKAID)图像在保留空间分辨率和精细细节的情况下大幅降低了噪声,从而更好地描绘出小血管。
CNN还可以潜在地用于促进双能量图像的后处理,这一任务在工作流程繁重的临床环境中可能是一个限制因素。双能CT数据的光谱外推似乎为光谱对比度提供了准确的估计,可能为改善低剂量双能CT图像的图像质量铺平了道路。
Deep CNNs
Deep-CNN是一类特别适合处理图像数据的人工神经网络。受人类视觉皮层连接模式的启发,CNN使用一系列卷积运算和简单的非线性激活函数来提取不同空间尺度和抽象级别的图像特征。这些特征可用于执行不同的图像处理任务,如图像分类、检测、分割以及噪声和伪影抑制。
CNN对各种任务和图像领域具有很强的适应性。传统的图像处理算法通常依赖于特定领域和特定任务的特性,这些特性必须事先精心设计。相比之下,CNN模型定义了一个用于提取图像特征的通用模板,该模板使用自动优化程序适应特定任务。在优化或训练过程中,算法会自动调整CNN参数,以提取与当前任务相关的图像特征。
训练CNN执行特定任务,如CT图像降噪任务,包括解决由以下基本组件组成的优化问题:
1、训练数据,通常由成对的高噪声(即低剂量)和低噪声(即常规剂量)CT图像组成;
2、CNN架构,用作将高噪声CT图像映射到相应低噪声表示的模型。CNN可以包含数百万个内部参数,必须调整这些参数才能执行降噪任务;
3、客观或损失函数,用于将作用于高噪声图像的CNN输出与相应的低噪声图像进行比较。该损失函数在优化过程中最小化。自动调整CNN参数的方法称为优化器(optimizer);
4、保留验证数据,用于监控优化进度和检测过度拟合;
5、保留测试数据,以评估优化完成后CNN的性能。
在训练过程中的不同步骤降低CT图像噪声的CNN输出。左图显示了CNN模型的输入:高噪声CT图像,模拟原始常规剂量水平的25%。接下来的三幅图像显示了CNN对该输入在训练过程不同阶段的低噪声表示的预测。在训练阶段的早期,CNN无法充分减少噪声,还引入了额外的伪影。然而,在对内部参数进行足够数量的更新后,CNN能够生成低剂量图像的高质量低噪声表示,该图像保留了常规剂量版本中发现的许多解剖特征(右)。
通过模拟投影域中量子噪声和探测器效应的已知特性,可以很容易地获得用于开发CNN以执行特定任务的训练数据、验证数据和测试数据。CNN体系结构在实现上差异很大,但通常基于其他成像任务(如U-Net和ResNet)的成熟设计。损失函数的选择对CNN输出有显著影响。
CNN已被证明能有效降低CT图像中的噪声。通过利用来自数千个训练示例的先验信息,CNN可以显著降低噪声水平,同时保持较高的空间分辨率。此外,使用CNN处理的图像往往表现出自然的外观,没有困扰许多其他去噪方法的塑料纹理。
这种方法的另一个实际方面是,经过训练的CNN具有计算效率。借助当前的图形处理单元(GPU)加速,深层CNN每秒可以处理数百张CT图像,这有利于在临床环境中实现此类算法。
一些CT制造商已经使用基于深度学习的CNN创建了商业产品,以执行图像重建或降噪,包括TrueFidelity深度学习图像重建(DLIR)(GE Healthcare)和advanced intelligent clear IQ engine(AiCE)(佳能医疗系统)。尽管当前的CNN技术前景光明,但这种新的图像去噪或重建模式是否会比当前的迭代重建实现更好的性能仍有待观察。
在非常低剂量(CTDIvol=4.1 mGy)下进行的增强CT的FBP(a)、AIDR 3D(b)和AiCE(c)图像显示胃食管交界处腺癌的多个低衰减肝转移。在本次检查中,AIDR 3D和AiCE图像上的几个病灶(例如,带圆圈的病灶)明显更明显,尤其是后者。请注意,即使在如此低的剂量下,AiCE也能够在不发生显著纹理变化的情况下显著降低噪声。
CNN有一些潜在的缺点。
首先,CNN以脆弱著称,这意味着当应用于与用于训练的图像完全不同的图像时,CNN容易出现故障。这种局限性可以追溯到CNN不编码任何先验规则来解决去噪问题;他们完全依靠优化过程从训练数据中学习必要的规则。这种自动优化过程还导致CNN学习规则不易被人类解释(或理解),因此很难预测潜在的限制和故障模式。
其次,与迭代重建方法类似,它们是高度非线性的模型,这意味着它们的性能无法通过传统图像质量度量来轻松确定。
为了缓解这些限制,需要在各种临床相关输入中对CNN模型进行深入的测试。
迭代重建算法和降噪技术的发展和临床应用极大地促进了低辐射剂量下的体部CT实践。由于迭代重建算法能够在较低剂量下消除噪声并提供诊断质量的CT图像,因此迭代重建算法已成为重建低剂量CT图像的标准技术,取代了传统的FBP。在进行低剂量CT检查时,放射科医生应了解迭代重建和降噪算法的优势和局限性,以及严格评估这些技术的方法。
参考文献:
La Riviere PJ, Crawford CR. From EMI to AI: a brief history of commercial CT reconstruction algorithms. J Med Imaging (Bellingham). 2021 Sep;8(5):052111.
Stierstorfer K, Rauscher A, Boese J, Bruder H, Schaller S, Flohr T. Weighted FBP--a simple approximate 3D FBP algorithm for multislice spiral CT with good dose usage for arbitrary pitch. Phys Med Biol. 2004 Jun 7;49(11):2209-18.
Mohammadinejad P, Mileto A, Yu L, Leng S, Guimaraes LS, Missert AD, Jensen CT, Gong H, McCollough CH, Fletcher JG. CT Noise-Reduction Methods for Lower-Dose Scanning: Strengths and Weaknesses of Iterative Reconstruction Algorithms and New Techniques. Radiographics. 2021 Sep-Oct;41(5):1493-1508.
Mileto A, Guimaraes LS, McCollough CH, Fletcher JG, Yu L. State of the Art in Abdominal CT: The Limits of Iterative Reconstruction Algorithms. Radiology. 2019 Dec;293(3):491-503.
Schofield R, King L, Tayal U, Castellano I, Stirrup J, Pontana F, Earls J, Nicol E. Image reconstruction: Part 1 - understanding filtered back projection, noise and image acquisition. J Cardiovasc Comput Tomogr. 2020 May-Jun;14(3):219-225.
Tayal U, King L, Schofield R, Castellano I, Stirrup J, Pontana F, Earls J, Nicol E. Image reconstruction in cardiovascular CT: Part 2 - Iterative reconstruction; potential and pitfalls. J Cardiovasc Comput Tomogr. 2019 May-Jun;13(3):3-10.
仅供专业人士交流目的,不用于商业用途。
不感兴趣
看过了
取消
人点赞
人收藏
打赏
不感兴趣
看过了
取消
您已认证成功,可享专属会员优惠,买1年送3个月!
开通会员,资料、课程、直播、报告等海量内容免费看!
打赏金额
认可我就打赏我~
1元 5元 10元 20元 50元 其它打赏作者
认可我就打赏我~
扫描二维码
立即打赏给Ta吧!
温馨提示:仅支持微信支付!
已收到您的咨询诉求 我们会尽快联系您