首页 » 软件优化 » 成功解决离焦背景与伪影难题(重建成像算法显微这一)

成功解决离焦背景与伪影难题(重建成像算法显微这一)

神尊大人 2024-11-02 20:18:44 0

扫一扫用手机浏览

文章目录 [+]

图 | 席鹏(来源:席鹏)

他说:“在本次工作中,我们为全球 SIM 的用户和研究者提供了一种全新的开源解决方案,不仅解决了突破行业发展的瓶颈问题,而且致力于带领这一领域进行下一步深入研究。

他表示,Open-3DSIM 有着极大的应用前景:

成功解决离焦背景与伪影难题(重建成像算法显微这一) 软件优化
(图片来自网络侵删)

1.首先,它可以作为 3DSIM 重建的标准算法,能够高保真地重建多系统/跨平台的 3DSIM 数据,为各类商业 SIM 系统提供一个透明而非黑箱的、可以深度分析的重建工具。

2.其次,它能为自制的 3DSIM 硬件提供一个稳定、普适的算法工具,这将极大推进高校、科研院所等成像技术研究者投入到这一领域,并掀起一次新的 SIM 技术研究热潮。

3.再次,由于 Open-3DSIM 是一种基于纯算法的软件,它可以进一步与各类解卷积算法、各类去噪算法以及机器学习算法相结合,利用 Open-3DSIM 本身低信噪比重建的高保真优势,在图像后处理时进行去噪与解卷积操作,进一步提高 3DSIM 在低光强条件下的重建表现,从而促进活细胞成像的进一步发展。

4.最后,Open-3DSIM 提供了一个开源、客观的重建平台,有望成为各类基于 3DSIM 系统的标准化重建算法的标杆。

目前,该团队已经为 Open3DSIM 申请专利保护。
其开源协议为 Apache 协议,这既能保证科研用户可以开源、免费使用这一工具,也保证商业公司能够基于这一工具开发闭源软件。

(来源:Nature Methods)

据介绍,结构光照明显微成像技术(SIM,Structure Illumination Microscopy)是高分辨、活细胞长时程观察最有效的工具。
由于单层 SIM 具有快速、简单的优势,先前的研究大多是基于单层 2DSIM 开展的,例如 fairSIM、HiFi-SIM 等软件,或 Polar-SIM、DMD-SIM 等硬件。
然而,2DSIM 在轴向分辨率上仅仅为 500nm 左右,是其横向分辨率的五倍。

于是,席鹏和团队将目光转移到多层 3DSIM 领域之中,并着手搭建了 3DSIM 的硬件平台。
但是,当他们重建自建系统的 3DSIM 数据时,发现 3DSIM 领域中缺乏一个具备普适性、和用户友好度的重建平台。

此前,3DSIM 算法要么集成于闭源的商用系统比如 Nikon 公司的 N-SIM、或者 GE 公司的 OMX,要么基于传统的 Weiner-3DSIM,用户友好性较低,且存在严重的伪影。
而在单层 SIM 领域,席鹏课题组此前曾提出 Open-SIM 重建平台。
相关的国际同行的工作有 fairSIM、HiFi-SIM、Hessian-SIM 等软件。
然而,由于细胞往往具有或厚或薄的三维结构,在实际成像中 2DSIM 时常存在十分严重的离焦背景。

与此同时,随着国内 SIM 技术的崛起,一些国际顶尖的 SIM 成像系统公司基于商业原因,纷纷决定退出市场,这对于已有的 3DSIM 系统用户不啻于一场“灾难”。

因此,席鹏团队决定开始开发一种具备高保真度的 3DSIM 开源算法。
他们还对参数估计和频谱滤波这两大关键步骤做出较大改进,让 Open-3DSIM 在重建效果上得以超越商业系统 OMX 以及传统的 Weiner-3DSIM。
尤其是在低信噪比条件之下,Open-3DSIM 有着出色的重建效果,重建伪影也能得到较大降低。
此外,他们还引入了荧光偶极子取向信息,能在重建完成之后对图像的偏振取向信息进行“一键”提取,从而打造出六维成像模态。
这种成像模态具备横向/纵向的超分辨率、长时程、多色以及偶极子取向等特点,能为生物学的多维度研究提供新的方法。

有别于以往的开源算法,他们为 Open-3DSIM 开发了面向 Fiji、MATLAB 以及 Exe 的三个版本,并将代码和示例数据加以开源,以方便生命科学的研究人员、广大 Fiji 用户、和软硬件开发者等不同的用户角色。

并且,Open-3DSIM 并不局限于单一的显微镜平台,它能广泛用于 OMX、N-SIM 等商用系统、以及各类自制的 3DSIM 硬件系统。
对于所采集到的数据,Open-3DSIM 可以进行额外以及深入的分析。
由于 Open-3DSIM 采用模块化的程序设计,使其可以和各类解卷积/去噪算法兼容,能为 3DSIM 算法的进一步发展奠定坚实的基础。

(来源:Nature Methods)

据介绍,这是一项至少跨时 7 年的研究。
2016 年,席鹏课题组率先发布 OpenSIM,这一工作也成为目前 SIM 重建算法的一个开源标杆。
2019年,他们开发了 DMD-SIM 和偏振 SIM 这两款技术。
在此基础之上,他们发现 2DSIM 由于纵向分辨率不足会引发多种问题,例如常见的离焦背景、以及各类伪影。
尽管先前的一些工作比如 Hessian-SIM、HiFi-SIM 等,可以通过算法优化极大地减弱这些伪影。
但是,要想从根本上消除这些重建伪影,就需要在水平和轴向都具有调制作用。
为此,该团队开始转向研发 3DSIM。

利用 3 光束干涉,3DSIM 可以实现三维光场调制,它能极大地消除背景信息带来的伪影,并带来两倍 z 轴分辨率的提高。
2022 年元旦过后,课题组开始着手 3DSIM 硬件平台的搭建,一个月后开始 3DSIM 算法的部署。
期间,他们发现商业化的软件虽然能给用户带来数据结果。
但是由于其闭源特性,导致无法分析数据从原始图像到超分辨结果的整个过程。
这导致即使用户发现了重建时存在的问题,也无法进行溯源。
因此,开发一个独立、开源的 3DSIM 软件,无论对于硬件开发人员、软件开发人员、还是生命科学用户,均是非常有意义的事情。

席鹏继续表示:“更让我们震惊的是,从 2022 年起,我们发现 GE 和 Nikon 这两大巨头相继退出 了 SIM 市场。
这些决定虽然是基于商业原因,但是对于前期购买者往往是致命的,因为系统无法得到有效的升级。
”这些消息也给整个领域带来了较大冲击,也更坚定了该团队开发 3DSIM 重建工具的决心。
鉴于课题组前期开发的开源工具 OpenSIM,得到了业界的广泛认可和引用,他们决定从用户角度出发,为 Open-3DSIM 开发面向 Fiji、Matlab、EXE 三种不同平台的版本。

同时,他们公开了所有的 3DSIM 数据集,并为所有版本的软件撰写了细致的指导手册。
这一举措也得到了审稿人和 BioXiv 读者的高度评价。

值得一提的是,对于是否建立 Fiji 平台的插件,课题组内部曾有过一些争议。
此前在研发 OpenSIM 的时候,他们只提供了算法的核心 Matlab 版本。
这一方法对于会编程的用户没有问题,但是对于大多数生命科学的用户,使用起来并不方便。

但是,由于组内同学没有 Java 编程语言的基础,研发面向 Fiji 平台的版本时遇到了诸多困难,将其和 3DSIM 算法的融合也曾遭遇重重阻碍。

然而,本着最大化地实现用户友好度的理念,大家坚持了下来。
后来,他们写下将近一万行的代码,以用于用户交互界面的构建与重建算法的调用。
甚至在论文审稿的时候,fairSIM 的发明者基于研发 fairSIM 的经验,对席鹏团队的 Fiji 平台插件以及 GitHub 代码提出了许多建设性意见。

“于是我们深入加强了 Open-3DSIM 与 Fiji 平台的联系,增加了中间过程步骤的展示,增加了细致的进度条,录制了详细的安装使用教程。
这些改进也因此获得了 fairSIM 发明者的肯定与赞扬。
”席鹏表示。

最终,相关论文以《Open-3DSIM:一个开源的三维结构照明显微重建平台》(Open-3DSIM: an open-source three-dimensional structured illumination microscopy reconstruction platform)为题发在 Nature Methods(IF 48),北京大学博士生曹睿杰是第一作者,席鹏担任通讯作者。

图 | 相关论文(来源:Nature Methods)

审稿人评价称:“尽管已经有几种商业 3D-SIM 仪器,比如 GE OMX、Nikon N-SIM、Zeiss Elyra SIM,但它们的图像重建仍然是 SIM 用户和研究人员的黑匣子。
就像 2016 年的第一个开源 2DSIM 一样,它引发了许多优化重建算法性能的后续研究,我预计 Open-3DSIM 将在该领域产生类似的影响,并最终推动 3DSIM 在细胞生物学中的应用。

(来源:Nature Methods)

接下来,席鹏和团队希望能进一步在结构光、活细胞、超分辨这几方面,研发相关的成像新技术。

首先,他们曾研究过多种结构光的成像方法,但是一般都采用的是杨氏双缝干涉类的二维结构光。
将三光束干涉引入,即可实现本次工作所描述的三维结构光。
那么,能不能通过光场调控实现更加复杂的光场?以及实现更好的超分辨?这是课题组希望回答的问题。

其次,活细胞的研究意味着它是一个时刻变化和运动的物体。
对于超分辨成像来说,分辨率越高就意味着看到的运动越显著。
那么,如何在极短时间内捕捉到生命活动的过程?如何克服运动带来的伪影?这些都是对活细胞进行拍照时所不可避免的问题。

再次,超分辨显微成像技术起源于二十几年前。
相关学者则于十年前获得诺贝尔奖。
下一步则应解决“看得更清”与“看得更快”的矛盾,以及如何与其他领域的技术比如冷冻电镜、基因组、转录组、蛋白质组学相结合。

另据悉,多年来北大学者在超分辨成像上一直颇有建树。
对此席鹏表示:“我觉得首先是北大人的家国情怀和奋勇争先的精神。
超分辨显微技术本身,就是在追求在生命活动成像中实现空间分辨率和时间分辨率的不断突破。

北大于 2022 年 4 月成立北京大学未来技术学院,该学院的主要研究方向是:分子医学、生物医学工程、成像、大数据与人工智能。

超分辨显微恰好是一个令人非常振奋的赛场,在这里席鹏课题组不断与国际同行合作与“赛跑”,推出一个又一个里程碑式工作。
此外,在国家相关部门的支持下,北大牵头成立了坐落于北京怀柔的多模态跨尺度生物医学成像中心,投入大量资金与人力,致力于发展多模态、跨尺度的各类成像技术与方法。
“这一平台为我们提供了优良的设备与资金来源,能够更好地开展课题研究。
”席鹏说。

他继续说道:“而且,为了顺应国家在高等教育方面‘破五唯’、服务产业升级的号召,北大未来技术学院对于技术的产业化十分重视。
以超分辨显微为例,我们在高端显微镜领域国产化做出了非常重大的努力,专家学者们开始注重产业与科研的结合,将学术的成果商业化、产业化。
”相关高端显微镜产品例如北京艾锐科技开发的 Polar-SIM、广州超视计科技开发的 HIS-SIM 等,在国内外产生了非常重要的影响力。
“我们也深刻地认识到,产学研三者相结合才能互相促进、互利共赢,能够让我们在高端超分辨显微镜领域有着坚实的发展。
”席鹏表示。

参考资料:

1.Cao, R., Li, Y., Chen, X. et al. Open-3DSIM: an open-source three-dimensional structured illumination microscopy reconstruction platform. Nat Methods 20, 1183–1186 (2023). https://doi.org/10.1038/s41592-023-01958-0

标签:

相关文章