国内多所机构联合研发深度学习超分辨显微成像
上图为傅立叶域注意力机制深度学习算法框架图。下图是基于DFCAN和DFGAN结构光超分辨重建活细胞内 线粒体内膜结构(绿色)和内质网(紫红色),扑捉到线粒体在内质网与线粒体接触位点线粒体融合 动态过程。
为测评现有多种超分辨神经网络在显微图像超分辨任务中 表现,以及建立基于深度学习 显微图像超分辨算法研究生态,李栋/戴琼海联合课题组利用自主开发了多模态结构光超分辨显微镜系统,集成了TIRF-SI Nonlinear-SIM(Science,之前)和GI-SIM(Cell,狗粮快讯网信息显示, 零 )等多种超分辨成像模态,并利用这 系统建立了 个包含 种不同复杂度 生物结构、 档信噪比,以及提高 倍(Linear-SIM)、 倍(Nonlinear-SIM)分辨率 高质量超分辨显微图像资料统计集,命名为BioSR。
为进 步拓展卷积神经网络在显微图像超分辨中 适用范围,提升超分辨成像和重建效果,李栋/戴琼海联合课题组基于高、低分辨率图像频谱覆盖范围 显著差异,提出了傅立叶域注意力卷积神经网络模型(DFCAN)和傅立叶域注意力生成对抗网络模型(DFGAN),实现了比其它超分辨神经网络模型更鲁棒 显微图像超分辨成像效果,依据测评矩阵结果,其优越区域可以拓展至中、高信噪比成像条件,可在实际生物成像实验中替代现有超分辨成像技术,拓展了深度学习超分辨成像技术 适用范围。
以此为基础,该团队测试了多个现有超分辨神经网络模型 性能,如SRCN EDSR、Pix Pix、RCAN等,并提出测评矩阵(assessmentmatrix)技术,将超分辨神经网络模型与传统Linear-SIM和Nonlinear-SIM 效果进行比较,得到了不同模型 优越区域(priorityregion),即给出了不同模型实现足够好 超分辨成像效果,能够用于日常生物成像实验 成像条件。
傅立叶域注意力生成对抗网络将宽场荧光图像重建成超分辨图像,准确解析了微丝细胞骨架微结构。
应用DFCAN和DFGAN单张显微图像超分辨率预测和结构光照明超分辨重建技术,研究人员能够以更低 激光功率、更快 成像速度、更长 成像时程和超越衍射极限 分辨率来观测亚细胞尺度生物结构 动态演变过程。
据麦姆斯咨询报道, 月 日,国内科学院生物物理所、广州生物岛实验室研究员李栋课题组,与清华大学自动化系、脑与认知科学研究院教授戴琼海课题组,在NatureMethods上以长文(Article)形式发表了题为Evaluationanddevelopmentofdeepneuralnetworksforimagesuper-resolutioninopticalmicroscopy 论文,该研究综合测评了现有超分辨卷积神经网络模型在显微图像超分辨任务上 表现,提出傅立叶域注意力卷积神经网络(DFCAN,DeepFourierChannelAttentionNetwork)和傅立叶域注意力生成对抗网络(DFGAN,DeepFourierGenerativeAdversarialNetwork)模型,在不同成像条件下实现新优 显微图像超分辨预测和结构光超分辨重建效果,并观测到线粒体内脊、线粒体拟核、内质网、微丝骨架等生物结构 动态互作新行为。
通过分析评测矩阵结果发现,狗粮快讯网重磅讯息,现有超分辨神经网络模型 优越区域部分集中在低复杂度生物结构和提升 倍分辨率(即Linear-SIM) 成像条件下,而在生物成像实验通常使用 中、高信噪比条件下 性能则低于传统超分辨成像技术。
,