AI成像新时代，视野扩大271倍，上海理工大学开发超快卷积光学神经网络
编辑 | KX
卷积神经网络（CNN）凭借其出色的图像识别能力，在人工智能领域表现出色，尤其是在 ChatGPT 等平台中。
近日，上海理工大学团队成功将 CNN 概念引入光学领域，实现卷积全光光神经网络，为人工智能成像技术带来了革命性的进步。
研究团队开发了一种超快卷积光学神经网络（ONN），该网络无需依赖光学记忆效应，即可实现对散射介质后方物体的高效清晰成像。
该神经网络利用强散射过程直接提取特征，实现无记忆图像重建，视野扩大 271 倍，计算速度达到了每秒 1.57 千万亿次运算。
该研究以「Memory-less scattering imaging with ultrafast convolutional optical neural networks」为题，于 6 月 14 日发表在《Science Advances》杂志上。
论文链接：https://www.science.org/doi/10.1126/sciadv.adn2205
卷积运算是 CNN 的核心，从图像中提取局部特征，并逐层构建更为复杂抽象的特征表示，极大地推动了图像处理和模式识别等领域的发展。然而，将卷积网络运算的理念应用到光学领域，面临着将电子信号转换为光信号的挑战。
复杂散射介质（包括浑浊组织和散斑层）中的光学记忆效应（Optical Memory Effect，OME）一直是宏观和微观成像方法的重要基础。然而，没有光记忆效应的强散射介质的图像重建尚未实现。
全光学解决方案，真正的光学计算速度
研究团队巧妙地设计了一种全光学解决方案，直接在光域进行卷积网络运算，省去了繁琐的信号转换过程，实现了真正的光学计算速度。
研究人员通过开发一个集成了多个以光速运行的并行内核的多级卷积光学神经网络 (ONN)，展示了通过不存在光记忆效应的散射层进行图像重建。
卷积 ONN 全光学、无参考、无扫描、无导星（guide-star–free）、无标签；不需要照明控制或计算重建；并且不受记忆效应的限制。此外，它可以通过强散射介质重建复杂的场景和图像。
卷积 ONN 由一个光学输入层、两个卷积层和一个全连接输出层组成，可进行光速并行的一步计算。独特的是，并行多级光学卷积核采用涡旋和随机照明直接提取特征。该神经网络可通过强散射过程进行训练，使视野（Field of view）扩大 271 倍。
这一过程不仅大大提高了成像速度，而且显著增强了图像质量，使得在复杂散射环境下成像成为可能。而且，卷积 ONN 的计算速度达到了每秒 1.57 千万亿次运算（POPS），为实时动态成像提供了强大的支持。这为图形处理建立了一个超快、高能效的光学机器学习平台。
该研究的另一大亮点是其多任务处理能力，只需简单调整网络结构，同一个卷积 ONN 就能同时执行多种不同的图像处理任务，如分类、重建等，这在光学人工智能领域尚属首次。
为了在复杂的无记忆散射成像场景中重建物体，将…
参考内容：https://techxplore.com/news/2024-06-convolutional-optical-neural-networks-herald.html
感谢阅读！如果您对AI的更多资讯感兴趣，可以查看更多AI文章：GPTNB。
AI成像新时代，视野扩大271倍，上海理工大学开发超快卷积光学神经网络
