把科幻电影里英雄戴眼镜看数字分析的情节,变成了现实中的真事儿

把科幻电影里英雄戴眼镜看数字分析的情节,变成了现实中的真事儿。到了2025年第6期,Adv. Imaging杂志的封面文章就专门聊了这件事。大家平时用的增强现实(AR)设备,摄像头一直是个大难题。本来摄像头得装在边缘不挡视线,结果设备变得厚重不说,眼动追踪也做不到精确,想模拟人眼看东西的效果也很难。为了把这一层厚墙拆掉,研究人员搞了个基于光波导的透明相机,也就是LightguideCam。他们把摄像头藏到了光波导镜片的边上,让正前方的光直接穿过去给人看,顺便把一部分光拐到侧面去拍个照,这样一来就看不见摄像头了。不过呢,光波导里光跑的路弯弯曲曲,传感器拍出来的图特别模糊、到处是伪影。传统的迭代算法虽然能把模糊的照片修回来,可是这过程太漫长了,动不动就得十几分钟才能完成,根本没法用在真的视频流里。 为了解决这事儿,团队开发了物理驱动神经网络。这种方法不光靠大数据瞎猜,还把成像的物理原理给用上了。网络前头挂了一组维纳滤波器,它们学的是系统真实的点扩散函数(PSF),专门用来把照片里那些糊掉的地方修清楚。修好以后,一个U-Net网络接着干活,它把那些清晰的地方合起来,把噪声压下去,最后就能出一张高清的图了。这两部分在训练的时候是一起优化的。 实验数据很亮眼。以前用传统算法处理一张照片要熬18分钟,现在用了这个新法子只需要27秒,速度快了差不多4000倍。重建质量也有了质的飞跃,图像的峰值信噪比(PSNR)一下子提升了超过7分贝,结构相似性(SSIM)也从0.42变到了0.68。哪怕是在画面最边缘的地方,效果也还能看得过去。 这项研究让算法和光学配合得更紧密了。以前算法慢吞吞的问题彻底解决了,成像质量也上去了。这就好比把实验室里的原型机变成了能连续播放视频的产品。把这种透明相机装在AR设备上,眼动追踪就能更准了,和人交互的时候就会更自然。而且它拍出来的东西更像是真人眼睛看到的样子,以后不管是录第一视角的视频还是理解周围环境,都有了硬件上的保障。以后只要物理建模和硬件继续一起进步,这种隐形的智能终端就能让AR技术悄无声息地走进咱们的生活里。