当前位置:<主页 > B生活播 >Google 如何只用一个超低成本的小零件,瞬间提升全球癌症 >

Google 如何只用一个超低成本的小零件,瞬间提升全球癌症



    Google 如何只用一个超低成本的小零件,瞬间提升全球癌症

    大家都听说过 AR(增强现实)、VR(虚拟现实),电影《一级玩家》也展示了未来 VR 游戏的巨大潜力。但是如果把 AR 和机器学习相结合呢?

    今天,谷歌 Research 团队在 AI+AR+医疗相结合的领域又迈出了一步:他们在普通的光学显微镜上装了一个 AR 组件。

    Google 如何只用一个超低成本的小零件,瞬间提升全球癌症

    工作原理是这样的:用机器学习的方法实时分析显微镜视野下的图像,并实时输出模型的结果,通过 AR 组件,在原本的图像上绘製出潜在肿瘤的边缘。

    也就是说,医生在看显微镜的时候,看到的不仅仅是细胞组织,还有机器学习建模的结果:一条「癌症轮廓线」。

    最令人激动的地方在于,这个组件的 成本非常低 ,可以直接被安装到普通的光学显微镜上,这将让全世界各地的医生、病理学家都有机会接触到深度学习。

    点击观看 AR 显微镜的介绍视频?

    深度学习在眼科,皮肤科,放射科和病理学等医学学科的应用,大大提高了医疗保健的準确性与可用性,给世界各地的患者带来了福音。比如,谷歌的最新研究表明卷积神经网络在检测乳腺癌转移方面,拥有与专业病理学家相媲美的準确度。

    然而,利用复合光显微镜直接探测是否存在病变组织仍然是病理学家诊断疾病的主要手段。因此,在病理学中广泛採用深度学习的一个关键障碍是对微观组织进行数字化表示。

    在 4 月 17 号举办的美国癌症研究协会年度会议上,谷歌的科学家公布了这篇名为「An Augmented Reality Microscope for Real-time Automated Detection of Cancer」的论文,描述了增强现实显微镜(Augmented Reality Microscope,ARM)平台。

    Google 如何只用一个超低成本的小零件,瞬间提升全球癌症

    ARM 增强现实显微镜平台由改进的光学显微镜组成,支持实时图像分析,并且能将机器学习算法的结果直接渲染。重要的是,谷歌的 ARM 平台组件可以直接被装入各个医院和诊所中现有的光学显微镜中,成本低且易于使用。

    通过现代计算组件和深度学习模型,例如建立在 TensorFlow 上的模型,人们将能在此平台上运行大量预训练模型。使用方式和传统的显微镜类似,用户通过目镜观察样本,机器学习算法将其实时输出投影到显微镜的光路中。

    这种数字投影被叠加在样本的原始图像上,以帮助观看者定位或量化感兴趣的特徵。重要的是,计算和视觉反馈更新迅速——目前,模型以每秒约 10 帧的速度运行,因此 当用户在显微镜载玻片上移动或改变放大率时 , 模型输出可以无缝更新。

    Google 如何只用一个超低成本的小零件,瞬间提升全球癌症

    左图:ARM 的示意图。数码相机捕获与用户相同的视场(FoV),并将图像传送到能够运行机器学习模型的实时推断的附加计算单元。结果被反馈到一个自定义的 AR 显示屏中,该显示屏与目镜齐平,并将模型输出投影到玻片所在的平面上。

    右图:原型图,由典型的临床级光学显微镜改装。

    ARM 可以提供多种视觉反馈,包括文本、箭头、轮廓、热图或动画,并且能够运行多种类型的机器学习算法,旨在解决不同的问题,如目标检测,量化或分类。

    为了展示 ARM 的潜在用途,谷歌在其上运行了两种不同的癌症检测算法:一种检测淋巴结标本中的乳腺癌转移,另一种检测前列腺切除标本中的前列腺癌。这些模型可以在 4-40 倍的放大倍数下运行。下图中的绿色轮廓是检测到的肿瘤区域,也就是模型输出的结果。 这些轮廓有助于将病理学家的注意力吸引到感兴趣的区域,而不会掩盖潜在的肿瘤细胞外观。

    Google 如何只用一个超低成本的小零件,瞬间提升全球癌症

    虽然这两种癌症模型最初都是在扫瞄仪的图像之上训练,且扫瞄仪的光学配置明显不同,但这些模型在 ARM 上执行得非常好,无需额外重新训练。

    例如,淋巴结转移模型的曲线下面积(AUC)为 0.98,而在 ARM 上运行时,前列腺癌模型在视场中的癌症检测(FoV)的 AUC 为 0.96,性能仅略低于 WSI。通过直接从 ARM 本身获取的数字图像中训练可以进一步提高这些模型的性能。

    谷歌认为,增强现实显微镜有潜力对全球健康产生重大影响,且在医疗保健、生命科学研究和材料科学等领域有着广泛的应用,特别是对发展中国家传染病(包括肺结核和疟疾)的诊断。此外,即使在即将採用数字病理工作流程的医院中,ARM 也可以与数字工作流程结合使用,处理扫瞄仪需要快速周转或者不能很好地检测问题的情况(如细胞学、萤光成像或手术中的冷冻部分)。

    原文链接

    Google AI 万种应用

    Google AI 大神李飞飞新论文:只要说出需求,AI 自动把图画出来

    赌海明灯来了!Google 用 AI 即时预测 NCAA 决赛,投进几个三分球都要猜

    影片合成免麻烦,Google AI 让你实况一秒去背换布景!