Holoeyes Inc. 与 Abdul Latif Jameel Health 就他们在医疗 VR 技术方面的全新战略合作回答提问

2021 年 11 月,Abdul Latif Jameel Health(通过日本 Abdul Latif Jameel General Trading Co)与 Holoeyes Inc. 宣布了一项激动人心的全新战略合作,分销 Holoeyes 的创新型 3D 虚拟现实 (VR) 手术支持系统和医学教育软件。

Holoeyes Founders
Holoeyes 创新团队:从左至右:CSO Kenichi Shinjo(新城 健一),联合创始人、COO 兼 CMO 的 Maki Sugimoto 教授(杉本 真樹),联合创始人、CEO 兼 CTO 的 Naoji Tanigchi(谷口 直嗣)。

这项新的合作旨在通过先进的医学成像技术,提升手术效率和安全性,提高医学教育的标准和质量。它将侧重于中东和非洲的选定市场,以及日本境内的新市场。我们采访了 Holoeyes Inc. 联合创始人、CEO 兼 CTO Naoji Taniguchi(谷口 直嗣 ),联合创始人、COO 兼 CMO Maki Sugimoto(杉本 真樹 )以及 Abdul Latif Jameel Health 的 CEO Akram Bouchenaki,共同探讨这项开创性技术及合作背后的共同目标。

Holoeyes 的想法源自何处?

NT:我当时是一名自由职业软件工程师,做一些机器人和视频游戏的应用程序,以及一些电脑显卡的研发。大约七年前,我的一位朋友,也是一家大型出版公司的编辑,让我制作一些健康方面的数字内容。针对这个项目,我做了一些研究,发现 Maki [Sugimoto] 写了一篇关于医疗领域 3D 图形和 VR 的文章。他谈到,一些 VR 传感器(如 Microsoft Kinect)或超高分辨率视频将彻底改变医疗领域。这篇文章给我留下深刻的印象,于是我联系了他。我们在东京碰面,深入讨论了他的想法。我们一直保持联系,他教我如何利用 CT 扫描图像重建 3D 模型。

我根据这些图像制作了一些比例模型,我想,如果能用 VR 头盔潜入颅骨就好了。我做了一个原型,非常棒。我想,我是第一个潜入颅骨的人!我把这个应用程序给 Maki 看,他很感兴趣。他想把它用于医疗领域。他让我用真实患者的数据做一个应用程序,并开始将我的应用程序用于泌尿外科。结果,我们在日本赢得了一些奖项,提高了知名度。我们意识到这项技术有巨大的商业潜力,于是我们创办了 Holoeyes Inc. 作进一步开发。

您能简单解释一下该技术的工作原理及主要优点吗?

MS:它基本上就像手术用的 GPS 系统。关键词是“空间感知”。外科医生需要尽可能了解患者的情况,知道切哪里、患者的手术边缘在哪里等。目前的 2D 监测仪提供的知识有限,由于只是像 CT 或 MRI 扫描这样的 2D 图像,因此没有空间感知。

Holoeyes holograph experience
从左至右:2D CT 图像到 3D 传统物体绘制,到全新 Holoeyes 扩展现实 (XR) 3D 光刻体验

我们的系统截然不同。我们获取患者的真实数据——关于其体内特定位置的信息,而且我们可以在网上以 3D 形式将数据可视化,例如 VR 或 AR。在 3D 中“看到”患者体内,极大地促进了外科医生对患者个体解剖结构和疾病状况的空间感知。此外,我们通过网络开展这项工作,任何外科医生都可以在 10 分钟内学会使用该系统。因此,10 分钟内,他们就可以用我们的网站将患者的个体数据转换为 VR 模型。

譬如说,在癌症手术中,使用 Holoeyes 技术,外科医生可以输入数据并用 Holoeyes 创建肿瘤的 3D 图像。他们可以从后面、上面、下面观察肿瘤,在切之前,就能看清楚要他们处理的是什么。至关重要的是,他们可以在手术中做到这一点。创建 3D 图像通常需要 30-60 分钟,由于时间过长,在手术中没有什么好处。在手术中,我们的系统 10 分钟内就可以在 VR 系统中重建 3D 模型,速度足够快,可以在手术室中使用。

该项技术处于哪个阶段? 已经在实际使用还是仍在开发?

NT:我们的技术已经在使用,但这只是一个开端。VR 耳机技术仍处于起步阶段,还有更多潜力有待挖掘。例如,语音识别,外科医生可以询问类似手术的示例。

Holoeyes technology
使用 CT 数据创建的颅骨 3D 图像。使用这些 3D 图像有助于迅速理解解剖学。来源:Holoeyes

今天早上,我们在大阪和东京之间进行了一次牙科演示。大阪的一位牙科专家利用 Holoeyes 系统和真实的患者数据,通过 VR 向东京的一名年轻牙医进行了演示。对于下周的种植手术,他们也会这样做。

一大优点是,初级牙医可以在 VR 中看到手术经验丰富的其他牙医的实际动作。

Holoeyes 可以同时计算手臂和器械的位置以及患者数据,并在 VR 空间中共享。使用这个“元宇宙”或集体虚拟共享空间,我们可以分享动作、声音和观点,并分享如何执行和开展手术的知识。能够以 3D 形式看到动作对此至关重要。

是什么吸引您与 Abdul Latif Jameel Health 合作?

NT:中东是一个极具吸引力的市场,与日本市场规模相似。它位于亚洲、非洲和欧洲的中间,地处重要的战略位置,是我们全球战略的重要组成部分。

Akram Bouchenaki
Akram Bouchenaki,
Abdul Latif Jameel Health 首席执行官

AB:对我来说,我们的合作背后有两个关键因素。

一个是技术,以及我们如何看待它与新的医学实践和教学方式的融合。如今,孩子们已经习惯了在屏幕上学习,适应了 VR 技术的概念。这一趋势在所难免,它对医学的影响不亚于对其他任何领域的影响。

Holoeyes 走在这一技术转型的最前沿。

第二部分是该技术如何契合 Abdul Latif Jameel Health 的使命。我们的一个目标是将创新技术带到世界各地,这些地方可能需要更长时间甚至永远无法获得创新技术。此次合作非常贴合这一概念。

Holoeyes 系统还有一个智能手机应用程序,可以 3D 形式查看 VR 内容。

Holoeyes headset
Holoeyes 智能手机 VR 应用程序有一个简便的查看器(见上图),用于开展教育(见下图)。(来源:Holoeyes)。

这样,非洲等欠发达市场更容易获得这项技术。

只需要智能手机和 5G 即可。

Holoeyes 技术的另一个应用是作为一种工具,通过普及医疗保健培训,拓展和提升全球医疗保健服务提供者的知识,特别是我们所在的地区。这一点至关重要,因为许多目标市场面临的一个问题就是医疗保健提供者短缺。

Holoeyes in action例如,在非洲国家/地区,每千居民可能拥有 2.3 名医疗保健提供者,而欧洲、日本或北美则是其 10 或 20 倍。远程培训人们使用 Holoeyes 等系统,让科技帮助我们弥补这一差距。

只需 5G 连接即可。幸运的是,5G 网络正在全球范围内飞速发展,甚至偏远地区也是如此,未来几年将成为常态。因此,我们很高兴与 Holoeyes 合作,拓展其技术的潜力和覆盖面。

在日本,您首先关注的一个行业是牙科院校和诊所。您为何决定专注于牙科?

NT:我们是从外科应用着手,因为 Maki 是一名外科医生。

MS:还有一个要点是关于数据的。在日本,超过 95% 的牙医都是在私人医院和个人诊所。这是一个优势。第二点是,日本近 60% 或 70% 的牙医在执业时都有 CT 扫描仪,他们很容易就能获得患者的 CT 扫描图像,并用 Holoeyes 系统转变成为 3D VR 模型。

Holoeyes 是否正在开发这项技术,用于更多医疗领域和应用?

MS:我们专注于医疗领域,但理论上讲,Holoeyes 技术适合使用 CT 或 MRI 扫描等扫描技术的任何场所,如兽医执业。

它不仅可以用于疾病和手术,也可以作为健康计划、年度体检或类似项目的一部分。

您预计 Holoeyes 技术多久能进入中东和其他地区的新市场?

AB:很快,我希望。我们的目标是在今年,也就是 2021 年年底完成初步设置,并着手通过我们的网络推出这项技术。我们将从 GCC 开始,然后迅速寻找其他市场。这项技术的优势非常明显,我们相信会有巨大的需求。

它会很好地补充我们即将推出的另一项技术,那就是连接智能手机的手持式超声波设备。我们首先会将其引入各教学医院和院校,年轻医生将习惯使用超声成像加上 3D 和 VR 技术来指导诊断和手术。

此外,我们把它视为重要的患者教育和信息工具。患者日益成为整个医疗保健基础设施的中心,我们相信我们可以为这一重要趋势贡献一份力量,让患者达到新的信息和理解水平。

您如何看待 Abdul Latif Jameel Health 与 Holoeyes 之间的关系?

AB:我们的关系和共同的机遇让我振奋不已。我们将与 Holoeyes 的优秀团队、我们的日本团队建立坚实的基础。65 年来,我们一直是丰田汽车公司的合作伙伴,希望我们与 Holoeyes 的合作至少维持这么久!

您是否期望此类技术在未来成为常态?

在日本,Holoeyes Edu 用于护理院校的解剖学教育,促进学生快速、详细的学习。来源:Holoeyes

MS:这是新的常态,元宇宙。Facebook 首席执行官 Mark Zuckerberg 表示,Facebook 是一家元宇宙公司,每个人都可以分享相同的知识、技术,分享一切。医学领域是一样的。可以用相同的方式在元宇宙分享医学技术和数据。Holoeyes 已经证明这是可以做到的。我们很高兴看到它在未来不断发展。