Google Research 发布被动心率监测系统 PHRM
Towards passive heart health monitoring via smartphone camera
Google Research 开发了一种被动心率监测系统（PHRM），利用智能手机前置摄像头在日常使用中（人脸解锁后数秒内）捕捉面部视频，通过深度学习估算心率，平均绝对百分比误差（MAPE）低于10%（对比心电图金标准），满足各肤色人群的行业精度标准。系统将全天心率测量整合为每日静息心率（RHR），平均绝对误差（MAE）低于5 bpm（对比可穿戴设备）。研究同时发布了迄今最大规模的公开智能手机视频数据集及预训练模型PHRM-mini，合格研究人员可申请访问。
Google 这项发表在 Nature 上的研究，把手机前置摄像头变成了被动心率仪，而且专门解决了深肤色人群精度差的老问题，虽然离产品还远，但方向很对，穿戴设备的护城河可能又浅了一点。
Eric S. Teasley，产品经理；Ming-Zher Poh，Google Research 资深研究科学家
我们提出了一套研究系统，可在日常使用智能手机的过程中，通过前置摄像头拍摄的面部视频被动测量心率和静息心率。
快速链接
心率（HR）是生命体征中最重要的一项，是反映生理状态的动态指标，受到从活动、压力到急性和慢性疾病等各方面因素的影响。此外，静息心率（RHR）是心血管健康和长期健康风险的关键生物标志物。较高的 RHR 以及 RHR 随时间升高，与主要不良心血管事件和全因死亡率相关。
可穿戴设备，例如 Fitbit 设备和 Pixel Watch，使我们能够在日常生活中持续追踪这些健康指标。然而，它们的普及率仍有提升空间，尤其是在资源匮乏的环境中，以及那些 心血管疾病风险最高的人群中。智能手机为扩大健康追踪的覆盖面提供了独特的机遇——如今，大约 50 亿人已经拥有一台配备强大传感器的设备，能够监测自身健康。2022 年，我们展示了利用智能手机进行 按需心率测量的方法，即通过将手指放在摄像头上进行测量，而 随后的 Google 研究则探讨了在该测量过程中 检测到的信号如何有助于预测心血管疾病。
在《日常使用智能手机期间的被动心率监测》一文中，该文发表于《Nature》,我们介绍了一个研究系统（PHRM），它能够在日常使用智能手机的过程中，在后台持续追踪心率（HR）和静息心率（RHR）。PHRM 利用前置摄像头，在面部解锁事件后的数秒内采集用户面部的视频。随后，它应用深度学习来估算心率，与平均绝对百分比误差（MAPE）< 10% 相比心电图得出的基准真值，达到行业准确度标准，适用于所有肤色的人群。最后，该系统将全天的心率测量结果整合为对每日静息心率的估算，其准确度可与可穿戴设备相媲美，与一款可穿戴追踪器相比，平均绝对误差（MAE）< 5 次每分钟（bpm）。伴随我们的论文发表，我们发布目前公开可用的、规模最大且最多样化的智能手机视频研究数据集，以及一个预训练的“PHRM-mini”模型。符合条件的研究人员可以申请获取访问权限。
一项为所有人设计的技术突破
与可穿戴设备、脉搏血氧仪以及我们此前的工作类似，PHRM 通过光电容积描记法（PPG）测量心率，即通过感知每次血液脉冲通过皮肤时光与皮肤相互作用方式的波动来实现。我们开发了一套端侧软件流水线，用于处理 8 秒的面部视频片段，并使用计算高效的时间偏移卷积神经网络来预测心率及置信度分数。该流水线进一步汇总一天中的心率预测结果，并利用置信度分数和卡尔曼滤波来估算每日静息心率。
PHRM 从用户面部片段估算心率和每日静息心率的流水线。
虽然用于此类“远程”PPG（rPPG）的计算机视觉模型已经存在了二十年，但此前的工作涉及的是受控条件下规模较小的研究，限制了其泛化能力。此外，此前的研究严重缺乏深色皮肤人群的代表性，在这些人群中，黑色素使 PPG 信号更难以被摄像头检测到。直到最近，研究人员才开始更深入地研究 rPPG 模型在深色皮肤研究参与者上的表现，发现准确率显著降低——这一轨迹与脉搏血氧仪及其他基于 PPG 的技术所经历的情况类似。对脉搏血氧仪的担忧促使 FDA 起草了指南，以确保验证研究中肤色的多样性代表性。迄今为止，尚缺乏达到类似标准的 rPPG 研究。
我们使用来自近 700 名多样化且已知情同意的研究参与者的超过 350,000 个视频片段开发了 PHRM，这些片段涵盖实验室和真实世界环境；正如我们在早期工作中所做的那样，我们将更多模型训练投入到最具挑战性的案例上。我们利用比色法和Monk 肤色量表来确保浅色皮肤（“第 1 组”，Monk 1-4）和中等肤色（“第 2 组”，Monk 5-7）的参与者各自至少占我们数据集的 25%，并且深色皮肤（“第 3 组”，Monk 8-10）的参与者至少占 33%。这种采样方法与 FDA 后来提出的肤色队列相一致。更进一步，在 Google 健康优化团队的支持下，我们制定了一项非劣效性标准，规定 PHRM 对每组心率（HR）的 MAPE 与其他组的差异必须小于 5 个百分点。这些努力使我们对 PHRM 的研究成为迄今为止规模最大、最多样化的 rPPG 研究，并使我们能够开发出在整个肤色范围内都能准确表现的包容性模型。
实验室与真实世界中的验证
我们训练 PHRM 以处理实验室研究中的各种条件，记录了 365 名多样化研究参与者在不同光照条件和活动状态下的面部视频和同步心电图（ECG）数据。在一个单独的 104 名参与者测试集上，经过最低置信度分数门控后，尽管我们测试的条件范围广泛，PHRM 在各肤色组中均实现了显著低于 10% 的 MAPE。在同一测试集上，无论门控前后，PHRM 均显著优于 15 个已发表的主流 rPPG 模型，并且是唯一在所有肤色上均实现 MAPE < 10% 的模型。
PHRM 与最先进 rPPG 方法在（上）多样化实验室条件下以及（下）自由生活条件下的心率（HR）准确率对比。实心柱表示经过 PHRM 置信度门控后的 MAPE；空心柱表示未经门控的 MAPE。红色虚线表示预先设定的 MAPE < 10% 目标。误差线表示 95% 置信区间上限。
为了在真实世界数据上训练 PHRM，我们开展了一项史无前例的“自由生活”研究。231 名多元化的研究参与者在个人手机上安装了定制数据采集应用，并在八天内像平常一样使用手机，同时佩戴 ECG 胸带和 Fitbit Charge 6 健身追踪器。我们的应用在每次面部解锁后立即录制 8 秒视频片段和 ECG 数据，平均每天采集 231 个片段。每天结束时，参与者在查看自己的片段以确认排除敏感内容和其他人脸后，手动且明确地授权上传至我们安全加密的服务器。
在我们的自由生活研究中，PHRM 采集了来自多元化参与者和真实世界条件的视频。人脸已做隐私遮挡处理。
在一个包含 101 名参与者的留出验证子集上，PHRM 在置信度门控后实现了 6.09% 的总体 MAPE，第 1、2、3 组的 MAPE 分别为 5.04%、5.12% 和 7.84%。每个 MAPE 均显著低于 10%，并达到了我们预先设定的非劣效性目标。在自由生活条件下，PHRM 以更大的优势超越了同样的 15 个领先 rPPG 模型，并且仍然是唯一一个在所有肤色上均实现 MAPE < 10% 的模型。Bland-Altman 分析显示，PHRM 平均仅低估心率 0.64 bpm，95% 一致性界限在 -11.3 至 10.3 bpm 之间；置信度分数更高的测量结果误差更低。
左图：Bland-Altman 图，展示自由生活研究中 PHRM 估计心率与 ECG 导出心率之间的一致性。颜色表示 PHRM 预测置信度。虚线表示偏倚以及一致性界限的下限和上限。右图：PHRM 在不同肤色上的心率准确性。箱线图展示每位参与者的 MAPE。箱体范围表示四分位距（IQR）除以中位数。须线延伸至箱体之外 1.5 × IQR。须线之外的圆点表示离群值。红色虚线表示预先设定的 MAPE < 10% 目标。
我们随后对在一个或多个日期内至少有 20 次心率测量的参与者应用了 PHRM 的 RHR 算法。对于这 90 名参与者，PHRM 在 73.6% 的参与者-日内成功估算了 RHR。PHRM RHR 相对于 Fitbit Charge 6 的每日 RHR 的总体 MAE 为 4.39 bpm，显著低于我们预先设定的 5 bpm 目标。Bland-Altman 分析显示，PHRM 平均低估 RHR 0.1 bpm，95% 一致性界限在 -9.1 至 9.2 bpm 之间；误差随 RHR 测量天数的增加而减小。按肤色分组，除第 3 组外，所有组的 MAE 均显著 < 5 bpm。然而，随着我们 RHR 算法的卡尔曼滤波器收敛，所有组的 MAE 都随时间下降——第 3 组的 MAE 从第三天起显著 < 5 bpm。
左图：Bland-Altman 图，展示 PHRM 与可穿戴设备估算的每日 RHR 之间的一致性。颜色表示自 RHR 估算开始以来的天数。虚线表示偏倚以及一致性界限的下限和上限。右图：PHRM RHR 准确率随天数的变化。阴影区域表示 95% 置信区间。红色虚线表示预先设定的 MAE < 5 bpm 目标。
在确认我们方法的有效性时，我们进一步发现，在控制协变量后，PHRM 推导出的 RHR 较高的参与者更可能具有高体重指数（BMI）和较差的心血管适能（低VO2max），这表明 PHRM 正确捕捉到了心血管风险的方向性。
展望
据我们所知，PHRM 首次大规模展示了在日常智能手机使用过程中进行被动心率（HR）和每日静息心率（RHR）监测的可行性。作为唯一一种在所有肤色人群中都达到心率精度标准的 rPPG 方法——即便在不可预测的真实世界条件下也是如此——它为这一领域树立了新的标准。它也是首次利用 rPPG 估算每日 RHR，并在所有肤色人群中达到可穿戴设备级别的精度。通过将对用户习惯的理解与前沿深度学习技术以及包容性设计相结合，我们开发出了一套基于智能手机的心率监测系统，能够提供媲美可穿戴设备的心脏健康洞察。因此，PHRM 提供了通过我们最普及的设备让心脏健康追踪的益处惠及大众的机会。更广泛地说，它展示了我们如此频繁使用的设备如何反过来映照出我们的健康洞察。
尽管 PHRM 在所有肤色人群中均达到了精度标准，但其心率测量的成功率在 Group 2 中较低，在 Group 3 中最低，这可能是由于在较深肤色中检测 PPG 信号的难度所致。未来的工作可以探索优化摄像头曝光或触发额外的采样尝试，以提高测量成功率。我们还观察到一些由参与者说话和头部运动引起的离群误差。改进视频稳定技术可以减轻这些误差，而基于加速度计的门控可以帮助优先选择合适的静止时刻。最后，未来的系统可以通过要求人脸认证并采用安全的端侧处理来确保数据完整性和隐私。
为了推动进一步的研究，我们正在将我们的里程碑式数据和建模资源提供给具备以下条件的研究人员机构审查委员会（IRB）批准并满足我们的数据保护要求。为保护研究参与者的隐私，所有视频均在 IRB 批准下采集，并按照参与者的明确同意进行处理。该数据集完全限于非商业研究用途，获取访问权限的研究人员严禁试图重新识别任何个人或公开展示原始视频素材。我们邀请研究界利用我们的资源，在我们工作的基础上继续推进。
致谢
这项工作代表了超过 7 年努力的成果。我们感谢论文合著者 Shun Liao、Paolo Di Achille、Jiang Wu、Silviu Borac、Jonathan Wang、Xin Liu、Lawrence Cai、Yuzhe Yang、Yun Liu、Daniel McDuff、Hao-Wei Su、Brent Winslow、Anupam Pathak、Mark Malhotra、Shwetak Patel、James A. Taylor 和 Jameson K. Rogers。我们感谢重要贡献者，包括：Nikola Teslovich、Alex Mun、Jonathan Hsu、Xiaoxia Zheng、Derrick Vickers、Sam Mravca、Tracy Giest、Jason Guss、Florence Thng、Jiening Zhan、Julie Cannon、Mehr Kashyap、Jaspreet Pannu、Tiffany Kung、Ming Jack Po、Matthew Shore、Justin Tansuwan、Liwen Chen、Cristo Alanis Barrera、Anand Saxena、Jeremy Miles、Melissa Moran、Michael V. McConnell、Ivor Horn、Benny Ayalew、Jonelle Saunders、Jonathan Tsai、Heather Cole-Lewis、Ebony Respress、Perry Payne、Kamillah Wood、Nnamdi Ezeanochie、Magdala Chery 和 Rich Gossweiler。我们感谢 Lizzie Dorfman、Katherine Chou、Michael Howell 和 Greg Corrado 的领导支持。特别感谢 Jiemin Yang、Josh Grondie、Kenya Moore 和 Katie Barton 为我们的自由生活研究制作动画。
来源：Google Research：Blog（网页） · research.google