⏶14
深入内心:用于rPPG和健康生物标志物估计的多视角视频数据集
发表
由
Pavel Blinov 提交
作者: Konstantin Egorov, Stepan Botman,
Pavel Blinov, Galina Zubkova, Anton Ivaschenko, Alexander Kolsanov, Andrey Savchenko
摘要
远程光电容积脉搏波描记法 (rPPG) 的进展受限于现有公开可用数据集的关键问题:规模小、面部视频存在隐私顾虑以及条件多样性不足。本文介绍了一个新颖的、全面的、大规模的多视角视频数据集,用于 rPPG 和健康生物标志物估算。我们的数据集包含来自 600 名受试者的 3600 个同步视频录制,这些录制是在不同条件下(静息和运动后)使用多个不同角度的消费级相机拍摄的。为了实现对生理状态的多模态分析,每次录制都配有 100 Hz 的 PPG 信号和扩展的健康指标,如心电图、动脉血压、生物标志物、体温、血氧饱和度、呼吸频率和压力水平。利用这些数据,我们训练了一个高效的 rPPG 模型,并在跨数据集场景中将其质量与现有方法进行了比较。我们数据集和模型的公开发布应该会显著加快 AI 医疗助理开发进展。
我们非常激动地发布我们的论文 《深入心脏:用于rPPG和健康生物标志物估计的多视角视频数据集》 以及配套的 MCD-rPPG数据集!
这个大规模、多视角视频数据集旨在克服现有基准的局限性,并加速远程光电容积脉搏图(rPPG)和非接触式健康监测方面的研究。它包含600名受试者、同步信号以及一套全面的13种健康生物标志物。
我们很高兴地宣布,这项工作已被 ACM Multimedia 2025(数据集轨道)录用,我们期待于今年十月在美丽的爱尔兰都柏林展示它!🍀 🇮🇪
探索数据集和代码,构建下一代人工智能健康助手:
论文:https://arxiv.org/abs/2508.17924
数据集:https://huggingface.co/datasets/kyegorov/mcd_rppg
代码:https://github.com/ksyegorov/mcd_rppg