Meta推出了一个名为Ego-Exo4D的基础数据集和基准套件，旨在支持视频学习和多模态感知的研究。据介绍，Ego-Exo4D是Meta的FAIR（基础人工智能研究）项目和Aria项目与15所大学合作两年的研究成果。Ego-Exo4D的核心是同时捕捉参与者佩戴摄像头的第一人称（自我中心）视角和周围摄像头的多个第三人称（非自我中心）视角。这两个视角相互补充，自我中心的视角揭示了参与者的视听感知，而非自我中心的视角则揭示了周围场景和上下文。研究者将在本月开源数据，其中包括超过1400小时的视频，并提供用于新基准测试任务的注释。
论文地址：
https://ego-exo4d-data.org/paper/ego-exo4d.pdf
项目主页：
https://ego-exo4d-data.org