如何全面学习多模态？CMU最新《多模态机器学习的基础和最新趋势》综述，65页pdf阐述MML原理、挑战和开放问题，附秋季课程资料

多模态机器学习是一个充满活力的多学科研究领域，旨在通过整合多种交流模态，包括语言、声学、视觉、触觉和生理信息，设计具有理解、推理和学习等智能能力的计算机智能体。随着最近人们对视频理解、具身化自主智能体、文本到图像生成以及医疗健康和机器人等应用领域的多传感器融合的兴趣，多模态机器学习给机器学习社区带来了独特的计算和理论挑战，因为数据源的异质性和模式之间经常发现的相互联系。然而，多模态研究的广泛进展使得很难确定该领域的共同主题和开放问题。通过从历史和最近的角度综合广泛的应用领域和理论框架，本文旨在提供一个多模态机器学习的计算和理论基础的概述。我们首先定义了驱动后续创新的模态异质性和相互联系的两个关键原则，并提出了6个核心技术挑战的分类: 表征、对齐、推理、生成、转移和涵盖历史和近期趋势的量化。最新的技术成果将通过这种分类法来展示，让研究人员了解新方法的异同。最后，我们提出了几个由我们的分类法确定的开放问题，以供未来研究。

http://t.cn/A6ox6J8D