清华大学申请多模态课程学习专利，提升多模态模块整体的优化程度

本文源自:金融界

金融界2023年12月23日消息，据国家知识产权局公告，清华大学申请一项名为“基于模态内和模态间的多模态课程学习方法、装置和设备“，公开号CN117272231A，申请日期为2023年10月。

专利摘要显示，本申请提供了一种基于模态内和模态间的多模态课程学习方法、装置和设备，所述方法包括：利用包含多个模态编码器的多模态模块对多模态数据进行任务处理，得到任务预测结果和每个模态编码器的样本表征结果；根据任务预测结果，计算每个模态编码器的任务损失梯度向量，以及，根据样本表征结果，计算每个模态编码器的模态损失梯度向量；根据任务损失梯度向量和模态损失梯度向量，确定每个模态编码器的关系数值；选择关系数值最大的模态编码器从任务中学习，选择除关系数值最大的模态编码器之外的其余模态编码器从模态中学习。基于本申请提供的方法，避免了模态之间的相互压制，提升了每个模态编码器各自的优化程度和多模态模块整体的优化程度。

注明：本内容来源网络，不用于商业使用，禁止转载，如有侵权，请来信到邮箱：429562386ⓐqq.com 或联系本站客服处理，感谢配合！