2024年4月3日，欧洲科学院院士、美国国家发明家科学院院士，罗切斯特大学计算机科学罗杰波教授受邀访问中国科大，并在高新校区图书教育中心C101报告厅做了题为“多模态大型语言模型作为社交媒体分析引擎”的讲座。报告会由张勇东教授主持，百余位师生到现场听取了报告。

    罗杰波教授首先介绍了多模态大模型的基本概念和技术原理，强调了其在图像、视频、自然语言处理以及数据挖掘等方面的广泛应用前景。他指出，随着社交媒体的快速发展，分析其内容变得越来越复杂，而多模态大模型为解决这一问题提供了强有力的工具。

    随后罗教授介绍了多模态大模型在情感分析、谣言检测、用户属性预测和社交媒体内容分析等方面的应用实例。他通过具体案例展示了模型如何通过结合图像和文本数据，提高对社交媒体内容的理解和处理能力。通过分析对比不同提示下模型进行情感分析任务时的输出，解释了模型如何从图像和文字中识别出潜在的情感信息，并进行准确的分析。同时罗教授也给出一些反面例子，指出了对于某些复杂场景模型没有办法做出正确的判断。

    此外，罗教授还介绍了他们团队在优化多模态大模型方面所做的研究工作。他们设计了一种方法，通过预处理、数据增强和复杂的算法来优化模型的性能。他强调，通过结合时域和频域信息，利用深度学习算法，特别是卷积神经网络，显著提升了图像质量和精度。他还提到，这些模型在应对复杂的社交媒体内容时表现出色，通过多种方式来优化模型的性能，并展示了相关案例和实验结果。

    在讲座的互动环节，罗杰波教授与在场师生进行了深入交流，详细解答了关于多模态大模型未来的发展，模型在社交媒体分析中的应用以及未来研究方向的疑问。他生动的讲解和丰富的实例让在场师生受益匪浅，讲座在热烈的掌声中圆满结束。

罗杰波教授简介：

罗杰波，欧洲科学院院士、美国国家发明家科学院院士，ACM、AAAI、IEEE、SPIE、IAPR和NAI的Fellow，罗切斯特大学Albert Arendt Hopeman教授、计算机科学教授。至今已发表高水平论文600余篇，谷歌学术引用超过5.4万，拥有超过90项美国专利，研究兴趣涵盖了计算机视觉、自然语言处理、机器学习、数据挖掘计算社会科学和数字健康等领域。罗杰波教授曾担任ACM MM 2010、IEEE CVPR 2012、ACM ICMR 2016和IEEE ICIP 2017的程序主席，以及ACM MM 2018和IEEE ICME 2024的大会主席，并曾任IEEE TPAMI，IEEE TMM，IEEE TSVT，IEEE TBD，ACM TIST，PR，KAIS，MVA等国际顶尖学术期刊编委会成员，2020年至2022年担任IEEE TMM总主编。