报告摘要：人工智能大模型极大地提高了视觉计算和自然语言处理等诸多领域的识别性能。尽管在上述领域取得了突破，其在医疗多模态大模型的分析与应用仍有待探索，尤其针对基准模型构建和多模态异构数据融合分析等。本次报告将分享我们在医疗多模态大模型研发与应用等方面的最新进展，以及在疾病诊断、疗效预测和预后等方面的应用和挑战。

报告摘要：今年是中国嫦娥工程立项20年。2024年6月25日，嫦娥六号返回器准确着陆于内蒙古四子王旗预定区域，标志着探月工程嫦娥六号任务取得圆满成功。中国嫦娥系列探月卫星获取了大量科学数据，报告拟探讨探月数据中图形图像智能计算问题。包括利用嫦娥一号激光测高数据来构建高精度月球数字高程模型的图形计算问题；采用嫦娥二号亮温数据构建全月亮温图智能计算问题；使用嫦娥三号CCD立体相机获取的影像数据拼接得到月面巡视区的大视场全景图像智能计算问题。对嫦娥系列探月卫星获取的探月图形图像科学数据的智能计算与应用进行有意义的探索与思考。

报告摘要：Humans live in a 3D world, continually acquiring diverse skills and engaging in various activities through perceiving, understanding, and interacting with it. Our long-term research objective is centered on simulating the 3D world and empowering AI systems with 3D spatial understanding capabilities. In this talk, I will start by discussing our recent research efforts in creating 3D interactive environments by reconstruction, decomposition, and generation. Subsequently, I will explore how we can equip machines with the ability to comprehend and reason within a 3D environment by adopting a data-centric approach. Lastly, I will examine the possibilities of integrating 3D environment simulation and understanding to facilitate the emergence of closed-loop active intelligence. In summary, this talk will encompass our latest efforts in 3D reconstruction, comprehension, and creation, ultimately aiming for AI systems that can effectively navigate and engage with our 3D world.

报告摘要：随着生成式人工智能技术的快速发展，深度伪造（DeepFake）检测已成为一项重大挑战。传统检测方法虽然能够判断内容真假，但往往缺乏解释性，导致模型在实际应用中的可信度不足。为了充分发挥多模态大模型在DeepFake检测中的潜力，我们首先对不同提示（prompt）在GPT-4和Gemini等多模态大模型上的表现进行了评测。结果显示，这些大模型在某些方面表现出色，但也存在一定的局限性。基于这些评测结果，借鉴取长补短的思想，我们设计了一套新框架，不仅强化了模型的优势，还有效弥补了其短板。同时，该框架具备良好的可扩展性，并在确保解释性的前提下，检测性能也达到了SOTA水平。更多详细信息可参见 (https://arxiv.org/abs/2410.06126)。