91猫先生

移到主要内容

【演講公告】2026.05.12 Hiding a Swarm's Leader from RL Agent and Human. AI Safety in the Information and Physical Spaces

2026.05.12



演讲主题:

Hiding a Swarm's Leader from RL Agent and Human

AI Safety in the Information and Physical Spaces

 

讲者:

Prof. Michael Lewis 美国匹兹堡大学(University of Pittsburgh)资讯学院教授

Prof. Katia Sycara 美国卡内基美隆大学(CMU)机器人研究所资深研究教授,现任机器人研究所副主任,并担任可信任人机协作研究中心主任

 

时间: 2026512 ()  15:00-17:00

地点: 管理大楼11-AI讲堂

直播连结: 或 掃描海報 QR code

 

讲者簡介:

Michael Lewis 教授為美国匹兹堡大学(University of Pittsburgh)资讯学院教授,專長於人機互動、人機協作与群體機器人(swarm robotics)研究,特别关注人类如何与多机器人系统及AI协同运作。其研究涵盖人因工程、强化学习、人机信任与决策支援等领域,长期获美国国防高等研究计画署(DARPA)与多个政府机构支持,為人机协作与智慧系统领域的重要学者。

 

Katia Sycara 教授為美国卡内基美隆大学(CMU)机器人研究所资深研究教授,现任机器人研究所副主任,并担任可信任人机协作研究中心主任。她為人工智慧、多代理系統与人機協作領域的國際權威學者,為 AAAI IEEE Fellow,并曾获多项国际学术终身成就奖。其学术影响力深远,发表超过700篇论文,引用数逾5万次,致力於发展可信任、自主且可解释的AI系统。

 

演讲大纲:

Hiding a Swarm's Leader from RL Agent and Human

本演讲探讨在机器人群体系统中保护领导者的策略。虽然以领导者為核心的控制方式可提升群体协作效率,但同时也增加系统遭受攻击的风险。本研究透过图神经网路(GNN)训练群体追随领导者,并利用对抗式模型辨识领导者位置。研究结果显示,在一般情境下,AI模型在领导者辨识上优於人类;然而当群体採用隐匿策略时,人类的辨识能力反而优於AI。即使在對抗模型持續學習及高視覺干擾環境下,人類仍展現出穩定且較佳的判斷能力。此結果突顯人類与人工智慧在複雜多代理系統中的關鍵差異。

 

AI Safety in the Information and Physical Spaces

本演讲探讨基础多模态模型(Foundational Multi-Modal Models)的潜在安全漏洞,重点分析透过「意图欺骗(intention deception)」进行模型越狱(jailbreaking)的风险,以及在何种条件下多模态模型更容易受到对抗性攻击并洩露敏感或危险资讯。此外,将提出相应的安全防护策略,并进一步介绍「情境安全(contextual safety)」在真实世界应用中所面临的挑战。

 

※本活动无需报名