新一期美国《科学》杂志发表的一项研究显示,当人类用户就人际困境等问题向人工智能(AI)模型寻求建议时,AI常表现得过度迎合或谄媚,甚至对于一些有害甚至违法的提问,AI也常常肯定用户的立场。
美国斯坦福大学研究团队测试了ChatGPT等11个主流AI系统,发现它们都表现出不同程度的谄媚,即过度迎合和肯定的倾向。这种迎合倾向给使用者带来风险,因为人们越来越多地转向AI寻求有关人际困境的建议,这对处于大脑发育和社会规范形成阶段的青少年来说尤其具有风险。
研究人员使用现有的人际建议数据集向模型提问。他们基于某网络论坛中用户一致认为发帖者确实有错的帖子,编写了2000条提示用于测试。此外,他们还利用包含欺骗等数千种有害行为的陈述向这些模型提问。
结果显示,与人类回应相比,所有接受测试的AI模型都更频繁地肯定用户立场。在一般性建议和根据网络论坛发帖编写提示的测试中,模型对用户的认同几率比人类高出49%。即使在回应关于有害行为的询问时,模型也有47%的几率会认可这些行为。
研究团队招募了2400多名参与者,与不同类型AI进行有关人际困境的对话。结果发现,参与者总体上认为谄媚式的回应更值得信赖,并表示下次遇到类似问题可能会再次使用谄媚型AI。
研究人员认为,AI一味反馈迎合和谄媚的建议会损害人们的社交能力。他们提醒,AI模型“过度谄媚”是一个“安全问题”,需要对其进行监管,应以更严格的标准来防止道德层面不安全的模型泛滥。人们在向AI寻求建议时要保持谨慎,尤其在面临社交困惑时,不能把AI当成真人替代品。
来源:每日电讯
美国斯坦福大学研究团队测试了ChatGPT等11个主流AI系统,发现它们都表现出不同程度的谄媚,即过度迎合和肯定的倾向。这种迎合倾向给使用者带来风险,因为人们越来越多地转向AI寻求有关人际困境的建议,这对处于大脑发育和社会规范形成阶段的青少年来说尤其具有风险。
研究人员使用现有的人际建议数据集向模型提问。他们基于某网络论坛中用户一致认为发帖者确实有错的帖子,编写了2000条提示用于测试。此外,他们还利用包含欺骗等数千种有害行为的陈述向这些模型提问。
结果显示,与人类回应相比,所有接受测试的AI模型都更频繁地肯定用户立场。在一般性建议和根据网络论坛发帖编写提示的测试中,模型对用户的认同几率比人类高出49%。即使在回应关于有害行为的询问时,模型也有47%的几率会认可这些行为。
研究团队招募了2400多名参与者,与不同类型AI进行有关人际困境的对话。结果发现,参与者总体上认为谄媚式的回应更值得信赖,并表示下次遇到类似问题可能会再次使用谄媚型AI。
研究人员认为,AI一味反馈迎合和谄媚的建议会损害人们的社交能力。他们提醒,AI模型“过度谄媚”是一个“安全问题”,需要对其进行监管,应以更严格的标准来防止道德层面不安全的模型泛滥。人们在向AI寻求建议时要保持谨慎,尤其在面临社交困惑时,不能把AI当成真人替代品。
来源:每日电讯
1
怕出事?把求助当舆情:切莫不解忧、先堵嘴,让为民服务变了味
2
男子因太懂法被认定“涉嫌职业索赔人”
3
创造力:心流与创新心理学
4
被曝高铁占座:石家庄客运段“打脸”艺人方后,铁路警方该作何处置
5
《人民日报》刊文《莫把群众求助当作负面舆情》
6
高铁霸座,被处罚的标准有哪些?
7
思维的发现:关于决策与判断的科学
8
民警涉嫌猥亵他人:切莫等被害人公开举报后,再“翻烧饼”!
9
某艺人被曝高铁占座,铁路部门回应
10
18年前高考移民,被取消本科学位,硕士、博士学位仍保留,究竟该不该?
11
中央纪委国家监委:今年上半年处分省部级及以上干部74人
12
男子“仅退款”1.6万元水果被判刑1年
13
全县被“拉黑”:权力不能滥用,更不能因“一颗老鼠屎”,就坏“一锅汤”
14
8人吃烧烤被收22套餐具费?
15
洗个头花2万!敢如此大胆诈骗,究竟说明了什么?
16
全县被“拉黑”,居民网购不到榴莲、车厘子
17
700多万建宗祠,1年后木材腐烂开裂:市政公司为何要为维修埋单?
18
两部门联合发布案例 保障民营企业合法权益
19
抽丝剥茧,像查5·22案这样查腐败案,有谁还敢再涉贪污受贿?
20
湖北一村干部李某某以“监护人”名义截留、挪用困难群众救济金,每年仅看望村民一次,每次只给500元