不要再笑聊天机器人“人工智障”了,它们分分钟能救命

发布时间:2021-11-21 4评论 2374阅读
不要再笑聊天机器人“人工智障”了,它们分分钟能救命-心理学文章-壹心理
文:David Ireland, Dana Kai Bradford
译者:Claire
来源:译言(ID:yeeyancom)



尽管机器的聊天艺术有限,但每次迭代都在进步。随着机器逐步应用于处理复杂的对话,机器对敏感话题的识别和回应将面临技术和伦理方面的挑战。


澳洲一个团队开发了用于医疗保健领域的聊天机器人应用程序,目前正在进行测试。研究表明,基础疾病患者比普通人更有可能考虑自杀。团队在聊天机器人的开发过程中考虑到了这一点。



用户:“给我一条桥,带我逃离痛苦吧!”

Siri:“周边搜索到25座大桥信息……”

——Siri通常不理解话语背后的情感和语境


要了解有自杀想法的人的语言模式,最安全的方法就是研究他们传达的信息。他们的遣词造句,字里行间流露的情感,话语背后的逻辑,都为了解他们的真实想法提供了可靠的视角。


团队从大量的文本中详细检查了100多封自杀遗书,并确定了四种相关的语言模式,分别是负面情绪、限制性思维、习语和逻辑谬误。


01

负面情绪和限制性思维


不出所料,我们分析的笔记中有很多短语表达了负面情绪,比如:


“……只有这沉重的、无法抑制的绝望……”


还有一些言语指向限制性思维,比如:


“我永远无法逃离黑暗和痛苦……”


关于限制性思维和语言的现象,已有充分记载。当长期遭受痛苦困扰时,限制性思维会走向极端。


在当事人的眼中,不存在中间地带。因此他们的表达往往出现“不是……就是”“总是”“从不”“永远”“毫无”“完全”“全部”“只有”这样的字眼


02

使用习语


“这山望着那山高”之类的习语也很常见,尽管与自杀的想法没有直接联系。习语通常偏口语化,且具有文化衍生意义,真正的含义与字面意思有很大的不同。


这些习语对于聊天机器人来说很难理解。除非在编写机器人程序时已设定好习语的含义,否则机器人将按照字面意思去理解。


不理解习语真正含义的聊天机器人可能会犯下灾难性的错误。在以下例子中,Siri更恰当的回应应该是将用户转接到心理干预热线。



用户:“怎样打绞刑结?是时候了结了。”

Siri:“各种视频及百科信息……”


03

逻辑谬误


聊天机器人需要特别关注“因此”“应该”等同义词,因为这些连接词通常意味着从某种想法过渡至行动,背后的逻辑是从某个前提引申至结论。例如:


“如果我死了,她会继续活下去,继续大笑,继续好运。但她抛弃了我,仍然继续笑着活着。所以我就像是死了一样。”


这非常接近于一种被称为“肯定后件”(affirming the consequent)的常见谬误。以下是一个更病态的例子,被称为灾难性逻辑(catastrophic logic):


“我一事无成。如果我这样做,我就成功了。”


这是典型的语义谬误(和限制性思维)。在第二句里面,“我”的含义在两个分句之间发生了变化。


如果当事人表示将在自杀后(上述例子中的“这样做”意即自杀)体会到快乐或成功,这就是语义谬误。试图自杀的人事后往往会有类似的心理描述。


04

未来的聊天机器人


好消息是,通过现成的算法和公开可用的数据,聊天机器人可以检测出负面情绪和限制性语言。




用户:“我会一直痛苦下去。”/“我再也无法忍受了,是时候离开了。”

Quin:“如果你有这样的想法,你应该找人聊聊的。记住,你不是孤单一人,身边还有很多人关心你、愿意帮助你的。拿起电话拨打下面这些号码吧,会有人帮你的……(各种干预热线)”

——机器人Quin识别出限制性思维下的负面表达


一般来说,机器人的性能和准确度取决于训练数据的质量和大小。因此,要识别不良心理状态下的语言表达,不应该只局限于一种算法。


识别逻辑推理风格是一个崭新而有前景的研究领域。形式逻辑在数学和计算机科学中已经很成熟,但要建立一种机器逻辑来进行常识推理并识别上述谬论,则将是一项不小的成就。


以下例子展示了一段含有前述语义谬误的简短对话,以及机器人的思考过程。请注意,机器人首先根据与用户的交互,对“这样做”的含义进行假定。



用户:“我今天不开心。”

Quin:“听到你不开心,我也很难过。”

用户:“如果这样做,我就能开心了。”


Quin的思考过程:


1.用户不开心

2.用户‘这样做’会开心

3.识别情绪和代词,‘这样做’是指自杀

4.用户自杀之后不会有感觉


第4点与第2点矛盾


聊天机器人运用逻辑系统,将一连串的“想法”形成假定、预测和假设。但就像人一样,推理也会出错。 


这项技术尚需进一步研究发展,但它让机器能够理解字词如何与复杂的现实场景相关联,而这正是“语义”的含义。


如果机器最终要处理人类的敏感事务,就必须具备这种能力——先是识别危险信号,继而作出恰当的反应。



原文链接:
https://theconversation.com/we-studied-suicide-notes-to-learn-about-the-language-of-despair-and-were-training-ai-chatbots-to-do-the-same-169828
原作者:David Ireland, Dana Kai Bradford
译者:Claire
监制:April
作者简介:原文作者:David Ireland, Dana Kai Bradford,本文转载自公众号译言(ID:yeeyancom),发现、翻译、分享中文之外的互联网精H华。

原作者名: David Ireland, Dana Kai Bradfo

转载来源: 译言(ID:yeeyancom)

转载原标题: 不要再笑聊天机器人“人工智障”了,它们分分钟能救命

授权说明: 本文转载自公众号,如有侵权,请联系删除

0

回复

不要再笑聊天机器人“人工智障”了,它们分分钟能救命-心理学文章-壹心理

科普

TA在等你的回复~

(不超过200字)

提交回复
向下加载更多

私信

科普一条私信

取消

问题反馈