在出现了一些关于用户在情绪崩溃时向聊天机器人求助的报道后，ChatGPT的制造商OpenAI宣布将改进其产品，以便更恰当地识别和回应用户的心理和情绪困扰信号。OpenAI公司发布博文称：“最近发生的几起令人心痛的案例中，用户在极度崩溃的状态下使用了ChatGPT，这让我们深感沉重，我们认为现在有必要分享更多信息。”OpenAI表示，即将到来的更新将帮助用户回归现实，即使他们没有表现出严重自残的迹象。该公司还在探索如何在用户陷入严重危机前帮助他们联系到心理治疗师。这与当前模式的工作方式有着重要区别：当有人表达自残的欲望时，聊天机器人会建议他们联系自杀热线。