SelfReflectLLMs能否传达其内部答案分布

过去，语言模型（LLM）对于表达自身不确定性通常采取简化方式，例如提供百分比数据或使用模糊词汇。然而，这样的方式是否已经达到极限？我们认为，真正透明、可靠的语言模型应该能够反映其内部的信念分布，并生成一个总结性输出，展示所有可能选项及其对应概率。

为了验证LLM是否具备这一能力，我们提出了SelfReflect指标。这是一种基于信息理论的距离度量方法，可以衡量给定输出的总结与模型内部答案分布之间的忠实度。在干预性实验和人类研究中，我们发现，哪怕是微小偏差，SelfReflect都能精准测量总结字符串与LLM内部分布间的忠实度。

令人深思的是，我们得出的结论是——目前的LLM仍然无法通过推理、链式思考或显式微调来独立揭示其内在的不确定性。这一发现揭示了语言模型当前能力的局限，凸显其在可信度和透明度方面的不足。

但研究同时也展现了积极的一面：当我们通过采样多个输出并将结果重新导入上下文时，LLM能够更忠实地生成其不确定性总结。这种简单的方案为未来模型在不确定性传达方面的开发提供了探索方向，而SelfReflect得分则为这一领域的进一步发展奠定了坚实基础。

这一开创性的研究成果已被ICML 2025 可靠与负责任的基础模型研讨会（Reliable and Responsible Foundation Models Workshop, RRFMs）所接收。不确定性量化在大型语言模型的实际应用中具有至关重要的作用，其核心目标是使语言模型能够准确表明何时对其输出答案不确信。

过去，不确定性量化主要依赖于数字化的概率分值，但我们通过LLM广阔的输出空间设计出一种新颖的方法，为这一领域提供新的探索维度，同时维护语言模型的复杂性与灵活性。

在实际应用中，LLM通过创新提供解决方案也有重要进展。如今，许多平台开始利用LLM技术来生成用户评论的简洁概要，使用户能够迅速了解评论的核心内容，同时保留深入查看详细内容的选项。这一功能简化了用户筛选信息的过程，帮助其更高效地做出决策。