利用大型语言模型对人类苦难进行预测分析

本研究调查了使用大型语言模型（LLM）根据对现实世界场景的自然语言描述来预测人类感知的痛苦分数。该任务被框架为一个回归问题，模型为每个输入语句分配一个0到100的标量值。我们评估了多种提示策略，包括零样本、固定上下文少样本和使用BERT句子嵌入的基于检索的提示。少样本方法始终优于零样本基线，这强调了上下文示例在情感预测中的价值。为了超越静态评估，我们引入了“痛苦游戏秀”，这是一个受电视节目启发的新颖游戏化框架。它通过涉及序数比较、二元分类、标量估计和反馈驱动推理的结构化回合来测试LLM。这种设置使我们不仅能够评估预测准确性，还能评估模型根据纠正性反馈进行调整的能力。游戏化评估突出了LLM在超越标准回归的动态情感推理任务中的更广泛潜力。代码和数据链接：https://github.com/abhi1nandy2/Misery_Data_Exps_GitHub