‌

在AI技术的浩瀚星空中，奥特曼与ChatGPT无疑是最为耀眼的星辰之一。然而，近日来自沃顿商学院等机构的最新研究，却对奥特曼所钟爱的“直接回答”提示方式提出了质疑，同时指出，思维链（CoT）提示的作用也在悄然变化。

这项研究如同一场突如其来的风暴，挑战了我们对AI模型使用方式的传统认知。研究团队利用GPQA Diamond数据集，针对当前主流的推理与非推理模型，进行了深入细致的测试。他们发现，对于备受推崇的推理模型而言，CoT提示的效果并不如预期那般显著。例如，对于o3-mini模型，尽管CoT提示带来了4.1%的准确率提升，但时间成本却激增了80%。这无疑给那些寄望于通过简单添加CoT提示来提升模型性能的用户泼了一盆冷水。

然而，故事远未结束。研究还揭示了一个更为复杂的现象：对于非推理模型而言，CoT提示的作用则呈现出一种双刃剑的态势。一方面，它确实在某些指标上带来了效果的提升，如Gemini Flash 2.0和Claude 3.5 Sonnet等模型在平均评分和“51%正确率”指标上均有所进步。但另一方面，这种提升却伴随着答案不稳定性的增加。在100%和90%正确率指标中，部分模型在加入CoT提示后反而出现了下滑。

这一发现无疑引发了我们对CoT提示作用的重新审视。它并非万能钥匙，而是需要根据具体模型和应用场景进行权衡的决策工具。对于已经内置了推理过程的推理模型而言，额外的CoT提示可能只是徒增负担；而对于非推理模型而言，虽然CoT提示可能带来一定的性能提升，但也需要警惕其带来的答案不稳定性问题。

那么，面对这一纷繁复杂的现象，我们究竟该如何抉择呢？研究团队给出了他们的建议：对于直接使用模型应用的用户而言，默认设置往往已经是一种很好的选择。这并非是对创新的否定，而是对理性使用的倡导。在AI技术日新月异的今天，我们需要学会在追求性能提升与保持答案稳定性之间找到平衡点。

奥特曼与ChatGPT作为AI技术的杰出代表，其使用方法自然值得我们深入探究。但正如这项研究所揭示的那样，没有一种方法是万能的。我们需要根据具体情况灵活调整策略，以期在AI技术的浪潮中乘风破浪、行稳致远。

如需了解更多关于这项研究的细节，请访问：研究报告链接。在这片充满无限可能的AI天地中，让我们携手共进、探索未知！