讓大型語言模型變得更強大且更易用的方法主要有兩種：一是持續擴展（即增加模型的規模、數據量和計算資源），二是針對性的調整（包括後期過濾、微調或使用人類反饋）。通過研究多個語言模型家族的難度一致性、任務迴避和提示穩定性之間的關係。對同一問題的不同自然表達的穩定性隨著模型的擴展和調整有所改善，但在各個難度級別上仍存在不穩定的情況。調整後模型即使正確率隨著擴展增加，錯誤率並未降低；對於原始模型，錯誤率反而大幅增加。分析錯誤回答在非正確回答中的比例時，此現象變得更加明顯。觀察到錯誤比例的大幅增加，這表明模型在不確定答案時仍給出非迴避回答，結果導致錯誤的比例大幅上升，顯示出模型越來越具「不懂裝懂」的傾向。
全文連結：https://www.nature.com/articles/s41586-024-07930-y#Sec3