我记得我们以前经常交流改进谷歌搜索的方法。比如使用通配符 (*)、“精确搜索词”、site:、filetype: 等等搜索运算符，就能真正找到你想要的内容。那些想像人一样与搜索栏对话的人会得到更糟糕的结果。现在，我们终于有了可以像人一样对话的搜索功能，但这也让我注意到法学硕士（LLM）迷信的兴起。
至少，上次我和我的数据保护法导师见面时，我们想出了这个词来描述这种现象。我们当时讨论的是内部使用GenAI的法律问题，很快就转到了如何让它真正发挥作用——如何限制幻觉，如何最大限度地利用你的资金（迅速），等等。事情就是从那时开始的：我们听到的关于如何让法学硕士（LLM）顺利运作的故事。
在谈话中，我导师的同事提到，他听说如果在题目里加上“深呼吸”，法学硕士（LLM）的题目会更全面，需要更多时间去验证。有人猜测，这句话是开发者故意加进去的。哎呀。
我完全相信这类小窍门会广为流传，但这次的谈话突然变得像小学时一样，其他孩子会跟你讲一些关于某个电子游戏中某个秘密按键顺序可以触发特殊英雄的传闻，或者编造一些关于超级马里奥 N64 里有额外星星的故事之类的。现在我们知道这些都是假的，但考虑到法学硕士（LLM）申请的提示，这确实更难了。
一个改进提示的技巧当时奏效了，另一次却没有。是运气不好吗？是因为版本变化/新模型吗？是不是你搞混了，这个技巧对 Gemini 比对 ChatGPT 更有效？谁知道呢。至少对于搜索引擎来说，有一个明确的改进方法，多年来一直保持一致，并且运作得相当严格。它们也更容易向外行人解释，比法学硕士 (LLM) 的运作方式更容易掌握。现在，以你学到的方式提示有点像一台随机老虎机，人们会因为它一次成功而制定奇怪的规则，他们看不到或理解它为什么有效，而与此同时，法学硕士 (LLM) 却被拟人化了。
剩下的只有关于魔法咒语和其他变通方法的传闻，这些方法听起来像是古老的驱厄仪式，比如往肩膀上撒盐，以及一些类似于“切勿将两面镜子相对摆放”或“敲木头求好运”之类的警告。这些方法看起来不像是一门科学，也不像是可以主动训练掌握的技能，更像是人们为了把无法控制的事情变得更容易控制而做出的恐慌反应。
当我们意识到它听起来是什么样子时，我们都笑了。
只是想将这个讨论固定在某个地方，我认为这非常有趣，并且我希望将来能够重新讨论并进一步探讨这个话题。
通过电子邮件回复
已发布于