现在除了 DeepSeek,Open AI 还有 Grok,另外一个真正应该关注的模型公司,就是 Anthropic 了。
他们有真东西,不仅仅是模型的代码能力强。
就在昨天,他们做了一个全球之前都没有做过的意义重大的事情:发布了一个模型“显微镜”。[鼓掌]
我们知道,模型是训练的,而非编程的,所以模型对我们来说一直是黑盒子。内部的运作机制我们并不清楚,只是知道模型突然拥有了某种能力。
而 Anthropic 的这个电子显微镜解决了很多问题,比如模型的智能是否和语言有关。虽然在有些什么“中文语料污染”之类的“伪科普博主”出来大热视频的第一时间,我就反驳过这种观点是纯粹的危言耸听,对模型的理解不对。
但是今天 Anthropic 发布的模型显微镜的结论,则可以完全做实,模型的智能,是超越语言的更高一级的抽象。[嘻嘻]
这是他们发布的视频和具体的项目说明地址:
http://t.cn/A6BF5Yyi
下面,是关于模型语言问题的翻译摘录。我 TM 求求那些伪理中客恨国党别再不懂装懂了。这种小破站假装门清的讲述自己其实根本不懂的内容的风格,迟早要被抽脸的。
Time Will Tell 。
而今天我们终于可以开始了解模型内部的运作机制了,我相信这会对 AI 的安全性,甚至更深入的了解智能本身,都有很大的帮助。[嘻嘻]
xxxxxxxxxxxxxxxxxxxxxxxxxxx
英语、法语和中文之间存在共享特征,表明一定程度的概念普遍性。
最近对较小模型的研究表明,各种语言之间存在共享语法机制的迹象。我们通过要求 Claude 用不同的语言说出“小的反义词”来研究这一点,并发现小和反义词概念的相同核心特征被激活,并触发了大的概念,然后被翻译成问题的语言。我们发现共享电路随着模型规模的增加而增加,与较小的模型相比,Claude 3.5 Haiku 在语言之间共享的特征比例是其两倍以上。
这为一种概念普遍性提供了更多证据——一个共享的抽象空间,意义存在于其中,思考可以在被翻译成特定语言之前发生。更实际地说,这表明 Claude 可以在一种语言中学习一些东西,并在说另一种语言时应用该知识。研究模型如何在上下文中共享它所知道的东西对于理解其最先进的推理能力非常重要,这些能力可以推广到许多领域。 http://t.cn/A6Bsfq2e
发布于 广东
