总是有人从 AI 怎么工作反推大脑就是如何如何，人类就是如何如何

@coefuqin 训练“几千次”，这个次数不好判断，我们不知道人脑内部演算了多少次。

另外，狼孩回归社会，可能要花几年才能学会一门语言，而 AI 学一门语言的速度快多了，能不能根据这个来说人类学习比 AI 更慢？

@cmdOptionKana 我标题的意思是，有观点表示现在的 LLM 看上去很像人了，所以人类的本质也就是个 LLM ，这种观点忽视了 LLM 跟真实的大脑的差距，过于自信了。

我说的是有差距，没有否认 LLM 是在模仿神经组织。

我说的差距指的是规模，因为上面那篇新闻里报道的就是规模。

“达到人脑的规模是到时候再来讨论什么是智能” 这个说法来自认知论，人类的知识是通过对比获得的，没有对比就没有知识。那么为了对比，需要的是实验，人脑怎么实验？活人吗？显然不可能，那只能建模了，建模就会撞上计算机系统扩展性的墙，这个墙几十年内看不到突破，所以对人脑的认知几十年内也不可能有突破。

现有 LLM 和人类大脑智能的形成机制共性远大于差异。
共性是底层必然都是神经连接的形式，而且需要达到一定的规模才能涌现出智能，差异可能存在与比如是否是 token by token 的预测方式，是否是梯度方向传播这些。但目前的神经学和 LLM 的发展表现出来的能力都指向了一个比较明确的结论：智能是大量神经元信息处理过程中的涌现，不依赖于具体的计算质（人类神经元或是半导体），必要条件是神经连接足够以及计算能力足够。
这种涌现无法用还原论的方法来解释，有点像你没法通过水分子来推测水的层流/湍流/雪花等。

1. 智能和神经元连接数量密切相关。从斑马鱼果蝇到老鼠猴子大象到智人，随着神经元连接的增大，智力有明显的递增关系。
2. 你上面给个那个大模型参数量目前只有人脑参数量的千分之一，数量级是对的。但 1000 倍不是什么遥不可及的数量级，尤其是半导体领域。更不用说人脑中有许多的冗余，负责感知的神经元等。
3. 目前神经科学比较认可的结论是人脑的智力和量子效应没有关系。本质上量子效应相干时间太短，没法维持在大脑这么大的器官上稳定处理信息。
4. 你说的完整记录“一个字之后另一个字”肯定是不对的。大模型的训练是学习模式，或者收条件概率。现在的顶级的大模型能做 10 位以内的加法，你不能说把所有 10 位以内的加法全都背下来了，显然不是。LLM 学习了加法规则，就像学习了人的思维方式一样(COT).

为了对股东有个交代，但凡有一种新的“大脑”模型，能对于陌生环境的问题，通过极少的训练（后者 0 训练，直接在动手的过程中学习）就能解决，谁用强化学习（针对特定场景试错巨量次来取得成功的经验）这种笨办法啊？

@cmdOptionKana 不能，见我上述，语言只是智能的一个子集。

@cmdOptionKana 人脑内部演算，就是杨立坤现在搞的世界模型这条路。

@trungdieu031 不不不，半导体已经到头了，1000 倍现在就是遥不可及

@trungdieu031 非常遗憾 COT 并没有真正的强化智能。
https://mp.weixin.qq.com/s?src=11&timestamp=1747286684&ver=5991&signature=61OTUTCOHehyblNBW0CuuArV9wBFpzc2KSyWq3VGUvgY1OZFXIHKq6qWL4mUw7n-saxTlncSs9g3*SL*7hsBoEiGa59*yLQURsL6rdHFM10zUCTVY0V39WFQk10sCDMY&new=1

你的情况是，想的多，看的少。

“看脸色”这类工作，确实需要很长时间，我甚至怀疑几十年行不行，因为它不仅仅是“emotion detect”，还需要对感情的认知
这里涉及两个突破：1. 具备感情 2. 针对前一条的伦理拷问——机器该不该有感情

@catazshadow yep ，摩尔定律到头了，无法切割原子。另外纵向立体堆叠也要考虑热量的问题。

@catazshadow CPU 的摩尔定律已经很慢了，GPU 的摩尔定律显然还没到头，看老黄每年新卡的计算能力就知道了。

@NoOneNoBody 乐观估计几十年。

@catazshadow
并不是所有神经元的连接都是有作用的。神经元的数量也无法对应智能的水平。LLM 的参数也无法对应神经元的连接。

如果你非要类比，你来解释一下 LLM 参数量小于老鼠神经元连接时，LLM 表现的智能也要高过老鼠？

@trungdieu031 别闹，但凡单卡能无敌上限，他会卖一体机？还搞光交换机拓展机柜？

@icyalala 老鼠能感知危险，LLM 能吗？你对于智能的理解很片面。

@trungdieu031 老黄吹的是 GPU 内的算力，他不会告诉你的是，从 DDR 读数据的带宽是有尽头的，一个周期只能读回来那么多数据，怎么在合理时间内读回来足够的数据，用来表示比现在的模型大 1000 倍的更大的模型？ HBM ？集成几百颗显存吗？

@coefuqin 我建议你不要听风就是雨！
先仔细看看文章说的是啥再来辩经！
他这篇文章的结论是 RL 无法实现超越基础模型能力的推理。RL 只是激发能力做推理过程，文章讨论的模型能力的边界问题。举个例子，如果一个模型在预训练阶段没有在数学集上做过相应的训练，那么 RL 深度思考也是没法表现出来数学的形式计算能力。

开口之前先过过脑子！

@trungdieu031 不是 GPU 的摩尔定律没到头，是他把芯片越做越大来提升的性能。因为 GPU 的独立性，他把现在电路板都做成芯片也行。

我部分认可你的标题，但完全不认同你的推理。

@coefuqin 那你是说是 GPT4 的智能还不如老鼠？