V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX  ›  catazshadow  ›  全部回复第 5 页 / 共 33 页
回复总数  642
1  2  3  4  5  6  7  8  9  10 ... 33  
@icyalala 神经元的连接能够对应智能的水平吗?你怎么证明?

我不能在科学意义上证明,而且像我顶楼说的,我也不觉得在几十年内有人能够在科学意义上证明。

但是,狗比老鼠聪明,狗脑子比老鼠脑子大,这点相关性是存在的。

至于为什么大模型参数量和神经连接对应,你去给自己科普下这些神经网络的结构不就知道了?

前一层到后一层的每一根线不就对应一个参数?这不就是神经连接?
@icyalala 或者什么是你所说的“有用”的?
@icyalala 那你怎么证明这 6500000 亿个连接里,只有 600B 是有用的?或者只有 6000B 是有用的?或者到底哪些是有用的?
@HENQIGUAI 别忘了 AI 浪潮之前 7 、80 年代已经死过一次了
@trungdieu031 集群的话,就会撞上功耗问题了。上面说了,一个 openAI 已经让美国电力短缺了,假设算力扩展是线性的(现实世界通常不是),要来几千个吗?
@coefuqin 英文世界有人把 LLM 叫做 stochastic parrot ,很贴切了。上面那人就是因为我把这个说法搬过来叫做概率鹦鹉跑来追着我咬的
@icyalala 你要比应该在相同的基准上来比,多大的 LLM 能够分别完成所有老鼠和人的功能?然后比较 LLM 的大小你也许能获得老鼠和人哪个更具有智能

我希望你能获得你想要的答案
@trungdieu031 业内现在喷老黄喷的是他 GPU 单元的利用率其实是及其底下的,原因之一就是内存墙,数据供不上
@icyalala 老鼠不能理解文字,真的要比只能比在现实世界中完成任务的情况,比如觅食,躲避捕食者,交配

多大的 LLM 能够完成这些?
@trungdieu031 老黄吹的是 GPU 内的算力,他不会告诉你的是,从 DDR 读数据的带宽是有尽头的,一个周期只能读回来那么多数据,怎么在合理时间内读回来足够的数据,用来表示比现在的模型大 1000 倍的更大的模型? HBM ?集成几百颗显存吗?
@trungdieu031 不不不,半导体已经到头了,1000 倍现在就是遥不可及
@cmdOptionKana 我标题的意思是,有观点表示现在的 LLM 看上去很像人了,所以人类的本质也就是个 LLM ,这种观点忽视了 LLM 跟真实的大脑的差距,过于自信了。

我说的是有差距,没有否认 LLM 是在模仿神经组织。

我说的差距指的是规模,因为上面那篇新闻里报道的就是规模。

“达到人脑的规模是到时候再来讨论什么是智能” 这个说法来自认知论,人类的知识是通过对比获得的,没有对比就没有知识。那么为了对比,需要的是实验,人脑怎么实验?活人吗?显然不可能,那只能建模了,建模就会撞上计算机系统扩展性的墙,这个墙几十年内看不到突破,所以对人脑的认知几十年内也不可能有突破。
@sillydaddy 首先,给我扣“招摇撞骗”的帽子改变不了我说的客观事实存在,也改变不了别人通过这些客观事实产生的推理。所以奉劝你收敛一点。

第二,我说的和你说的是两码事。你一直在崇拜你认为的这个名为“智能”的现象,并且在列举它可能的产生原因。而我说的是你崇拜的这个现象里现实世界里真正的智能还有不少差距。

这是什么很难理解的事情吗?
@cmdOptionKana 我在告诉你为什么几十年内不会有一个通过建模得到的智能定义,为什么这是在输出情绪?
@cmdOptionKana 因为没有手段,所以搞不清楚定义,所以不会存在

不需要先定义再讨论
@chairuosen 1 ,三十年前的人可以想到缩减线宽来塞几十亿晶体管。现在是连怎么扩展几千倍的算力根本没头绪

2 ,物理限制导致做不出来跟脑子特别像的模型。连模型都没有怎么研究智能是什么?既然没有手段搞清楚智能是什么那怎么号称做出来了人工智能?
@chairuosen 这还没提能耗问题,上面说了,一个 open AI 已经让美国面临电力短缺了,你要来几千个
@chairuosen 最简单的,内存墙。

其次是各种架构设计的数据通路的宽度提升和带来的效率提升不是线性的。半导体已经到极限了,几千倍的提升几十年内不可能的
@chairuosen 规模不够大的意思是做不到人脑的规模,你要是懂体系结构就知道我在说什么
@coefuqin 至少时间维度上的行为现在这些神经网络就是完全忽视的
1  2  3  4  5  6  7  8  9  10 ... 33  
关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2635 人在线   最高记录 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 13ms · UTC 13:09 · PVG 21:09 · LAX 06:09 · JFK 09:09
Developed with CodeLauncher
♥ Do have faith in what you're doing.