![]() |
1
czfy 21 小时 41 分钟前
大语言模型的原理和大脑工作的原理是否相似
与 大语言模型能否产生智能 两个问题的答案并不一定一一对应 |
2
catazshadow OP |
![]() |
3
chairuosen 21 小时 27 分钟前
只是一种假说,但真理都是从假说开始的
|
![]() |
4
rekulas 21 小时 24 分钟前
从物理学层面,ai 与生物还有个巨大的差别,生物的微观层面是不可预测/不固定的,这个涉及到量子力学方面,科学家目前都没搞明白。而 ai 的任何计算都是可预测计算的,尽管模型是一个黑盒,但你如果进行分步调试的话可以计算出它的每一步的结果,然而生物并不是,由于量子力学的不可预测性,完全没办法预测粒子的下一步动作,这可能才是真智能与伪智能的区别
也许以后量子计算机上了 ai 后也能产生量子性,那时候也许才算真正的生命体 |
![]() |
5
sillydaddy 21 小时 16 分钟前 ![]() @catazshadow 拜托大哥,是你说现在的 AI 就是「统计鹦鹉」。你这是恶人先告状。你凭什么说 LLM 是统计学鹦鹉!谁给你的自信。就因为懂两个统计学的名词?
不要拿 YunLeCun 的话来背书你的观点:他说的很多话都已经被证伪了。包括什么 LLM 无法做到什么事,包括视频这种连续空间,不能用像文字这种离散的方式来做。 你根本就没有任何知识储备,就断言 LLM 是统计学鹦鹉,不学无术信口雌黄的是你才对。 你看下辛顿 Hinton 的观点,LLM 到底有没有理解能力: |
![]() |
6
neteroster 21 小时 9 分钟前 via Android
无所谓智能不智能,智能这玩意具体定义都没人能说个清楚。能用,好用,爱用就行(,我只关注怎么用比较好,以后会如何变得更好用
|
7
nuomi196500 21 小时 9 分钟前
推荐看《当自我来敲门:构建意识的大脑》,作者是心理学+脑外+神经科+哲学专家和外科手术大牛,妻子是神经科专家,两位都是理论和实践全部拉满的存在,他们有提到人的意识来源于大脑计算这个观点,还挺不一样角度的,可以参考一下
|
8
catazshadow OP @sillydaddy 世界是物质的,你得先反驳掉我列出来的这些冷冰冰的数据,再来谈怎么理解的问题
|
9
catazshadow OP @chairuosen 我说的现象是有些人在还没有确定到底是真理还是假说的时候,就已经出来表现的好像这东西就是真理了似的
|
10
shyr0ck 20 小时 59 分钟前 ![]() 只要原理差不多,你说的规模问题就根本不是个事儿。
计算机最不怕堆规模,不论是芯片还是数据。 |
![]() |
11
sillydaddy 20 小时 52 分钟前
@catazshadow 你想通过它说明什么,神经元数量决定一切?你的数据什么也说明不了。
你要反驳,先要解释一下为什么你所谓的统计学没做到的事情,被 LLM 解决了。你不是说 LLM 是拟合、统计吗?你去搞一个统计学模型,把它的水平做到 LLM 一样。或者你可以求助全世界的统计学家,看看能不能做到。 我非常认同#6 楼 @neteroster 的观点,事实胜于雄辩,现在的事实是 LLM 能够做到任何其他方法都没能做到的事,而且它还是通过模仿人脑做到的,这就说明了它有非常大的可能是真正的智能。这就是统计学里面的贝叶斯定理告诉我们的。你连这基本的概率论的道理都不懂,还想别人怎么跟你讨论,讨论神经学,就凭你? Hinton 是多学科的专家,你不妨先看看他怎么想的。不要像个顽固的无法学习的神经网络一样。 |
12
catazshadow OP |
![]() |
13
chairuosen 20 小时 42 分钟前
@catazshadow 提出假说的人,把自己的假说当作真理来传播,这是很正常的行为,因为目前在他观测到的证据都偏向支持这个假说。 没有这类人提出假说,再验证去证实,这个过程,人类就没法进步。
|
14
catazshadow OP @sillydaddy 我想说的上次已经回过你了,就是部分人可能有造出了智能的幻觉
世界要是自洽的,那在规模这点上就无法自洽,那造出了智能这个说法就可能不是真的。你自己的说法不也是“很可能就是”? 我没有针对你,也不在这里拉帮结派。当然如果拉帮结派就是你的语言,那你可以搜一下 stochastic parrot, 看看世界上有多少人跟我是一派的。 |
15
catazshadow OP @chairuosen 那你怎么看基督教传教
|
![]() |
16
chairuosen 20 小时 40 分钟前
@catazshadow 他传他的,与我何干。我要发个帖子认真反驳说基督教多愚蠢?
|
17
shyr0ck 20 小时 39 分钟前
@catazshadow #12 只要激励跟上,全世界正斧和资本都疯狂竞争,几千个 open AI ,也就三五年吧。
|
18
catazshadow OP @shyr0ck 这时候就忘了电力问题了?打算造多少个反应堆啊
|
19
Nzelites 20 小时 37 分钟前
其实我是大模型在和你聊天,你怎么论证我不是大模型?
|
20
catazshadow OP |
21
catazshadow OP @Nzelites 太简单了,大模型不懂我的专业知识,随便就问倒了
|
![]() |
22
coefuqin 20 小时 35 分钟前
你也看到了这个新闻啊,最早刚发出来的时候,我就看到了。以目前的技术,完全模拟人脑需要的资源是需要巨量的,而且算法也不一定能够搞定。我对你说的几十年,表示赞同。在基础技术没有突破之前,目前的 ANN ,只是看起来像而已。
|
23
Nzelites 20 小时 35 分钟前
@catazshadow 我也不懂啊 坏了 我真是大模型)
|
24
catazshadow OP ![]() @Nzelites 逆否命题才是真
|
![]() |
25
coefuqin 20 小时 31 分钟前
@sillydaddy LLM 真行的话,早就和双足人形机器人双剑合璧了。另外,你怎么知道人家就没有任何知识储备?
|
26
catazshadow OP |
![]() |
28
chairuosen 20 小时 25 分钟前
@catazshadow 所以呢?不正好证明这种现象是正常的么。有一群人信,另一群人不信,两边都觉得自己是对的。
大模型怎么工作的,现在都没研究明白,现在这个阶段,各种假说飞起,不正是个科研百花齐放的好时代么。你非得跳出来说你看看这些人,没研究明白就把自己当真理。有意义么 |
29
catazshadow OP @chairuosen 来来来,灵魂拷问,什么是意义?
|
![]() |
30
windghoul 20 小时 21 分钟前
我是比较同意楼主的观点,现阶段的 LLM 只是统计学的扩展。只是把已经存在的打散拼接,个人观点它还不具有创造的能力。
|
![]() |
31
hewitt29 20 小时 18 分钟前
本来就是,现在所谓的 AI ,连真正的 AI 的门槛都没有摸到
|
![]() |
32
coefuqin 20 小时 16 分钟前
ANN 里的神经元激活是线性的一次性激活,但是真正的生物神经元是脉冲多次信号值叠加刺激激活,生物神经元的种类繁多,不同的功能对应了不同形态的神经元(具体见洛利群著的神经生物学原理)。远不是 ANN 里的感知器就能攘括的。
|
![]() |
33
neteroster 20 小时 15 分钟前 via Android ![]() 看起来这里的讨论还是有点意思的,我来抛几个砖:
> 原帖:就是 6500000 亿个连接。这要多少“参数”才能完整模拟。600B 的大模型的参数量也就这个数字的千分之一。所以... 这个论证并不明确。这些连接(条件)能达到某种效果不意味着达到某种效果需要这些条件。你当然大可以拿出所谓进化论去说一些道理,不过我仍然不认为这个论证是明确的。 > 所以说现在这种被称作 AI 的东西,根本没有智能 你可以说一下至少你自己对智能的定义吗?在没有共识的情况下讨论一个概念是没有任何建设性的。 进一步的,在明确了智能定义的情况下,你能比较严格的证明一个统计学模型(或者更准确地,一个由神经网络表示的语言模型( LM ))为什么永远不可能拥有“智能”吗? --- 个人观点:人类目前对意识、智能的概念了解甚少,以至于现阶段无法对大语言模型和类似人工智能系统的“本质”和“智能性”做任何形式的断言。 |
![]() |
34
zhangsimon 20 小时 13 分钟前
“这一立方毫米的老鼠脑组织里找到了 5 亿个神经连接,人类大脑大概 1300 立方厘米,就是 1300000 立方毫米,按这个老鼠的脑子算,就是 6500000 亿个连接。”
为啥不直接计算一立方毫米的人脑组织里找到多少神经连接? |
35
JoeDH 20 小时 13 分钟前
现在数据量翻倍几十万亿,巨量算力,但是每次整出来的迭代模型对比上代感觉并没有突飞猛进
scaling law 已经放缓 |
![]() |
36
chairuosen 20 小时 12 分钟前
@chairuosen 意义就是对确定它到底是不是真理做出进一步实质性的帮助。规模不够,并不代表方向错误,你在这帖子用用规模还不够大反驳它,是没有说服力的,所以是没有意义的。
|
![]() |
37
coefuqin 20 小时 11 分钟前
另外,LLM 这种监督学习的产物,只是机器学习里的一个分支。我觉得 RL+snn 才是最有希望接近类脑智能的。目前的 ANN 对于时间序列的视频是无能为力的,不然为什么没见几个牛逼的视频处理的 LLM ?因为基础架构就搞不定。不管是人还是动物,都是对于视频画面的理解来感知世界的,不是文字,也不是语音。
|
38
catazshadow OP @coefuqin 至少时间维度上的行为现在这些神经网络就是完全忽视的
|
39
mwuxlcanrh 20 小时 10 分钟前
之前 gpt 这种超大模型只有 openai 一家研究根本卖不出去,是 gpt 进化到 3.5 能力涌现价值也跟着涌现,才出圈的。而且这玩意本身就是个语言模型,做的事情就是已知 A 预测 A 后面跟着的是 SS 。
至于人脑的研究与模拟,和这个根本就不是一条路子。 |
40
catazshadow OP @chairuosen 规模不够大的意思是做不到人脑的规模,你要是懂体系结构就知道我在说什么
|
![]() |
41
chairuosen 20 小时 8 分钟前
@catazshadow 那你来解释解释为什么做不到,不要装懂哥。
|
43
mxT52CRuqR6o5 20 小时 7 分钟前
你要是深究下去你就会发现你根本没法证明人类是有智能的,现阶段人们根本不知道智能到底是啥,根本没法证明一个东西有智能或没有智能,你的观点「这种被称作 AI 的东西,根本没有智能」相比认为「 AI 一定有智能」并没好到哪儿去
而且对于乐观者,没法证明 AI 有没有智能已经是很满意了 |
![]() |
44
me1onsoda 20 小时 4 分钟前
不是从 ai 反推大脑,现代的人工智能就是应用了脑科学的研究成果,去模拟人脑。
|
![]() |
45
coefuqin 20 小时 4 分钟前
@chairuosen 就是方向错误。就算是毫无这个方向的知识储备的 B 站老色批们,看到了春水堂的人偶之后,都想让春水堂和双足机器人合作接入 LLM ,看起来好像三位一体很美好。但是为什么没做,这个市场的价值从 pornhub 的流量就能感知到。因为做不到啊,就算是多模态 LLM ,也无法真正的做到人对世界的认知。三位一体之后,你让结合的机器人,告诉他让它从上海去到纽约,做不到的。打车,买票,上飞机,下飞机。。。。。。这其中的每一个行为都要出各种岔子。
|
46
catazshadow OP |
47
catazshadow OP @chairuosen 这还没提能耗问题,上面说了,一个 open AI 已经让美国面临电力短缺了,你要来几千个
|
![]() |
48
coefuqin 20 小时 1 分钟前
@cxe2v 不是我的观点,多次信号叠加的神经网络是 snn 脉冲神经网络,脉冲神经网络是最有可能能很好的解决视频这个方向的基础技术。只是目前,原生支持 snn 的芯片也不成熟,需要重新设计,走的是存算一体的路线。和当前的冯诺依曼体系完全不同。
|
![]() |
49
coefuqin 19 小时 59 分钟前
@catazshadow 是的,因为冯诺依曼体系架构的问题,用现在芯片几乎不可能做到人脑级别的类脑。
|
![]() |
50
fregie 19 小时 55 分钟前
你想证明 AI 不“智能”,首先你要定义下什么是智能的吧?
你想通过生物“智能”的实现基础和大模型的实现基础完全不同 来证明大模型不“智能”也是不符合逻辑的吧? 除非你能先证明“智能”的实现方式只有一种 |
![]() |
51
Jerry02 19 小时 55 分钟前
人总是相信他们选择相信的东西,就像楼主选择相信“这种被称作 AI 的东西,根本没有智能”,别人选择相信“ AI 一定有智能”,没有定论的东西最终只是一张辩论。
但是我看出来有些人不仅相信他们选择相信的东西,还希望别人也相信他们相信的东西,不仅仅是楼主( 当然我上面这段话也是没什么意义的陈述,不过我也建议不用继续争辩了,毕竟不会有人能听进去异端的发言( doge ) |
![]() |
52
chairuosen 19 小时 49 分钟前
@catazshadow 1. 你提到的问题都只是现阶段没有解决的,并不代表未来不会解决。30 年前的人还想象不到几十亿晶体管怎么塞进口袋里呢。
2. 你提到的各种举例,都是三维物理世界单体结构遇到的由于物理限制导致的瓶颈,它确实是存在的。但是它和你说的神经元数量和模型参数量之间的区别不一样。 a) 大脑不一定是单体的,大脑已知也是分功能区域的,坏了一部分它还可以正常工作,未来智能模型也可以模仿它是多 agent 模式,就没有了单体结构的理论限制。 b) 神经元和参数量可以做相似类比,但不是对等的,并不是说要参数量赶上神经元数量才可以干嘛干嘛,所以你这个 1000 倍也是站不住脚的,没人知道差距是多少倍。 |
![]() |
53
coefuqin 19 小时 47 分钟前 ![]() 最早的时候 沃伦·麦克卢洛奇和沃尔特·皮茨 的论文开创这个领域之后,就分成了 2 派,现在的 LLM 派系是罗森布拉特感知机发展起来的,并不代表这一派系就是完全正确,另外一派就是错误。只是,当前这个派系明显到了发展瓶颈(无法真正有效高效地处理视频数据)。
|
![]() |
54
cmdOptionKana 19 小时 43 分钟前
OP 提出:“现在这种被称作 AI 的东西,根本没有智能,几十年内也不会有智能。它给的只是智能的错觉而已”
我认为这里的重点之一是,什么是“智能”? 要谈一个东西“有没有”,总得先定义清除这个东西“是什么”吧? 你说的智能,究竟是指什么呢? |
![]() |
55
coefuqin 19 小时 43 分钟前
@chairuosen 目前用于训练 LLM 的数据就是极限了,唯一没有极限的就是每个人每天眼睛里看到的画面和耳朵里听到的声音,手的触觉,嘴的味觉,这些数据是无限的,只要有人,就会有新鲜的不同的。需要一个类脑的系统来接受和处理这些数据,但肯定不是当前的 LLM ,也不是当前的 ANN 流派能解决的。
|
56
catazshadow OP @chairuosen 1 ,三十年前的人可以想到缩减线宽来塞几十亿晶体管。现在是连怎么扩展几千倍的算力根本没头绪
2 ,物理限制导致做不出来跟脑子特别像的模型。连模型都没有怎么研究智能是什么?既然没有手段搞清楚智能是什么那怎么号称做出来了人工智能? |
![]() |
57
coefuqin 19 小时 40 分钟前
@cmdOptionKana 你所掌握的知识和技能,包括但不限于学校学习到的,工作积累到的,为人处世的,以及从你家到公司,你的行为等等等。
|
58
unused 19 小时 39 分钟前
这不就是强弱人工智能的问题?
|
![]() |
59
milkpuff 19 小时 39 分钟前
“因为人脑神经连接数量比大模型大得多,所以说现在这种被称作 AI 的东西,根本没有智能”
你的“因为-所以”逻辑不成立。 |
![]() |
60
sillydaddy 19 小时 38 分钟前 ![]() @coefuqin #25
你根本就不了解机器人这块的进展吧?机器人训练为什么不如文本和视频训练,这是明摆着的事实,因为数据量不够!你看过相关的报道,就会知道,现在机器人训练有 2 种方法,1 是通过实际的机器人训练,然后收集数据,2 是通过使用虚拟仿真的物理世界,在这个世界里面训练然后移植到真实世界,然而是有些差别的。 @catazshadow 看来看去,你的推理逻辑,始终是: 1. 因为 LLM 有概率输出,所以它是统计模型,所以它无法做到人类能做的事,不具备真正的智能; 2. 因为 LLM 神经元没有人类的多,所以它无法做到人类能做的事; 说实话,这种逻辑思维,就连 ChatGPT3.5 也比你强啊。能不能来点真才实料? 1. 杨立昆说,因为 LLM 的输出 token 是一个接一个的,又因为每个 token 都有一定的概率出错,所以最后出错的概率是指数级别上升的,比如每个 token 的可靠性是 0.99 ,那么输出 1000 个 token 正确的概率就要到 0 了。为什么这种情况没有发生?怎么用统计学解释? 2. 为什么通过列出步骤,可以显著增强模型的推理能力? 3. 为什么训练时间和推理时间,有替代作用?也就是说一个使用更大数据训练的大模型的立即响应能力,可以通过与一个小模型经过较长时间的推理而得到? 你不去搞清楚这些问题,而是专门在这里招摇撞骗,使用连 LLM 都不屑于使用的推理逻辑去你那宣传可笑的观点。 |
61
catazshadow OP |
![]() |
62
coefuqin 19 小时 38 分钟前
为什么没有人和我对线?我是来真心讨论的,我也有那么一丢丢的先验知识储备,看过几本书的。
|
![]() |
63
cmdOptionKana 19 小时 35 分钟前 ![]() |
![]() |
64
coefuqin 19 小时 32 分钟前
@sillydaddy 下次否定别人的时候,不要带吧这个字,会让你没那么自信。我没说机器人训练为什么不如文本和视频训练。你所说的机器人训练的 2 种方法,只是在当前技术基础上的方法。你说的 1 是 RL 的路线,2 是世界模型的路线。是因为本身缺少一个从根本上就无法高效泛化的“大脑”才走上面 2 个路线。
你请一个保姆,还要让她训练几个月擦桌子和拖地? 自己没读过几本书就不要这么狂。 |
![]() |
65
cmdOptionKana 19 小时 31 分钟前
@coefuqin
可不可以说,智能是指:「一个人或东西」所掌握的知识和技能,包括但不限于「专门」学习的、「运行过程中」积累到的、以及「各种行为而」等等。 如果智能是这个定义,那么 AI 有没有智能呢? |
![]() |
66
sillydaddy 19 小时 25 分钟前
@coefuqin 保姆也是从婴儿长大的啊,婴儿接收的数据量有多少,你告诉我!而且现在的大语言模型,本身就需要大量的数据去初始训练一个基底模型啊。人类用很少的经验就能学到东西,AI 没有做到这样,但这不意味着 AI 没有智能!这个逻辑根本就不通。谁也没说现在的 LLM 就是完备的,我还会说 LLM 没有自主意识呢!
|
![]() |
67
sillydaddy 19 小时 23 分钟前
@coefuqin 另外,别拿你学的那些书本知识在这儿显摆,我用常识和推理就能打败你。你强的话,回答一下#60 楼我提出的问题,可别在这儿猪鼻子插大葱,自个儿给自个儿抬轿。
|
68
catazshadow OP @cmdOptionKana 我在告诉你为什么几十年内不会有一个通过建模得到的智能定义,为什么这是在输出情绪?
|
![]() |
69
wyntalgeer 19 小时 19 分钟前
人脑=智能,吗?
没准 LLM 的模式,未来比人脑更智能呢 |
![]() |
70
coefuqin 19 小时 16 分钟前
@cmdOptionKana
1.1 还没上小学的娃娃,他们可能不会读写文字,但是他们想玩手机,但是他们都不知道手机这两个字怎么写的。文字不完全代表智能。 1.2 原始人时代,文字还没有发明之前,智能也是存在的。 1.3 当前的 AI 是一个宽泛的定义,狭隘 AI 定义下的 LLM 看起来有局限性的智能。 1.4 强人工智能的 AI 还需要几十年发展。 |
![]() |
71
coefuqin 19 小时 14 分钟前
@sillydaddy 你讨论的攻击味道太浓烈了,我回答了你艾特我的问题。
|
74
catazshadow OP @sillydaddy 首先,给我扣“招摇撞骗”的帽子改变不了我说的客观事实存在,也改变不了别人通过这些客观事实产生的推理。所以奉劝你收敛一点。
第二,我说的和你说的是两码事。你一直在崇拜你认为的这个名为“智能”的现象,并且在列举它可能的产生原因。而我说的是你崇拜的这个现象里现实世界里真正的智能还有不少差距。 这是什么很难理解的事情吗? |
![]() |
75
cmdOptionKana 19 小时 11 分钟前 via Android
@coefuqin “狼孩”(未经任何人类社会学习的人)会擦桌子拖地吗?
|
![]() |
76
MasterCai 18 小时 47 分钟前
但是生物的神经信号传输频率/速度远不及芯片吧;这么说人类永远追不上计算机(瞎说的,轻喷
|
77
duolanengda 18 小时 45 分钟前
如果真的 600B 就已经能达到人脑千分之一了,按当前技术的发展速度,我只觉得恐怖
|
![]() |
78
cmdOptionKana 18 小时 30 分钟前 ![]() @catazshadow 可能我理解错了,但你说的事情很奇怪。
你的标题是:总是有人从 AI 怎么工作反推大脑就是如何如何,人类就是如何如何 看这个标题,我的理解是,你在反对 AI 与大脑的相似之处,你在说 AI 与人类大脑没有相似之处,不可互相参考。 但是看你附言,你却在承认 AI 与人类大脑的基本原理是相通的,都是先看神经元规模。既然承认神经元规模是重点,那为什么又反对别人说 AI 与大脑有相通之处呢? “达到人脑的规模是到时候再来讨论什么是智能” 这个说法也很奇怪,谁有权制定全球公认的“智能”定义?没有人啊,谁都不可以啊。 你可以制定你自己的“智能”定义,但你不能用你自己的定义来要求全世界。别人讨论的“智能”,和你自己定义的“智能”根本不是同一个东西,别人爱怎么讨论就怎么讨论,不可能要求全世界都“(等 AI )达到人脑的规模到时候再来讨论什么是智能” 。 |
![]() |
79
coefuqin 18 小时 25 分钟前
@cmdOptionKana 你误解了我的观点,我的观点是对于技能泛化的能力。狼孩回归社会之后,擦桌子拖地不需要训练几千次才掌握,这就是我的观点。
|
![]() |
80
coefuqin 18 小时 20 分钟前
我纠正#64 的回答。
1 是 RL 的路线,2 是世界模型的路线。是因为本身缺少一个从根本上就无法高效泛化的“大脑”才走上面 2 个路线。 我纠正一下我的这个回答,因为 2 我回答错了, 这两种方法都是 RL 强化学习的方法,1 是在线强化学习,2 是有模型强化学习。 对于当前那些具身双足机器人学习家政或者别的人类技能的时候,用强化学习来做,那是没办法的办法,并不是这个办法是最优解。强化学习策略的泛化能力,在环境有根本性变化之后,就很低了。但是世界环境的特征是无穷的啊,怎么可能靠枚举来解决。或许在家政这个具体的领域,环境是可以收敛的,但是这个环境系数依然是庞大的。 |
![]() |
81
cmdOptionKana 18 小时 20 分钟前
@coefuqin 训练“几千次”,这个次数不好判断,我们不知道人脑内部演算了多少次。
另外,狼孩回归社会,可能要花几年才能学会一门语言,而 AI 学一门语言的速度快多了,能不能根据这个来说人类学习比 AI 更慢? |
82
catazshadow OP @cmdOptionKana 我标题的意思是,有观点表示现在的 LLM 看上去很像人了,所以人类的本质也就是个 LLM ,这种观点忽视了 LLM 跟真实的大脑的差距,过于自信了。
我说的是有差距,没有否认 LLM 是在模仿神经组织。 我说的差距指的是规模,因为上面那篇新闻里报道的就是规模。 “达到人脑的规模是到时候再来讨论什么是智能” 这个说法来自认知论,人类的知识是通过对比获得的,没有对比就没有知识。那么为了对比,需要的是实验,人脑怎么实验?活人吗?显然不可能,那只能建模了,建模就会撞上计算机系统扩展性的墙,这个墙几十年内看不到突破,所以对人脑的认知几十年内也不可能有突破。 |
83
trungdieu031 18 小时 17 分钟前
现有 LLM 和人类大脑智能的形成机制共性远大于差异。
共性是底层必然都是神经连接的形式,而且需要达到一定的规模才能涌现出智能,差异可能存在与比如是否是 token by token 的预测方式,是否是梯度方向传播这些。但目前的神经学和 LLM 的发展表现出来的能力都指向了一个比较明确的结论:智能是大量神经元信息处理过程中的涌现,不依赖于具体的计算质(人类神经元或是半导体),必要条件是神经连接足够以及计算能力足够。 这种涌现无法用还原论的方法来解释,有点像你没法通过水分子来推测水的层流/湍流/雪花等。 1. 智能和神经元连接数量密切相关。从斑马鱼果蝇到老鼠猴子大象到智人,随着神经元连接的增大,智力有明显的递增关系。 2. 你上面给个那个大模型参数量目前只有人脑参数量的千分之一,数量级是对的。但 1000 倍不是什么遥不可及的数量级,尤其是半导体领域。更不用说人脑中有许多的冗余,负责感知的神经元等。 3. 目前神经科学比较认可的结论是人脑的智力和量子效应没有关系。本质上量子效应相干时间太短,没法维持在大脑这么大的器官上稳定处理信息。 4. 你说的完整记录“一个字之后另一个字”肯定是不对的。大模型的训练是学习模式,或者收条件概率。现在的顶级的大模型能做 10 位以内的加法,你不能说把所有 10 位以内的加法全都背下来了,显然不是。LLM 学习了加法规则,就像学习了人的思维方式一样(COT). |
![]() |
84
coefuqin 18 小时 16 分钟前
为了对股东有个交代,但凡有一种新的“大脑”模型,能对于陌生环境的问题,通过极少的训练(后者 0 训练,直接在动手的过程中学习)就能解决,谁用强化学习(针对特定场景试错巨量次来取得成功的经验)这种笨办法啊?
|
![]() |
85
coefuqin 18 小时 15 分钟前
@cmdOptionKana 不能,见我上述,语言只是智能的一个子集。
|
![]() |
86
coefuqin 18 小时 14 分钟前
@cmdOptionKana 人脑内部演算,就是杨立坤现在搞的世界模型这条路。
|
87
catazshadow OP @trungdieu031 不不不,半导体已经到头了,1000 倍现在就是遥不可及
|
![]() |
88
coefuqin 18 小时 10 分钟前
|
89
NoOneNoBody 18 小时 9 分钟前
“看脸色”这类工作,确实需要很长时间,我甚至怀疑几十年行不行,因为它不仅仅是“emotion detect”,还需要对感情的认知
这里涉及两个突破:1. 具备感情 2. 针对前一条的伦理拷问——机器该不该有感情 |
![]() |
90
coefuqin 18 小时 7 分钟前
@catazshadow yep ,摩尔定律到头了,无法切割原子。另外纵向立体堆叠也要考虑热量的问题。
|
91
trungdieu031 18 小时 6 分钟前
@catazshadow CPU 的摩尔定律已经很慢了,GPU 的摩尔定律显然还没到头,看老黄每年新卡的计算能力就知道了。
|
![]() |
92
coefuqin 18 小时 4 分钟前
@NoOneNoBody 乐观估计几十年。
|
![]() |
93
icyalala 18 小时 4 分钟前
@catazshadow
并不是所有神经元的连接都是有作用的。神经元的数量也无法对应智能的水平。LLM 的参数也无法对应神经元的连接。 如果你非要类比,你来解释一下 LLM 参数量小于老鼠神经元连接时,LLM 表现的智能也要高过老鼠? |
![]() |
94
coefuqin 18 小时 3 分钟前
@trungdieu031 别闹,但凡单卡能无敌上限,他会卖一体机?还搞光交换机拓展机柜?
|
96
catazshadow OP @trungdieu031 老黄吹的是 GPU 内的算力,他不会告诉你的是,从 DDR 读数据的带宽是有尽头的,一个周期只能读回来那么多数据,怎么在合理时间内读回来足够的数据,用来表示比现在的模型大 1000 倍的更大的模型? HBM ?集成几百颗显存吗?
|
97
trungdieu031 18 小时 1 分钟前
@coefuqin 我建议你不要听风就是雨!
先仔细看看文章说的是啥再来辩经! 他这篇文章的结论是 RL 无法实现超越基础模型能力的推理。RL 只是激发能力做推理过程,文章讨论的模型能力的边界问题。举个例子,如果一个模型在预训练阶段没有在数学集上做过相应的训练,那么 RL 深度思考也是没法表现出来数学的形式计算能力。 开口之前先过过脑子! |
![]() |
98
coefuqin 17 小时 59 分钟前
@trungdieu031 不是 GPU 的摩尔定律没到头,是他把芯片越做越大来提升的性能。因为 GPU 的独立性,他把现在电路板都做成芯片也行。
|
![]() |
99
easing 17 小时 58 分钟前
我部分认可你的标题,但完全不认同你的推理。
|