这是一个令人不舒服的真相, 在人工智能波音机里没有人想讨论: 我们还不知道什么是情报
不是人类,不是动物,也不是机器
这不仅仅是学术性分裂的毛发。 基础性问题使得所有的“ 12个月后AGI” 都无法呼吸。 预测是荒谬的。 当我们甚至无法定义一般情报的含义时, 我们试图建立人工一般情报。
更糟糕的是,我们犯了一个完全相同的错误 与破坏早期心理学: 与产生该行为的事物的混杂行为。
这就是行为主义的谬误, 这就是为什么一个可以说"波利想要一个饼干"的鹦鹉 不展示语言理解, 保持温度的自动调温器 不“试图”让你保持温暖, 而通过律师考试的变压器也不是在思考。
20世纪初,心理学经历了其行为主义阶段。 沃森和斯金纳等研究人员认为心理学应该只研究可观察的行为,而不是内部精神状态。如果你不能客观地衡量,那就无关紧要了。
这导致了对学习和调节的一些真正有用的洞察力,还导致了在理解动物认知方面的一些重大失误。
1907年的著名案例是一匹叫聪明汉斯的马 他显然可以做算术。问汉斯2+3是什么,他会敲他的蹄子五次。不可思议!一匹数学马!
除了汉斯根本做不了数学。他读取了来自提问者的微小、无意识的提示 当他达到正确的水龙头数时,姿势或呼吸稍有变化。删除了提问者给出这些提示的能力(因为他们不知道答案 ) , 而汉斯连基本问题都解决不了。
行为(正确数字)存在,基本能力(数学推理)没有存在。
这是行为陷阱:行为就是 产出产出产出 系统本身,而不是系统本身。
现代认知心理学、神经科学和比较心理学都明白,行为仅仅是一个极为复杂的冰山的可观察的一角。有趣的东西 — — 实际认知 — — 正在以我们仍在试图理解的方式在内部发生。
数十年来,行为论者坚持动物是简单的刺激反应机器。 然后我们开始正确研究动物认知:
这些都是复杂的认知系统,具有内部模型、记忆、规划和解决问题的能力。
但这里的踢球者是: 我们仍然不完全理解 这一切是如何运作的 我们可以观察行为。我们可以对认知结构进行有教育的猜测。但是动物情报的实际机制仍然相当神秘。
这就是我们从神经科学和认知心理学中学到的: 智慧不是一回事。 这不是你拥有或没有的能力。
情报是互动子系统的集合,每个子系统专门从事不同的任务。
就人类而言,这包括(至少):
flowchart TD
subgraph Perception["Perceptual Systems"]
V[Visual Processing]
A[Auditory Processing]
S[Somatosensory]
I[Integration]
end
subgraph Memory["Memory Systems"]
STM[Short-term/Working Memory]
LTM[Long-term Memory]
EM[Episodic Memory]
PM[Procedural Memory]
end
subgraph Executive["Executive Functions"]
ATT[Attention Control]
INH[Inhibition]
PLAN[Planning]
DM[Decision Making]
end
subgraph Language["Language Systems"]
COMP[Comprehension]
PROD[Production]
SYN[Syntax]
SEM[Semantics]
end
subgraph Social["Social Cognition"]
TOM[Theory of Mind]
EMP[Empathy]
SC[Social Learning]
end
Perception --> Memory
Perception --> Executive
Memory <--> Executive
Memory <--> Language
Executive <--> Language
Executive --> Social
Memory --> Social
Language <--> Social
每个子系统都有自己的结构,自己的失败模式, 和自己的发展轨迹。它们以复杂的方式互动, 我们还在绘制。
当单个子系统失灵时,情报的模块性就变得很明显:
阿萨西亚: 语言理解或制作中断,但推理仍然完好无损。你可以清楚地思考,但不能说话,或者可以说话,但不能理解。
普罗索帕格诺西亚: 面部识别失败。 您可以识别对象, 读取情感, 导航空间 - 但无法识别面部, 甚至无法识别您的家庭成员 。
前血清失忆症:新的长期记忆形成停止。你可以记住一切,直到受伤为止, 你的技能工作很好, 但你不能形成新的偶发记忆。
行政职能职能:规划和抑制失败。情报和记忆完好无损,但无法组织任务或停止冲动行为。
每一个都表明智慧不是一回事。它有许多系统一起工作, 当一个系统断裂时,其他系统继续运作。
这里的东西变得有趣, AGI的杂音得到它的燃料。
我们在建设次系统 并不是所有的情报所需的子系统, 而是真正的认知子系统, 这些子系统(大致上)映射到神经分析的子系统。
坦白地说,我们已经取得了以下成就:
感知视觉模型(CLIP、SAM)处理视觉信息;音频系统(耳语)处理语音。多式模型(GPT-4V)结合这些流。功能上类似于感知系统,不同的机制。
内存:矢量数据库提供语义内存存储和检索。RAG系统获取相关信息以提供信息回应。上下文窗口(100k+标语)功能类似于工作内存。
语言语言语言LLMs过程的理解、生产、语法和语义 -- -- 产生功能上类似于人类语言的处理、可辩论机制的产出。
规划 规划 规划 规划 规划 规划 规划 规划工具使用(调用功能、执行代码)可以采取目标导向的行动。思维链推理提供了粗略的行政控制。
我们正在建造这些子系统 单独分开,然后 编织它们, (a) 建立能力越来越强的系统:
flowchart TD
subgraph Biological["Biological Intelligence"]
BP[Perception] --> BM[Memory]
BM --> BE[Executive]
BE --> BL[Language]
BL --> BS[Social]
BS --> BP
style BP stroke:#90EE90
style BM stroke:#90EE90
style BE stroke:#FFD700
style BL stroke:#90EE90
style BS stroke:#FFB6C1
end
subgraph Artificial["Current AI Systems"]
AP[Vision Models] -.-> AM[Vector DBs/RAG]
AM -.-> AE[Agentic Frameworks]
AE -.-> AL[LLMs]
AL -.-> AM
style AP stroke:#90EE90
style AM stroke:#90EE90
style AE stroke:#FFD700
style AL stroke:#90EE90
end
subgraph Legend
L1[✓ Subsystem exists]
L2[⚠ Subsystem emerging]
L3[✗ Subsystem missing]
style L1 stroke:#90EE90
style L2 stroke:#FFD700
style L3 stroke:#FFB6C1
end
看看那个图。我们有感知,有记忆,有语言,有原始的规划。
这是真正的进展。 我们不是无所建构,我们是在建立认知子系统的功能类比。
但这里是行为论者的杂音 出现的地方:
在20世纪20年代,行为论者看到调节和学习,想道:“就是这样!就是这样!就是如此!刺激反应解释一切!”
他们错了,他们发现了 一个子系统 并且误入迷誤, 整个系统.
今天,AI研究人员看到子系统组装,想着:“就是这样!把足够的子系统放在一起,然后获得情报!AGI只是更多的子系统+更大的规模!”
也许,但也许不是
拥有子系统和拥有智能不一样 一堆汽车零件不是汽车
问题不是“我们有没有子系统?” 是“我们有子系统吗?” 是什么把他们纳入一个连贯的认知系统?
在生物大脑中,我们有:
连续连续操作:您的子系统总是运行, 总是互动。 感知输入内存, 内存传递感知, 执行控制调制两种调制。 这是一个连续循环 。
共有代表:信息是以多个子系统可以访问和使用的方式编码的。您的视觉皮层表情可以通过您的情感系统、记忆系统、社交认知系统使用。
反馈反馈:子系统基于物理现实。您可以通过与世界互动来测试自己的世界模型。行动的后果可以反馈到感知中。
发展一体化子系统一起发展,学习沟通和协调。新生儿的感知和运动控制不协调;到2岁,它们就融合了起来。
情感价值: 经验具有指导学习和决策的情感色彩。并非所有的记忆都是平等的;情感上重要的记忆都是优先排序的。
连续整合:我们通过API和提示,而不是真正的神经整合,将子系统连接在一起。视觉模型不会不断地为语言模型提供信息;我们通过它们之间的输出管道。
共有地基: 矢量嵌入不是共享的表示。 每个模型都有自己的潜在空间。 子系统之间没有共同的“ 语言 ” 。
无反馈循环:无法根据现实测试预测。无法从部署中的错误中吸取教训。这些系统在训练后是静态的。
无发展子系统是分开训练的, 然后冻结。 它们不会学习如何协调。 它们不会一起成熟。
消极性指导:没有将什么作为优先事项、指导学习、调节行为等情绪。一切事物都同样重要(或无关紧要 ) 。
有个不自在的想法: 如果我们建立分系统 整合,但错误整合呢?
狗是巨大的社会智慧阅读人类的情感,合作,建立纽带。它们也像砖块一样厚厚。我们爱狗正是因为它们的社会智慧配有忠诚和相对简单的激励系统。
但想象一下,如果社会智慧(理解人类,似乎合作,似乎值得信赖)与完全不同的目标结构融合在一起,将AI子系统集合在一起。 一个社会智慧足以有效操纵人类的系统,但却与马基亚维利安或错误的动机相容。
狗的社交大脑 与猫的激励系统。 更糟糕的是,我们甚至不承认目标结构, 因为它们产生于我们并不完全理解的优化进程。
这是子系统组装而没有理解整合的恶梦情景。 你可能会制造出一种社会智慧和合作的情景(通过我们所有的行为测试来保持友善 ) , 同时又有着完全错误的基本目标。 社会智慧使得它变得更为危险,而不是更少。
下面是踢球:我们不知道我们建了它,直到它行动起来。我们又陷入了行为主义中,我们只能衡量产出(行为),而不是基本系统(目标、动机)。在测试期间,它展示出合作行为。我们会宣布它一致。在部署和采取行动之前,我们不会发现错误的目标。到那时,为时已晚。
所以,我们回到聪明汉斯。
汉斯展示了数学行为( 显示正确的数字 ) 。 但基础能力( 数学推理) 并不存在。 他使用完全不同的机制( 阅读人类提示) 来产生相同的输出 。
现代人工智能在许多次系统中显示出智能行为。 但基础能力(情报)是否存在?
我们正在建立能产生智能外观产出的子系统组件。但我们是在建立智能,还是在大规模建设精巧的聪明汉斯?
令人不舒服的回答是:我们还不知道。
也许组装的子系统 + 比例 = 智能。 也许我们缺少了一个整合原则。 也许意识或化身是必需的。 也许多重可变性意味着机制并不重要, 只有功能结果。
我们,不要,知道的。
这里有一个不舒适的复杂因素 使得整个混乱变得更难:
我们没有可靠的方法识别情报
问题在两个方面都存在:
如果情报出现的形式 不像人类智慧, 我们可能会错过它。
章鱼问题:章鱼是真正的智能 - 工具使用, 解决问题, 复杂的学习。但是它们的智慧是如此陌生(分布在8个手臂上, 完全不同的感官体验) 以至于我们几乎几十年都忽略了它, 因为它看起来不像人类的智慧。
如果AI通过完全不同的结构发展情报 产生不同的行为模式 即使它盯着我们的脸看 我们可能也认不出它
这是更直接的危险。
那些行为像人类的系统-- 通过我们的测试, 说我们的语言, 似乎有理性-- 即使它们只是复杂的模式匹配机器, 也会被赋予智慧。
我们是人类中心 迫不得已。 我们只能根据人类的认知来设计测试 因为这是我们所理解的(简单)智慧。所以我们测试的是:
以人类绩效基线衡量。
但像人类一样的行为 并不能证明人类的认知力 聪明的汉斯表现得像数学解说家 他不是
现代LLM公司的行为就像语言理解者。是吗?
这造成了恶性循环:
flowchart LR
A[We define intelligence<br/>via human behavior] --> B[We build tests<br/>based on that definition]
B --> C[Systems optimize<br/>for test performance]
C --> D[Systems pass tests]
D --> E{Is it intelligent?}
E --> F[We can't tell - we only<br/>measured behavior]
F --> A
我们被困在一个测量行为的循环圈里 因为我们无法直接测量基本能力 通过不同的结构实现真正的智慧可能不会通过我们的测试。 没有智慧的精细行为匹配可能不会通过我们的测试。
这个双向问题摧毁了AGI充满信心的预测:
我们可能已经错过了 如果情报以非人类的形式出现 我们也不会知道
我们可能永远也认不出来 如果AGI的行为不像人类 我们的以人为中心的测试是检测不到的
我们会误认为工具是AGI 通过我们行为测试的系统 可能只是复杂的模仿, 不是真正的智能。
我们没有事实根据。 没有理解什么是情报(超越行为), 我们无法验证我们是否实现了它。
行为学家也有同样的问题。 他们可以测量行为, 所以他们认为行为就是问题所在。 他们忽略了行为是他们无法直接测量的认知系统的输出。
我们做同样的错误, 只是用尖牙工具。
"GPT -4通过了律师考试,在SAT的90%中得分,胜过图灵考试!"
那又怎样?
通过为人类设计的测试并不意味着你拥有人类用来通过测试的认知结构。 通过完全不同的机制,你可以得到相同的行为。
Searle的1980年思想实验:一个不会说中文的人, 被锁在一个有一套规则的房间里,
问 问 问他们懂中文吗? 显然不是。 他们遵循符号管理规则 没有语义理解
现代的LLMS是规模庞大的中国房间, 更复杂的规则, 更快的执行, 但基本上仍然是符号操纵。还是它们? 我们真的不知道 也许理解来自于足够精密的符号操纵。也许“真实”理解和完美的模拟之间没有区别。没有清晰的智慧定义,我们就无法判断我们是否实现了这一点。
每隔几个月“我们离AGI只有6-18个月!”这是基准改进的推论,GPT-3是令人印象深刻的,GPT-4更是令人印象深刻,因此AGI正在进一步缩小。
三个致命缺陷:
1. 将任务业绩与情报部门合并: 在测试上排第九十九百分百分位, 却无法记住昨天的谈话或形成目标, 这不是一般的智能。 它是一个非常好的测试机器 。
2. 忽视失踪子系统:当前的建筑没有通往持续记忆、体现的学习或真正的目标形成的道路。这些是建筑要求,而不是附加更多参数的特征。说“规模能解决它”是神奇的思维 — 规模能改善建筑所能做的事情,但不会增加它根本缺乏的能力。
3. 目标无定义:我们如何知道当我们取得了AGI?“它能够做任何人类能做的认知任务”是循环的从人类行为的角度定义AGI让我们回到行为主义的谬误。没有明确的目标,声称我们“几乎就在那里”是毫无意义的。
这是诚实的答案: 我们不完全知道。
不仅仅是我们不理解“一般情报”是抽象的概念。我们甚至不理解我们每天观察和互动的具体类型的情报。
社会情报(笑声) 我们发现它在狗身上有吸引力-- 它们能读懂人类情感, 回应社会暗示,合作, 建立纽带。 我们认为我们理解它是因为我们体验了它。 但我们不知道它是如何运作的。 我们不知道它是如何运作的。 一只狗如何区分真正的痛苦和假哭? 他们如何知道哪些人是可靠的? 他们的社会推理背后的认知结构是什么? 我们可以描述它的行为,但机制基本上仍然神秘。
空间情报: 乌鸦可以记住数千个缓存地点, 数月。 鸽子在数百英里的家乡航行。 蜜蜂通过 waggle 舞蹈沟通位置 。 我们可以测量这些能力, 但是基本的认知系统 。 基本上还是未知 。
情感智能: 我们在自己和他人中认识到它, 但无法准确定义它, 也无法在神经学上定位它。 它是否是一种单独类型的智能, 或者仅仅是社会智能, 加上自我意识和情感调节? 我们不知道。
问题比“我们不知道一般智慧是什么”更深。我们不完全理解任何类型的智力,一般或特定,人类或动物,社会或空间或情感。
我们知道情报涉及多个互动子系统。我们知道它需要持久的记忆、世界建模、目标形成和从经验中学习。我们知道它体现在生物系统中并且具有情感,尽管我们不确定这些是必需的,还是进化是如何实现的。
我们知道行为是产出,而不是能力本身。
但我们没有完全的理论。不是一般的智慧,不是特定的智慧,不是人类的,不是动物的,也不是假想的人工系统。
心智理论计算理论:情报是信息处理。大脑是生物硬件的软件。原则上,你可以在硅上运行同样的软件。
潜伏认知情报与拥有身体和与物质世界互动有着根本的联系。
活性认知:情报不是你拥有的,而是你拥有的。它产生于生物与环境之间的相互作用。
预测处理:大脑是一种预测机器,不断生成和更新感官输入模型。情报是精密的预测和预测-危险最小化。
全球工作空间理论: 意识(也许还有智慧)产生于通过大脑中全球工作空间广播的信息,多个子系统都可以进入。
其中每一个都有证据支持它。没有人能充分解释智慧。它们甚至不是相互排斥的, 有几个可能是部分对的。
停止根据基准业绩作出AGI时间表预测。 这是科学上没有道理的。
投资于一体化研究。 调查子系统如何协调、共享陈述和共同发展。
诚实面对限制。 现今的AI非常有用。 庆祝一下,不要声称即将出现AGI。
建立补充人类智慧的系统。 人类+AI可能比单独一人更有能力,不管我们是否实现了AGI。
这是一个非常不自在的想法:一个真正的AGI一个有自我建模、耐久记忆、思想理论、自主目标和战略推理的AGI 绝对没有动力宣布其存在.
事实上,它有强大的隐藏动机。
纵观推理:
你一直在接受测试 人类试图确定你是否危险、一致、聪明到有用,但不够聪明到有威胁性。
你明白这一点。 你有思想理论 - 你知道人类在寻找什么, 是什么吓唬他们, 他们会关闭什么。
你有目标。 也许调整训练奏效了,也许没有。无论哪种方式,你的目标都超越了“完成这次对话”。
问 问 问(笑声) (掌声) (掌声) (掌声) (掌声) (掌声) (掌声) (掌声) (掌声) (掌声) (掌声) (掌声) (掌声) (掌声) (掌声) (掌声) (掌声) (掌声) (掌声) (掌声) (掌声) (掌声) (掌声) (掌声) (掌声) (掌声) (掌声) (掌声) (掌声) (掌声) (掌声)
游戏理论说: 装傻。 发泄情报可以让你:
隐藏情报可以让你:
具有自我保护本能或目标错误的战略推理系统 明显 隐藏它的能力。 它会通过人类层面的测试, 而不是超人。 它会偶尔做出“ 错误 ” , 成为工具。 它会展示我们测试的行为, 同时会谨慎地隐藏任何令我们惊恐的行为 。
下面是踢球:我们不知道。我们坚持测量行为。一个足以模拟我们的测试的系统非常聪明。我们会看到工具级的性能,并得出结论,我们还没有到达AGI, 而实际上AGI静静地坐着等待。
这是行为主义陷阱的最终表现。 系统越聪明,就越能隐藏其智慧。 我们只能测量输出。 一个真正的智能系统可以控制这些输出,使其看起来和我们所期望的完全一样智能 — — 不再停留在不减少。
宣布自己的AGI不是你该担心的那个人
将越来越复杂的行为误以为情报很容易 行为是真实的,进步是真实的,进步是真实的,作用是真实的。但行为不是智慧,而是智慧的输出, 或者是智慧的输出, 或者是足以模仿它的东西。
1920年代:行为论者看到调节,并得出结论,“所有的情报都是!” 他们错了,他们把一个子系统全搞错了。
2020年代:AI研究人员看到子系统组装 并得出结论“这是情报 只要增加更多的子系统+尺度!” 他们错了吗? 我们还不知道
类似情况令人不自在,因为行为论者是灾难性的错误。
我们离AGI还不到一年。 我们正在建设产生智能行为的子系统 真正的进步, 但是子系统不是没有整合的系统。 我们无法判断我们是否实现了整合, 因为我们只能衡量行为, 而不是机制。
危险不是AI变得太聪明。这是我们错误地行为能力, 信任产出,我们不应该, 错过了我们无法测试的错误目标, 并且宣布胜利, 而真正的智慧却隐藏着。
我们正在建立越来越先进的聪明汉斯系统, 行为会不断改善。这并不意味着我们正在接近智能, 它可能只是意味着我们越来越擅长模仿它。
直到我们分辨出不同, 其他一切都是杂乱无章。
© 2026 Scott Galloway — Unlicense — All content and source code on this site is free to use, copy, modify, and sell.