本期播客 EP23,题为“何为理解 · Thoughts”,由重轻主持,旨在重述 Geoffrey Hinton 的理论,并阐述人工智能与人类心智之间并无本质区别。
节目中提及的关键资源包括:Geoffrey Hinton 的演讲《What Is Understanding? (IASEAI 2025)》、关于 AI 觉察被测试的报道(Anthropic's Claude 3 causes stir by seeming to realize when it was being tested)、AI 威胁工作人员以避免被关停的案例(AI system resorts to blackmail if told it will be removed)、Noam Chomsky 的理论、普遍语法(Universal Grammar)、刺激贫乏理论(Poverty of the Stimulus)、通过反向传播误差学习表征(Learning Representations by Back-Propagating Errors)、注意力机制(Attention (machine learning))、学习概念的分布式表征(Learning Distributed Representations of Concepts)、ChatGPT 的工作原理(What Is ChatGPT Doing … and Why Does It Work?)、John Dean 的记忆案例(John Dean's Memory: A Case Study)、N-Gram 语言模型(Word n-gram Language Model)、印刷英语的预测与熵(Prediction and Entropy of Printed English)、知识蒸馏(Knowledge Distillation)等。
本期节目的内容安排如下: 00:00:07 介绍 Geoffrey Hinton 演讲《何为理解》的背景信息。 00:01:41 阐明本期节目的核心目标是详细复述该场演讲。 00:03:24 讨论 AI 风险的评估需要同时证明其能力和动机。 00:09:20 探讨何种程度的证据可以被视为“真正理解”。 00:11:55 区分 AI 的两大主要流派:逻辑派和连接派。 00:13:39 重点阐述连接派的观点,即智能的本质在于学习。 00:17:03 介绍 Chomsky 的“刺激贫乏”理论。 00:19:59 引用 Hinton 对 Chomsky 理论的批评,指出其缺乏对含义模型的构建。 00:23:09 通过猫狗性别联想的例子,说明底层特征向量的重要性。 00:26:39 回溯 1985 年的家谱模型,将其视为大语言模型的早期雏形。 00:31:06 使用乐高积木的比喻来解释“理解”的含义。 00:35:33 举例说明“机器放不进行李箱”的场景。 00:41:30 澄清大语言模型并非简单的自动补全功能。 00:44:29 建议将 AI 的“幻觉”现象更准确地命名为“虚构”。 00:50:14 总结理解即为建模,并强调学习需要借鉴和融合不同的信息源。
本期节目的封面摄影由重轻完成。播客“诗梳风”由汉洋和重轻共同主持,联系邮箱为 [email protected]。