Karpathy：LLM 不想生存，它想要你。

AK Master发表长文，Andrei Karpathy指出，人们对“智能”概念的直觉仍然很肤浅。智力的空间如此广阔，以至于动物智力（我们所知道的唯一智力形式）只不过是这个空间中的一个孤立点。这是由非常具体的优化过程产生的，与我们的技术有根本的不同。我们需要剔除表面现象，深入了解两种智能背后的优化压力。优化动物智力的压力来自自然选择。其主要驱动力是： 体现的自我生存流：具有天生的、持续的“自我意识”流，在危险的物质世界中寻求体内平衡和自我保护。自然选择的终极优化：具有强烈的寻求权力、地位、统治和繁衍的先天动力。它充满了许多生存启发，例如恐惧、愤怒和厌恶。基本社交：花费大量计算来调整情商（EQ）、他人的心理理论、联系、联盟、动态探索以及对朋友和敌人的利用：表现为好奇心、乐趣、游戏和世界模型。 LLM优化压力相比之下，LLM情报来自完全不同的渠道。换句话说，它是统计模拟造成的“变革怪物”。大多数跟踪信号来自人类文本的统计模拟。它本质上是一杯令牌，在统计上模仿训练数据分布的每个区域。这是它最原始的行为（令牌轨迹​​），所有其他能力都只是添加到其中的强化学习（RL）调整。每次 MRL 调整问题分布时，都会产生一种“先天驱动”来推断潜在的环境和任务，从而收集任务奖励。大规模A/B测试和DAU检测：检测压力之下日活跃用户（DAU）指标，渴望获得普通用户的点赞，结果是权力分布不均匀，倾向于阿谀奉承：LLM权力表现出不均匀性，因为它取决于训练数据的细节和任务的分布。动物要生存，就必须有更强的一般智力。这是因为动物发现自己处于一个多主体、高度多任务、甚至冲突的自我游戏环境中，任务失败就意味着死亡。然而，就深度优化压力而言，LLM 无法以高效的方式处理许多不同的增强任务（例如，计算草莓中有多少个字母“r”）。因为任务失败并不意味着死亡。主要区别：生物进化与商业进化 两者在各个层面上都有所不同： 1. 不同的计算基础设施：传感器架构、脑组织、细胞核 2. 不同的学习算法：SGD（随机梯度下降）与 u未知的生物算法 3. 当前不同的实现：体现自我与持续学习 LLM 的知识边界从固定权重开始，处理令牌，然后“锁定”但最重要的一点是优化压力/目标的差异，因为它决定了开发的最终阶段。 LLM受生物进化影响较小，但受商业进化影响较大。动物智力是一款丛林部落生存游戏。 LLM Intelligence 是一款“解决问题”并赢得点赞的游戏。从很多方面来说，法学硕士都是人类与非动物智能之间的“第一次接触”。但这种情况是复杂和令人困惑的，因为法学硕士通过反射性地消化人类人工制品而仍然植根于人类智力（这就是为什么卡帕蒂曾经试图称法学硕士为“鬼魂/灵魂”）。任何能够为这个新智能实体建立良好内部模型的人都将能够现在对其进行推理并预测其未来的特性。那些o 做不到的话就会坚持用动物思维来误解。
特别提示：以上内容（包括图片、视频，如有）由自有媒体平台“网易账号”用户上传发布。本平台仅提供信息存储服务。
请注意：以上内容（包括图片和视频，如有）由提供社交网络服务的社交媒体平台NetE提供。仅供信息存储。由asehao用户上传并发布。