过去十年，人工智能系统飞速发展。从2016年Alpha Go在复杂的围棋游戏中击败李世石开始，人工智能现在能够比人类更好地识别图像和语音，并通过包括商学院考试等在内的测试。
(资料图)
近期，在美国参议院司法委员会关于监管人工智能的听证会上，康涅狄格州参议员理查德·布卢门撒尔(Richard Blumenthal)描述了其人们对人工智能最新进展的反应。“这个被反复使用的词很可怕。”
负责监督会议的隐私、技术和法律小组委员会听取了三名专家证人的证词，他们强调了人工智能的进展速度。证人之一、著名人工智能公司Anthropic的首席执行官达里奥·阿莫代伊(Dario Amodei)表示:“了解人工智能最重要的一点是它的发展速度有多快。”
人工智能已经在许多任务上超越了人类，而且人类在新任务上被超越的速度正在增加。相对于人类的表现，最先进的人工智能表现都在人类基准之上。
如上图所示，人工智能在手写识别（Handwriting recognition），语音理解（Speech recognition），图像识别（Image recognition），阅读理解（Reading comprehension），语言理解（Language understanding）等方面已经超越人类，而在常识补全（Common sense completion），小学数学（Grade school math），代码生成（Code generation）方面也与人类水平非常接近。因此，按照这个发展趋势，未来几年人工智能将在更多的领域实现对人类的超越。
过去，人们通常认为科学技术进步从根本上来说是不可预测的，并且是由事后更清晰的洞察力所驱动的。但可以预见的是，人工智能系统能力的进步是由计算、数据和算法这三种输入的进步推动的。过去70年的大部分进步都是研究人员使用更强的计算处理能力（通常称为“计算”）来训练人工智能系统的结果，为系统提供更多数据，或者提出有效减少获得相同结果所需的计算或数据量的算法技巧。
因此，了解了过去这三个因素如何推动人工智能进步，是理解为什么大多数从事人工智能工作的人预计AI的进展不会很快放缓的关键。
计算
世界上第一个人工神经网络Perceptron Mark I于1957年开发出来，当时它可以学习辨别卡片是标记在左侧还是右侧。它有1000个人工神经元，训练它需要大约700000次操作。70多年后，OpenAI发布了大型语言模型GPT-4。训练 GPT-4 估计需要 21*10²⁴次运算。
计算量的增加使人工智能系统能够摄取更多的数据，这意味着系统有更多的例子可供学习。更多的计算还允许系统更详细地对数据中变量之间的关系进行建模，这意味着它可以从显示的示例中得出更准确和细致的结论。
自 1965 年以来，摩尔定律（即集成电路中晶体管的数量大约每两年增加一倍）意味着计算的价格一直在稳步下降。研究机构Epoch的主管杰米·塞维利亚(Jaime Sevilla)表示，虽然这确实意味着用于训练人工智能系统的计算量增加了，但研究人员更专注于开发构建人工智能系统的新技术，而不是关注用于训练这些系统的计算量。
杰米·塞维利亚(Jaime Sevilla)说，这种情况在2010年左右发生了变化。“人们意识到，如果要训练更大的模型，实际上不会得到收益递减的结果，”这是当时普遍持有的观点。
从那时起，开发人员花费越来越多的资金来训练更大规模的模型。训练人工智能系统需要昂贵的专用芯片。人工智能开发人员要么构建自己的计算基础设施，要么向云计算提供商付费以访问他们的计算基础设施。OpenAI首席执行官Sam Altman表示，GPT-4 的训练成本超过1亿美元。这种支出的增加，加上摩尔定律导致的计算成本的持续下降，导致人工智能模型需要接受大量计算的训练。
OpenAI和Anthropic两家领先的人工智能公司各自从投资者那里筹集了数十亿美元，用于支付他们用于训练人工智能系统的计算费用，并且每家都与财力雄厚的科技巨头建立了合作伙伴关系——OpenAI与微软、Anthropic与谷歌。
从上图可以看出，自1950年以来，用于训练人工智能系统的计算量一直在增加，增长率在2010年开始明显增加。
数据
人工智能系统的工作原理是建立训练数据中变量之间关系的模型。一般来说，更多的数据点意味着人工智能系统拥有更多的信息来建立数据中变量之间关系的准确模型，从而提高性能。
关于Perceptron Mark I 的最初研究论文称，它仅根据六个数据点进行训练。相比之下，LlaMa是由Meta 研究人员开发并于2023年发布的大型语言模型，接受了约10亿个数据点的训练，比Perceptron Mark 1增加了1.6亿多倍。就LlaMa而言，数据点是从以下多种来源位置收集的文本：其中67%来自Common Crawl数据（Common Crawl 是一个非营利组织，负责抓取互联网并免费提供收集到的数据），4.5%来自GitHub（软件开发人员使用的互联网服务），以及 4.5%来自维基百科。
上图反映了在过去的70年里，用于训练人工智能模型的数据点数量急剧增加。
算法
算法（定义要执行的操作序列的规则或指令集）决定人工智能系统如何准确地使用计算能力来对给定数据中的变量之间的关系进行建模。除了使用越来越多的计算量来简单地训练人工智能系统以获取更多数据外，人工智能开发人员还一直在寻找从更少的资源中获得更多收益的方法。Epoch 的研究发现，“每九个月，更好的算法的引入就相当于计算预算增加了一倍。”
算法的进步意味着需要更少的计算和数据来达到给定的性能水平，上图在图像识别测试中达到80.9%准确率所需的计算量和数据点数。对于在一万亿个数据点上训练的模型，2021年训练的模型所需的计算量比2012年训练的模型少16500倍。
人工智能的下一阶段进展
根据Epoch的主管杰米·塞维利亚(Jaime Sevilla)的说法，人工智能开发人员用于训练其系统的计算量可能会在一段时间内继续以目前的加速速度增加，因为企业会增加在训练每个人工智能系统上花费的资金，并且随着计算价格持续稳定下降效率也会提高。Sevilla预测这种情况将持续下去，直到某个时候不再值得继续花更多的钱，因为增加计算量只能略微提高性能。此后，所使用的计算量将继续增加，但速度会减慢，这完全是由于摩尔定律导致计算成本下降。
输入现代人工智能系统（例如 LlaMa）的数据是从互联网上抓取的。从历史上看，限制输入人工智能系统的数据量的因素一直是拥有足够的计算来处理这些数据。但是，最近用于训练人工智能系统的数据量激增，已经超过了互联网上新文本数据的产生速度， Epoch的研究人员预测，到2026年，人工智能开发人员将耗尽高质量的语言数据。研究人员预测，到 2026 年，人工智能开发人员将耗尽高质量的语言数据。
那些开发人工智能系统的人往往不太关心这个问题。OpenAI首席科学家 Ilya Sutskever表示，“数据情况仍然相当不错。还有很多事情要做。” 而人工智能公司Anthropic的首席执行官达里奥·阿莫代伊(Dario Amodei)则估计，“这种扩展可能有10%的可能性会因无法收集足够的数据而中断。”
塞维利亚还相信，数据缺乏不会阻碍人工智能的进一步改进——例如找到使用低质量语言数据的方法——因为与计算不同，数据缺乏以前并不是人工智能进步的瓶颈。他预计人工智能开发人员可能会发现许多容易实现的创新成果来解决这个问题。
杰米·塞维利亚(Jaime Sevilla)表示，算法的进步可能会继续增强用于训练人工智能系统的计算和数据量。到目前为止，大多数改进都来自于更有效地使用计算。Epoch发现过去超过四分之三的算法进步都被用来弥补计算方面的不足。如果未来，随着数据成为人工智能训练进展的瓶颈，更多的算法进展可能会集中在弥补数据的不足上。
将这三部分放在一起，包括杰米·塞维利亚(Jaime Sevilla)在内的专家预计人工智能至少在未来几年将继续以惊人的速度取得进展。随着企业花费更多的钱并且底层技术变得更便宜，计算将继续增加。互联网上剩余的有用数据将用于训练人工智能模型，研究人员将继续寻找训练和运行人工智能系统的方法，以更有效地利用计算和数据。
这些十年趋势的延续是专家认为人工智能将继续变得更加强大的原因。这让很多专家感到担忧。
达里奥·阿莫代伊(Dario Amodei)在美国参议院委员会听证会上发言时表示，如果继续以同样的速度取得进展，在未来两到三年内，很多人都能够获得即使是今天的专家也无法掌握的科学知识。他表示，这可能会增加“造成严重破坏”的人数。“我特别担心人工智能系统可能会在网络安全、核技术、化学，尤其是生物学领域被大规模滥用。”
关键词：
