在网络不稳定的地区，小型AI模型正逐渐普及

2019 年的一天早晨，Adebayo Alonge 正在开普敦的一家酒店房间里，准备演示他的初创公司用 AI 解决非洲医疗保健领域一个严重问题的方案：假药，每年在非洲大陆导致数千人死亡。

RxScanner 是一款手持式光谱仪，用红外光扫描药片，然后将该物品的分子图谱发送给一个配备了药物数据库的 AI 模型。几秒钟内，AI 就能根据分子图谱识别出药物——或者报告它是假药。

包括加纳、肯尼亚、缅甸以及 Alonge 的祖国尼日利亚在内的十几个国家，都有药房在使用这套系统。但那天早晨在南非，它失灵了。“我当时震惊了，”Alonge 说。

光谱仪连接上了 AI 模型——但数据中心在 14000 公里之外，带宽有限。“我们的服务器在美国，仅仅为了拿到一次扫描的结果，就花了我 5 分多钟。”

于是 Alonge 立刻让他的工程师把 AI 模型缩小成一个更小、低功耗、无需联网的版本，可以完全在他的 Android 手机上运行。他们 2 小时后做出来了，这也挽救了那场演示。

更重要的是，这项工作催生了他设备的新版本，可以在没有宽带、没有电脑、甚至没有可靠电力的地方鉴别药片。这也让 Alonge 成为了这类“小型 AI”的倡导者。

面向全球健康护理可及性的小型 AI

小型 AI与富裕国家那些庞大的大语言模型（LLM）、超大规模数据中心、数十亿美元的投资以及关于 AI 意识的争论相去甚远。但对全球数百万人来说，唯一重要的 AI，而且往往是唯一可获得的 AI，就是小型 AI。（根据世界银行报告于 11 月发布的数据，全球最贫困国家中仅有 0.7% 的互联网用户使用过 ChatGPT，而在最发达国家，这一比例占所有互联网用户的三分之一。）

“大多数人是从 LLM/生成式 AI 的角度来讨论 AI 的。但那需要大量算力、电力、海量数据以及管理这些的专业人才，”世界银行行长 Ajay Banga 去年 1 月在达沃斯世界经济论坛上表示。“在发达国家之外，除了印度和中国，很少有国家同时具备这些条件。”

Banga 表示，相比之下，小型 AI 可以为那些完全不具备上述条件的地区的人们提供有用的、甚至能挽救生命的服务。在印度，政府的 AI 计划呼吁进一步发展小型 AI，许多此类系统正在为农民服务。

例如，印度韦洛尔理工学院（Vellore Institute of Technology）的 Bala Murugan 及其同事开发的一套基于无人机的系统，可以拍摄腰果植株的照片，并迅速识别出那些带有表明病害的斑点的植株。所有处理都在无人机本身上完成，因此既不需要现场配备计算机，也不需要连接到中央服务器。

利用针对特定问题训练的小型语言模型，有时还运行在廉价、低功耗的设备上，其他小型 AI 实现已被开发用于识别乌拉圭一处葡萄园中的蚂蚁侵扰、在多个国家检测携带疟疾的蚊子的存在，以及在巴西部分地区通过 Arduino 设备运行心电图检查，这些地区缺乏使用更复杂设备的机会。

“这是当今 AI 最重要的领域，”Marcelo José Rovai说道，他是巴西伊塔茹巴联邦大学（Federal University of Itajubá）工程与信息系统研究所的教授，参与了上述全部三个项目。“它发展得非常快。”

设备上的低功耗小型 AI 模型

小型 AI 模型可以运行在各种低功耗设备上，包括[从左到右]Arduino Nano 33 BLE Sense、Seeed Wio Terminal 和 Arduino Portenta。Moez Altayeb

对于Alonge、Rovai以及其他倡导者而言，小型AI不仅仅是那份11月世界银行报告所称的“一个前景可期的趋势”。从长远来看，它可能才是那种将触及最多人生活、并在某些巨型模型对大多数用户而言变得过于昂贵之后仍能保持可持续的AI形态。

“我认为AI的未来不是那种位于中心的单一巨型模型。我认为是数百万个部署在边缘的小型、精准模型，每一个都解决某个具体问题、某个具体场景，”Alonge说。这在一定程度上是因为，包括富裕国家部分地区以及发展中国家在内的很大一部分人类，生活中无法获得最前沿的前沿模型。但他说，这也是因为那些模型不可持续。

“如果没有人补贴它，大多数人都负担不起那些模型。所以，我们这些所谓的小型AI开发者，才是必须为世界上大多数人去构建的人，”Alonge说。

“小型AI”没有严格的定义，但人们常用这个词来指参数量最多只有几十亿的大语言模型。（相比之下，最前沿的模型参数量可以超过一万亿。）这已经小到可以直接在手机或Raspberry Pi上运行。正因如此，这些应用才能在没有数据中心连接的情况下在设备上运行，并且只消耗几瓦的电力，通常由电池或太阳能板供电。

Rovai 表示，尽管这些模型体量很小，但它们与庞大的 AI 模型在技术上并无本质区别。许多小语言模型的实例，其创建方式与 Alonge 那款基于手机的药品扫描仪版本如出一辙——都是通过对大模型进行“剪枝”，即移除与任务无关的参数。Rovai 说，其结果是一个通用能力较弱、但在其被剪枝所针对的特定任务上仍然非常出色的系统。

RxAll 的 RxScanner 光谱仪有一个更轻量的版本，它会把结果发送到手机上本地运行的 AI 模型，以检查药物的分子特征是否真实。RxAll

另一些小模型则是通过“知识蒸馏”创建的。Rovai 说，它们被训练去模仿一个大模型，直到其表现接近它们的“老师”。在其他情况下，则会降低较大模型的精度，例如，使一个在 32 位架构上运行的模型能够在 8 位设计上运行。在机器学习应用被用于对数据分类或预测模式（比如蚂蚁侵扰）的情况下，它是从一开始就在小型设备上训练的，根本并非源自更大的模型。

Rovai 说，运行所有这些小型、专用系统正变得越来越容易，原因有两个。

他说，第一个原因是硬件正变得更好、能力更强，同时功耗更低。这意味着越来越多的手机能够运行小型 AI——尤其是那些配备了神经处理单元的手机，这是一种专用芯片，用于处理诸如人脸识别以及调整照片亮度、阴影或对比度之类的 AI 任务。

2025 年，全球出货的智能手机中略超三分之一具备运行生成式 AI 的能力，而据技术研究公司 Counterpoint 称，这一数字将在今年年底达到 45%。到明年年底，略超半数的智能手机将能够运行小型 AI 模型。

Rovai 提到的第二个原因是语言模型占用的空间不断缩小。Rovai 表示，Google DeepMind 的 Gemma 4（4 月发布）和阿里巴巴的 Qwen 3.5对于小型 AI 而言都“非常出色”。这两个模型都是“开放权重”的，意味着用户可以调整参数之间的连接以满足自身需求。Rovai 说，这样一来就很容易做到，比如“从乳制品行业获取大量数据，并专门针对这些数据重新训练模型”。

Rovai 在一次 Zoom 通话中用一个他最近的实验展示了这些原因。他举起一个设备说：“这是新的 Arduino UNO Q——一款售价 50 美元、搭载 Qualcomm 芯片组的设备。我在这里运行一个语言模型，它从传感器收集数据并分析这些数据，以检测蚊子可能滋生的微小积水。运行它只需要 3 瓦。”

对小型 AI 开发的支持

世界银行确信数百万人已经在从这类应用中受益，如今正通过拨款、导师计划、融资、技术咨询以及对小型 AI 开发友好的政府政策范本，积极推动小型 AI 的发展。例如，在卢旺达，世界银行正在支持一项政府计划，帮助低收入家庭获得能够运行 AI 的设备。

尽管如此，没有人声称大语言模型会完全消失。Rovai 表示，要打造一个能在手机或其他小型设备上运行的生成式 AI，需要大型模型的架构洞见、数据处理和成果。“我们需要大模型来创建这些更小的模型。”

Alonge 表示，尽管小 AI 能让无法获得大 AI 的人受益，但这项技术无法解决发展和数字不平等这些更大的问题。部署小 AI 并不能让各国摆脱构建 AI 支持生态系统的挑战：可靠的电力、运转良好的供应链，以及能够培养出创建 AI 工具所需人才的教育体系。

尽管他的药物扫描系统可以在没有网络连接的手机上运行数天，Alonge 表示，“你仍然希望能够定期同步，以获取药物新特征和分析数据的更新。”“而且即使你使用电池，可靠的电力也很重要。那块手机电池不可能永远用下去。”

他说，在世界许多地方，小 AI 的未来并无保障。“它确实有效，许多地方最终也会需要用到它。问题在于，政治行动者是否足够明智，愿意投资基础设施来长期支持它。”