机器之心编辑部
开源社区的能量是否被低估了？
「我们没有护城河，OpenAI 也没有。」在最近透露的一份文件中，一位谷歌内部的研究职员表达了这样的不雅观点。
（图片来自网络侵删）这位研究职员认为，虽然表面看起来 OpenAI 和谷歌在 AI 大模型上你追我赶，但真正的赢家未必会从这两家中产生，由于一个第三方力量正在悄然崛起。
这个力量名叫「开源」。环绕 Meta 的 LLaMA 等开源模型，全体社区正在迅速构建与 OpenAI、谷歌大模型能力类似的模型，而且开源模型的迭代速率更快，可定制性更强，更有私密性……「当免费的、不受限定的替代品质量相当时，人们不会为受限定的模型付费。」作者写道。
这份文件最初由一位匿名人士在公共 Discord 做事器上分享，得到转载授权的家当媒体 SemiAnalysis 表示，他们已履历证了这份文件的真实性。
这篇文章在推特等社交平台上得到了大量转发。个中，得克萨斯大学奥斯汀分校教授 Alex Dimakis 揭橥了如下不雅观点：
开源 AI 正在取得胜利，我赞许，对付全天下来说，这是件好事，对付构建一个有竞争力的生态系统来说也是好事。虽然在 LLM 领域，我们还没有做到这一点，但我们刚刚让 OpenClip 击败了 openAI Clip，并且 Stable Diffusion 比封闭模型更好。你不须要弘大的模型，高质量的数据更有效、更主要，API 背后的羊驼模型进一步削弱了护城河。你可以从一个好的根本模型和参数高效微调（PEFT）算法开始，比如 Lora 在一天内就能运行得非常好。算法创新终于开始了！
大学和开源社区该当组织更多的事情来管理数据集，演习根本模型，并像 Stable Diffusion 那样建立微调社区。当然，并非所有研究者都赞许文章中的不雅观点。有人对开源模型是否真能拥有媲美 OpenAI 的大模型的能力和通用性持疑惑态度。
不过，对付学术界来说，开源力量的崛起总归是件好事，意味着纵然没有 1000 块 GPU，研究者也依然有事可做。
以下是文件原文：
谷歌、OpenAI 都没有护城河
我们没有护城河，OpenAI 也没有。
我们一贯在关注 OpenAI 的动态和发展。谁将超过下一个里程碑？下一步会是什么？
但令人不安的事实是，我们没有能力赢得这场武备竞赛，OpenAI 也是如此。在我们争吵不休的时候，第三个派别一贯在渔翁得利。
这个派别便是「开源派」。坦率地说，他们正在超越我们。我们以是为的那些「主要的待办理问题」如今已经被办理了，而且已经送到了人们的手中。
我举几个例子：
能在手机上运行的大型措辞模型：人们可以在 Pixel 6 上运行根本模型，速率为 5 tokens / 秒。可扩展的个人 AI：你可以花一个晚上在你的条记本电脑上微调一个个性化的 AI。负任务的发布：这个问题与其说是「被办理了」，不如说是「被忽略了」。有的网站整体都是没有任何限定的艺术模型，而笔墨也不例外。多模态：目前的多模态科学 QA SOTA 是在一个小时内演习完成的。虽然我们的模型在质量方面仍旧保持着轻微的上风，但差距正在以惊人的速率缩小。开源模型的速率更快，可定制性更强，更有私密性，而且在同等条件下能力更强大。他们正在用 100 美元和 130 亿的参数做一些事情，而我们在 1000 万美元和 540 亿的参数上却很难做到。而且他们在几周内就能做到，而不是几个月。这对我们有深远的影响：
我们没有秘密武器。我们最大的希望是向谷歌以外的其他人学习并与他们互助。我们该当优先考虑实现 3P 整合。当免费的、不受限定的替代品质量相当时，人们不会为受限定的模型付费。我们该当考虑我们的附加值到底在哪里。巨大的模型拖慢了我们的速率。从长远来看，最好的模型是那些可以快速迭代的模型。既然我们知道 200 亿以下参数的模型能做什么，那我们该当在一开始就把它们做出来。LLaMA 掀起的开源变革
三月初，随着 Meta 的 LLaMA 模型被透露给公众，开源社区得到了第一个真正有用的根本模型。该模型没有指令或对话调度，也没有 RLHF。只管如此，开源社区立即把握住了 LLaMA 的主要性。
随之而来的是源源不断的创新，紧张进展涌现的间隔只有几天（如在树莓派 4B 上运行 LLaMA 模型、在条记本上对 LLaMA 指令微调、在 MacBook 上跑 LLaMA 等）。仅仅一个月之后， 指令微调、量化、质量改进、多模态、RLHF 等变体都涌现了，个中很多都是在彼此的根本上构建的。
最主要的是，他们已经办理了规模化问题，这意味着任何人都可以自由地修正和优化这个模型。很多新想法都出自普通人。演习和实验门槛已经从紧张研究机构下放到一个人、一个晚上和一台功能强大的条记本电脑。
LLM 的 Stable Diffusion 时候
从很多方面来说，任何人都不应该对此感到意外。开源 LLM 当前的复兴紧随图像天生的复兴涌现，很多人称这是 LLM 的 Stable Diffusion 时候。
在这两种情形下，低本钱的"大众年夜众参与是通过一种本钱低得多的低秩适应（low rank adaptation, LoRA）微调机制实现的，并结合了 scale 上的重大打破。高质量模型的易得帮助天下各地的个人和机构孕育了一系列想法，并让他们得以迭代想法，并很快超过了大型企业。
这些贡献在图像天生领域至关主要，使 Stable Diffusion 走上了与 Dall-E 不同的道路。拥有一个开放的模型匆匆成了 Dall-E 没有涌现的产品集成、市场、用户界面和创新。
效果是显而易见的：与 OpenAI 办理方案比较，Stable Diffusion 的文化影响迅速霸占主导地位。LLM 是否会涌现类似的发展趋势还有待不雅观察，但广泛的构造要素是相同的。
谷歌错过了什么？
开源项目利用的创新方法或技能直接办理了我们仍在努力应对的问题。关注开源事情可以帮助我们避免重蹈覆辙。个中，LoRA 是功能极其强大的技能，我们应该对其投入更多的关注。
LoRA 将模型的更新展现为低秩因式分解，能够使更新矩阵的大小缩减几千倍。如此一来，模型的微调只须要很小的的本钱和韶光。将在消费级硬件上对措辞模型进行个性化调度的韶光缩减至几个小时非常主要，尤其是对付那些希望在近乎实时的情形下整合新的、多样化知识的愿景而言。虽然该技能对一些我们想要完成的项目有很大影响，但它并未在谷歌内部得到充分的利用。
LoRA 的神奇力量
LoRA 如此高效的一个缘故原由是：就像其他形式的微调一样，它可以堆叠。我们可以运用指令微调等改进，帮助完成对话、推理等任务。虽然单个微调是低秩的，当它们的总和并不是，LoRA 许可对模型的全等级更新随着韶光的推移积累起来。
这意味着，随着更新更好数据集和测试的涌现，模型可以低成本地保持更新，而不须要支付完全的运行本钱。
比较之下，从头开始演习大模型不仅丧失落了预演习，还丧失落了之提高行的所有迭代和改进。在开源天下中，这些改进很快就会盛行起来，这让全面重新演习的本钱变得非常高。
我们该当负责考虑，每个新运用或想法是否真的须要一个全新的模型。如果我们真的有重大的架构改进，打消了直接重用模型权重，那么我们该当致力于更积极的蒸馏办法，尽可能保留前一代功能。
大模型 vs. 小模型，谁更具有竞争力？
对付最盛行的模型尺寸，LoRA 更新的本钱非常低（约 100 美元）。这意味着，险些任何有想法的人都可以天生并分发它。在演习韶光小于一天的正常速率下，微调的累积效应很快就可以战胜开始时的尺寸劣势。事实上，就工程师韶光而言，这些模型的改进速率远远超过了我们的最大变体所能做到的。并且最好的模型在很大程度上已经与 ChatGPT 基本没有差异了。因此，专注于掩护一些最大的模型实际上使我们处于不利地位。
数据质量优于数据大小
这些项目中有许多是通过在小型、高度策划的数据集上进行演习来节省韶光。这表明在数据缩放规律中较为灵巧。这种数据集的存在源于《数据并非你所想（Data Doesn't Do What You Think）》中的想法，并正迅速成为无需谷歌的标准演习办法。这些数据集是利用合成方法（例如从现有的模型中滤出最好的反响）以及从其他项目中搜刮出来的，这但两种方法在谷歌并不常用。幸运的是，这些高质量的数据集是开源的，以是它们可以免费利用。
与开源竞争注定失落败
最近的这一进展对商业计策有非常直接的影响。如果有一个没有利用限定的免费、高质量的替代品，谁还会为有利用限定的谷歌产品买单？况且，我们不应该指望能够追遇上。当代互联网在开放源码上运行，是由于开放源码有一些我们无法复制的显著上风。
「我们须要他们」多于「他们须要我们」
守旧我们的技能机密始终是一个薄弱的命题。谷歌研究职员正定期前往其他公司学习，这样可以假设他们知道我们所知道的统统。并且只要这种 pipeline 开放，他们就会连续这样做。
但由于 LLMs 领域的尖端研究可以包袱得起，因此保持技能竞争上风变得越来越难了。天下各地的研究机构都在相互借鉴，以广度优先的办法探索办理方案空间，这远远超出了我们自身的能力。我们可以努力捉住自己的秘密，但外部创新会稀释它们的代价，因此可以考试测验相互学习。
个人不像企业那样受到容许证的约束
多数创新构建在 Meta 透露的模型权重之上。随着真正开放的模型变得越来越好，这将不可避免发生变革，但关键是他们不必等待。「个人利用」供应的法律保护和不切实际的个人起诉意味着个人可以在这些技能炙手可热的时候利用它们。
拥有生态系统：让开源事情为自己所用
抵牾的是，所有这统统只有一个赢家，那便是 Meta，毕竟透露的模型是他们的。由于大多数开源创新是基于他们的架构， 因此没有什么可以阻挡他们直接整合到自家的产品中。
可以看到，拥有生态系统的代价再怎么强调都不为过。谷歌本身已经在 Chrome 和 Android 等开源产品中利用这种范式。通过孵化创新事情的平台，谷歌巩固了自己思想领导者和方向制订者的地位，得到了塑造比自身更伟大思想的能力。
我们对模型的掌握越严格，做出开放替代方案的吸引力就越大，谷歌和 OpenAI 都方向于防御性的发布模式，使得他们可以严格地掌握模型利用办法。但是，这种掌握是不现实的。任何想要将 LLMs 用于未经批准目的的人都可以选择免费供应的模型。
因此， 谷歌该当让自己成为开源社区的领导者，通过更广泛的对话互助而不是忽略来起到带头浸染。这可能意味着采纳一些不舒畅的举措，比如发布小型 ULM 变体的模型权重。这也一定意味着放弃对自身模型的一些掌握，但这种妥协不可避免。我们不能既希望推动创新又要掌握它。
OpenAI 未来的路在何方？
考虑到 OpenAI 当前的封闭政策，所有这些开源谈论都会令人以为不公正。如果他们都不愿意公开技能，我们为什么要分享呢？但事实却是，我们通过源源不断地挖角 OpenAI 的高等研究员，已经与他们分享着统统。在我们阻挡这一潮流之前，保密仍是一个有争议的问题。
末了要说的是，OpenAI 并不主要。他们在开源态度上犯了与我们一样的缺点，并且他们保持上风的能力一定遭到质疑。除非 OpenAI 改变态度，否则开源替代产品能够并终极会让他们傲然失落色。至少在这方面，我们可以迈出这一步。
原文地址：https://www.semianalysis.com/p/google-we-have-no-moat-and-neither
