这张由方舟投资（ARK Invest）团队制作的趋势图，被认为很有可能是对 2024 年 AI 发展做出了预测。它描绘了开源社区与专有模型在生成式 AI 上的发展。

随着像 OpenAI 和 Google 这样的公司变得越来越封闭，越来越少地公开他们的最新模型信息，开源社区及其企业支持者 Meta 似乎正紧随其后，使得生成式 AI 的访问更为民主化，这可能对专有模型的商业模式构成挑战。

在这个散点图中显示了各种 AI 模型的性能百分比。专有模型用蓝色表示，开源模型用黑色表示。我们可以看到不同的 AI 模型如 GPT-3、Chinchilla 70B（谷歌）、PaLM（谷歌）、GPT-4（OpenAI）和 Llama65B（Meta）等在不同时间点的性能。

Meta 最初发布 LLaMA 时，参数量从 70 亿到 650 亿不等。这些模型的性能非常优异：具有 130 亿参数的 Llama 模型「在大多数基准上」可以胜过 GPT-3（ 参数量达 1750 亿），而且可以在单块 V100 GPU 上运行；而最大的 650 亿参数的 Llama 模型可以媲美谷歌的 Chinchilla-70B 和 PaLM-540B。

Falcon-40B 刚发布就冲上了 Huggingface 的 OpenLLM 排行榜首位，改变了 Llama 一枝独秀的场面。

Llama 2 开源，再一次使大模型格局发生巨变。相比于 Llama 1，Llama 2 的训练数据多了 40%，上下文长度也翻倍，并采用了分组查询注意力机制。

最近，开源大模型宇宙又有了新的重量级成员 ——Yi 模型。它能一次处理 40 万汉字、中英均霸榜。Yi-34B 也成为迄今为止唯一成功登顶 Hugging Face 开源模型排行榜的国产模型。

如散点图所示，开源模型的性能在不断追赶专有模型。这可能意味着在不久的将来，开源模型有望在性能上与专有模型平起平坐，甚至超越。

就在上周末，Mistral 8x7B 用最朴素的发布方式以及强大的性能，让研究者评价道：「闭源大模型走到结局了。」

有友已经开始预祝 「2024 年成为开源 Al 年」，「我们正在接近一个临界点。以目前开源社区项目的发展速度，我们将在未来 12 个月内达到 GPT-4 的水平。」

接下来开源模型的未来是否坦途一片，又会有怎样的表现，我们拭目以待。

https://twitter.com/ylecun/status/1734377019608014956