色情西瓜影音 Scaling Law不是独一视角！清华刘知远团队建议大模子“密度定律”：模子才调密度100天翻番

Scaling Law 并非刻画大模子才调的独一视角！色情西瓜影音

清华 NLP 执行室刘知远西宾团队，最新建议大模子的密度定律（densing law），抒发样式让东谈主思到芯片规模的摩尔定律：

模子才调密度随时刻呈指数级增长，2023 年以来才调密度约每 3.3 个月（约 100 天）翻一倍。

把柄密度定律，推敲团队还得出以下进攻推广—— AI 期间的三大中枢引擎——电力、算力与才略，皆相同慑服密度快速增长趋势。

为了发现这一论断，推敲团队引入了一项预计大模子性价比的新主见——才调密度（capability density）。

团队通过成就参考模子的神志，将"才调密度"界说为了"灵验参数目"与本体参数目的比值。

给定标的模子后，其"灵验参数目"被界说为结束与标的模子一样的罢休，参考模子需要的最少参数目。

论文第一作家肖朝军默示，把柄拟合弧线，到了来岁年底，只有 8B 参数就能结束和 GPT-4 一样的罢休。

论文地址：https://arxiv.org/abs/2412.04315色情西瓜影音

大模子"才调密度"三个月翻一番

大模子圭表定律（Scaling Law）和密度定律（Densing Law），皆是大模子指引性的规矩发现。

它们差异在不同的维度，对大模子进行科学化的推演。

大模子圭表定律是一种刻画大模子跟着限度的变化而发生的规矩性变化的数学抒发，发扬为大模子的 Loss 与模子参数限度、测验数据限度之间的幂律联系。

圭表定律以外，清华推敲团队发现，大模子还有另一种度量与优化的空间，才调密度（Capability Density），它为评估不同限度 LLM 的测验质地提供了新的长入度量框架。

清华推敲团队建议的"才调密度"（Capability Density），界说为给定 LLM 的灵验参数大小与本体参数大小的比率。

灵验参数大小指的是达到与标的模子同等性能所需的参考模子的参数数目。

清华推敲团队十分引入了参考模子（Reference Model）的意见，通过拟合参考模子在不同参数限度下的性能发扬，栽培起参数目与性能之间的映射联系。

具体来说，若一个标的模子 M 的参数目为 NM ，其不才游任务上的性能分数为 SM，推敲东谈主员管帐算出参考模子要达到相通性能所需的参数目 N ( SM ) ，即"灵验参数目"。

标的模子 M 的密度就界说为这个"灵验参数目"与其本体参数目的比值：

ρ ( M ) = N ( SM ) /NM。

比如一个 3B 的模子能达到 6B 参考模子的性能，那么这个 3B 模子的才调密度即是 2（6B/3B）。

为了准确揣摸模子性能，推敲团队接纳了两步揣摸法。

第一步是亏空（Loss）揣摸，通过一系列不同限度的参考模子来拟合参数目与话语模子 Loss 之间的联系；

第二步是性能揣摸，探讨到袒露才调的存在，推敲东谈主员推敲开源模子来野心它们的损构怨性能，最终栽培起好意思满的映射联系。

通过推敲分析连年来 29 个被世俗使用的开源大模子，清华推敲团队发现，LLMs 的最大才调密度随时刻呈指数增长趋势，不错用公式ln ( ρ max ) = At + B来刻画 .

其中 ρ max 是时刻 t 时 LLMs 的最大才调密度。

密度定律标明，轻便每过 3.3 个月（100 天），就能用参数目减半的模子达到现时开端进模子的性能水平。

ChatGPT 发布后，才调密度增长更快了

基于密度法例，清华推敲团队建议了多个进攻推广。

领先，模子推理支出随时刻指数级下跌。

2022 年 12 月的 GPT-3.5 模子每百万 Token 的推理本钱为 20 好意思元，而 2024 年 8 月的 Gemini-1.5-Flash 模子仅为 0.075 好意思元，本钱责难了 266 倍，约 2.5 个月下跌一倍。

与此同期，大模子推理算法收敛获取新的工夫打破——模子量化、投契采样、显存优化。

其次，推敲还发现，自 ChatGPT 发布以来，大模子才调密度正在加快增强。

以 MMLU 为评测基准测量的才调密度变化情况，ChatGPT 发布前按照每 4.8 倍增，发布后按照每 3.2 月倍增，密度增强速率加多 50%。

这一情景背后，更高效模子引起了学术界和产业的世俗顺心，出身了更多高质地开源模子。

再次，芯片电路密度（摩尔定律）和模子才调密度（密度定律）捏续增强，两条弧线交织揭示端侧智能高大后劲。

推敲夸耀，在摩尔定律的作用下，相通价钱芯片的野心才调每 2.1 年翻倍，而密度法例标明模子的灵验参数限度每 3.3 个月翻倍。

两条弧线的交织，意味着主流末端如 PC、手机将能初始更高才调密度的模子，鼓舞端侧智能在滥用阛阓普及。

此外，团队指出，无法仅依靠模子压缩算法增强模子才调密度。

也即是说，现存的模子压缩工夫（如剪枝和蒸馏）无意能提高模子密度。

执行标明，大大量压缩模子的密度低于原始模子，模子压缩算法虽不错省俭小参数模子构建支出。

然而淌若后测验不充分，小参数模子才调密度非但不会增长，反而会有显赫下跌。

终末，推敲团队指出，模子高性价比灵验期收敛责难。

把柄圭表定律，更大量据 + 更多参数结束才调增强，测验本钱会急剧高潮；

而才调密度定律，跟着才调密度加快增强，每隔数月会出现愈加高效的模子。

这意味着模子高性价比的灵验使用期责难，盈利窗口顷然。

举例，2024 年 6 月发布的 Google Gemma-2-9B 模子，其测验本钱约 185 万东谈主民币；

但仅两个月后，它的性能就被参数目减半的 MiniCPM-3-4B 越过。

以 API 盈利神志估算，2 个月内需要 17 亿次用户考核，才草率收回测验本钱！

圭表定律下，LLM 限度至上。而在密度定律下，LLM 正插足一个全新的发展阶段。

在清华刘知远本分最新求教中，AI 期间的三大中枢引擎——电力、算力与才略，密度皆在快速增长：

电板能量密度在往常 20 年中增长了 4 倍，其倍增周期约为 10 年；

摩尔定律则揭示，芯片的晶体管密度每 18 个月翻倍；

而 AI 模子才调密度每 100 天翻倍的速率更是惊东谈主。

尤其是模子才调密度的升迁也意味着用更少的资源结束更强的才调，这不仅责难了 AI 发展对动力和算力的需求，也为 AI 工夫的可捏续发展提供了无穷可能。同期也揭示了端侧智能的高大后劲。

在这一趋势下，AI 野心从中心端到边际端的漫衍式特色协同高效发展，将结束" AI 无处不在"的愿景。

作家展望，跟着人人 AI 野心云表数据中心、边际野心节点的推广，加上模子才调密度增长带来的效力升迁，咱们将看到更多腹地化的 AI 模子袒露，云表和边际端各司其职，可初始 LLM 的末端数目和种类大幅增长，" AI 无处不在"的畴昔正在到来。

论文地址：

https://arxiv.org/abs/2412.04315