大模型的密度定律的表达,与摩尔定律相似,重点讨论了能力如何随着时间而增强。 研究团队将其定义为模型的“有效参数量”与实际参数量的比值,是一种衡量 LLM(Large Language Model)训练质量的新指标。 举个论文中的例子:2024年2月1日发布的MiniCPM-1-2.4B ...