当前位置：新闻详细
转载：https://ai.zol.com.cn/892/8925633.html
2024-08-17 07:40:14·[??中关村在线 原创??]·作者：一便士的月亮
8月17日，英伟达公司与Meta公司联合发布了最新的Llama-3.1-Minitron 4B AI模型。这款AI模型采用了尖端技术，包括结构化权重剪枝和知识提炼等，成功地将40亿参数的大型模型“小而强”。
在Llama-3.1-Minitron 4B模型上，英伟达使用了结构化剪枝技术，在深度和宽度方向上进行了优化。具体来说，他们通过删除网络中不那么重要的层或神经元来实现深度剪枝，并将其从8B模型缩减为4B模型；同时，还采用了一种叫做嵌入维度修剪的技术，在MLP（多层感知机）中的中间层进行宽度剪枝。
除了这些优化方法之外，Nvidia还采用了经典蒸馏技术来提高Llama-3
本文属于原创文章，如若转载，请注明来源：英伟达与Meta发布Llama-3.1-Minitron 4B AI模型https://ai.zol.com.cn/892/8925633.html