Tag: 技术研究

AI 小型语言模型 深度学习 技术研究

小型AI模型为何表现欠佳？“嵌入压缩”现象的解决方案

介绍了一种名为“分散损失(Dispersion Loss)”的新型训练方法，该方法通过解决嵌入压缩现象，提升了小型语言模型的性能。

Keep Reading