LoRA:大语言模型的低阶适应
在大语言模型微调方面,微软的研究人员开发了一项名为LoRA(Low-Rank Adaptation of Large Language Models)的技术。LoRA的目标是解决大语言模型微调的成本和复杂性问题。
举个例子,GPT-3拥有1750亿个参数,如果要让它在特定领域发挥作用,就需要对其进行微调。然而,直接对GPT-3进行微调的成本非常高,也非常繁琐。
LoRA的做法是冻结预训练好的模型权重参数,然后在每个Transformer块中注入可训练的层。由于不需要重新计算模型权重参数的梯度,LoRA大大减少了训练所需的计算量。
研究表明,LoRA的微调质量与全模型微调相当,可以说是一种神器。
可以将LoRA类比为大模型中的一个小模型,或者说是一个插件。LoRA最初是为大语言模型设计的,但它也可以应用于交叉关注层,对于使用文字生成图片的效果也有影响。
Stable Diffusion最早的模型实际上并不支持LoRA。后来,对LoRA的支持被加入了Stable Diffusion中。据说,Simo Ryu是第一个让Stable Diffusion支持LoRA的人。如果你对此感兴趣,可以去这位大佬的GitHub上了解更多关于这个项目的信息。
通过LoRA技术,大语言模型的低阶适应变得更加高效和便捷。它为我们提供了一种新的方法,让大语言模型在特定领域中发挥更好的作用。相信随着LoRA的不断发展和应用,它将为我们带来更多惊喜和创新。
声明:本文来自Stable Diffusion教程攻略投稿,不代表微浪网立场,版权归原作者所有,欢迎分享本文,转载请保留出处!