[论文笔记]NEZHA

《论文阅读》LORA: LOW-RANK ADAPTATION OF LARGE LAN-GUAGE MODELS

• • • 前言
  • • 简介
    • 现有方法
    • 模型架构
    • 优点

前言

今天为大家带来的是《LORA: LOW-RANK ADAPTATION OF LARGE LAN-GUAGE MODELS》

出版：

时间：2021年10月16日

类型：大语言模型的微调方法

关键词：

第一作者机构：Microsoft Corporation

github：https://github.com/microsoft/LoRA

简介

为了降低现有模型在下游任务上的计算成本和时间成本，本文提出一种利用低秩的矩阵的方法，将高维空间映射到低维空间，在减小成本的同时不损失模型表现，下图为常见大语言预训练模型在下游任务