图片

深度学习天然话语处理 原创作家：fanmetasy

大模子由于其在种种任务中的出色发达而引起了凡俗的暖热。可是，大模子推理的大量算计和内存需求对其在资源受限场景的部署建议了挑战。业内一直在尽力开发旨在提肥硕模子推理服从的本事。本文对现存的对于高效大模子推理的文件进行了全面的综述总结。着手分析了大模子推理服从低下的主要原因，即大模子参数领域、细心力算计操的二次复杂度作和自回首解码方法。然后，引入了一个全面的分类法，将现存优化就业区别为数据级别、模子级别和系统级别的优化。此外，本文还对症闲适领域的代表性方法进行了对比实验，以及分析并给出一定的视力。临了，春联系就业进行总结，并对将来的筹商地点进行了究诘。

论文：A Survey on Efficient Inference for Large Language Models地址：https://arxiv.org/abs/2404.14294

1 Introduction

频年来，大模子受到了学术界和工业界的凡俗暖热。

LLM领域履历了显耀的增长和显耀的成就。好多开源llm依然出现，包括gpt-系列(GPT-1， GPT-2和GPT-3)， OPT， lama系列(LLaMA ， LLaMA 2，BaiChuan 2 ，Vicuna， LongChat)， BLOOM， FALCON， GLM和Mtaistral[12]，他们用于学术筹商和交易落地。大模子的奏效源于其处理种种任务的强劲才气，如神经话语意会(NLU)、神经话语生成(NLG)、推理和代码生成[15]，从而收场了ChatGPT、Copilot和Bing等有影响力的应用范例。越来越多的东说念主合计[16]LMM士的崛起和取得的成就标志着东说念主类向通用东说念主工智能(AGI)迈进了一大步。

图片

图1：大模子部署挑战

可是，LLM的部署并不老是很告成。如图1所示，在推理过程中，使用LLM往常需要更高的算计本钱，内存看望本钱和内存占用。（根柢原因分析见Sec. 2.3）在资源受限的场景中，推理服从也会贬抑（如，蔓延，抵赖量，功耗和存储）。这对LLM在终局以及云场景这两方面的应用带来了挑战。例如，强大的存储需求使得在个东说念主札记本电脑上部署70B参数目的模子来用于赞助开发是不切实践的。此外，如果将LLM用于每一个搜索引擎肯求，那么低抵赖量将带来强大的本钱，从而导致搜索引擎利润的大幅减少。

运道的是，大量的本事依然被建议来，以收场LLM的有用推理。为了取得对现存筹商的全面了解，并引发进一步的筹商，著述对刻下现存的LLM高效推理就业给与了分级分类和系统总结。具体来说，将现存就业区别组织为数据级别、模子级别和系统级别的优化。此外，著述对症闲适领域内的代表性方法进行了实验分析，以郑重学问，提供实践性建议并为将来的筹商尽力提供率领。

图片

表1：综述对比

目下，综述[17],[18],[19],[20],[21],[22]均触及LLM领域。这些综述主要辘集在LLM服从的不同方面，但提供了进一步矫正的契机。Zhu等[17],Park等[18]和Wang等。[19]将综述的要点放在，模子压缩本事上，是模子级别的优化。Ding等[20]将数据和模子架构当作筹商要点。Miao等[21]从机器学习系统(MLSys)筹商的角度筹商LLM的有用推理。比拟之下，本文提供了一个更全面的筹商范围，在三个眉目上惩处优化：数据级别、模子级别和系统级别，同期也囊括了最近的筹商就业。而Wan等[22]和Xu等[23]也对高效LLM筹商进行了全面综述。基于在几个环节的子领域如模子量化和模子server端中进行的实验分析，本文通过整合对比实验，提供实践的视力和建议。如表1所示，展示了种种综述之间的比较。

本文行文结构区别如下：第二章先容了LLMs的基本主张和学问，并对LLMs推理过程中服从瓶颈进行了详确的分析。第三章展示了本文建议的分类法。第四章到第六章从三个不同优化级别分别春联系就业进行展示究诘。第七章针对几个环节的应用场景进行更凡俗的究诘。第八章总结本综述的环节孝顺。

2 Preliminaries2.1 transformer架构的LLM

话语建模当作话语模子的基本功能，包括对单词序列概率进行建模并预计后续单词的概率散布。频年来筹商东说念主员发现增多话语模子领域不仅提高了话语建模才气，除了传统的NLP任务除外，还产生了处理更复杂任务的才气[24]，这些领域更大的话语模子是被称为大模子(LLMs)。

主流大模子是基于Transformer架构[25]瞎想的。典型的transformer架构的模子由数个堆叠的transformer block组成。往常，一个transformer block由一个多头自细心力（MHSA）模块，一个前馈神经网罗（FFN）和一个LayerNorm（LN）层组成。每个transformer block领受前一个transformer block的输出特征，并将其当作输入，并将特征串行送进每个子模块中，临了输出。特别的是，在第一个transformer block前，需要用一个tokenizer将传统的输入语句移动为token序列，并紧接着使用一个embedding层将token序列移动为输入特征。且一个额外的位置embedding被加入到输入特征中，来对输入token序列的token门径进行编码。

Transformer架构的中枢是自细心力机制，其在多头自细心力（MHSA）模块被使用。MHSA模块对输入进行线性变换，得到了Q，K，V向量，如公式(1)所示：

其中为输入特征，为第个细心力头的变换矩阵。接着自细心力操作被应用于每个（）元组并得到第个细心力头的特征，如公式(2)所示：

其中是query(key)的维度。自细心力算计包含矩阵乘法，其算计复杂度是输入长度的二次方。临了，MHSA模块将通盘细心力头的特征进行拼接，并对他们作念映射矩阵变换，如公式(3)所示：

其中是映射矩阵。自细心力机制可以让模子识别不同输入部分的重要性，而无谓去研究距离，也已就此可以取得输入语句的长距离依赖以及复杂的关系。

FFN当作transformer block的另一个重要模块，被诞生在多头自细心力（MHSA）模块之后，且包含两个使用非线性激活函数的。其领受MHSA模块的输出特征如公式（4）所示，进行算计：

其中，和为两个线性层的权重矩阵，为激活函数。

2.2 大模子推理过程

最受宽饶的大模子，如，decoder-only架构的大模子往常给与自回首的方式生成输出语句，自回首的方式是逐token的进行输出。在每一次生成步中，大模子将夙昔的全部token序列当作输入，包括输入token以及刚刚生成的token，并生成下一个token。跟着序列长度的增多，生过文本这一过程的时分本钱也显耀藏家。为了惩处这个问题，一个环节本事，key-value（KV）缓存被建议来，用于加速文本生成。

KV缓存本事，包括在多头自细心(MHSA)块内，存储和复用前边的token对应的key 向量(K)和value向量(V)。此项本事在大模子推理以中得到了凡俗的应用，因为其对文本生成蔓延收场了强大的优化。基于此项本事，大模子的推理过程可以区别为两个阶段：

①prefilling阶段：大模子算计并存储原始输入token的KV缓存，并生成第一个输出token，如图2（a）所示

②decoding阶段：大模子诈骗KV  缓存逐一输出token，并用腾达成的token的K，V（键-值）对进行KV缓存更新。

图片

图2：KV缓存本事在大模子推理中应用旨趣表现图

图片

如图3所示，展示了进步推理服从的环节运筹帷幄。对于横轴Latency(蔓延，在预填充（prefilling）阶段，将first token latency记作生成第一个token的时分；在decoding阶段，将per-output token latency记作生成一个token的平均时分。此外，generation latency表现输出整个token序列的时分。对于纵轴Memory（内存），model size被用来表现存储模子权重所需要的内存大小以及KV cache size代表存储存储KV缓存的内存大小。此外，peak memory代表在生成工程中需要占用的最大内存。其梗概为model size与KV cache size之和。对模子权重和KV缓存的内存和。撤退蔓延和内存中，抵赖量（throughput）亦然大模子推理服务系统中的一个凡俗使用的运筹帷幄。token throughput表现每秒生成的token数目，request throughput表现每秒完成的肯求数。

2.3 推理服从分析

在资源受限的场景中，部署大模子并保捏其推理服从以及性能对于工业界和科研及都是强大的挑战。例如，对有700亿参数目的LLaMA-2-70B进行部署，以FP16数据花式对其权重进行加载需要140GB显存（VRAM），进行推理需要至少6张 RTX 3090Ti GPU（单卡显存24GB）或者2张NVIDIA的A100 GPU（单卡显存80GB）。在推理蔓延方面，2张NVIDIA的A100 GPU上生成一个token需要100毫秒。因此，生成一个具稀有百个token的序列需要跳跃10秒。撤退内存占用和推理蔓延，抵赖量以及动力电量的破钞都需要被研究。大模子推理过程中，三个重要要素将很大程度上影响上述运筹帷幄。算计本钱（computational cost），内存看望本钱（memory access cost）和内存使用（memory usage）。大模子推理低服从的根柢原因需要暖热三个环节要素：

①Model Size：主流大模子往常包含数十亿致使万亿的参数。例如，LLaMA-70B模子包括700亿参数，而GPT-3为1750亿参数。在推理过程中，模子大小对算计本钱、内存看望本钱和内存使用产生了显耀影响。

②Attention Operation：如2.1和2.2中所述，prefilling阶段中，自细心操作的算计复杂度为输入长度的2次方，因此输入长度的增多，算计本钱、内存看望本钱和内存使用都会显耀增多。

③Decoding Approach：自回首解码是逐token的进行生成。在每个decoding step，通盘模子权重都来自于GPU芯片的片下HBM，导致内存看望本钱强大。此外，KV缓存跟着输入长度的增长而增长，可能导致内存分散和不端正内存看望。

3  TAXONOMY

上述部分论说了影响大模子推感性能的环节要素，如算计本钱、内存看望本钱和内存使用，并进一步分析了根柢原因：Model Size、Attention Operation和Decoding Approach。好多筹商从不同的角度对优化推理服从进行了尽力。通过记忆和总结这些筹商，著述将它们分为三个级别的优化，即：数据级别优化、模子级别优化和系统级别优化(如图4所示)：

图片

图4：大模子推感性能优化分类数据级别优化：即通过优化输入prompt（例如，输入压缩)或者更好的组织输出内容（例如，输出组织）。这类优化往常不会窜改原来的模子，因此莫得鼓吹的模子教师本钱(其中，可能需要对极少的赞助模子进行教师,但与教师大模子的本钱比拟，这个本钱可以被忽略)。模子级别优化：即在模子推理时，通过瞎想一个有用的模子结构（如有用的结构瞎想）或者压缩预教师模子（如模子压缩）来优化推理服从。优化第一种优化往常需要鼓吹的预教师或极少的微调来保留或者回复模子才气的本钱，而第二种典型的会给模子性能带来亏欠。系统级别优化：即优化推理引擎或者服务系统。推理引擎的优化不需要进行模子教师，服务系统的优化对于模子性能而言更是无损的。此外，著述还在章节6.3中队硬件加速瞎想进行了浮浅的先容。4.数据级别优化

数据级别的优化本年来的就业可以区别为两类，如优输入压缩或者输出组织。输入压缩本事顺利裁减了模子的输入长度来减少推理亏欠。同期输出组织本事通过组织输出内容的结构来收场批量(并行)推理，此方法可以进步硬件诈骗率和贬抑模子的生成蔓延。

4.1输入压缩

在大模子的实践应用中，教导词prompt至关重要，好多就业都建议了瞎想教导词的新方法，它们在实践中均展示出经心瞎想的教导可以开释大模子的性能。例如，凹凸文体习（In-Context Learning）建议在prompt中包含多个联系示例，这种方法能够荧惑大模子去进行类比学习。念念维链（Chain-of-Thought， COT）本事则是在凹凸文的示例中加入一系列中间的推理才气，用于匡助大模子进行复杂的推理。可是，这些教导词上的联系手段不可幸免地会导致教导词更长，这是一个挑战，因为算计本钱和内存使用在prefilling时期会二次增长(如2.3节所示)。

为了惩处这个问腿输入prompt压缩本事被建议来用于裁减教导词长度且不合大模子的回答质料组成显耀性影响。在这一本事方面，联系筹商可分为四个方面，如图5所示：教导词编著（prompt pruning），教导词总结（prompt summary），基于教导词的软压缩（soft prompt-based compression）和检索增强生成（retrieval augmented generation， RAG）。

图片

图5：大模子输入压缩方法分类4.1.1 教导词编著（prompt pruning）

教导词编著的中枢念念想是从输入prompt中基于预界说或者学习到的环节性运筹帷幄中去在线去除不重要的token，语句或者文档。DYNAICL建议对给定输入，动态地笃定凹凸文示例的最优数目，通过一个教师好的基于大模子的controller。Selective Context这篇论文建议将token合并为数个单位，接着使用一个基于self-information运筹帷幄（如，negative log likelihood）的单位级别地prompt编著。STDC论文基于解析树进行教导词编著，其迭代地删除在编著后导致最小性能下落的短语node。PCRL论文引入了一种基于强化学习的token级别的编著有运筹帷幄。PCRL背后的中枢念念想是通过将古道度和压缩比组合到奖励函数中来教师一个战略大模子。古道度是通过算计经过编著后的输出教导符和原始教导词之间的相似度来研究的。RECOMP方法收场了一种句子级别编著战略来压缩用于检索增强话语模子(Retrieval-Augmented Language Models， RALMs)的教导。该方法包括使用预教师的encoder将输入问题和文档编码为latent embedding。然后，它证据文档embedding与问题embedding的相似度决定要去除哪些文档。LLMLingua引入了一种粗到细的剪枝有运筹帷幄，用于prompt压缩。领先，它实行示范级别的编著，然后证据困惑度实行token级别的编著。为了提高性能，LLMLingua建议了一个预算胁制器，在教导词的不同部分之间动态分派编著预算。此外，它诈骗迭代式的token级的压缩算法来惩处由条目孤苦性假定引入的不准确性。LLMLingua还给与了一种散布对都战略，将宗旨大模子的输出散布与用于困惑度算计的较小大模子进行对都。LongLLMLingua[41]在LLMLingua的基础上进行了一些加强:(1)它诈骗以输入问题为条目的困惑度当作教导词编著的运筹帷幄。(2)它为不同的演示分派不同的修剪比例，并证据其运筹帷幄值在最终教导词内从新排序。(3)基于反馈恢规复始内容。CoT-Influx引入了一种使用强化学习对念念维链(CoT)教导词进行粗到细粒度编著的方法。具体来说，它会先编著去除不重要的示例，然后在剩下的示例中延续删除不重要的token。

4.1.2 教导词总结（prompt summary）

教导词总结的中枢念念想是在保捏相似的语义信息的前提下，将原有教导词浓缩为更短的总结。这些本事还可以当作教导词的在线压缩方法。与前边提到的保留未编著记号的教导词编著本事不同，这一排方法将整个教导符转机为总结。RECOMP[34]引入了一个抽象压缩器（Abstractive Compressor），其将输入问题和检索到的文档当作输入，生成一个简单的选录。具体来说，它从大领域的大模子中提真金不怕火轻量级压缩器来进行总结就业。SemanticCompression建议了一种语义压缩方法。它着手将文天职解成句子。然后，它证据主题将句子分组，然后总结每组中的句子。

4.1.3 基于教导词的软压缩（Soft Prompt-based Compression）

这种压缩本事的中枢念念想是瞎想一个比原始教导词短得多的软教导词，当作大模子的输入。软教导词被界说为一系列可学习的连气儿token。有些本事对固定前缀的教导词(如系统教导词、特定任务教导词)给与脱机压缩。例如，PromptCompression教师软教导来模拟预定的系统教导词。该方法包括在输入token之前添加几个软token，并允许在反向传播时期对这些软token进行颐养。在对教导数据集进行微调之后，软token序列充任软教导词。Gisting引入了一种方法，使用前缀词调优将特定任务的教导词压缩为一组简单的gist token。鉴于特定任务的教导会因任务而异，前缀词调优将针对每个任务单独使用。为了提高服从，Gisting进一步引入了一种元学习方法，用于预计新的未见过的gist token基于先前任务中的的gist token。

其他本事对每个新的输入教导词进行在线压缩。例如，AutoCompressors教师一个预教师的话语模子，通过无监督学习将教导词压缩成总结向量。ICAE教师了一个自动编码器将原始凹凸文压缩到短顾忌槽中。具体来说，ICAE给与顺应LoRA的大模子当作编码器，并使用宗旨大模子当作解码器。在输入token之前添加一组顾忌token并将其编码到顾忌槽中。

4.1.4 检索增强生成（retrieval augmented generation， RAG）

检索增强生成(Retrieval-Augmented Generation, RAG)旨在通过整合外部学问来源来提肥硕模子回答的质料。RAG也可以看作是在处理大量数据时提高推理服从的一种本事。RAG莫得将通盘信息合并到一个过长的prompt中，而是将检索到的联系信息添加到原始教导符中，从而确保模子在显耀减少教导词长度的同期领受到必要的信息。FLARE使用对行将到来的句子的预计来主动决定何时以及检索什么信息。REPLUG将大模子视为一个黑盒，并使用可调检索模子对其进行推行。它将检索到的文档添加到冻结的黑盒大模子的输入中，并进一步诈骗大模子来监督检索模子。Self-RAG通过检索和自我反念念来提肥硕模子的质料和信得过性。它引入了反馈token，使大模子在推理阶段可控。

4.2 输出组织（Output Organization）

传统的大模子的推理过程是实足门径生成的，这会导致大量的时分破钞。输出组织本事旨在通过组织输出内容的结构来(部分地)收场并行化生成。

念念维骨架(Skeleton-of-Thought, SoT)是这个地点的前驱。SoT背后的中枢念念想是诈骗大模子的新兴才气来对输出内容的结构进行有运筹帷幄。具体来说，SoT包括两个主要阶段。在第一阶段(即框架阶段)，SoT率领大模子使用预界说的“框架教导词”生成谜底的简明框架。例如，给定一个问题，如“中国菜的典型类型是什么?”，这个阶段的输出将是一个菜的列表(例如，面条，暖锅，米饭)，莫得详确的姿色。然后，在第二阶段(即点扩展阶段)，SoT率领大模子使用“点扩展教导符”来同期扩展骨架中的每个点，然后将这些拓展连系起来最终形成临了谜底。当应用于开源模子时，可以通过批推理实行点扩展，这可以进步硬件诈骗率，并在使用换取的算计资源的前提下减少总体生成蔓延，以减少额外的算计。SoT的推理过程展示如图6所示：

图片

由于额外的教导词(如骨架教导词和点扩展教导词)带来的支拨，SoT究诘了在点扩展阶段跨多个点来分享各人教导词前缀的KV缓存的可能性。此外，SoT使用路由模子来决定SoT是否安妥应用于特定的问题，目的是将其限制在合适的情况下使用。驱散，SoT在最近发布的12个大模子上 收场了高达2.39倍的推理加速，并通过提高谜底的种种性和联系性来提高谜底质料。

SGD进一步扩展了SoT的念念想，其将子问题点组织成一个有向无环图(DAG)，并在一个回合内并行地回答逻辑孤苦的子问题。与SoT肖似，SGD还诈骗大模子的新兴才气，通过提供我方制作的教导词和几个示例来生成输出结构。SGD放宽了不同点之间严格的孤苦性假定，以提高谜底的质料，特别是对于数学和编码问题。与SoT比拟，SGD优先研究谜底质料而不是速率。此外，SGD引入了一个自顺应的模子选拔方法，来证据其揣度的复杂性为每个子问题分派最优模子大小，从而进一步提高服从。

APAR给与了与SoT肖似的念念想，诈骗大模子输出特殊的胁制token(如 ，[fork])来自动动态的触发并行解码。为了有用地诈骗输出内容中固有的可并行化结构并准确地生成胁制token，APAR对大模子进行了微调，这些大模子是经心瞎想的数据上进行的，这些数据是在特定树结构中形成的。因此，APAR在基准测试中收场1.4到2.0倍的平均加速，且对谜底质料的影响可以忽略不计。此外，APAR将他们的解码方法与推测解码本事(如Medusa)和推理框架(如vLLM)结合，来进一步矫正推理蔓延和系统抵赖量。

SGLang在Python 特征原语中引入了一种领域特定话语(DSL)，其能够纯真地促进大模子编程。SGLang的中枢念念想是自动分析种种生成调用之间的依赖关系，并在此基础上进行批量推理和KV缓存分享。使用该话语，用户可以纵欲收场种种教导词战略，并从SGLang的自动服从优化(如SoT，ToT）中收益。此外，SGLang 还先容并结合了几种系统级别的编译本事，如代码出动和预取审视。

4.3 意识，建议和将来地点

大模子处理更长的输入、生成更长的输出的需求日益增长，这突显了数据级别的优化本事的重要性。在这些本事中，输入压缩方法的主要宗旨是通过减少由attention操作引起的算计和内存本钱来进步prefilling阶段的服从。此外，对于基于API的大模子，这些方法可以减少与输入token联系的API本钱。比拟之下，输出组织方法侧重于通过贬抑与自回首解码方法联系的大量内存看望本钱来优化解码阶段。

跟着大模子的功能越来越强劲，是有可能能诈骗它们来压缩输入教导词或构建输出内容的。输出组织方法的最新进展也讲授了诈骗大模子将输出内容组织成孤苦点或依赖图的有用性，从而便于批量推理以改善生成蔓延。这些方法诈骗了输出内容中固有的可并行结构，使大模子能够实行并行解码，从而提高硬件诈骗率，从而减少端到端的生成蔓延。

最近，种种教导词pipeline(如，ToT ，GoT)和Agent框架正在出现。天然这些转换提高了大模子的才气，但它们也增多了输入prompt的长度，导致算计本钱增多。为了惩处这个问题，给与输入压缩本事来减少输入长度是一种很有但愿的惩处有运筹帷幄。同期，这些pipeline和框架天然地为输出结构引入了更多的并行性，增多了并行解码和跨不同解码线程来分享KV cache的可能性。SGLang支捏纯确凿大模子编程，并为前端和后端协同优化提供了契机，为该领域的进一步扩展和矫正奠定了基础。总之，数据级别优化，包括输入压缩和输出组织本事，在可猜想的将来，为了提肥硕模子推理服从，将变得越来越必要。

除了优化现存框架的推理服从外，一些筹商还侧重于顺利瞎想更高效的智能体框架。例如，FrugalGPT建议了一个由不同大小的大模子组成的模子级联，如果模子对谜底达到实足的笃定性水平，那么推理过程就会提前罢手。该方法通过诈骗分层的模子体绑缚构和基于模子置信度揣度的智能推理拒绝来提高服从。与模子级别的动态推理本事(第5.2.5节)比拟，FrugalGPT在pipeline级别实行径态推理。

5 模子级别优化

大模子高效推理的模子级别优化主要辘集在模子结构或数据表现的优化上。模子结构优化包括顺利瞎想有用的模子结构、修改原模子和颐养推理时分结构。在数据表现优化方面，往常给与模子量化本事。

在本节中，著述将证据所需的额外教师支拨对模子级别的优化本事进行分类。第一类包含瞎想更有用的模子结构(又叫有用结构瞎想)。使用这种方法开发的模子往常需要重新动手教师。第二类侧重于压缩预教师模子(称为模子压缩)。此类别中的压缩模子往常只需要最小的微调即可回复其性能。

5.1 有用结构瞎想

目下，SOTA大模子往常使用Transformer架构，如2.1节所述。可是，基于transformer的大模子的环节组件，包括前馈网罗(FFN)和attention操作，在推理过程中存在服从问题。著述合计原因如下:

FFN在基于transformer的大模子中孝顺了很大一部分模子参数，这导致显耀的内存看望本钱和内存使用，特别是在解码阶段。例如，FFN模块在LLaMA-7B模子中占63.01%，在LLaMA-70B模子中占71.69%。attention操作在的复杂度是输入长度的二次方，这导致大量的算计本钱和内存使用，特别是在处理较长的输入凹凸文时。

为了惩处这些算计服从问题，一些筹商辘集在开发更有用的模子结构上。著述将联系筹商分为三组(如图7所示)：高效FFN瞎想、高效细心力瞎想和Transformer替代。

图片

图7：大模子有用结构瞎想分类5.1.1 高效FFN瞎想

在这一方面，好多筹商都辘集在将混杂众人(mixture-of-experts, MoE)本事集成到大模子中，以提肥硕模子的性能，同期保捏算计本钱。MoE的中枢念念想是动态地分派种种预算，在面对不同的输入token时。在基于MoE的Transformers中，多个并行的前馈审计网罗(FFN)，即众人，与可教师的路由模块整个使用。在推理过程中，模子选拔性地为路由模块胁制的每个token激活特定的众人。

一些筹商辘集筹商FFN众人的就业，主若是在优化众人权值的获取过程或使众人更轻量化以提高服从。例如，MoEfication瞎想了一种方法，使用预教师的权重将非MoE大模子转机为MoE版块。这种方法免去了对MoE模子进行鼓吹的预教师的需要。为了收场这个本事，MoEfication着手将预教师大模子的FFN神经元分红多组。在每一组中，神经元往常同期被激活函数激活。然后，它以众人的身份重组每组神经元。Sparse Upcycling引入了一种方法，顺利从密集模子的checkpoint中启动化基于MoE的LLM的权重。在这种方法中，基于MoE的LLM中的众人是密集模子中FFN的精准复成品。通过使用这种浮浅的启动化，Sparse Upcycling可以有用地教师MoE模子以达到高性能。MPOE建议通过矩阵乘积算子(Matrix Product Operators,  MPO)理解来减少基于MoE的大模子的参数。该方法将FFN的每个权重矩阵理解为一个包含各人信息的全局分享张量和一组拿获特定特征的局部赞助张量。

另一项筹商侧重于矫正MoE模子中路由模块(或战略)的瞎想。在以前的MoE模子中，路由模块容易导致负载不屈衡问题，这意味着一些众人被分派了大量token，而另一些众人只处理极少token。这种不屈衡不仅糜费了未充分诈骗的众人的才气，贬抑了模子的性能，还贬抑了推断推理质料。刻下的MoE收场时常使用批矩阵乘法来同期算计通盘FFN众人。这就要求每个众人的输入矩阵必须具有换取的体式。可是，由于存在负载不屈衡问题，需要向那些未充分诈骗的众人中填充输入token集以自满体式经管，这会形成算计糜费。因此，路由模块瞎想的主要宗旨是在MoE众人的token分派中收场更好的平衡。Switch Transformers在最终loss函数中引入了一个额外的loss，即负载平衡loss，以处分路由模块的不屈衡分派。这种loss被表述为token分派分数向量和均匀散布向量之间的缩放点积。因此，惟有在通盘众人之间平衡token分派时，亏欠才会最小化。这种方法荧惑路由模块在众人之间均匀地分发token，促进负载平衡并最终提高模子性能和服从。BASE用端到端的方式学习了每个众人的embedding，然后证据embedding的相似性将众人分派给令token。为了保证负载平衡，BASE制定了一个线性分派问题，并诈骗拍卖算法有用地惩处了这个问题。Expert Choice引入了一种浮浅而有用的战略来确保基于MoE的模子的完好意思负载平衡。与以前将众人分派给token的方法不同，Expert Choice允许每个众人证据embedding的相似度孤苦选拔top-k个token。这种方法确保每个众人处理固定数目的token，即使每个token可能分派给不同数目的众人。

除了上述暖热模子架构自己的筹商外，也有对基于MoE的模子的教师方法矫正的联系就业。SE-MoE引入了一种新的赞助loss，称为router z-loss，其目的是在不影响性能的情况下提高模子教师的闲适性。SE-MoE发目下路由模块中，softmax操作所引入的指数函数会加重舍入过失，导致教师不闲适。为了惩处这个问题，router z-loss会处分输入到指数函数中的梗概率，从而最小化教师时期的舍入过失。StableMoE指出基于MoE的大模子存在路由波动问题，即在教师和推理阶段众人分派不一致。对于换取的输入token，在教师时其被分派给了不同的众人，但在推理时却只激活一个众人。为了惩处这个问题，StableMoE建议给与更一致的教师方法。它着手学习路由战略，然后在模子骨干教师和推理阶段保捏固定的路由战略。SMoE-Dropout为基于MoE的大模子瞎想了一种教师方法，其建议在教师过程中安逸增多激活众人的数目。这种方法进步了基于MoE的模子的推理和卑鄙微调的可扩展性。GLaM预教师并发布了一系列具有不同参数大小的模子，这讲授了它们在few-shot任务上与密集大模子的性能超越。这个系列模子中，最大的模子的参数高达1.2万亿。Mixtral 8x7B是最近发布的一个引东说念主防卫的开源模子。在推理过程中，它只诈骗了130亿个行为参数，在不同的基准测试中取得了比LLaMA-2-70B模子更好的性能。Mixtral 8x7B每层由8个前馈网罗(FFN)众人组成，每个token在推理过程等分派给两个众人。

5.1.2 高效attention瞎想

attention操作是Transformer体绑缚构中的一个环节部分。可是，它的算计复杂度是与输入长度联系的二次方，这导致了大量的算计本钱、内存看望本钱和内存使用，特别是在处理长凹凸文时。为了惩处这个问题，筹商东说念主员正在探索更有用的方法来近似原始attention操作的功能。这些筹商大致可以分为两个主要分支：multi-query attention和low complexity attention。

①Multi-Query Attention。Multi-Query Attention（MQA）通过分享横跨不同细心力头的KV缓存来优化attention 操作。这项战略有用的减少了推理时的内存看望本钱和内存使用，对改善Transformer模子的性能带来了匡助。如第2.2节所述，transformer类型的大模子往常给与多头细心力(MHA)操作。该操作需要在解码阶段为每个细心力头存储和检索KV对，导致内存看望本钱和内存使用大幅增多。而MQA通过在不同的头上使用换取的KV对，同期保捏不同的Q值来惩处这一问题。通过凡俗的测试，MQA依然被讲授可以显耀贬抑内存需求，且对模子性能的影响很小，这使它成为一个提高推理服从的环节本事。Grouped-query attention(GQA)进一步扩展了MQA的主张，它可以看作是MHA和MQA的混杂。具体来说，GQA将细心力头分红不同的组，然后为每个组存储一组KV值。这种方法不仅保捏了MQA在减少内存支拨方面的上风，还强化了推理速率和输出质料之间的平衡。

②Low-Complexity Attention。Low-Complexity Attention方法旨在瞎想新的机制来贬抑每个细心力头的算计复杂度。为了简化究诘，这里假定Q(查询)、K(键)和V(值)矩阵的维度是换取的，即。由于底下的就业不触及像MQA那样窜改细心头的数目，此处的究诘辘集在每个头内的细心力机制。如2.2节所述，传统细心力机制的算计复杂度为，超越于跟着输入长度增长，呈二次增长。为了惩处低服从问题，Kernel-based Attention和Low-Rank Attention方法被建议，此方法将复杂度贬抑到。

Kernel-based Attention。基于核的细心力瞎想了一个核，通过变换特征映射之间的线性点积如，，来近似的非线性softmax操作。它通过优先算计，然后将其与相乘，从而幸免了与联系的传统二次算计。具体来说，输入Q和K矩阵着手通过核函数映射到核空间，但是保捏其原始维度。接着诈骗矩阵乘法的关联脾性，允许K和V在与Q交互之前相乘。因此细心力机制被从新表述为：

其中，。此方法有用的将算计复杂度贬抑至，使其与输入长度成线性关系。Linear Transformer是第一个建议基于核的细心力的就业。它给与当作核函数，其中表现指数线性单位激活函数。Performers和RFA建议使用无意特征映射来更好地近似softmax函数。PolySketchFormer给与多项式函数和素描本事近似softmax函数。

Low-Rank Attention。 Low-Rank Attention本事在实行细心算计之前，将K和V矩阵的token维度(如)压缩到较小的固定长度(即如)。该方法基于对细心力矩阵往常发达出低秩脾性的意识，使得在token维度上压缩它是可行的。这条筹商阶梯的主要重点是瞎想有用的压缩方法，其中可以是凹凸文矩阵，也可以是K和V矩阵：

有一种就业是使用线性投影来压缩token维度。它通过将K和V矩阵与映射矩阵相乘来完成的。这么，细心力算计的算计复杂度降至，与输入长度成线性关系。Linformer着手不雅察并分析了细心力的低秩性，建议了低秩细心力框架。LRT建议将低秩变换同期应用于attention模块和FFN，来进一步提高算计服从。FLuRKA将低秩变换和核化结合到细心力矩阵中，进一步提高了服从。具体的说，它着手贬抑K和V矩阵的token的维度，然后对Q和低秩K矩阵应用核函数。

除了线性映射外，其他的token维度压缩方法也被建议出来。Luna和Set Transformer诈骗额外的细心力算计和较小的query来有用地压缩K和V矩阵。Luna则是使用了一个额外的固定长度为的query矩阵。小的query使用原始的凹凸文矩阵实行细心力算计，称为pack attention，来将凹凸文矩阵压缩到大小为。随后，惯例的细心力算计，称为unpack attention，将细心力算计应用于原始Q矩阵和压缩的K和V矩阵。额外的query矩阵可以是可学习的参数或从前一层中获取。Set Transformer通过引入固定长度的矢量，瞎想了肖似的本事。FunnelTransformer不同于以往压缩K和V的就业，它使用池化操作来安逸压缩Q矩阵的序列长度。

5.1.3 Transformer替代

除了聚焦于优化细心力操作除外，最近的筹商还转换地瞎想了高效而有用的序列建模体绑缚构。表2比较了一些代表性的非transformer架构模子的性能。在教师和推理过程中，这些架构的模子在序列长度方面发达出小于二次方的算计复杂度，使大模子能够昭着增多其凹凸文长度。

图片

典型非Transformer架构模子性能比较

在这些筹商中，有两个杰出的筹商地点引起了极大的暖热。其中一条筹商辘集在景况空间模子(State Space Model, SSM)上，该模子将序列建模视作一种基于HiPPO表面的递归变换。此外，其他筹商主要辘集在使用长卷积或瞎想肖似细心力的公式来建模序列。

State Space Model：景况空间模子（SSM）在某些NLP和CV任务中的建模才气极具竞争力。与基于细心力的Transformer比拟，SSM在输入序列长度方面发达出线性的算计和存储复杂度，这提高了其处理长凹凸文序列的才气。本篇综述中，SSM是指一系列自满以下两个属性的模子架构:

(1)它们基于HiPPO和LSSL建议的以下公式对序列进行建模：

其中，表现移动矩阵。为中间景况，为输入序列。

(2)他们基于HiPPO表面瞎想了移动矩阵A。具体来说，HiPPO建议通过将输入序列映射到一组多项式基上，将其压缩为统统序列(即)。

在上述框架的基础上，一些筹商主要辘集在矫正移动矩阵A的参数化或启动化。这包括在SSM中从新界说矩阵的公式或启动化方式，以增强其在序列建模任务中的有用性和性能。LSSL着手建议用HiPPO瞎想的最优移动矩阵启动化A。此外，LSSL还通过伸开公式(7)，以卷积的方式教师SSM。具体地说，通过界说一个卷积核为，可以将公式(7)改写为，也可以通过快速傅里叶变换(FFT)高效地算计。可是，算计这个卷积核的代价是鼓吹的，因为它需要屡次乘以A。为此，S4、DSS和S4D建议对矩阵A进行对角化，从而加速算计速率。这可以看作是转机矩阵A的参数化本事。夙昔的SSM孤落索理每个输入维度，从而会产生大量可教师的参数。为了提高服从，S5建议使用一组参数同期处理通盘输入维度。在此结构的基础上，S5先容了基于法度HiPPO矩阵的A的参数化和启动化方法。Liquid S4和Mamba以输入依赖的方式对移动矩阵进行参数化，这进一步增强了SSM的建模才气。此外，S5和Mamba均给与并行扫描本事，无需卷积操作即可进行有用的模子教师。这种本事在当代GPU硬件上的收场和部署方面具有上风。

另一类筹商地点是基于SSM瞎想更好的模子架构。GSS和BiGS结合了门控细心力单位(GAU)和SSM。它们将GAU中的细心力操作替换为SSM操作。BST将SSM模子与建议的使用强局部感应偏置的Block Transformer相结合。H3不雅察到SSM在调回较早的token和跨序列比较token方面很弱。为此，它建议在法度SSM操作之前增多一个移位SSM操作，用于顺利将输入令牌移位干与景况。MambaFormer结合了法度Transformer和SSM模子，将Transformer中的FFN层替换为SSM层。Jamba引入了另一种方法，通过在SSM模子中添加四个Transformer层来组合Transformer和SSM模子。DenseMamba探讨了传统SSM中荫藏景况退化的问题，并在SSM体绑缚构中引入了蓬勃连系，以在模子的更深层中保存细粒度信息。BlackMamba和MoE- mamba建议用混杂众人(Mixture-of-Experts,  MoE)本事增强SSM模子，在保捏模子性能的同期优化教师和推理服从。

其他代替：除了SSM除外，还有其他几种高效的替代有运筹帷幄也引起了极大的暖热，包括长卷积和类attention的递归运算。一些筹商在长序列建模中给与了长卷积。这些就业东若是对于卷积参数的参数化的。例如，Hyena给与了一种数据联系的参数化方法，用于使用浅前馈神经网罗(FFN)的长卷积。其他瞎想类细心力操作，但可以纳入轮回方式的筹商，从而收场高效的教师和高效的推理。例如，RWKV是在AFT的基础上诞生的，AFT建议将Transformer模子中的细心力操作代入如下公式:

其中，和Transformer同样 ，分别为quey，key，vakue，为一个可学习的成对位置偏差和为一个非线性函数。具体来说，它进一步将位置偏差进行重参数化，，因此可以将公式（8）重写为递归局势。这么，RWKV可以将Transformer的有用并行化教师脾性和RNN的高效推理才气结合起来。

驱散分析：著述在表2等分析和比较了几种转换的和具有代表性的非Transformer架构的模子的算计和内存复杂性。在教师时分方面，好多模子(如S4, Hyena, RetNet)这些通过使用卷积或细心力等教师局势来保捏教师并行性。值得细心的是，Mamba用并行扫描本事处理输入序列，从而也使用了教师并行性。

另一方面，在推理过程中，大多数筹商选拔轮回架构来保捏prefilling阶段的线性算计复杂度并在decoding阶段保捏凹凸文长度不可知。而且，在decoding阶段，这些新颖的体绑缚构放弃了缓存和加载历史token的脾性的需要(肖似于基于Transformer的话语模子中的KV缓存)，从而显耀省俭了内存看望本钱。

5.2 模子压缩

模子压缩包括一系列旨在通过修改预教师模子的数据表现(例如，量化)或窜改其模子架构(例如，稀少化、结构优化和动态推理)来提高其推理服从的本事，如图8所示。

图片

图8：大模子的模子压缩方法分类5.2.1 量化

量化是一种凡俗使用的本事，通过将模子的权重和激活从高位宽表现转机为低位宽表现来减少大模子的算计和内存本钱。具体来说，好多方法都触及到将FP16张量量化为低位整型张量，可以表现为如下公式:

其中表现16位浮点(FP16)值，表现低精度整数值，表现位数，和表现缩放因子和零点。

不才面，本文从服从分析动手，证明量化本事怎样减少大模子的端到端推理蔓延。随后，再分别详确先容两种不同的量化就业过程：Post-Training Quantization (PTQ)和Quantization-Aware Training (QAT)。

服从分析：如2.2节所述，大模子的推理过程包括两个阶段：prefilling阶段和decoding阶段。在prefilling阶段，大模子往常处理长token序列，主要操作是通用矩阵乘法(GEMM)。Prefilling阶段的蔓延主要受到高精度CUDA内核实行的算计操作的限制。为了惩处这个问题，现存的筹商方法对权重和激活量化，以使用低精度Tensor核来加速算计。如图9 (b)所示，在每次GEMM操作之前会在线实行激活量化，从而允许使用低精度Tensor核(例如INT8)进行算计。这种量化方法被称为权重激活量化。

比拟之下，在解码阶段，大模子在每个生成步中只处理一个token，其使用通用矩阵向量乘法(GEMV)当作中枢操作。解码阶段的蔓延主要受到加载大权重张量的影响。为了惩处这个问题，现存的方法只暖热量化权重来加速内存看望。这种方法称为，着手对权重进行离线量化，然后将低精度权重去量化为FP16花式进行算计，如图9 (a)所示。

图片

图9：(a)纯权分量化推理过程。(b)权重激活量化推理过程。

Post-Training Quantization： PTQ触及对预教师模子进行量化，而不需要再教师，这可能是一个鼓吹的过程。尽管PTQ方法依然在较小的模子中得到了很好的探索，但是将现存的量化本事顺利应用于大模子存在贫寒。这主若是因为与较小的模子比拟，大模子的权重和激活往常发达出更多的特别值，况兼具有更宽的散布范围，这使得它们的量化更具挑战性。总之，大模子的复杂脾性，以其领域和复杂性为特征，需要用特意的方法来有用地处理量化过程。大模子中特别值和更宽的散布范围的存在需要开发量身定制的量化本事，以便在不影响模子性能或服从的情况下处理这些专有的特征。

大量的筹商致力于开发有用的量化算法来压缩大模子。本文在表3中提供了跨四个维度分类的代表性算法的笼统。对于量化张量的种类，某些筹商专注于weight-only quantization，而其他好多筹商则专注于权重和激活的量化。值得细心的是，在大模子中，KV缓存代表了影响内存和内存看望的专有组件。因此，一些筹商建议对KV缓存进行量化。在量化花式方面，为了便于硬件收场，大多数算法给与谐和的花式。对于量化参数(如缩放因子、零点)的笃定，大多数筹商依赖于由权重或激活值得出的统计数据。可是，也有一些筹商主张基于重构loss来寻找最优参数。此外，一些筹商也建议在量化之前或量化过程中更新未量化的权重(称为)以提高性能。

在weight-only quantization方法中，GPTQ代表了大模子量化的早期较好的就业，它诞生在传统算法OBQ的基础上。OBQ通过相对于未量化权重的Hessian矩阵的重建过失的方法，来收场每行权重矩阵的最优量化门径。在每个量化才气之后，OBQ迭代颐养未量化的权重以缩小重建过失。可是，量化过程中频繁更新Hessian矩阵增多了算计复杂度。GPTQ通过给与谐和的从左到右的门径来量化每一排，从而简化了这个过程，从而幸免了大量更新Hessian矩阵的需要。该战略通过在量化一排时仅算计Hessian矩阵，然后将算计驱散用于后续行，从而大大减少了算计需求，从而加速了整个量化过程。LUT- GEMM建议了一种新的诈骗查找表(Look-Up Table, LUT)的去量化方法，旨在通过减少去量化支拨来加速量化大模子的推理过程。此外，它给与了一种称为二进制编码量化(BCQ)的非均匀量化方法，该方法包含了可学习的量化区间。AWQ不雅察到权重通说念对性能的重要性各不换取，特别强调那些与激活特别值的输入通说念对都的通说念。为了增强环节权重通说念的保存，AWQ给与了一种重参数化的方法。该方法通过网格搜索选拔重参数化统统，有用地减小了重构过失。OWQ不雅察到量化与激活特别值联系的权重的贫寒。为了惩处这个问题，OWQ给与了混杂精度量化战略。该方法识别权重矩阵中的弱列，并为这些特定权重分派更高的精度，同期以较低的精度级别量化其余权重。SpQR引入了一种方法，在量化过程中识别和分派更高精度的权重特别值，而其余权重被量化为3位。SqueezeLLM建议将离群值存储在全精度稀少矩阵中，并对剩余权重应用非均匀量化。证据量化聪惠度笃定非均匀量化的值，能够提高量化模子的性能。QuIP引入了LDLQ，一种二次代理宗旨的最优自顺应方法。筹商标明，保证权值与Hessian矩阵之间的不联系性可以提高LDLQ的有用性。QuIP诈骗LDLQ，通过无意正交矩阵乘法收场非联系性。FineQuant给与了一种启发式方法。为了笃定每列量化的粒度，结合从实验中取得的劝诫视力来瞎想量化有运筹帷幄。QuantEase的就业诞生在GPTQ之上。在对每一层进行量化时，其建议了一种基于坐标下落的方法来更精准地抵偿未量化的权重。此外，QuantEase可以诈骗来自GPTQ的量化权重当作启动化，并进一步完善抵偿过程。LLM-MQ给与FP16花式保护权重特别值，并将其存储在压缩稀少行(CSR)花式中，以提高算计服从。此外，LLM-MQ将每个层的位宽分派，建模为整数有运筹帷幄问题，并给与高效的求解器在几秒内求解。LLM-MQ还瞎想了一个高效的CUDA内核来集成去量化运算符，从而贬抑了算计过程中的内存看望本钱。

对于weight-activation quantization，ZeroQuant给与细粒度量化权值和激活，诈骗核知道来最小化量化过程中的内存看望本钱，并逐层进行学问蒸馏以回复性能。FlexGen将权重和KV缓存顺利量化到INT4中，以减少无数目推理时期的内存占用。LLM.int8() 发现激活中的特别值辘集在一小部分通说念中。基于这一丝，LLM.int8() 证据输入通说念内的离群值散布将激活和权重分红两个不同的部分，以最小化激活中的量化过失。包含激活值和权重的特别数据的通说念以FP16花式存储，其他通说念则以INT8花式存储。SmoothQuant给与了一种从新参数化本事来惩处量化激活值的挑战。该方法引入比例因子，扩大了权重通说念的数据范围，缩小了相应激活通说念的数据范围。ZeroQuant引入了权重的组级别的量化战略和激活的token级别的量化方法。在此方法的基础上，ZeroQuantV2建议了LoRC(低秩抵偿)本事，给与低秩矩阵来缩小量化不准确性。RPTQ发现不同激活通说念的散布，实质上是变化的，这给量化带来了挑战。为了缓解这个问题，RPTQ将具有相似激活散布的通说念从新组织到集群中，并在每个集群中独当场应用量化。OliVe不雅察到离群值隔壁的正态值不那么环节。因此，它将每个离群值与一个正态值配对，断送正态值，以取得更大的离群值表现范围。OS+不雅察到特别值的散布是辘集且不合称的，这对大模子的量化建议了挑战。为了惩处这个问题，OS+引入了一种通说念级别的出动和缩放本事。在搜索过程去笃定出动和缩放参数，能有用地处理辘集庸不合称的离群值散布。ZeroQuant-FP筹商了将权重和激活值量化为FP4和FP8花式的可行性。筹商标明，与整数类型比拟，将激活量化为浮点类型(FP4和FP8)会产生更好的驱散。Omniquant与先前依赖量化参数的劝诫瞎想的方法不同。相背，它优化了权值编著的界限和等效变换的缩放因子，以最小化量化过失。QLLM通过收场通说念重组来惩处特别值对量化的影响。此外，QLLM还瞎想了可学习的低秩参数，来减小post-quantized模子的量化过失。Atom给与了混杂精度和动态量化激活的战略。值得细心的是，它扩展了这种方法，将KV缓存量化为INT4，以提高抵赖量性能。LLM-FP4尽力将整个模子量化为FP4花式，并引入了预移位指数偏置本事。该方法将激活值的比例因子与权重相结合，以惩处特别值带来的量化问题。BiLLM代表了迄今为止最低位PTQ的就业之一。BiLLM识别了权值的钟形散布和权值Hessian矩阵的特别长尾散布。在此基础上，建议了将基于Hessian矩阵的权重结构分类为显耀值和非显耀值，并分别进行二值化。因此，BiLLM可以将大模子凡俗量化到1.08位，且不会显耀贬抑困惑度。KVQuant通过在校准集上离线导出最优数据类型，建议了KV缓存量化的非均匀量化有运筹帷幄。KIVI建议了一种无需调优的2bit KV缓存量化算法，该算法诈骗单通说念量化用于key cache，诈骗单token量化进行value cache。Li等进行了全面的评估，评估了量化对不同张量类型(包括KV Cache)、种种任务、11种不同的大模子和SOTA量化方法的影响。

Quantization-Aware Training：QAT在模子教师过程中研究了量化的影响。通过集成复制量化驱散的层，QAT有助于权重顺应量化引起的过失，从而提高任务性能。可是，教师大模子往常需要大量的教师数据和算计资源，这对QAT的实施组成了潜在的瓶颈。因此，目下的筹商就业辘集在减少教师数据需求或缩小与QAT实施联系的算计使命的战略上。为了减少数据需求，LLM-QAT引入了一种无数据的方法，诈骗原始FP16的大模子生成教师数据。具体来说，LLM-QAT使用词表中的每个token当作生成句子的肇始记号。基于生成的教师数据，LLM- QAT应用了基于蒸馏的就业流来教师量化的LLM，以匹配原始FP16大模子的输出散布。Norm Tweaking只针对那些在话语类别中占最高比例的话语，作念了肇始记号的限制选拔。这一战略可以有用地提高量化模子在不同任务上的生成性能。

为了减少算计量，好多方法给与高效参数微调(parameter-efficient tuning，PEFT)战略来加速QAT。QLoRA将大模子的权分量化为4位，随后在BF16中对每个4位权重矩阵使用LoRA来对量化模子进行微调。QLoRA允许在一个惟有30GB内存的GPU上对65B参数的大模子进行有用的微调。QALoRA则建议在QLoRA中加入分组量化。作家不雅察到QLoRA中量化参数的数目昭着小于LoRA参数的数目，这会导致量化与低秩自顺应之间的不屈衡。他们建议，组级别的操作可以通过增多专用于量化的参数数目来惩处这个问题。此外，QA-LoRA可以将LoRA项合并到相应的量化权矩阵中。LoftQ指出，在QLoRA顶用零启动化LoRA矩阵对于卑鄙任务是低效的。当作一种替代有运筹帷幄，LoftQ建议使用原始FP16权重与量化权重之间差距的奇异值理解(Singular Value Decomposition，SVD)来启动化LoRA矩阵。LoftQ迭代地应用量化和奇异值理解来取得更精准的原始权重近似值。Norm Tweaking建议在量化后教师LayerNorm层，并使用学问蒸馏将量化模子的输出散布与FP16模子的输出散布进行匹配，达到肖似LLM-QAT的驱散，同期幸免了较高的教师本钱。

对比实验与分析：本综述的作家对不同场景下的weight-only quantization本事所产生的加速驱散。作家使用了LLaMA-2-7B和LLaMA-2-13B，并使用AWQ将它们的权分量化至4-bit。作家使用NVIDIA A100进行实验，并使用TensorRT-LLM和LMDeploy这两个推理框架部署量化后的大模子。然后，作家评估了这些推理框架在不同的输入序列上收场的加速，这些序列是批大小和凹凸文长度不同的。prefilling蔓延、decoding蔓延端到端蔓延的加速驱散，如表4所示。

图片

表4：大模子加速驱散对比

实验驱散标明：（1）Weight-only quantization可以在decoding阶段加速，进而收场端到端的加速。这种进步主要源于从高带宽内存( High Bandwidth Memory，HBM)更快地加载具有低精度权重张量的量化模子，这种方法显耀减少了内存看望支拨。(2)对于prefilling阶段，weight-only quantization可能会增多蔓延。这是因为prefilling阶段的瓶颈是算计本钱，而不是内存看望支拨。因此，只量化莫得激活的权重对蔓延的影响最小。此外，如图9所示，weight-only quantization需要将低精度权重去量化到FP16，这会导致额外的算计支拨，从而放慢prefilling。(3)跟着批量大小和输入长度的增多，weight-only quantization的加速程度缓缓减小。这主若是因为，对于更大的批处理大小和输入长度，算计本钱组成了更大比例的蔓延。天然weight-only quantization主要贬抑了内存看望本钱，但跟着批量大小和输入长度增大，算计需求变得愈加杰出，它对蔓延的影响变得不那么显耀。(4)由于内存看望支拨与模子的参数目领域联系，weight-only quantization为参数领域较大的模子提供了更大的克己。跟着模子的复杂度与尺寸的增长，存储和看望权重所需的内存量也会成比例地增多。通过量化模子权重，weight-only quantization可以有用地减少内存占用和内存看望支拨。

5.2.2 稀少化（Sparsification）

稀少化是一种压缩本事，可以增多数据结构(如模子参数或激活)中零值元素的比例。该方法通过在算计过程中有用地忽略零元素来贬抑算计复杂度和内存占用。在应用到大模子中时，稀少化往常应用于权重参数和细心力激活。这导致了权值修剪战略和稀少细心力机制的发展。

权重修剪（Weight Pruning）：权值修剪系统地从模子中去除不太环节的权值和结构，旨在减少预填充阶段息争码阶段的算计和内存本钱，而不会显耀影响性能。这种稀少化方法分为两种主要类型：非结构化修剪和结构化修剪。它们的分类基于修剪过程的粒度，如图10所示。

图片

图10：非结构化修剪和结构化修剪

非结构化修剪以细粒度修剪单个权重值。与结构化修剪比拟，它往常在对模子预计影响最小的情况下收场更高的稀少度。可是，通过非结构化剪枝收场的稀少模式缺乏高眉目的礼貌性，导致不端正的内存看望和算计模式。这种不礼貌会严重拦阻硬件加速的后劲，因为当代算计架构针对密集、端正的数据进行了优化。因此，尽管收场了更高的稀少度级别，但非结构化剪枝在硬件服从和算计加速方面的实践克己可能是有限的。

权值修剪的焦点是修剪法度，包括权重重要性和修剪比例。研究到大模子的参数领域强大，提高剪枝服从也至关重要。一个修剪准则是最小化模子的重建亏欠。SparseGPT是该领域的代表性方法。它罢免OBS的念念想，研究去除每个权值对网罗重构亏欠的影响。OBS迭代地笃定一个剪枝掩模对权值进行剪枝，并重建未剪枝的权值以抵偿剪枝亏欠。SparseGPT通过最优部分更新本事克服了OBS的服从瓶颈，瞎想了一种基于OBS重构过失的自顺应掩码选拔本事。Prune and Tune通过在修剪过程中使用最少的教师才气微调大模子来矫正SparseGPT。ISC结合OBS和OBD中的显耀性法度瞎想了一种新的修剪法度。该算法进一步证据Hessian信息为每一层分派非均匀剪枝比例。BESA通过重构亏欠的梯度下落学习一个可微的二值掩码。每一层的剪枝比按次通过最小化重建过失来笃定。另一种流行的修剪法度是基于大小缺定。Wanda建议使用权值与输入激活范数之间的元素积当作修剪准则。RIA通过使用相对重要性和激活度的度量来合资研究权重和激活度，该度量基于其通盘连系的权重来评估每个权重元素的重要性。此外，RIA将非结构化稀少范式转机为结构化N:M稀少范式，可以在NVIDIA GPU上取得实践的加速。OWL侧重于笃定各层的剪枝比例。它证据激活特别值比率为每一层分派剪枝比率。

与非结构化修剪比拟，结构化修剪以更粗的粒度操作，修剪模子中较大的结构单位，例如整个通说念或层。这些方法顺利促进了在传统硬件平台上的推理加速，因为它们与这些系统优化处理的密集、端正的数据范式保捏一致。可是，结构化修剪的粗粒度往常会对模子性能产生更昭着的影响。这类修剪法度还强制实行结构化修剪模式。LLM-Prune建议了一种任务不可知的结构化修剪算法。具体来说，它着手证据神经元之间的连系依赖关系识别出大模子中的偶团结构。然后，它证据瞎想精深的组级别的修剪度量来决定要删除哪些结构组。修剪后，进一步建议通过一个高校参数教师本事，如LoRA来去复模子性能。 Sheared LLaMA建议将原始大模子修剪为现存预教师大模子的特定宗旨架构。此外，它瞎想了动态批数据加载本事来进步post-training 性能。

ZipLM迭代地识别和修剪结构组件，在损成仇运行时分之间进行最坏的衡量。LoRAPrune为带有LoRA模块的预教师大模子建议了结构化修剪框架，以收场基于LoRA的模子的快速推理。它瞎想了基于LoRA的权值和梯度的由LoRA辅导的剪枝准则，并瞎想了基于该准则去除不重要权值的迭代剪枝有运筹帷幄。LoRAShear还为基于LoRA的大模子瞎想了一种修剪方法，该方法给与(1)图算法来识别最小的去除结构，(2)渐进式结构化剪接算法LHSPG，(3)动态学问回复机制来去复模子性能。SliceGPT[174]基于RMSNorm操作的算计不变性念念想。它建议在每个权值矩阵中对稀少性进行结构化胪列，并对整个行或列进行切片。PLATON[建议通过研究权重的重要性和不笃定性来修剪权重。它使用重要性分数的指数出动平均(Exponential Moving Average，EMA)来揣度重要性，对不笃定性给与上置信度界(UCB)。SIMPLE建议通过学习相应的稀少掩码来修剪细心头、FFN神经元和荫藏维度。在进行剪枝后，进一步给与学问精馏对剪枝后的模子进行微调，收场性能回复。

稀少细心力（Sparse Attention）：Transformer多头自细心力(MHSA)组件中的稀少细心本事可以战略性地不详某些细心运算，以提高细心运算的算计服从，主若是在预填充阶段。这些机制证据对特定输入数据的依赖程度分为静态和动态两类。

静态稀少细心力去除了孤苦于特定输入的激活值。这些方法事先笃定了稀少的细心力掩码，并在推理过程中将其强加于细心力矩阵。夙昔的筹商就业结合了不同的稀少模式来保留每个细心力矩阵中最基本的元素。如图11(a)所示，最常见的稀少细心力模式是局部和全局细心模式。土产货细心力范式拿获每个token的土产货凹凸文，并在每个token周围诞生固定大小的窗口细心。全局细心力范式通过算计和暖热整个序列中的通盘token来拿获特定token与通盘其他token之间的联系性。诈骗全局模式可以放弃存储未使用的token的KV对的需要，从而减少了解码阶段的内存看望本钱和内存使用。Sparse Transformer将这些模式结合起来，用土产货模式拿获土产货凹凸文，然后每隔几个单词就用全局模式团聚信息。StreamingLLM只对前几个token应用土产货模式和全局模式。驱散标明，这种全局模式当作细心力漕，保捏了对启动记号的强细心得分。它有助于大模子推广到无尽输入序列长度。Bigbird也使用无意模式，其中通盘token都参加一组无意token。讲授了局部模式、全局模式和无意模式的组合可以封装通盘连气儿序列到序列的函数，并说明了其图灵完备性。如图11(b)所示，Longformer还引入了扩展的滑动窗口模式。它肖似于扩张的CNN，使滑动窗口“扩张”以增多领受野。为了使模子顺应稀少诞生，Structured sparse Attention提倡一种熵感知的教师方法，将高概率的细心力值集合到更密集的区域中。与以往手工瞎想稀少模式的筹商不同，SemSA使用基于梯度的分析来识别重要的细心模式，并自动优化细心密度散布，进一步提高模子服从。

图片

图11：不同的稀少细心力掩码例如

比拟之下，动态稀少细心力证据不同的输入自顺应地放弃激活值，通过实时监测神经元的激活值来绕过对神经元的影响可以忽略的算计，从而收场修剪。大多数动态稀少细心方法给与动态token修剪方法，如图11(c)所示。Spatten、SeqBoat和Adaptive Sparse Attention诈骗话语结构的固有冗余建议动态记号级修剪战略。Spatten通过汇总细心力矩阵列来评估每个单词的积蓄重要性，并在背面的层中从输入中对具有最小积蓄重要性的token进行修剪。SeqBoat教师了一个线性景况空间模子(State Space Model, SSM)，该模子带有一个稀少的sigmoid函数，以笃定每个细心力头需要修剪哪个token。Spatten和SeqBoat都对整个输入的无信息的token进行了修剪。自顺应稀少细心力在生成过程中缓缓修剪token。它去除了凹凸文中，在将来生成不再需要的部分。

除了动态token修剪，动态细心力修剪本事也被应用。如图11(d)所示，这些方法不是修剪某些token的通盘细心力值，而是证据输入动态地修剪细心力的选拔部分。在联系就业中，一个较为可以的方法是动态地将输入token分红组，称为桶，并战略性地不详驻留在单独桶中的token的细心力算计。这些方法的重点在于怎样将联系的token聚类在整个，来促进它们之间的细心力算计，从而提高服从。Reformer诈骗位置敏锐的哈希来将分享换取哈希码的key和query集合到并吞个桶中。在此之后，Sparse Flash Attention引入了特意针对这种基于哈希的稀少细心力机制进行优化的GPU内核，进一步提高了算计服从。同期，Routing Transformer给与球形k-means聚类算法将token团聚到桶中，优化了细心力算计的选拔过程。Sparse Sinkhorn Attention给与学习排序网罗将key与其联系的query桶对都，确保仅在相应的query和key对之间算计细心力。与桶级操作不同，H2O引入了token级动态细心力修剪机制。它将静态土产货细心力与刻下query和一组动态标志的key token之间的动态算计结合起来，称作heavy-hitters(H2)。这些 heavy-hitters通过移除战略进行径态颐养，该战略旨在在每个生成才气中删除最不重要的key，从而有用地管理heavy-hitter集的大小和联系性。

此外，将每个token视为图节点，将token之间的细心力视为边，可以扩展静态稀少细心力的视角。原始的全细心力机制等同于一个均匀最短旅途距离为1的完整图。稀少细心力通过其无意掩码引入无意边，有用地将苟且两个节点之间的最短旅途距离减小到，从而保捏肖似于实足细心的高效信息流。Diffuser诈骗图论的视角，通过多跳token关联来扩展稀少细心的领受场。它还从扩展图属性中取得灵感，以瞎想更好的稀少模式，以近似全细心力的信息流。

除了细心力级和token级的稀少性除外，细心力修剪的范围扩展到种种粒度。Spatten还将修剪从token粒度扩展到细心力头粒度，放弃了不必要的细心力头的算计，以进一步减少算计和内存需求。

5.2.3 架构优化（Structure Optimization）

架构优化的宗旨是从新界说模子的体绑缚构或者架构，以提高模子服从和性能之间的平衡。联系就业中有两种杰出的本事：神经结构搜索(Neural Architecture Search, NAS)和低秩理解(Low Rank Factorization, LRF)。

神经结构搜索(Neural Architecture Search)：神经架构搜索(Neural Architecture Search, NAS)旨在自动搜索在服从和性能之间达到最好平衡的最优神经架构。AutoTinyBERT诈骗one-shot神经架构搜索(NAS)来发现Transformer架构的超参数。值得细心的是，它引入了一种引东说念主防卫的批处理教师方法来教师超等预教师话语模子(SuperPLM)，随后使用进化算法来识别最优子模子。NAS-BERT使用一些转换本事，如块级别搜索、搜索空间修剪和性能迫临，在传统的自监督预教师任务上教师大型超等网罗。这种方法允许NAS-BERT有用地应用于种种卑鄙任务，而不需要大量的从新教师。通过NAS进行结构剪枝将结构剪枝当作一个多宗旨NAS问题，通过一次性的NAS方法进行惩处。LiteTransformerSearch建议使用不需要教师的运筹帷幄，例如参数的数目当作代理运筹帷幄来率领搜索。这种方法可以有用地探索和选拔最优的体绑缚构，而不需要在搜索阶段进行实践的教师。AutoDistil建议了一种实足与任务无关的few-shot NAS算法，该算法具有三种主要本事：搜索空间区别、与任务无关的SuperLM教师和与任务无关的搜索。这种方法的目的是促进跨种种任务的高效体绑缚构发现，并减少特定于任务的颐养。往常，NAS算法需要评估每个采样架构的性能，这可能会产生大量的教师本钱。因此，这些本事在应用于大模子时具有挑战性。

低秩理解(Low Rank Factorization)：低秩理解(LRF)或低秩理解(Low Rank Decomposition)的目的是用两个低秩矩阵和近似一个矩阵:

其中比和小得多。这么，LRF可以减少内存使用，提高算计服从。此外，在大模子推理的解码阶段，内存看望本钱是解码速率的瓶颈。因此，LRF可以减少需要加载的参数数目，从而加速解码速率。LoRD显示了压缩大模子的后劲，而不和会过LRF大幅贬抑性能。具体来说，给与奇异值理解(SVD)对权重矩阵进行因式理解，奏效地将一个包含16B个参数的大模子压缩为12.3B，性能小幅度下落。TensorGPT引入了一种使用Tensor-Train Decomposition来压缩embedding层的方法。每个token embedding都被视为矩阵乘积景况(Matrix Product State, MPS)，并以散布式方式高效算计。LoSparse结合了LRF和权值剪枝在LLM压缩中的优点。通过诈骗低秩近似，LoSparse贬抑了顺利进行模子修剪往常会丢失太多抒发神经元的风险。LPLR和ZeroQuant-V2都建议了对权矩阵进行LRF和量化同期压缩的方法。DSFormer建议将权重矩阵理解为半结构化稀少矩阵与一个袖珍密集型矩阵的乘积。ASVD瞎想了一个激活感知的奇异值理解方法。该方法包括在应用奇异值理解进行矩阵理解之前，证据激活散布缩放权重矩阵。ASVD还包括通过一个搜索程度笃定每个层的合适的截断秩。

5.2.4 学问蒸馏（Knowledge Distillation）

学问蒸馏(Knowledge Distillation, KD)是一种老到的模子压缩本事，其中来快活型模子(称为teacher模子)的学问被移动到较小的模子(称为student模子)。在大模子的配景下，KD使用原始的大模子当作teacher模子来提真金不怕火较小的大模子。目下好多筹商都辘集在怎样有用地将大模子的种种才气移动到更小的模子上。在这个领域，方法可以分为两种主要类型：白盒KD和黑盒KD(如图12所示)。

图片

图12：白盒KD（左）与黑盒KD（右）表现图

白盒KD（White-box KD）：白盒KD指的是诈骗对teacher模子的结构和参数的看望的蒸馏方法。这些方法使KD能够有用地诈骗teacher模子的中间特征和输出概率来增强student模子的性能。MiniLLM给与法度白盒KD方法，但将正向Kullback-Leibler divergence(KLD)替换为反向KLD。GKD引入了对 on-policy数据的使用，其中包括由student模子自己生成的输出序列，以进一步蒸馏学生模子。该方法侧重于使用这些战略数据来对都teacher和student模子之间的输出概率。TED建议了一种任务感知的层级别的方法，包括结合额外的检索分层KD方法。这种方法包括在teacher和student模子的每一层之后添加过滤器，教师这些特定任务的过滤器，然后冻结teacher模子的过滤器，在教师student过滤器以使其输出特征与相应的teacher过滤器对都时。MiniMoE通过使用混杂众人(MoE)模子当作student模子来缓解才气差距。对于新出现的实体，预教师话语模子可能缺乏最新的信息。为了惩处这个问题，一种惩处有运筹帷幄是将额外的检索文本合并到教导中，尽管这会增多推理本钱。另外，KPTD通过学问蒸馏将学问从实体界说移动到大模子参数。该方法生成一个基于实体界说的传输集，并提真金不怕火student模子，以便将输出散布与基于这些界说的teacher模子相匹配。

黑盒KD（Black-box KD）：黑盒KD是指teacher模子的结构和参数不可获取的学问蒸馏方法。往常，黑箱KD只使用teacher模子得到的最终驱散来蒸馏student模子。在大模子领域，黑箱KD主要辅导student模子学习大模子的泛化才气和表露才气，包括InContext Learning (ICL)才气、 念念维链(Chain-of-Thought, CoT)推理才气和Instruction Following (IF)才气。在ICL才气方面，Multitask-ICT引入了凹凸文体习蒸馏(in-context learning distillation)来移动大模子的多任务few-shot才气，同期诈骗凹凸文体习和话语建模才气。MCKD不雅察到，从通过语境学习得到的teacher模子中提真金不怕火出来的student模子，在看不见的输入prompt上常常发达优异。基于这一不雅察，MCKD瞎想了一个多阶段蒸馏范式，其中使用前阶段的student模子为后续阶段生成蒸馏数据，从而提高了蒸馏方法的有用性。为了提真金不怕火念念维链(CoT)推理才气，诸如 Distilling Step-by-Step、SCoTD、CoT prompt、MCC-KD和Fine-tune-CoT等几种本事建议了提真金不怕火方法，将从大模子中提真金不怕火的反应和基本旨趣结合起来教师student模子。 Socratic CoT也将推理才气移动到较小的模子。具体来说，它对一双student模子进行了微调，即问题生成(QG)模子和问题回答(QA)模子。QG模子被教师成基于输入问题生成中间问题，率领QA模子生成最终的回答。PaD不雅察到过失的推理(即正确的最终谜底但过失的推理才气)可能对student模子无益。为了惩处这个问题，PaD建议生成合成范例用于推理问题，然后由附加的解释器自动搜检。这种方法有助于去除带有过失推理的蒸馏数据，提高student模子教师数据的质料。

5.2.5 动态推理

动态推理触及在推理过程中自顺应选拔模子子结构，其以输入数据为条目。此末节重点先容early exiting的本事，这些本事使大模子能够证据特定的样本或token在不同的模子层罢手其推理。值得细心的是，天然MoE本事(在第5.1.1节中究诘)也会在推理过程中颐养模子结构，但它们往常触及鼓吹的预教师本钱。比拟之下，这些本事只需要教师一个小模块来笃定何时收尾推理。本文将此类筹商分为两大类：样本级别的early exiting和token级别的early exiting(如图13所示)。

图片

图13：token级别和样本级别的动态推理表现图

样本级别：样本级别的early exiting本事侧重于笃定用于单个输入样本的大模子的最好大小和结构。一种常见的方法是在每一层之后使用额外的模块来扩展大模子，诈骗这些模块来决定是否在特定层拒绝推理。FastBERT， DeeBERT， MP和MPEE顺利教师这些模块来证据刻下层的特征作念出决策(例如，输出0延续或输出1罢手)。Global Past-Future Early Exit建议了一种方法，诈骗来自前一层和后一层的话语信息丰富这些模块的输入。研究到在推理过程中不行顺利看望将来层的特征，论文教师了一个浮浅的前馈层来揣度这些将来特征。PABEE教师模块来当作顺利预计的输露面，建议在预计保捏一致时拒绝推理。HASHEE给与了一种非参数决策方法，该方法基于相似样本应在并吞层退出推理的假定。

Token级别：在大模子推理的decodig阶段，按次生成token，token级别的early exiting本事旨在优化用于每个输出token的大模子的大小和结构。CALM在每个Transformer层之后引入early exit分类器，教师它们输出置信度分数，以笃定是否在特定层罢手推理。值得细心的是，在self-attention模块中，算计每层刻下token的特征依赖于并吞层中通盘先前token的特征(即KV cache)。为了惩处由于先前token early exit而导致KV cache丢失的问题，CALM建议顺利将该特征从现存层复制到后续层，实验驱散显示惟有细小的性能下落。SkipDecode惩处了先前早期存在的方法的局限性，这些方法拦阻了它们对批处理推理和KV cache的适用性，从而限制了实践的加速增益。对于批处理推理，SkipDecode为批处理中的通盘token建议了一个谐和的退出点。对于KV cache，SkipDecode确保了exit point的单调减少，以谨防KV缓存的从新算计，从而促进了推理过程中的服从提高。

5.3 意识，建议和将来地点

在高效结构瞎想方面，寻找替代Transformer的结构是一个新兴的筹商领域。例如，Mamba、RWKV过甚各自的变种在种种任务中发达出了竞争力，频年来引起了越来越多的暖热。可是，侦查这些非Transformer模子与Transformer模子比拟是否会发达出某些漏洞仍然是联系的。同期，探索非transformer架构与细心力操作的集成是将来另一个有但愿的筹商地点。

在模子压缩领域，量化当作在大模子部署中使用的主要方法脱颖而出，主若是由于两个环节要素。着手，量化提供了一种便捷的压缩大模子的方法。例如，使用Post-Training Quantization(PTQ)方法可以在几分钟内将具有70亿个参数的大模子的参数数分钟内减少到压缩局势。其次，量化具有收场内存破钞和推理速率大幅贬抑的后劲，同期只引入了很小的性能折损。对于好多实践应用，这种折损往常被合计是可以领受的。可是，值得细心的是，量化仍然可能会毁伤大模子的某些突发才气，例如自校准或多步推理。此外，在处理长凹凸文等特定场景中，量化可能导致显耀的性能下落。因此，在这些特殊情况下，需要仔细选拔合乎的量化方法来缩小这种退化的风险。大量文件筹商了稀少细心力本事在长凹凸文处理中的应用。例如，最近的一项代表性就业StreamingLLM仅通过回复几个细心力汇token就可以处理400万个token。尽管如斯，这些方法常常会断送环节信息，从而导致性能下落。因此，在有用管理长凹凸文的同期保留基本信息的挑战仍然是将来探索的一个重要领域。至于权值修剪本事，LLM-KICK指出，即使在相对较低的稀少度比下，刻下起初进的(SOTA)方法也会出现超越大的性能下落。因此，开发有用的权值修剪方法来保捏大模子性能仍然是一个新兴和环节的筹商地点。

模子结构的优化往常触及使用神经结构搜索(NAS)，这往常需要大量的算计资源，这对其在压缩大模子中的实践应用组成了潜在的阻遏。因此，联系筹商给与自动结构优化进行大模子压缩的可行性值得进一步探索。此外，像低秩理解(LRF)这么的本事在压缩比和任务性能之间收场最好平衡仍然是一个挑战。例如，ASVD在不影响大模子推理才气的情况下，只可收场胁制的10%到20%的压缩比。

除了给与单独的模子压缩本事外，一些筹商还探索了不同方法的组合来压缩大模子，诈骗各自的上风来提高服从。例如，MPOE将权重矩阵理解特意应用于基于MoE的大模子中的众人前馈网罗(FFNs)，目的是进一步贬抑内存需求。LLM-MQ诈骗权值稀少性本事在模子量化过程中保护权值特别值，从而最大限制地减极少化过失。LPLR侧重于量化低秩理解权重矩阵，以进一步贬抑大模子推理过程中的内存占用和内存看望本钱。此外，LoSparse将低秩理解与权值剪枝相结合，诈骗剪枝增强低秩近似的种种性，同期诈骗低秩理解保留重要权值，谨防环节信息丢失。这些方法强调了集成多种压缩本事以更好地优化大模子的后劲。

6 系统级别优化

大模子推理的系统级优化主要触及增强模子前向传递。研究到大模子的算计图，存在多个算子，其中细心力算子和线性算子占据了大部分的运行时分。如2.3节所述，系统级优化主要研究大模子中细心算子息争码方法的专有特征。特别是，为了惩处大模子解码方法的具体问题，线性算子需要特殊的平铺瞎想，推测解码方法也被建议以提高诈骗率。此外，在在线服务的凹凸文中，肯求往常来自多个用户。因此，除了前边究诘的优化除外，在线服务还濒临着与异步肯求引起的内存、批处理和颐养联系的挑战。

6.1 推理引擎

目下对推理引擎的优化主要在于加速模子上前推理过程。对大模子推理中的主要算子和算计图进行了高度优化。此外，为了在不贬抑性能的前提下提高推理速率，推测解码本事也被建议。

6.1.1 图和算计优化

运行时分分析：通过HuggingFace，作家用不同的模子和凹凸文长度来分析推理运行时分。图15的分析驱散标明，细心力算计和线性算计占据了运行时分的绝大部分，它们往常跳跃推理捏续时分的75%。因此，大部分优化就业都致力于提高两个操作的性能。此外，有多个操作符占用了一小部分运行时分，这使得操作符的实行时分同床异梦，增多了CPU端的内核启动本钱。为了惩处这个问题，在图算计级别，刻下优化的推理引擎收场了高度知道的算子。

细心力算计优化：法度的细心力算计(例如，使用Pytorch)包含矩阵Q与矩阵(K)的乘法，这导致时分和空间复杂度与输入序列长度呈现二次增长。如图15所示，细心力算计操作的时分占比跟着凹凸文长度的增多而增多。这意味着对内存大小和算计才气的要求很高，特别是在处理长序列时。为了惩处GPU上法度细心力算计的算计和内存支拨，定制化细心力算计是必不可少的。FlashAttention将整个细心力操作知道为一个单一的、内存高效的操作，以缩小内存看望支拨。输入矩阵(Q, K, V)和细心力矩阵被平铺成多个块，从而放弃了完整数据加载的需要。FlashDecoding诞生在Flash Attention的基础上，旨在最大限制地提高解码的算计并行性。由于译码方法的应用，Q矩阵在decoding过程中会退化为一批向量，如果并行度仅限于batch大小维度，则很难填充算计单位。FlashDecoding通过在序列维度上引入并行算计来惩处这个问题。天然这会给softmax算计带来一些同步支拨，但它会显耀提高并行性，特别是对于小批量大小和长序列。随后的就业FlashDecoding++不雅察到，在之前的就业中，softmax内的最大值仅当作谨防数据溢出的比例因子。可是，动态最大值会导致显耀的同步支拨。此外，大量实验标明，在典型的大模子(如Llama2， ChatGLM)中，跳跃99.99%的softmax输入在一定范围内。因此，FlashDecoding++建议基于统计数据提前笃定比例因子。这放弃了softmax算计中的同步支拨，使后续操作能够在softmax算计的同期并行实行。

线性算计优化：线性算子在大模子推理、特征投影和前馈神经网罗(FFN)中阐述着环节作用。在传统神经网罗中，线性算子可以抽象为通用矩阵-矩阵乘法(General Matrix-Matrix Multiplication, GEMM)运算。可是，对于大模子，decoding方法的应用导致维度的昭着贬抑，与传统的GEMM就业负载不同。传统GEMM的底层收场得到了高度优化，主流大模子推理框架(例如，DeepSpeed ,  vLLM,  OpenPPL等)主要调用cuBLAS为线性算子提供的GEMM API接口。

如果莫得针对贬抑维数的GEMM明笃定制的收场，decoding过程中的线性算计将会服从低下。在最新版块的TensorRT-LLM中可以不雅察到惩处该问题的issue。它引入了专用的通用矩阵向量乘法(General Matrix-Vector Multiplication, GEMV)收场，潜在地提高了decoding才气的服从。最近的筹商FlashDecoding++作念了进一步的矫正，在解码才气中处理小批量数据时，惩处了cuBLAS和CUTLASS库的低服从问题。该筹商的作家着手引入了FlatGEMM操作的主张，以高度贬抑的维度(FlashDecoding++中的维数< 8)来表现GEMM的就业负载。由于FlatGEMM具有新的算计脾性，传统GEMM的平铺战略需要进行修改。作家不雅察到，跟着就业负载的变化，存在两个问题：低并行性和内存看望瓶颈。

为了惩处这些问题，FlashDecoding++给与了细粒度平铺战略来提高并行性，并诈骗双缓冲本事来荫藏内存看望蔓延。此外，刻下经典大模子(例如，Llama2, ChatGLM)中的线性操作往常具有固定的体式，FlashDecoding++诞生了启发式选拔机制。这个机制证据输入大小在不同的线性运算符之间进行径态地选拔转机。这些选项包括FastGEMV、FlatGEMM和由cuBLAS库提供的GEMM。这种方法确保为给定的线性就业负载选拔最有用的算计操作，从而可能导致更好的端到端性能。

频年来，应用MoE FFN来增强模子才气已成为大模子筹商的一种趋势。这种模子结构也对算子优化建议了新的要求。如图15所示，在具有MoE FFN的Mixtral模子中，由于HuggingFace收场中未优化FFN算计，线性算子在运行时占主导地位。此外，Mixtral给与了GQA细心结构，其贬抑了细心力算子的运行时分比例，进一步指出了对优化FFN层重要需要。MegaBlocks是第一个针对MoE FFN层优化算计的算法。该就业将MoE FFN算计制定为块稀少操作，并建议了用于加速的定制GPU内核。MegaBlocks专注于MoE模子的有用教师，因此忽略了推理的特征(例如，解码方法)。现存框架正在尽力优化MoE FFN推理阶段的算计。vLLM的官方在Triton中集成了MoE FFN的知道内核，无缝地放弃了索引支拨。

图片

图14：大模子推理引擎优化分类

图片

图15：多个大模子的推理运行时分分析

图级别的优化：核知道当作一种流行的图级优化脱颖而出，因为它能够减少运行时分。应用核知道有三个主要优点：(1)减少内存看望。知道内核从本色上放弃了中间驱散的内存看望，缩小了算计操作的内存瓶颈。(2)缩小内核启动支拨。对于一些轻量级操作(如残差add)，内核启动时分占据了大部分蔓延，内核知道减少了单个内核的启动。(3)增强并行性。对于那些没稀有据依赖的运算符，当单个内核实行无法填充硬件容量时，通过知道收场内核并行是成心的。

核知道本事被讲授对大模子推理是有用的，具有上述通盘优点。FlashAttention将细心力运算符表述成一个单一的内核，放弃了看望细心力驱散的支拨。基于细心力算子是内存有限的这一事实，内存看望的减少能有用地移动为运行时加速。ByteTransformer和DeepSpeed建议将包括残差加法、层模和激活函数在内的轻量级算子知道到前方性算子中，以减少内核启动支拨。

和DeepSpeed[236]建议将包括残差add、layernorm和激活函数在内的轻量级算子知道到前边的线性算子中，以减少内核启动支拨。因此，这些轻量级操作符在时分轴上消散，着实莫得额外的蔓延。此外，还给与核知道来提肥硕模子推理的诈骗率。Q、K和V矩阵的投影变换原来是三个单独的线性运算，并知道成一个线性运算符部署在当代GPU上。目下，核知道本事依然应用于大模子推理实践中，高度优化的推理引擎在运行时只使用少数知道核。例如，在FlashDecoding++收场中，一个transformer块仅集成了七个知道的内核。诈骗上述运算符和内核知道优化，FlashDecoding++收场了在HuggingFace高达4.86倍的加速。

6.1.2 推测解码

推测解码（如投契采样）是一种用于自回首大模子的转换解码本事，旨在提高解码服从，同期不影响输出的质料。这种方法的中枢念念想包括使用一个较小的模子(称为草稿模子)来有用地预计几个后续token，然后使用宗旨大模子并行考证这些预计。该方法旨在使大模子能够在单个推理往常所需的时分范围内生成多个token。图16显示了传统自回首解码方法与推测解码方法的比较。表面上，推测解码方法包括两个才气：

1)草稿构建：给与草稿模子，以并行或自回首的方式生成多个后续token，即Draft token。 2)草案考证：诈骗宗旨模子在单个大模子推理才气入彀算通盘草稿token的条目概率，随后按次笃定每个草稿token的领受程度。领受率表现每个推理才气领受的草稿token的平均数目，是评估推测解码算法性能的环节运筹帷幄。

图片

图16：自回首解码（a）和推测解码（b）对比

推测解码确保了输出与自回首解码方法的质料平等。传统解码本当事者要使用两个采样方法：greedy sampling和 nucleus sampling。greedy sampling触及在每个解码才气中选拔概率最高的令牌来生成特定的输出序列。推测解码的领先就业，被称为Blockwise Parallel Decoding，旨在确保草草稿token与通过greedy sampling的token收场精准匹配，从而保捏输出令牌等价。比拟之下，nucleus sampling触及从概率散布中抽样token，每次运行都会产生不同的token序列。这种种种性使得nucleus sampling很受宽饶。为了在推测解码框架内容纳nucleus sampling，依然建议了投契采样本事。投契采样保捏输出散布不变，与nucleus sampling的概放浪质一致，以产生不同的记号序列。局势上，给定一个token序列和一个草稿token序列，投契采样战略以以下概率领受第i个草稿token：

其中庸分别代表来自宗旨大模子和草稿模子的概率散布。如果第个token被领受，它设定为。另外，它退出草稿token的考证，并从底下的散布中进行的重采样：

基于投契采样，出现了几种变体，旨在考证多个草稿token序列。值得细心的是，在这种情况下，token tree verfier已成为一种凡俗给与的考证战略。这种方法诈骗草稿token集的树状结构表现，并给与树细心力机制来有用地实行考证过程。

在推测解码方法中，草稿token的领受率受到草稿模子的输出散布与原始大模子的输出散布的一致程度的显耀影响。因此，大量的筹商就业都是为了矫正草稿模子。DistillSpec顺利从宗旨大模子中提真金不怕火较小的草稿模子。SSD包括从宗旨大模子中自动识别子模子(模子层的子集)当作草稿模子，从而放弃了对草稿模子进行单独教师的需要。OSD动态颐养草稿模子的输出散布，以匹配在线大模子服务中的用户查询散布。它通过监视来快活模子的被断绝的草稿token，并使用该数据通过蒸馏来矫正草稿模子来收场这一丝。PaSS建议诈骗宗旨大模子自己当作草稿模子，将可教师的token(look -ahead token)当作输入序列，以同期生成后续token。REST引入了一种基于检索的推测解码方法，给与非参数检索数据存储当作草稿模子。SpecInfer引入了一种集体进步调优本事来对都一组草稿模子的输出散布通过宗旨大模子。Lookahead decoding 包含大模子生成并行的生成n-grams来生成草稿token。Medusa对大模子的几个头进行微调，特意用于生成后续的草稿token。Eagle给与一种称为自回首头的轻量级Transformer层，以自回首的方式生成草稿token，将宗旨大模子的丰富凹凸文特搜集成到草稿模子的输入中。

另一项筹商侧重于瞎想更有用的草稿构建战略。传统的方法往常产生单一的草稿token序列，这对通过考证建议了挑战。对此，Spectr主张生成多个草稿token序列，并给与k-sequential草稿选拔本事并发考证k个序列。该方法诈骗推测抽样，确保输出散布的一致性。肖似地，SpecInfer给与了肖似的方法。可是，与Spectr不同的是，SpecInfer将草稿token序列合并到一个“token tree”中，并引入了一个用于考证的树形细心力机制。这种战略被称为“token tree verifier”。由于其有用性，token tree verifier在稠密推测解码算法中被凡俗给与。除了这些尽力除外，Stage Speculative Decoding和Cascade Speculative Drafting(CS Drafting)建议通过将投契解码顺利集成到token生成过程中来加速草稿构建。

对比实验与分析：论文作家通过实验来评估推测解码方法的加速性能。具体来说，作家对该领域的筹商进行了全面的记忆，并选拔了其中6个依然开源的代码进行筹商，分别是：Speculative Decoding (SpD)、Lookahead Decoding (LADE)、REST、Self-speculative Decoding (SSD)、Medusa和Eagle。对于评估数据集，使用Vicuna-80对上述方法进行评估，该数据集包含80个问题，分为10类。这80个问题的平均驱散当作输出。对于宗旨大模子，作家给与了五个主流的开源大模子，分别是Vicuna-7B-V1.3、Vicuna-13B-V1.3、Vicuna-33B-V1.3、LLaMA-2-7B和LLaMA-2-13B。作家展示了这5个大模子的评估运筹帷幄范围。对于草稿模子，作家对SpD给与了两个个教师好的草稿模子，即LLaMA-68M和LLaMA-160M。对于其他推测解码方法，作家罢免它们建议的草稿构建方法和使用他们提供的权重。在评价运筹帷幄方面，作家使用领受率和加速率，领受率是指领受token数与生成步数之比，加速比是指在笃定输出总长度时，原始自回首解码的蔓延与推测解码的蔓延之比。

表5提供了种种推测解码方法的比较，杰出了几个环节不雅察驱散：(1) Eagle发达出优异的性能，在多个大模子上收场了3.47~3.72倍的端到端加速。为了意会它的奏效，作家对Eagle的深刻分析揭示了两个环节要素。着手，Eagle给与自回首方法来解码草稿token，顺利诈骗先前生成的token的信息。其次，Eagle集成了原始大模子和草案模子的先前token的丰富特征，以提高下一个草稿token生成的准确性。(2) token tree verifier被讲授在进步投契采样方法的性能中是有用的。(3)这些方法收场的端到端加速常常低于领受率。这种互异是由于与草稿模子联系的生成本钱不可冷落的实践研究而产生的。

图片

表5：实验驱散6.2 推理服务系统

推理服务系统的优化主要在于提高处理异步肯求的服从。优化了内存管理以容纳更多的肯求，并集成了高效的批处理和颐养战略以提高系统抵赖量。此外，建议了针对散布式系统的优化方法，以充分诈骗散布式算计资源。

图片

图17：推理服务系统分类图6.2.1内存管理

在大模子服务中，KV缓存的存储决定了内存的使用，特别是当凹凸文长度很永劫(参见第2.3节)。由于生成长度不笃定，提前分派KV cache存储空间很难。早期的收场往常证据每个肯求的预设最大长度事先分派存储空间。但是，在拒绝肯求生成的时，这种方法会导致存储资源的大量糜费。为了惩处这个问题，为了减少预分派空间的糜费，建议了为每个肯求预计生成长度的上界。

但是，当不存在如斯大的连气儿空间时，静态的KV缓存分派方式仍然是失败的。为了应酬碎屑化存储，vLLM建议以操作系统的样貌，以分页的方式存储KV缓存。vLLM着手分派尽可能大的内存空间，并将其平均区别为多个物理块。当肯求莅临时，vLLM以不连气儿的方式动态地将生成的KV缓存映射到预分派的物理块。通过这种方式，vLLM显耀减少了存储碎屑，并在大模子服务中收场了更高的抵赖量。在vLLM的基础上，LightLLM使用了更细粒度的KV缓存存储，减少了不端正界限产生的糜费。LightLLM将token的KV缓存当作一个单位来处理，而不是一个块，因此生成的KV缓存老是使预分派的空间饱和。

刻下优化的推理服务系统往常给与这种分页方式来管理KV缓存存储，从而减少冗余KV缓存的糜费。可是，分页存储导致细心力操作中的内存看望不端正。对于使用分页KV缓存的细心力算子，这就需要研究KV缓存的编造地址空间与其对应的物理地址空间之间的映射关系。为了提高细心力算子的算计服从，必须对KV缓存的加载模式进行颐养，以便捷连气儿存储器看望。例如，在vLLM的PagedAttention中，对于K cache，head大小维度的存储结构为16字节的连气儿向量，而FlashInfer为KV缓存编排了种种数据布局，并伴跟着合乎瞎想的内存看望有运筹帷幄。细心力算子的优化与页面KV缓存存储的结合仍然是推理服务系统发展中的一个前沿挑战。

6.2.2 连气儿批处理

批处理中的肯求长度可能不同，当较短的肯求完成而较长的肯求仍在运行时，会导致诈骗率较低。由于服务场景中的肯求具有异步脾性，因此缓解这种低诈骗率的时分段是有可能的。基于此，连气儿批处理本事被建议，以便在一些旧肯求完成后对新肯求进行批处理。ORCA是在大模子服务端第一个这么作念的就业。

每个肯求的算计包含多个迭代，每个迭代表现预填充才气或解码才气。作家建议可以在迭代级别对不同的肯求进行批处理。此就业在线性操作符中收场迭代级批处理，在序列维度中将不同的肯求连系在整个。因此，与完成的肯求相对应的备用存储和算计资源被实时开释。继ORCA之后，vLLM将该本事扩展到细心力算计，使不同KV缓存长度的肯求能够批处理在整个。Sarathi、DeepSpeed-FastGen和SarathiServe进一步引入了一种split-and-fuse方法，将预填充请乞降解码肯求批处理在整个。具体来说，此方法着手在序列维度上拆分长预填充肯求，然后将其与多个短解码肯求批处理在整个。该方法平衡了不同迭代之间的就业负载，并通过放弃新肯求的蔓延显耀减少了尾部蔓延。LightLLM也给与了split-and-fuse方法。

6.2.3 Scheduling本事

在大模子服务中，每个肯求的功课长度具有可变性，因此实行肯求的门径会显耀影响服务系统的抵赖量。head-of-line blocking发生在长肯求被赋予优先级时。具体来说，对于长肯求，内存使用会飞速增长，当系统内存容量耗尽时，会导致后续肯求受阻。ORCA和开源框架，包括vLLM和LightLLM，给与浮浅的先到先服务(FCFS)原则来颐养肯求。DeepSpeed-FastGen则优先研究解码肯求以提高性能。FastServe建议了一种霸占式颐养战略来优化列队阻扰问题，收场大模子服务的低功课完成时分(JCT)。FastServe给与多级反馈队伍(MLFQ)来优先处理剩余时分最短的肯求。由于自动回首解码方法会产生未知的肯求长度，FastServe着手预计长度，并诈骗跳过连系方式为每个肯求找到合乎的优先级。与以往的就业不同，VTC究诘了大模子推理服务中的公说念性。VTC引入了一个基于token数的本钱函数来研究客户端之间的公说念性，并进一步建议了一个公说念颐养范例来确保公说念性。

6.2.4 散布式系统

为了收场高抵赖量，大模子服务往常部署在散布式平台上。最近的就业还侧重于通过诈骗散布式特征来优化此类推理服务的性能。值得细心的是，预填充是算计密集型的，解码是内存密集型的，splitwise， TetriInfer和DistServe讲授了理解肯求的预填充息争码才气的服从。这么，两个不同的阶段就可以证据各自的脾性进行孤苦的处理。SpotServe瞎想用于在具有可霸占GPU实例的云上提供大模子服务。SpotServe有用地处理包括动态并行胁制和实例迁徙在内的挑战，况兼还诈骗大模子的自回首脾性来收场token级别的景况回复。此外，Infinite-LLM将vLLM中的分页KV缓存方法扩展到散布式云环境。

6.3 硬件加速器瞎想

夙昔的筹商就业辘集在优化Transformer架构，特别是优化细心力算子，往常给与稀少方法来促进FPGA部署。与NVIDIA V100 GPU比拟，FACT加速器通过线性运算的混杂精度量化和算法-硬件协同瞎想收场了独特的能效，而且这些方法不是为生成式大模子量身定制的。

近期的就业，如ALLO杰出了FPGA在管理内存密集型解码阶段方面的上风。强调了模子压缩本事对大模子高效FPGA部署的重要性。相背，DFX侧重于解码阶段优化，但穷乏模子压缩方法，限制了可扩展性在更大的模子和更长的输入(最多1.5B模子和256个token)。ALLO诞生在这些视力的基础上，进一步提供了一个可组合和可重用的高等合成(High-level Synthesis, HLS)内核库。与DFX比拟，ALLO的收场在预填充阶段展示了独特的生成加速，在解码时期收场了比NVIDIA A100 GPU更高的能效和加速。

FlightLLM也诈骗了这些视力，引入了一个可建设的稀少数字信号处理器(DSP)链，用于种种具有高算计服从的稀少模式。为了提高存储带宽诈骗率，建议了一种支捏混杂精度的片上译码有运筹帷幄。FlightLLM在Llama2-7B型号上收场了比NVIDIA V100S GPU高6.0倍的能效和1.8倍的本钱效益，解码时的抵赖量比NVIDIA A100 GPU高1.2倍。

6.4 大模子推理框架对比

作家对比了多个推理框架的性能，如表6所示。使用Llama2-7B(batch size=1，输入长度=1k，输出长度=128)测量推理抵赖量。推理服务性能是在ShareGPT数据集上测量的最大抵赖量。两者都基于单个NVIDIA A100 80GB GPU。在上述框架中，DeepSpeed、vLLM、LightLLM和TensorRT-LLM集成了推理服务功能，为来自多个用户的异步肯求提供服务。作家还在表格中列出了每个框架的优化。作家还在表中列出了针对每个框架的优化。除了HuggingFace外，通盘框架都收场了operator级别或图优化级别的优化以提高性能，其中一些框架还支捏推测解码本事。请细心，作家测量通盘框架的推感性能时，莫得使用推测解码本事。推理抵赖量的驱散标明，FlashDecoding++和TensorRT-LLM在粉饰主要算子和算计图的优化方面优于其他算法。在推理服务方面，各框架均给与细粒度、不连气儿存储方式进行KV缓存，并给与连气儿批处理本事提高系统诈骗率。与vLLM和LightLLM不同，DeepSpeed在颐养中优先研究解码肯求，这意味着如果批处理中有实足的现存解码肯求，则不会合并新肯求。

图片

表6：开源推理框架性能对比6.5 意识，建议和将来地点

系统级优化在不贬抑精度的同期提高了服从，因此在大模子推理实践中越来越精深。对推理的优化也适用于服务。最近，operator优化依然与实践服务场景细密结合，例如，特意为前缀缓存瞎想的RadixAttention和加速推测解码考证的tree attention。应用和场景的迭代将不断对operator的发展建议新的要求。

研究到实践推理服务系统中固有的多方面宗旨，例如JCT、系统抵赖量和公说念性，颐养战略的瞎想相应地变得复杂。在肯求长度不笃定的大模子服务领域，现存文件往常依赖于预计机制来促进颐养战略的瞎想。可是，目下的预计器的有用性够不上梦想的法度，这标明在服务颐养战略开发中存在矫正和优化的后劲。

7 环节应用场景究诘

目下的筹商在探索跨种种优化级别的高效大模子推理的界限方面取得了重要进展。可是，需要进一步的筹商来提肥硕模子在实践场景中的服从。作家为数据级(第4.3节)、模子级(第5.3节)和系统级(第6.5节)的优化本事分析了有但愿的将来地点。在本节中，作家总结了四个环节场景：Agent and Multi-Model Framework、Long-Context LLMs、Edge Scenario Deployment和安Security-Efficiency Synergy，并对它们进行了更凡俗的究诘。

Agent and Multi-Model Framework：如4.3章所究诘，Agent 和Multi-Model框架的最近就业，通过诈骗大模子的强劲才气，显耀提高了Agent处理复杂任务和东说念主类肯求的才气。这些框架在增多大模子算计需求的同期，在大模子输出内容的结构中引入了更多的并行性，从而为数据级和系统级优化(如输出组织本事)创造了契机。此外，这些框架天然地引入了一个新的优化级别，即pipeline级别，它具有在该级别上提高服从的后劲。

此外，越来越多的筹商趋势侧重于将AI智能体扩展到多模态领域，往常使用多模态大模子(Large multimodal Models, LMM)当作这些Agent系统的中枢。为了提高这些新兴的基于LMM的智能体的服从，为LMM瞎想优化本事是一个很有长进的筹商地点。

Long-Context LLMs：目下，大模子濒临着处理越来越长的输入凹凸文的挑战。可是，自细心力操作(Transformer-style大模子的基本组成部分)发达出与凹凸文长度联系的二次复杂度，对最大凹凸文长度施加了限制在教师和推理阶段。种种战略依然被探索了来惩处这一限制，包括输入压缩(第4.1节)、稀少细心力(第5.2.2节)、低复杂度结构的瞎想(第5.1.3节)和细心算子的优化(第6.1.1节)。值得细心的是，具有次二次或线性复杂性的非transformer架构(第5.1.3节)最近引起了筹商东说念主员的极大兴趣。

尽管它们服从很高，但与Transformer架构比拟，这些新架构在种种才气(如凹凸文体习才气和而已建模才气)上的竞争力仍有待历练。因此，从多个角度探索这些新架构的功能并惩处它们的局限性仍然是一个有价值的追求。此外，为种种场景和任务笃定必要的凹凸文长度，以及笃定将当作将来大模子基础相沿的下一代架构，这一丝至关重要。

Edge Scenario Deployment：尽管提肥硕模子推理的服从依然有了好多就业，但将大模子部署到资源极其有限的边际迷惑(如出动电话)上仍然存在挑战。最近，好多筹商东说念主员对具有1B ~ 3B参数的较小话语模子的预教师发达出了兴趣。这种领域的模子在推理过程中提供了更少的资源本钱，况兼与更大的模子比拟，具有收场泛化才气和竞争性能的后劲。可是，开发如斯高效和强劲的袖珍话语模子的方法仍然莫得得到充分的探索。

一些筹商依然开启了这个有但愿的地点。例如，MiniCPM通过沙盒实验来笃定最优的预教师超参数。PanGu-π-Pro建议使用来自模子修剪的矩阵和本事来启动化预教师打磨谢谢的模子权重。MobileLLM在袖珍模子瞎想中给与了“深而薄”的架构，并建议了跨不同层的权重分享，在不增多额外内存本钱的情况下增多层数。可是，小模子和大模子之间仍存在性能差距，需要将来的筹商来缩小这一差距。将来，重要需要筹商怎样识别边际场景下的模子模范，并探索种种优化方法在瞎想上的界限。

除了瞎想较小的模子除外，系统级优化为大模子部署提供了一个有长进的地点。最近一个值得细心的款式，MLC-LLM奏效地在出动电话上部署了LLaMA-7B模子。MLC-LLM主要使用知道、内存有运筹帷幄和轮回优化等编译本事来增强蔓延并贬抑推理时期的内存本钱。此外，给与云边际配合本事或瞎想更复杂的硬件加速器也可以匡助将大模子部署到边际迷惑上。

Security-Efficiency Synergy：除了任务性能和服从外，安全性亦然大模子应用中必须研究的环节要素。目下的筹商主要辘集在服从优化方面，莫得充分惩处安全研究的操作。因此，筹商服从和安全性之间的互相作用，并笃定刻下的优化本事是否会毁伤大模子的安全性是至关重要的。如果这些本事对大模子的安全性产生负面影响，一个有但愿的地点是开发新的优化方法或矫正现存的方法，以收场大模子的服从和安全性之间更好的衡量。

8 总结

高效的大模子推理侧重于减少大模子推理过程中的算计、内存看望和内存本钱，旨在优化诸如蔓延、抵赖量、存储、功率和动力等服从运筹帷幄。作家在本综述中提供了高效大模子推理筹商的全面记忆，建议了环节本事的视力，建议和将来地点。着手，作家引入了包含数据级、模子级和系统级优化的分层分类法。随后，在这一分类方法的率领下，作家总结每个眉目和子领域的筹商。对于模子量化和高效服务系统等老到的本事，作家进行了实验来评估和分析它们的性能。在此基础上，建议了实践建议。为该领域的从业者和筹商东说念主员建议建议并笃定有长进的筹商蹊径。

备注：昵称-学校/公司-地点/会议(eg.ACL)，干与本事/投稿群

id：DLNLPer，难忘备注呦

本站仅提供存储服务，通盘内容均由用户发布，如发现存害或侵权内容，请点击举报。

---