如何找到大型语言模型的最佳模型大小以优化效果和成本

1 分钟阅读
内容级别:中级
2

我们是否总是需要最大的模型来满足我们的使用案例?更大的模型通常伴随更高的托管成本或每个令牌的定价。这篇文章讨论了一种策略,您可以采用这种策略来找到符合您需求的最小可能模型大小。

介绍

大型语言模型(LLMs)有多种规模,较大的模型需要更强大的硬件并产生更高的成本。然而,并非所有任务都需要使用最大的模型来有效解决。通过选择满足我们需求的最小模型,我们可以优化成本和资源。


使用较小模型的好处

效率:较小的模型在训练和部署方面更加高效。这可以节省硬件成本并减少使模型投入运行所需的时间。

准确性:对于不需要大量复杂性的任务,较小的模型可以与较大的模型一样准确。

部署:较小的模型可以部署在性能较低的硬件上,例如移动设备和嵌入式系统。这使得它们非常适合需要便携或资源有限的应用。


如何选择合适的模型大小:


步骤 1:使用较大的模型进行概念验证(PoC)

首先使用较大的模型进行概念验证(PoC)。这有助于在早期确定该任务是否可以由大型语言模型(LLM)完成。使用较大的模型时,通常不需要编写非常准确的提示即可达到目标。因此,可以节省大量时间进行实验,以确定是否能够实现预期结果。


步骤 2:逐步减小模型大小

在保持其他条件不变的情况下,换用较小的模型并评估结果。如果能够始终如一地获得与之前相同的结果,可以继续换用更小的模型,直到结果开始恶化。一旦结果开始恶化,可以通过以下两种方法优化以保持结果的质量:

1. 编写详细且简洁的提示

这包括编写高质量的提示或问题,高质量且量身定制的提示可以更好地引导 LLM 生成特定于您的任务的输出。以下是拥有良好提示的一个示例: Enter image description here

LLM 未能提供 20 人聚会的总费用。让我们尝试修改提示,看看是否能够获得预期结果:

Enter image description here

通过在最后一句添加“for the party”,现在 LLM 能够进行正确的计算。为了改进提示,请注意使用完整句子,避免行话,并尽量具体。


2. 少样本提示(Few-shot prompting)
通过展示几个精选的示例,少样本提示使模型能够快速学习并执行特定任务

大型语言模型能够在推理过程中从提示词中学习。这种技术涉及在提示词中提供示例,以指导大型语言模型完成任务。以下是关于如何应用它以及对结果影响的例子: Enter image description here

在没有指导示例的情况下,LLM 无法准确计算milk的最终价格,让我们在提示中添加一个指导示例: Enter image description here

通过在提示中添加相关的、多样的、可能多个示例,大型语言模型现在能够准确计算milk的价格。这是因为大型语言模型能够从这些示例中学习并推广到新的情况。


通过遵循本文中概述的步骤,您可以为您的任务选择正确的模型大小,并优化效果和成本。

本文翻译自:How to find the optimal model size for Large Language Models to optimize effectiveness and cost

profile pictureAWS
支持工程师
Tim
已​发布 2 个月前876 查看次数