轻量级模型

谷歌研究团队提出了一种名为 Cappy 的轻量级预训练评分器，基于仅3.6亿参数的RoBERTa，通过为指令和候选响应生成0到1的正确性评分，在分类任务中可独立运行或辅助大型多任务语言模型，无需微调或访问模型参数即可高效适配下游任务，显著降低了计算和存储成本。

Google AI Blog 23:13 AI 辅助人工智能自然语言处理

Google Research 提出轻量级预训练评分器 Cappy（基于 RoBERTa，仅 3.6 亿参数），通过为指令与候选响应生成正确性分数，可独立完成分类任务或作为辅助组件提升大型多任务语言模型性能，无需微调或反向传播，显著降低存储和计算需求，并兼容闭源模型。