{/* This page is auto-generated from the skill's SKILL.md by website/scripts/generate-skill-docs.py. Edit the source SKILL.md, not this page. */}

Evaluating Llms Harness

lm-eval-harness：对 LLM 进行基准测试（MMLU、GSM8K 等）。

Skill 元数据


来源	内置（默认安装）
路径	`skills/mlops/evaluation/lm-evaluation-harness`
版本	`1.0.0`
作者	Orchestra Research
许可证	MIT
依赖项	`lm-eval`, `transformers`, `vllm`
平台	linux, macos
标签	`Evaluation`, `LM Evaluation Harness`, `Benchmarking`, `MMLU`, `HumanEval`, `GSM8K`, `EleutherAI`, `Model Quality`, `Academic Benchmarks`, `Industry Standard`

参考：完整 SKILL.md

信息

以下是 Hermes 在触发此 skill 时加载的完整 skill 定义。这是 agent 在 skill 激活时所看到的指令内容。

lm-evaluation-harness - LLM 基准测试

内容概览

在 60+ 个学术基准（MMLU、HumanEval、GSM8K、TruthfulQA、HellaSwag）上评估 LLM。适用于基准测试模型质量、比较模型、报告学术结果或跟踪训练进度。行业标准工具，被 EleutherAI、HuggingFace 及各大实验室广泛使用。支持 HuggingFace、vLLM 及 API。

快速开始

lm-evaluation-harness 使用标准化 prompt（提示词）和指标，在 60+ 个学术基准上评估 LLM。

安装：

评估任意 HuggingFace 模型：

查看可用任务：

常用工作流

工作流 1：标准基准评估

在核心基准（MMLU、GSM8K、HumanEval）上评估模型。

复制此检查清单：

基准评估：
- [ ] 步骤 1：选择基准套件
- [ ] 步骤 2：配置模型
- [ ] 步骤 3：运行评估
- [ ] 步骤 4：分析结果

步骤 1：选择基准套件

核心推理基准：

MMLU（Massive Multitask Language Understanding）- 57 个科目，多项选择

GSM8K - 小学数学应用题

HellaSwag - 常识推理

TruthfulQA - 真实性与事实性

ARC（AI2 Reasoning Challenge）- 科学题目

代码基准：

HumanEval - Python 代码生成（164 道题）

MBPP（Mostly Basic Python Problems）- Python 编程

标准套件（推荐用于模型发布）：

步骤 2：配置模型

HuggingFace 模型：

量化模型（4-bit/8-bit）：

自定义 checkpoint：

步骤 3：运行评估

步骤 4：分析结果

结果保存至 results/llama2-7b-eval.json：

{
  "results": {
    "mmlu": {
      "acc": 0.459,
      "acc_stderr": 0.004
    },
    "gsm8k": {
      "exact_match": 0.142,
      "exact_match_stderr": 0.006
    },
    "hellaswag": {
      "acc_norm": 0.765,
      "acc_norm_stderr": 0.004
    }
  },
  "config": {
    "model": "hf",
    "model_args": "pretrained=meta-llama/Llama-2-7b-hf",
    "num_fewshot": 5
  }
}

工作流 2：跟踪训练进度

在训练过程中评估 checkpoint。

训练进度跟踪：
- [ ] 步骤 1：设置定期评估
- [ ] 步骤 2：选择快速基准
- [ ] 步骤 3：自动化评估
- [ ] 步骤 4：绘制学习曲线

步骤 1：设置定期评估

每 N 个训练步骤评估一次：

步骤 2：选择快速基准

适合频繁评估的快速基准：

HellaSwag：单 GPU 约 10 分钟

GSM8K：约 5 分钟

PIQA：约 2 分钟

不适合频繁评估（耗时过长）：

MMLU：约 2 小时（57 个科目）

HumanEval：需要执行代码

步骤 3：自动化评估

集成到训练脚本中：

或使用 PyTorch Lightning callback：

步骤 4：绘制学习曲线

工作流 3：比较多个模型

用于模型比较的基准套件。

模型比较：
- [ ] 步骤 1：定义模型列表
- [ ] 步骤 2：运行评估
- [ ] 步骤 3：生成对比表格

步骤 1：定义模型列表

步骤 2：运行评估

步骤 3：生成对比表格

输出：

| Model                  | MMLU  | GSM8K | HELLASWAG | TRUTHFULQA |
|------------------------|-------|-------|-----------|------------|
| meta-llama/Llama-2-7b  | 0.459 | 0.142 | 0.765     | 0.391      |
| meta-llama/Llama-2-13b | 0.549 | 0.287 | 0.801     | 0.430      |
| mistralai/Mistral-7B   | 0.626 | 0.395 | 0.812     | 0.428      |
| microsoft/phi-2        | 0.560 | 0.613 | 0.682     | 0.447      |

工作流 4：使用 vLLM 评估（更快的推理）

使用 vLLM 后端可获得 5-10 倍的评估速度提升。

vLLM 评估：
- [ ] 步骤 1：安装 vLLM
- [ ] 步骤 2：配置 vLLM 后端
- [ ] 步骤 3：运行评估

步骤 1：安装 vLLM

步骤 2：配置 vLLM 后端

步骤 3：运行评估

vLLM 比标准 HuggingFace 快 5-10 倍：

何时使用及替代方案

在以下情况使用 lm-evaluation-harness：

为学术论文进行模型基准测试

在标准任务上比较模型质量

跟踪训练进度

报告标准化指标（所有人使用相同 prompt）

需要可复现的评估结果

改用以下替代方案：

HELM（Stanford）：更广泛的评估（公平性、效率、校准）

AlpacaEval：使用 LLM 作为评判的指令跟随评估

MT-Bench：多轮对话评估

自定义脚本：特定领域评估

常见问题

问题：评估速度过慢

使用 vLLM 后端：

或减少 few-shot 示例数：

或评估 MMLU 子集：

问题：显存不足

减小 batch size：

使用量化：

启用 CPU offloading：

问题：结果与已报告数值不一致

检查 few-shot 数量：

检查确切任务名称：

验证模型与 tokenizer 匹配：

问题：HumanEval 未执行代码

安装执行依赖：

启用代码执行：

进阶主题

基准描述：参见 references/benchmark-guide.md，了解所有 60+ 个任务的详细说明、测量内容及结果解读。

自定义任务：参见 references/custom-tasks.md，了解如何创建特定领域的评估任务。

API 评估：参见 references/api-evaluation.md，了解如何评估 OpenAI、Anthropic 及其他 API 模型。

多 GPU 策略：参见 references/distributed-eval.md，了解数据并行与张量并行评估方案。

硬件要求

GPU：NVIDIA（CUDA 11.8+），支持 CPU 运行（速度极慢）

显存：

7B 模型：16GB（bf16）或 8GB（8-bit）

13B 模型：28GB（bf16）或 14GB（8-bit）

70B 模型：需要多 GPU 或量化

耗时（7B 模型，单张 A100）：

HellaSwag：10 分钟

GSM8K：5 分钟

MMLU（完整）：2 小时

HumanEval：20 分钟

资源

GitHub：https://github.com/EleutherAI/lm-evaluation-harness

文档：https://github.com/EleutherAI/lm-evaluation-harness/tree/main/docs

任务库：60+ 个任务，包括 MMLU、GSM8K、HumanEval、TruthfulQA、HellaSwag、ARC、WinoGrande 等

"Evaluating Llms Harness — lm-eval-harness: benchmark LLMs (MMLU, GSM8K, etc"

Evaluating Llms Harness#

Skill 元数据#

参考：完整 SKILL.md#

lm-evaluation-harness - LLM 基准测试#

内容概览#

快速开始#

常用工作流#

工作流 1：标准基准评估#

工作流 2：跟踪训练进度#

工作流 3：比较多个模型#

工作流 4：使用 vLLM 评估（更快的推理）#

何时使用及替代方案#

常见问题#

进阶主题#

硬件要求#

资源#

Evaluating Llms Harness

Skill 元数据

参考：完整 SKILL.md

lm-evaluation-harness - LLM 基准测试

内容概览

快速开始

常用工作流

工作流 1：标准基准评估

工作流 2：跟踪训练进度

工作流 3：比较多个模型

工作流 4：使用 vLLM 评估（更快的推理）

何时使用及替代方案

常见问题

进阶主题

硬件要求

资源