{/* This page is auto-generated from the skill's SKILL.md by website/scripts/generate-skill-docs.py. Edit the source SKILL.md, not this page. */}

Segment Anything Model

SAM：通过点、框、掩码实现零样本图像分割。

Skill 元数据


来源	内置（默认安装）
路径	`skills/mlops/models/segment-anything`
版本	`1.0.0`
作者	Orchestra Research
许可证	MIT
依赖项	`segment-anything`, `transformers>=4.30.0`, `torch>=1.7.0`
平台	linux, macos, windows
标签	`Multimodal`, `Image Segmentation`, `Computer Vision`, `SAM`, `Zero-Shot`

参考：完整 SKILL.md

信息

以下是 Hermes 在触发此 skill 时加载的完整 skill 定义。这是 skill 激活时 agent 所看到的指令内容。

Segment Anything Model (SAM)

Meta AI Segment Anything Model 零样本图像分割综合使用指南。

何时使用 SAM

在以下情况使用 SAM：

需要在无需任务特定训练的情况下分割图像中的任意对象

构建支持点/框 prompt（提示词）的交互式标注工具

为其他视觉模型生成训练数据

需要零样本迁移到新图像域

构建目标检测/分割流水线

处理医学、卫星或特定领域图像

核心特性：

零样本分割：无需微调即可适用于任意图像域

灵活的 prompt：支持点、边界框或先前掩码

自动分割：自动生成所有对象掩码

高质量：在来自 1100 万张图像的 11 亿个掩码上训练

多种模型规格：ViT-B（最快）、ViT-L、ViT-H（最精确）

ONNX 导出：可在浏览器和边缘设备上部署

以下情况请使用替代方案：

YOLO/Detectron2：用于带类别的实时目标检测

Mask2Former：用于带类别的语义/全景分割

GroundingDINO + SAM：用于文本 prompt 驱动的分割

SAM 2：用于视频分割任务

快速开始

安装

下载检查点

使用 SamPredictor 的基本用法

HuggingFace Transformers

核心概念

模型架构

SAM Architecture:
┌─────────────────┐     ┌─────────────────┐     ┌─────────────────┐
│  Image Encoder  │────▶│ Prompt Encoder  │────▶│  Mask Decoder   │
│     (ViT)       │     │ (Points/Boxes)  │     │ (Transformer)   │
└─────────────────┘     └─────────────────┘     └─────────────────┘
        │                       │                       │
   Image Embeddings      Prompt Embeddings         Masks + IoU
   (computed once)       (per prompt)             predictions

模型变体

模型	检查点	大小	速度	精度
ViT-H	`vit_h`	2.4 GB	最慢	最佳
ViT-L	`vit_l`	1.2 GB	中等	良好
ViT-B	`vit_b`	375 MB	最快	良好

Prompt 类型

Prompt	描述	使用场景
点（前景）	点击对象	单对象选择
点（背景）	点击对象外部	排除区域
边界框	对象周围的矩形	较大对象
先前掩码	低分辨率掩码输入	迭代精化

交互式分割

点 prompt

框 prompt

组合 prompt

迭代精化

自动掩码生成

基本自动分割

自定义生成

过滤掩码

批量推理

多张图像

每张图像多个 prompt

ONNX 部署

导出模型

使用 ONNX 模型

常见工作流

工作流 1：标注工具

工作流 2：对象提取

工作流 3：医学图像分割

输出格式

掩码数据结构

COCO RLE 格式

性能优化

GPU 内存

速度优化

常见问题

问题	解决方案
内存不足	使用 ViT-B 模型，缩小图像尺寸
推理缓慢	使用 ViT-B，减小 points_per_side
掩码质量差	尝试不同 prompt，使用框 + 点组合
边缘伪影	使用 stability_score 过滤
小对象漏检	增大 points_per_side

参考资料

高级用法 - 批处理、微调、集成

故障排查 - 常见问题与解决方案

资源

GitHub：https://github.com/facebookresearch/segment-anything

论文：https://arxiv.org/abs/2304.02643

演示：https://segment-anything.com

SAM 2（视频）：https://github.com/facebookresearch/segment-anything-2

HuggingFace：https://huggingface.co/facebook/sam-vit-huge

"Segment Anything Model — SAM：通过点、框、掩码实现零样本图像分割"

Segment Anything Model#

Skill 元数据#

参考：完整 SKILL.md#

Segment Anything Model (SAM)#

何时使用 SAM#

快速开始#

安装#

下载检查点#

使用 SamPredictor 的基本用法#

HuggingFace Transformers#

核心概念#

模型架构#

模型变体#

Prompt 类型#

交互式分割#

点 prompt#

框 prompt#

组合 prompt#

迭代精化#

自动掩码生成#

基本自动分割#

自定义生成#

过滤掩码#

批量推理#

多张图像#

每张图像多个 prompt#

ONNX 部署#

导出模型#

使用 ONNX 模型#

常见工作流#

工作流 1：标注工具#

工作流 2：对象提取#

工作流 3：医学图像分割#

输出格式#

掩码数据结构#

COCO RLE 格式#

性能优化#

GPU 内存#

速度优化#

常见问题#

参考资料#

资源#

Segment Anything Model

Skill 元数据

参考：完整 SKILL.md

Segment Anything Model (SAM)

何时使用 SAM

快速开始

安装

下载检查点

使用 SamPredictor 的基本用法

HuggingFace Transformers

核心概念

模型架构

模型变体

Prompt 类型

交互式分割

点 prompt

框 prompt

组合 prompt

迭代精化

自动掩码生成

基本自动分割

自定义生成

过滤掩码

批量推理

多张图像

每张图像多个 prompt

ONNX 部署

导出模型

使用 ONNX 模型

常见工作流

工作流 1：标注工具

工作流 2：对象提取

工作流 3：医学图像分割

输出格式

掩码数据结构

COCO RLE 格式

性能优化

GPU 内存

速度优化

常见问题

参考资料

资源