如何在5分钟内快速上手ModernBERT-base？完整安装与基础使用教程

2026/8/6 20:31:48

如何在5分钟内快速上手ModernBERT-base？完整安装与基础使用教程

【免费下载链接】ModernBERT-base项目地址: https://ai.gitcode.com/hf_mirrors/answerdotai/ModernBERT-base

ModernBERT-base是一款现代化的双向编码器Transformer模型，支持原生8192 tokens的长文本处理，适用于检索、分类和语义搜索等任务。本文将带你快速完成安装并掌握基础使用方法，让你在5分钟内即可体验这款强大模型的魅力。

🌟 为什么选择ModernBERT-base？

ModernBERT-base作为一款先进的预训练语言模型，具备以下核心优势：

长文本支持：原生支持8192 tokens上下文长度，轻松处理长文档
高效推理：采用Rotary Positional Embeddings和Flash Attention技术
多任务适配：可用于掩码语言模型、文本分类、检索等多种下游任务
代码理解：在训练数据中融入代码语料，特别适合代码检索场景

🚀 快速安装步骤

1️⃣ 安装Transformers库

ModernBERT-base需要Transformers库4.48.0及以上版本支持，使用pip命令快速安装：

pip install -U transformers>=4.48.0

2️⃣ （可选）安装Flash Attention加速

如果你的GPU支持Flash Attention 2，可以安装以获得更高效率：

pip install flash-attn

💡 基础使用指南

使用AutoModelForMaskedLM加载模型

以下代码展示如何加载模型并进行掩码预测：

from transformers import AutoTokenizer, AutoModelForMaskedLM model_id = "answerdotai/ModernBERT-base" tokenizer = AutoTokenizer.from_pretrained(model_id) model = AutoModelForMaskedLM.from_pretrained(model_id) text = "The capital of France is [MASK]." inputs = tokenizer(text, return_tensors="pt") outputs = model(**inputs) # 获取掩码预测结果 masked_index = inputs["input_ids"][0].tolist().index(tokenizer.mask_token_id) predicted_token_id = outputs.logits[0, masked_index].argmax(axis=-1) predicted_token = tokenizer.decode(predicted_token_id) print("Predicted token:", predicted_token) # 输出结果: Predicted token: Paris

使用Pipeline进行快速推理

Transformers的pipeline接口提供了更简洁的使用方式：

import torch from transformers import pipeline from pprint import pprint pipe = pipeline( "fill-mask", model="answerdotai/ModernBERT-base", torch_dtype=torch.bfloat16, ) input_text = "He walked to the [MASK]." results = pipe(input_text) pprint(results)