如何快速部署Mistral Medium 3.5 128B：5步完成本地vLLM服务器搭建

2026/11/3 9:52:32

如何快速部署Mistral Medium 3.5 128B：5步完成本地vLLM服务器搭建

Mistral Medium 3.5 128B是一款具有1280亿参数的强大开源AI模型，支持256k超长上下文窗口，具备多模态输入、函数调用和推理能力。本文将通过5个简单步骤，教你如何使用vLLM在本地搭建高性能的Mistral Medium 3.5 128B服务器，让你轻松拥有企业级AI推理能力。

1️⃣ 准备工作：环境与硬件要求

在开始部署前，请确保你的系统满足以下条件：

硬件要求：推荐至少8张NVIDIA GPU（如H100/H200），总显存需≥200GB
软件环境：
- Python 3.10+
- CUDA 12.1+
- Git

首先克隆项目仓库：

git clone https://gitcode.com/hf_mirrors/mistralai/Mistral-Medium-3.5-128B cd Mistral-Medium-3.5-128B

Mistral Medium 3.5 128B的核心优势在于其卓越的推理性能和多模态能力，以下是模型在各项基准测试中的表现：

Mistral Medium 3.5在指令跟随、推理和编码任务上的表现对比

2️⃣ 安装vLLM：高性能推理引擎

vLLM是Mistral官方推荐的推理框架，支持PagedAttention技术，能显著提升吞吐量和降低延迟。安装命令如下：

# 安装vLLM nightly版本（确保获取最新特性） uv pip install -U vllm \ --torch-backend=auto \ --extra-index-url https://wheels.vllm.ai/nightly

验证安装是否成功：

python -c "import vllm; print('vLLM installed successfully:', vllm.__version__)"

⚠️ 注意：vLLM需要mistral_common >= 1.11.1和transformers >= 5.4.0，安装命令会自动处理这些依赖。

3️⃣ 启动vLLM服务器：配置与优化

使用以下命令启动vLLM服务器，根据你的GPU数量调整tensor-parallel-size参数：

vllm serve mistralai/Mistral-Medium-3.5-128B \ --tensor-parallel-size 8 \ --tool-call-parser mistral \ --enable-auto-tool-choice \ --reasoning-parser mistral \ --max_num_batched_tokens 16384 \ --max_num_seqs 128 \ --gpu_memory_utilization 0.8

关键参数说明：

--tensor-parallel-size：设置GPU数量（根据实际硬件调整）
--gpu_memory_utilization：GPU内存利用率（0.8表示80%）
--tool-call-parser：启用Mistral专用工具调用解析器

成功启动后，服务器将在 http://localhost:8000 运行。

4️⃣ 配置客户端：连接本地服务器

创建Python客户端连接到vLLM服务器，需要修改OpenAI API基础地址：

from openai import OpenAI # 连接本地vLLM服务器 client = OpenAI( api_key="EMPTY", # 本地服务器无需API密钥 base_url="http://localhost:8000/v1" ) # 验证连接 models = client.models.list() print("可用模型:", models.data[0].id)

Mistral Medium 3.5支持推理模式切换，可根据任务需求选择：

reasoning_effort="high"：适用于复杂推理任务（推荐温度0.7，top_p 0.95）
reasoning_effort="none"：适用于快速响应（推荐温度0.1）

Mistral Medium 3.5在τ³-Telecom和SWE-Bench Verified基准测试中表现出色

5️⃣ 测试与使用：体验AI能力

以下是一个简单的测试示例，体验Mistral Medium 3.5的指令跟随能力：

messages = [ {"role": "system", "content": "你是一个 helpful 的AI助手。"}, {"role": "user", "content": "解释什么是量子计算，并举例说明其可能的应用场景。"} ] response = client.chat.completions.create( model="mistralai/Mistral-Medium-3.5-128B", messages=messages, reasoning_effort="high", temperature=0.7, top_p=0.95 ) print(response.choices[0].message.content)

对于工具调用和多模态功能，可以参考项目中的SYSTEM_PROMPT.txt和chat_template.jinja文件进行高级配置。