简介这份PDF资料面向希望入门AI绘画的开发者与爱好者系统讲解Stable Diffusion的安装与使用流程帮助零基础读者跨越环境配置门槛快速上手文本生成图像。资源包共1个PDF文件大小约814KB内容涵盖环境准备、依赖安装、代码与模型下载、运行命令及参数调节等完整环节并针对生成图像、参数优化与资源需求等关键问题给出说明。目前已有945人学习下载适合作为实操参考手册。读者可从中获取Python与PyTorch环境搭建思路、虚拟环境创建方法、CompVis仓库克隆与依赖安装步骤以及txt2img脚本的调用示例理解prompt、plms、ddim、steps等参数对出图质量与耗时的影响并提前了解GPU算力需求为后续艺术创作或科研实验打下基础。1. 从一张 512×512 的图说起Stable Diffusion 到底解决了什么如果你手里只有一块 8GB 显存的消费级显卡却想跑通一个能根据中文提示词出图的人工智能绘画软件Stable Diffusion 大概是目前门槛最低、可控性最强的一条路。它不像在线出图服务那样按张计费、排队等额度也不像某些闭源工具那样把模型和采样器全封在黑匣子里——权重、调度器、采样步数、随机种子全在你本地改一个参数就能复现同一张图。这份资源包围绕的就是「装得上、跑得动、调得准」三件事从 Python 环境、PyTorch 与 CUDA 的版本对齐到 CompVis 官方仓库的克隆、依赖安装、预训练权重放置再到txt2img.py的命令行参数逐项拆解。适合两类人一是刚接触扩散模型、想亲手跑一次推理的开发者二是已经用过整合包、但想搞清楚底层脚本到底在干什么的熟手。下面按我实际复现的顺序往下走。2. 环境准备Python、PyTorch 与 CUDA 的版本对齐2.1 为什么虚拟环境不是可选项而是必选项Stable Diffusion 的依赖树里同时存在torch、transformers、diffusers、ftfy、taming-transformers等包其中taming-transformers需要从源码安装且对torch版本有隐性要求。如果你直接装在系统 Python 里大概率会和已有的numpy、pillow版本打架出现ImportError: cannot import name PILLOW_VERSION这类经典报错。我一般会先建一个干净的虚拟环境把系统环境和项目环境彻底隔离。# 创建虚拟环境目录名随意这里用 sd-env python -m venv sd-env # Linux / macOS 激活 source sd-env/bin/activate # Windows 激活PowerShell 用 .\sd-env\Scripts\Activate.ps1 sd-env\Scripts\activate # 确认当前 python 指向虚拟环境 which python # Windows 用 where python逻辑说明python -m venv会在当前目录生成一个独立的解释器副本和site-packages目录激活后pip install的所有包都只装进这个目录不会污染全局。参数上唯一需要注意的是 Python 版本——官方要求 3.7 以上但实测 3.10 对taming-transformers的兼容性最好3.11 及以上在安装clip时容易卡在编译阶段。如果你机器上有多个 Python建环境时显式指定python3.10 -m venv sd-env更稳妥。2.2 PyTorch 安装别照抄官网默认命令PyTorch 官网的安装命令生成器会根据你选的 CUDA 版本给出不同的pip命令但很多人忽略了一点Stable Diffusion 的推理脚本对 CUDA 版本并不敏感真正敏感的是torch和显卡驱动之间的匹配。驱动版本决定了你最高能用哪个 CUDA runtime而pip安装的torch自带 CUDA runtime所以只要驱动够新装 CUDA 11.8 或 12.1 的torch都能跑。# 以 CUDA 11.8 为例这是目前兼容性最广的一档 pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118 # 验证 torch 是否能识别到 GPU python -c import torch; print(torch.__version__, torch.cuda.is_available(), torch.cuda.get_device_name(0))逻辑说明--index-url指向 PyTorch 官方的 CUDA 11.8 轮子仓库避免从默认 PyPI 拉到 CPU 版本。验证命令会输出三样东西——torch版本、cuda.is_available()的布尔值、显卡型号。如果第二项是False先别急着怀疑显卡八成是驱动太旧或者装成了 CPU 版。参数上torchvision和torchaudio的版本必须和torch主版本对应比如torch 2.0.x配torchvision 0.15.x混搭会报RuntimeError: Detected that PyTorch and torchvision were compiled with different CUDA versions。提示如果你只有 CPU把--index-url去掉直接pip install torch也能跑但一张 512×512、50 步的图大概要 5 到 10 分钟只适合验证流程不适合日常出图。2.3 显存不够时的两个降级思路8GB 显存跑 512×512 是够的但如果你想出 768×768 或更高分辨率txt2img.py会在 UNet 前向传播时 OOM。常见做法有两种一是加--n_samples 1并把--H--W降到 512二是用--precision autocast让部分算子走半精度。我一般会先确认torch.cuda.get_device_properties(0).total_memory的实际值再决定是降分辨率还是开半精度而不是盲目调--steps。3. 代码与模型落地克隆、依赖与权重放置3.1 克隆仓库与安装 requirements 的正确顺序CompVis 的仓库结构里requirements.txt列了torch、torchvision等包但如果你在装torch之前就pip install -r requirements.txtpip 会从默认源拉一个 CPU 版torch覆盖掉你刚装好的 CUDA 版。所以顺序必须是先装torch再装项目依赖。# 克隆官方仓库 git clone https://github.com/CompVis/stable-diffusion.git cd stable-diffusion # 先确认 torch 已经是 CUDA 版 python -c import torch; print(torch.cuda.is_available()) # 再安装项目依赖 pip install -r requirements.txt # taming-transformers 和 clip 需要从源码装requirements 里可能没覆盖全 pip install githttps://github.com/CompVis/taming-transformers.git pip install githttps://github.com/openai/CLIP.git逻辑说明requirements.txt里的torch没有指定--index-urlpip 默认走 PyPI 的 CPU 轮子。先装 CUDA 版再装 requirementspip 会检测到已满足的依赖并跳过不会覆盖。taming-transformers和CLIP是两个容易漏的包——前者提供 VQGAN 的编码器后者负责文本编码缺任何一个都会在加载模型时报ModuleNotFoundError。参数上githttps://前缀表示从 Git 仓库直接安装适合没有发布到 PyPI 的包。3.2 预训练权重的下载与目录结构Stable Diffusion 的权重文件sd-v1-4.ckpt大约 4GB官方在 README 里给了下载入口但很多人下完不知道放哪。txt2img.py默认从models/ldm/stable-diffusion-v1/目录读取文件名必须是model.ckpt否则会报FileNotFoundError。# 创建权重目录 mkdir -p models/ldm/stable-diffusion-v1/ # 假设你已经把 sd-v1-4.ckpt 下载到当前目录移动并重命名 mv sd-v1-4.ckpt models/ldm/stable-diffusion-v1/model.ckpt # 确认文件大小正常应该在 4GB 左右 ls -lh models/ldm/stable-diffusion-v1/model.ckpt逻辑说明-p参数保证多级目录一次创建已存在时不报错。重命名这一步是必须的因为txt2img.py里的--ckpt参数默认值就是models/ldm/stable-diffusion-v1/model.ckpt你当然可以用--ckpt显式指定别的路径但保持默认结构最省事。文件大小是个快速校验点——如果只有几百 MB说明下的是配置文件或分片不是完整权重。3.3 首次运行 txt2img 的最小命令环境、代码、权重都就位后先用一条最小命令验证整条链路是否通。不要一上来就调高分辨率或加复杂提示词先用默认参数出一张图。# 最小验证命令--plms 是采样器--n_samples 1 出一张 python scripts/txt2img.py \ --prompt a fantasy landscape \ --plms \ --n_samples 1 \ --n_iter 1 \ --H 512 \ --W 512 \ --ddim_steps 50逻辑说明--prompt是文本提示英文效果通常比中文稳定因为 CLIP 的文本编码器主要在英文语料上训练。--plms指定使用 PLMS 采样器相比默认的 DDIM 在少步数下细节更好。--n_samples是每批出图数--n_iter是迭代轮数两者相乘是总出图数。--H--W控制分辨率必须是 64 的倍数512 是训练时的原生分辨率。--ddim_steps是采样步数50 步是质量和速度的平衡点。运行成功后图片会输出到outputs/txt2img-samples/目录下。4. 参数调节与出图质量从能跑到跑好4.1 采样器选择PLMS、DDIM 与 DPM 的差异txt2img.py支持--plms和--ddim两个开关分别对应 PLMS 和 DDIM 采样器。PLMS 是 Pseudo Numerical Methods for Diffusion Models 的缩写在 50 步左右就能出结构完整的图DDIM 在步数低于 30 时容易出现模糊或结构崩坏但步数拉到 100 以上时细节更锐利。我一般出草图用 PLMS 50 步出终稿用 DDIM 100 步。采样器推荐步数特点适用场景PLMS30–50收敛快结构稳快速验证提示词DDIM80–150细节锐耗时长终稿输出DPM20–30少步数高质量需要装额外脚本逻辑说明采样器的本质是求解扩散过程的逆过程不同数值方法在离散化误差和收敛速度上各有取舍。PLMS 用高阶近似所以少步数下误差小DDIM 是一阶方法步数不够时截断误差明显。参数上--ddim_steps对两个采样器都生效只是含义略有不同——对 PLMS 是迭代次数对 DDIM 是离散时间步数。4.2 提示词权重与负面提示txt2img.py原生不支持负面提示词也不支持(word:1.2)这种权重语法这些是后来 WebUI 才加的功能。如果你只用官方脚本提升出图质量的手段主要是调整提示词本身的描述密度和具体程度。比如a fantasy landscape出图随机性很大改成a fantasy landscape with floating islands, waterfalls, sunset, highly detailed, digital painting后构图和风格会稳定很多。# 描述密度更高的提示词 python scripts/txt2img.py \ --prompt a fantasy landscape with floating islands, waterfalls, sunset, highly detailed, digital painting, artstation trending \ --plms \ --n_samples 1 \ --H 512 \ --W 512 \ --ddim_steps 50 \ --seed 42逻辑说明--seed固定随机种子后同样的提示词和参数会复现同一张图方便你对比不同提示词的效果。参数上--seed不传时每次随机传了之后可复现。提示词里的artstation trending是一种风格引导CLIP 在训练时见过大量带这类标签的图所以会往那个方向靠。4.3 显存与速度的权衡分辨率、批大小与半精度--n_samples调大会线性增加显存占用--H--W调大是平方级增加。8GB 显存下512×512 可以跑--n_samples 4768×768 只能跑--n_samples 1。如果你非要出高分辨率常见做法是先出 512 再用外部工具放大而不是直接让模型出 1024。# 8GB 显存下的稳妥配置 python scripts/txt2img.py \ --prompt a flying dragon, detailed scales, clouds, epic lighting \ --plms \ --n_samples 2 \ --H 512 \ --W 512 \ --ddim_steps 50 \ --precision autocast逻辑说明--precision autocast让模型在部分算子中使用 FP16显存占用大约降低 30% 到 40%代价是极少数情况下会出现数值不稳定导致的黑图。参数上autocast和full是仅有的两个选项默认full用 FP32。如果你开了autocast后出图全黑先关掉它再试确认不是精度问题。5. 避坑与排查那些让我重装三次环境的问题5.1 现象CUDA out of memory但显存明明够原因PyTorch 的缓存分配器会预留显存nvidia-smi显示的占用不等于实际可用。另外如果你之前跑过别的深度学习任务残留的进程可能还占着显存。解决先nvidia-smi看有没有僵尸进程有就kill -9掉。然后在脚本开头加torch.cuda.empty_cache()或者把--n_samples降到 1 再试。如果还不行检查是不是--H--W设成了非 64 倍数某些版本下会触发额外的 padding 导致显存翻倍。5.2 现象ModuleNotFoundError: No module named ldm原因txt2img.py里用了from ldm.models.diffusion...这样的绝对导入但ldm是仓库根目录下的包Python 默认不会把当前目录加进sys.path。解决必须在仓库根目录下运行python scripts/txt2img.py而不是cd scripts再运行。如果你非要在别处运行设置PYTHONPATH.环境变量。我一般会在仓库根目录下敲命令省得折腾路径。5.3 现象出图全黑或全灰原因三种可能——--precision autocast的数值溢出、权重文件下载不完整、或者--ddim_steps设得太低比如 5 步。解决先关掉autocast再把--ddim_steps提到 50最后校验权重文件的 MD5。如果三步都做了还是黑图检查显卡驱动版本是否满足torch的最低要求驱动太旧会导致 kernel 静默失败。5.4 现象pip install -r requirements.txt卡在Building wheel for taming-transformers原因taming-transformers的setup.py会尝试编译一些 C 扩展如果你的机器没有装gcc或python3-dev编译会卡住或报错。解决Linux 下apt install build-essential python3-devWindows 下装 Visual Studio Build Tools。如果不想编译直接用pip install githttps://github.com/CompVis/taming-transformers.git走源码安装效果一样。5.5 现象中文提示词出图效果差原因CLIP 的文本编码器主要用英文语料训练中文 token 在词表里覆盖不全编码后的语义向量偏离预期。解决把中文提示词翻译成英文再输入。常见做法是用翻译工具先转一道再手动调整关键词顺序——CLIP 对提示词前几个词的权重更高把主体放前面风格词放后面。6. 进阶技巧用 seed 和 prompt 组合做可控出图跑通基础流程后真正决定出图效率的不是显卡而是你对--seed和提示词结构的控制。我自己的习惯是先用一组宽泛提示词加随机 seed 出 20 张挑出构图满意的记下它的 seed然后固定 seed 微调提示词。这样每次只改一个变量能清楚知道是哪个词影响了哪个视觉元素。# 固定 seed 微调提示词对比两次输出的差异 python scripts/txt2img.py \ --prompt a flying dragon, detailed scales, clouds, epic lighting \ --plms --n_samples 1 --H 512 --W 512 --ddim_steps 50 --seed 1234 python scripts/txt2img.py \ --prompt a flying dragon, detailed scales, storm clouds, dramatic lighting \ --plms --n_samples 1 --H 512 --W 512 --ddim_steps 50 --seed 1234逻辑说明两次命令只有提示词里的clouds和lighting前面的修饰词不同seed 和其余参数完全一致。对比输出就能看出storm和dramatic各自带来了什么变化。参数上--seed的取值范围是 0 到 2^32-1超过这个范围会报错。如果你想批量测试不同 seed写个 bash 循环比手动敲高效得多。# 批量测试 seed输出到不同目录 for s in 100 200 300 400 500; do python scripts/txt2img.py \ --prompt a fantasy castle on a cliff \ --plms --n_samples 1 --H 512 --W 512 --ddim_steps 50 \ --seed $s \ --outdir outputs/seed_$s done逻辑说明--outdir参数指定输出目录不传时默认是outputs/txt2img-samples。循环里每个 seed 单独一个目录方便后续对比。参数上--outdir的路径可以是相对路径也可以是绝对路径目录不存在时会自动创建。还有一个容易被忽略的点txt2img.py的--prompt参数对空格和标点敏感多个关键词之间用逗号加空格分隔不要用中文逗号。如果你从网页复制提示词先检查一遍标点中文逗号会导致整个提示词被当成一个 token出图效果直接崩掉。从那以后我每次粘贴提示词都强制走一遍纯英文标点检查这个习惯帮我省了至少十次无效出图。希望帮到你。本文还有配套的精品资源点击获取
