StableDiffusion3ImageToImage 模型
StableDiffusion3ImageToImage 类
keras_hub.models.StableDiffusion3ImageToImage(backbone, preprocessor, **kwargs)
一个用于图像到图像生成的端到端 Stable Diffusion 3 模型。
此模型具有 generate() 方法，该方法基于参考图像和文本提示的组合生成图像。
参数
- backbone: 一个
keras_hub.models.StableDiffusion3Backbone实例。 - preprocessor: 一个
keras_hub.models.StableDiffusion3TextToImagePreprocessor实例。
示例
使用 generate() 进行图像生成。
prompt = (
"Astronaut in a jungle, cold color palette, muted colors, "
"detailed, 8k"
)
image_to_image = keras_hub.models.StableDiffusion3ImageToImage.from_preset(
"stable_diffusion_3_medium", image_shape=(512, 512, 3)
)
image_to_image.generate(
{
"images": np.ones((512, 512, 3), dtype="float32"),
"prompts": prompt,
}
)
# Generate with batched prompts.
image_to_image.generate(
{
"images": np.ones((2, 512, 512, 3), dtype="float32"),
"prompts": [
"cute wallpaper art of a cat",
"cute wallpaper art of a dog",
],
}
)
# Generate with different `num_steps`, `guidance_scale` and `strength`.
image_to_image.generate(
{
"images": np.ones((512, 512, 3), dtype="float32"),
"prompts": prompt,
}
num_steps=50,
guidance_scale=5.0,
strength=0.6,
)
# Generate with `negative_prompts`.
text_to_image.generate(
{
"images": np.ones((512, 512, 3), dtype="float32"),
"prompts": prompt,
"negative_prompts": "green color",
}
)
from_preset 方法
StableDiffusion3ImageToImage.from_preset(preset, load_weights=True, **kwargs)
从模型预设实例化一个 keras_hub.models.Task。
预设是一个包含配置、权重和其他文件资源的目录，用于保存和加载预训练模型。 preset 可以作为以下之一传递
- 一个内置的预设标识符，如
'bert_base_en' - 一个 Kaggle Models 句柄，如
'kaggle://user/bert/keras/bert_base_en' - 一个 Hugging Face 句柄，如
'hf://user/bert_base_en' - 一个指向本地预设目录的路径，如
'./bert_base_en'
对于任何 Task 子类，您可以运行 cls.presets.keys() 来列出该类上所有可用的内置预设。
此构造函数可以通过两种方式之一调用。 可以从特定于任务的基类（如 keras_hub.models.CausalLM.from_preset()）调用，也可以从模型类（如 keras_hub.models.BertTextClassifier.from_preset()）调用。 如果从基类调用，则返回对象的子类将从预设目录中的配置中推断出来。
参数
- preset: 字符串。 一个内置的预设标识符、Kaggle Models 句柄、Hugging Face 句柄或指向本地目录的路径。
- load_weights: 布尔值。 如果为
True，则保存的权重将加载到模型架构中。 如果为False，则所有权重将被随机初始化。
示例
# Load a Gemma generative task.
causal_lm = keras_hub.models.CausalLM.from_preset(
"gemma_2b_en",
)
# Load a Bert classification task.
model = keras_hub.models.TextClassifier.from_preset(
"bert_base_en",
num_classes=2,
)
| 预设 | 参数 | 描述 |
|---|---|---|
| stable_diffusion_3_medium | 2.99B | 30 亿参数，包括 CLIP L 和 CLIP G 文本编码器、MMDiT 生成模型和 VAE 自动编码器。 由 Stability AI 开发。 |
| stable_diffusion_3.5_medium | 3.37B | 30 亿参数，包括 CLIP L 和 CLIP G 文本编码器、MMDiT-X 生成模型和 VAE 自动编码器。 由 Stability AI 开发。 |
| stable_diffusion_3.5_large | 9.05B | 90 亿参数，包括 CLIP L 和 CLIP G 文本编码器、MMDiT 生成模型和 VAE 自动编码器。 由 Stability AI 开发。 |
| stable_diffusion_3.5_large_turbo | 9.05B | 90 亿参数，包括 CLIP L 和 CLIP G 文本编码器、MMDiT 生成模型和 VAE 自动编码器。 一个时间步提炼版本，消除了无分类器引导，并使用更少的步骤进行生成。 由 Stability AI 开发。 |
backbone 属性
keras_hub.models.StableDiffusion3ImageToImage.backbone
一个具有核心架构的 keras_hub.models.Backbone 模型。
generate 方法
StableDiffusion3ImageToImage.generate(
inputs, num_steps=50, strength=0.8, guidance_scale=7.0, seed=None
)
基于提供的 inputs 生成图像。
通常，inputs 是一个包含 "images" 和 "prompts" 键的字典。 "images" 是值范围在 [-1.0, 1.0] 内的参考图像，将被调整大小为 self.backbone.height 和 self.backbone.width，然后由 VAE 编码器编码到潜在空间。 "prompts" 是将被分词并由文本编码器编码的字符串。
一些模型支持 "negative_prompts" 键，这有助于引导模型避开生成某些样式和元素。 要启用此功能，请将 "negative_prompts" 添加到输入字典中。
如果 inputs 是一个 tf.data.Dataset，则输出将“逐批”生成并连接。 否则，所有输入都将作为批次处理。
参数
- inputs: python 数据、张量数据或
tf.data.Dataset。 格式必须是以下之一- 一个包含
"images"、"prompts"和/或"negative_prompts"键的字典。 - 一个包含
"images"、"prompts"和/或"negative_prompts"键的tf.data.Dataset。
- 一个包含
- num_steps: 整数。 要执行的扩散步骤数。
- strength: 浮点数。 指示参考
images被转换的程度。 必须介于0.0和1.0之间。 当strength=1.0时，images基本上被忽略，添加的噪声最大，并且去噪过程运行在num_steps中指定的完整迭代次数。 - guidance_scale: 可选浮点数。 Classifier-Free Diffusion Guidance 中定义的无分类器引导缩放。 较高的尺度鼓励生成与提示更相关的图像，通常以牺牲较低的图像质量为代价。 请注意，某些模型不使用无分类器引导。
- seed: 可选整数。 用作随机种子。
preprocessor 属性
keras_hub.models.StableDiffusion3ImageToImage.preprocessor
一个用于预处理输入的 keras_hub.models.Preprocessor 层。