StableDiffusion3Backbone 模型

[源代码]

StableDiffusion3Backbone 类

keras_hub.models.StableDiffusion3Backbone(
    mmdit_patch_size,
    mmdit_hidden_dim,
    mmdit_num_layers,
    mmdit_num_heads,
    mmdit_position_size,
    mmdit_qk_norm,
    mmdit_dual_attention_indices,
    vae,
    clip_l,
    clip_g,
    t5=None,
    latent_channels=16,
    output_channels=3,
    num_train_timesteps=1000,
    shift=3.0,
    image_shape=(1024, 1024, 3),
    data_format=None,
    dtype=None,
    **kwargs
)

具有超参数的Stable Diffusion 3核心网络。

此骨干网络导入CLIP和T5模型作为文本编码器，并实现了Stable Diffusion 3模型的基准MMDiT和VAE网络。

默认构造函数提供了完全可定制的、随机初始化的MMDiT和VAE模型，具有任意超参数。要加载预设架构和权重，请使用from_preset构造函数。

参数

• mmdit_patch_size: int。MMDiT中输入图像的每个方形块的大小。
• mmdit_hidden_dim: int。MMDiT中每个Transformer层末端的隐藏状态的大小。
• mmdit_num_layers: int。MMDiT中Transformer层的数量。
• mmdit_num_heads: int。MMDiT中每个Transformer的注意力头数量。
• mmdit_position_size: int。MMDiT中位置嵌入的高度和宽度大小。
• mmdit_qk_norm: Optional str。是否对MMDiT中每个Transformer的查询和键张量进行归一化。可用选项为None和"rms_norm"。通常，对于3.0版本设置为None，对于3.5版本设置为"rms_norm"。
• mmdit_dual_attention_indices: Optional tuple。指定作为双注意力块的块的索引。通常，这是为了3.5版本。默认为None。
• vae: 用于在像素空间和潜在空间之间进行转换的VAE。
• clip_l: 用于编码输入的CLIP文本编码器。
• clip_g: 用于编码输入的CLIP文本编码器。
• t5: optional 用于编码输入的T5文本编码器。
• latent_channels: int。潜在空间中的通道数。默认为16。
• output_channels: int。输出中的通道数。默认为3。
• num_train_timesteps: int。用于训练模型的扩散步数。默认为1000。
• shift: float。时间步长调度器的移位值。默认为3.0。
• image_shape: tuple。不包含批量大小的输入形状。默认为(1024, 1024, 3)。
• data_format: None或str。如果指定，则为"channels_last"或"channels_first"。输入维度的顺序。"channels_last"对应于形状为(batch_size, height, width, channels)的输入，而"channels_first"对应于形状为(batch_size, channels, height, width)的输入。它默认为Keras配置文件~/.keras/keras.json中找到的image_data_format值。如果您从未设置过，则默认为"channels_last"。
• dtype: string或keras.mixed_precision.DTypePolicy。用于模型计算和权重的dtype。请注意，某些计算（如softmax和层归一化）将始终以float32精度进行，而与dtype无关。

示例

# Pretrained Stable Diffusion 3 model.
model = keras_hub.models.StableDiffusion3Backbone.from_preset(
    "stable_diffusion_3_medium"
)

# Randomly initialized Stable Diffusion 3 model with custom config.
vae = keras_hub.models.VAEBackbone(...)
clip_l = keras_hub.models.CLIPTextEncoder(...)
clip_g = keras_hub.models.CLIPTextEncoder(...)
model = keras_hub.models.StableDiffusion3Backbone(
    mmdit_patch_size=2,
    mmdit_num_heads=4,
    mmdit_hidden_dim=256,
    mmdit_depth=4,
    mmdit_position_size=192,
    mmdit_qk_norm=None,
    mmdit_dual_attention_indices=None,
    vae=vae,
    clip_l=clip_l,
    clip_g=clip_g,
)

[源代码]

from_preset 方法

StableDiffusion3Backbone.from_preset(preset, load_weights=True, **kwargs)

从模型预设实例化一个 keras_hub.models.Backbone。

预设是一个包含配置、权重和其他文件资源的目录，用于保存和加载预训练模型。preset 可以作为以下之一传递：

1. 一个内置的预设标识符，如 'bert_base_en'
2. 一个 Kaggle Models 句柄，如 'kaggle://user/bert/keras/bert_base_en'
3. 一个 Hugging Face 句柄，如 'hf://user/bert_base_en'
4. 一个 ModelScope 句柄，例如 'modelscope://user/bert_base_en'。
5. 一个本地预设目录的路径，如 './bert_base_en'

此构造函数可以通过两种方式之一调用。要么从基类调用，如 keras_hub.models.Backbone.from_preset()，要么从模型类调用，如 keras_hub.models.GemmaBackbone.from_preset()。如果从基类调用，则返回对象的子类将根据预设目录中的配置进行推断。

对于任何 Backbone 子类，您可以运行 cls.presets.keys() 来列出该类上所有可用的内置预设。

参数

• preset：字符串。一个内置预设标识符、一个 Kaggle Models 句柄、一个 Hugging Face 句柄或一个本地目录的路径。
• load_weights：布尔值。如果为 `True`，权重将被加载到模型架构中。如果为 `False`，权重将被随机初始化。

示例

# Load a Gemma backbone with pre-trained weights.
model = keras_hub.models.Backbone.from_preset(
    "gemma_2b_en",
)

# Load a Bert backbone with a pre-trained config and random weights.
model = keras_hub.models.Backbone.from_preset(
    "bert_base_en",
    load_weights=False,
)