► Keras 3 API 文档 / 层 API / 层权重初始化器

层权重初始化器

初始化器的用法

初始化器定义了设置 Keras 层初始随机权重的方式。

用于将初始化器传递给层的关键字参数取决于层。通常，它们只是 kernel_initializer 和 bias_initializer。

from keras import layers
from keras import initializers

layer = layers.Dense(
    units=64,
    kernel_initializer=initializers.RandomNormal(stddev=0.01),
    bias_initializer=initializers.Zeros()
)

所有内置初始化器也可以通过它们的字符串标识符传递。

layer = layers.Dense(
    units=64,
    kernel_initializer='random_normal',
    bias_initializer='zeros'
)

可用的初始化器

以下内置初始化器作为 keras.initializers 模块的一部分提供

[来源]

`RandomNormal` 类

keras.initializers.RandomNormal(mean=0.0, stddev=0.05, seed=None)

随机正态初始化器。

从给定参数的正态分布中抽取样本。

示例

>>> # Standalone usage:
>>> initializer = RandomNormal(mean=0.0, stddev=1.0)
>>> values = initializer(shape=(2, 2))

>>> # Usage in a Keras layer:
>>> initializer = RandomNormal(mean=0.0, stddev=1.0)
>>> layer = Dense(3, kernel_initializer=initializer)

参数

mean: Python 标量或标量 Keras 张量。要生成的随机值的均值。
stddev: Python 标量或标量 Keras 张量。要生成的随机值的标准差。
seed: Python 整数或 keras.backend.SeedGenerator 的实例。用于使初始化器的行为具有确定性。请注意，使用整数或 None（未播种）播种的初始化器将在多次调用中生成相同的随机值。要在多次调用中获得不同的随机值，请使用 keras.backend.SeedGenerator 的实例作为种子。

[来源]

`RandomUniform` 类

keras.initializers.RandomUniform(minval=-0.05, maxval=0.05, seed=None)

随机均匀初始化器。

从给定参数的均匀分布中抽取样本。

示例

>>> # Standalone usage:
>>> initializer = RandomUniform(minval=0.0, maxval=1.0)
>>> values = initializer(shape=(2, 2))

>>> # Usage in a Keras layer:
>>> initializer = RandomUniform(minval=0.0, maxval=1.0)
>>> layer = Dense(3, kernel_initializer=initializer)

参数

minval: Python 标量或标量 Keras 张量。要生成的随机值范围的下限（包括）。
maxval: Python 标量或标量 Keras 张量。要生成的随机值范围的上限（不包括）。
seed: Python 整数或 keras.backend.SeedGenerator 的实例。用于使初始化器的行为具有确定性。请注意，使用整数或 None（未播种）播种的初始化器将在多次调用中生成相同的随机值。要在多次调用中获得不同的随机值，请使用 keras.backend.SeedGenerator 的实例作为种子。

[来源]

`TruncatedNormal` 类

keras.initializers.TruncatedNormal(mean=0.0, stddev=0.05, seed=None)

生成截断正态分布的初始化器。

生成的值与 RandomNormal 初始化器的值相似，不同之处在于，偏离均值超过两个标准差的值将被丢弃并重新绘制。

示例

>>> # Standalone usage:
>>> initializer = TruncatedNormal(mean=0., stddev=1.)
>>> values = initializer(shape=(2, 2))

>>> # Usage in a Keras layer:
>>> initializer = TruncatedNormal(mean=0., stddev=1.)
>>> layer = Dense(3, kernel_initializer=initializer)

参数

mean: Python 标量或标量 Keras 张量。要生成的随机值的均值。
stddev: Python 标量或标量 Keras 张量。要生成的随机值的标准差。
seed: Python 整数或 keras.backend.SeedGenerator 的实例。用于使初始化器的行为具有确定性。请注意，使用整数或 None（未播种）播种的初始化器将在多次调用中生成相同的随机值。要在多次调用中获得不同的随机值，请使用 keras.backend.SeedGenerator 的实例作为种子。

[来源]

`Zeros` 类

keras.initializers.Zeros()

生成初始化为 0 的张量的初始化器。

示例

>>> # Standalone usage:
>>> initializer = Zeros()
>>> values = initializer(shape=(2, 2))

>>> # Usage in a Keras layer:
>>> initializer = Zeros()
>>> layer = Dense(units=3, kernel_initializer=initializer)

[来源]

`Ones` 类

keras.initializers.Ones()

生成初始化为 1 的张量的初始化器。

也可以通过快捷函数 ones 使用。

示例

>>> # Standalone usage:
>>> initializer = Ones()
>>> values = initializer(shape=(2, 2))

>>> # Usage in a Keras layer:
>>> initializer = Ones()
>>> layer = Dense(3, kernel_initializer=initializer)

[来源]

`GlorotNormal` 类

keras.initializers.GlorotNormal(seed=None)

Glorot 正态初始化器，也称为 Xavier 正态初始化器。

从以 0 为中心的截断正态分布中抽取样本，其中 stddev = sqrt(2 / (fan_in + fan_out))，其中 fan_in 是权重张量中的输入单元数，fan_out 是权重张量中的输出单元数。

示例

>>> # Standalone usage:
>>> initializer = GlorotNormal()
>>> values = initializer(shape=(2, 2))

>>> # Usage in a Keras layer:
>>> initializer = GlorotNormal()
>>> layer = Dense(3, kernel_initializer=initializer)

参数

seed: Python 整数或 keras.backend.SeedGenerator 的实例。用于使初始化器的行为具有确定性。请注意，使用整数或 None（未播种）播种的初始化器将在多次调用中生成相同的随机值。要在多次调用中获得不同的随机值，请使用 keras.backend.SeedGenerator 的实例作为种子。

参考

Glorot 等人，2010

[来源]

`GlorotUniform` 类

keras.initializers.GlorotUniform(seed=None)

Glorot 均匀初始化器，也称为 Xavier 均匀初始化器。

从 [-limit, limit] 范围内的均匀分布中抽取样本，其中 limit = sqrt(6 / (fan_in + fan_out)) (fan_in 是权重张量中的输入单元数，fan_out 是输出单元数)。

示例

>>> # Standalone usage:
>>> initializer = GlorotUniform()
>>> values = initializer(shape=(2, 2))

>>> # Usage in a Keras layer:
>>> initializer = GlorotUniform()
>>> layer = Dense(3, kernel_initializer=initializer)

参数

seed: Python 整数或 keras.backend.SeedGenerator 的实例。用于使初始化器的行为具有确定性。请注意，使用整数或 None（未播种）播种的初始化器将在多次调用中生成相同的随机值。要在多次调用中获得不同的随机值，请使用 keras.backend.SeedGenerator 的实例作为种子。

参考

Glorot 等人，2010

[来源]

`HeNormal` 类

keras.initializers.HeNormal(seed=None)

He 正态初始化器。

它从以 0 为中心的截断正态分布中抽取样本，其中 stddev = sqrt(2 / fan_in)，其中 fan_in 是权重张量中的输入单元数。

示例

>>> # Standalone usage:
>>> initializer = HeNormal()
>>> values = initializer(shape=(2, 2))

>>> # Usage in a Keras layer:
>>> initializer = HeNormal()
>>> layer = Dense(3, kernel_initializer=initializer)

参数

seed: Python 整数或 keras.backend.SeedGenerator 的实例。用于使初始化器的行为具有确定性。请注意，使用整数或 None（未播种）播种的初始化器将在多次调用中生成相同的随机值。要在多次调用中获得不同的随机值，请使用 keras.backend.SeedGenerator 的实例作为种子。

参考

He 等人，2015

[来源]

`HeUniform` 类

keras.initializers.HeUniform(seed=None)

He 均匀方差缩放初始化器。

从 [-limit, limit] 范围内的均匀分布中抽取样本，其中 limit = sqrt(6 / fan_in) (fan_in 是权重张量中的输入单元数)。

示例

>>> # Standalone usage:
>>> initializer = HeUniform()
>>> values = initializer(shape=(2, 2))

>>> # Usage in a Keras layer:
>>> initializer = HeUniform()
>>> layer = Dense(3, kernel_initializer=initializer)

参数

seed: Python 整数或 keras.backend.SeedGenerator 的实例。用于使初始化器的行为具有确定性。请注意，使用整数或 None（未播种）播种的初始化器将在多次调用中生成相同的随机值。要在多次调用中获得不同的随机值，请使用 keras.backend.SeedGenerator 的实例作为种子。

参考

He 等人，2015

[来源]

`Orthogonal` 类

keras.initializers.Orthogonal(gain=1.0, seed=None)

生成正交矩阵的初始化器。

如果要初始化的张量的形状是二维的，则使用从正态分布中抽取的随机数的矩阵的 QR 分解获得的正交矩阵进行初始化。如果矩阵的行数少于列数，则输出将具有正交行。否则，输出将具有正交列。

如果要初始化的张量的形状是多维的，则初始化形状为 (shape[0] * ... * shape[n - 2], shape[n - 1]) 的矩阵，其中 n 是形状向量的长度。随后将矩阵重塑为给出所需形状的张量。

示例

>>> # Standalone usage:
>>> initializer = keras.initializers.Orthogonal()
>>> values = initializer(shape=(2, 2))

>>> # Usage in a Keras layer:
>>> initializer = keras.initializers.Orthogonal()
>>> layer = keras.layers.Dense(3, kernel_initializer=initializer)

参数

gain: 应用于正交矩阵的乘法因子。
seed: Python 整数。用于使初始化器的行为具有确定性。

参考

Saxe 等人，2014

[来源]

`Constant` 类

keras.initializers.Constant(value=0.0)

生成具有常数值的张量的初始化器。

只允许使用标量值。提供的常量值在调用初始化器时必须可转换为请求的 dtype。

示例

>>> # Standalone usage:
>>> initializer = Constant(10.)
>>> values = initializer(shape=(2, 2))

>>> # Usage in a Keras layer:
>>> initializer = Constant(10.)
>>> layer = Dense(3, kernel_initializer=initializer)

参数

value: Python 标量。

[来源]

`VarianceScaling` 类

keras.initializers.VarianceScaling(
    scale=1.0, mode="fan_in", distribution="truncated_normal", seed=None
)

使其缩放适应其输入张量形状的初始化器。

当 distribution="truncated_normal" or "untruncated_normal" 时，样本从均值为零且标准差（如果使用，则在截断后）为 stddev = sqrt(scale / n) 的截断/未截断正态分布中抽取，其中 n 是

如果 mode="fan_in"，则为权重张量中的输入单元数
如果 mode="fan_out"，则为输出单元数
如果 mode="fan_avg"，则为输入和输出单元数的平均值

当 distribution="uniform" 时，样本从 [-limit, limit] 范围内的均匀分布中抽取，其中 limit = sqrt(3 * scale / n)。

示例

>>> # Standalone usage:
>>> initializer = VarianceScaling(
    scale=0.1, mode='fan_in', distribution='uniform')
>>> values = initializer(shape=(2, 2))

>>> # Usage in a Keras layer:
>>> initializer = VarianceScaling(
    scale=0.1, mode='fan_in', distribution='uniform')
>>> layer = Dense(3, kernel_initializer=initializer)

参数

scale: 缩放因子（正浮点数）。
mode: "fan_in"、"fan_out"、"fan_avg" 中的一个。
distribution: 要使用的随机分布。"truncated_normal"、"untruncated_normal" 或 "uniform" 中的一个。
seed: Python 整数或 keras.backend.SeedGenerator 的实例。用于使初始化器的行为具有确定性。请注意，使用整数或 None（未播种）播种的初始化器将在多次调用中生成相同的随机值。要在多次调用中获得不同的随机值，请使用 keras.backend.SeedGenerator 的实例作为种子。

[来源]

`LecunNormal` 类

keras.initializers.LecunNormal(seed=None)

Lecun 正态初始化器。

初始化器允许您预先指定初始化策略（编码在 Initializer 对象中），而无需知道要初始化的变量的形状和 dtype。

从以 0 为中心的截断正态分布中抽取样本，其中 stddev = sqrt(1 / fan_in)，其中 fan_in 是权重张量中的输入单元数。

示例

>>> # Standalone usage:
>>> initializer = LecunNormal()
>>> values = initializer(shape=(2, 2))

>>> # Usage in a Keras layer:
>>> initializer = LecunNormal()
>>> layer = Dense(3, kernel_initializer=initializer)

参数

seed: Python 整数或 keras.backend.SeedGenerator 的实例。用于使初始化器的行为具有确定性。请注意，使用整数或 None（未播种）播种的初始化器将在多次调用中生成相同的随机值。要在多次调用中获得不同的随机值，请使用 keras.backend.SeedGenerator 的实例作为种子。

参考

Klambauer 等人，2017

[来源]

`LecunUniform` 类

keras.initializers.LecunUniform(seed=None)

Lecun 均匀初始化器。

从 [-limit, limit] 范围内的均匀分布中抽取样本，其中 limit = sqrt(3 / fan_in) (fan_in 是权重张量中的输入单元数)。

示例

>>> # Standalone usage:
>>> initializer = LecunUniform()
>>> values = initializer(shape=(2, 2))

>>> # Usage in a Keras layer:
>>> initializer = LecunUniform()
>>> layer = Dense(3, kernel_initializer=initializer)

参数

seed: Python 整数或 keras.backend.SeedGenerator 的实例。用于使初始化器的行为具有确定性。请注意，使用整数或 None（未播种）播种的初始化器将在多次调用中生成相同的随机值。要在多次调用中获得不同的随机值，请使用 keras.backend.SeedGenerator 的实例作为种子。

参考

Klambauer 等人，2017

[来源]

`Identity` 类

keras.initializers.IdentityInitializer(gain=1.0)

生成单位矩阵的初始化器。

仅可用于生成 2D 矩阵。

示例

>>> # Standalone usage:
>>> initializer = Identity()
>>> values = initializer(shape=(2, 2))

>>> # Usage in a Keras layer:
>>> initializer = Identity()
>>> layer = Dense(3, kernel_initializer=initializer)

参数

gain: 应用于单位矩阵的乘法因子。

创建自定义初始化器

简单可调用对象

您可以将自定义可调用对象作为初始化器传递。它必须采用参数 shape（要初始化的变量的形状）和 dtype（生成值的 dtype）

def my_init(shape, dtype=None):
    return keras.random.normal(shape, dtype=dtype)

layer = Dense(64, kernel_initializer=my_init)

`Initializer` 子类

如果需要通过各种参数（例如 RandomNormal 中的 stddev 参数）配置初始化器，则应将其实现为 keras.initializers.Initializer 的子类。

初始化器应实现具有以下签名的 __call__ 方法

def __call__(self, shape, dtype=None)`:
    # returns a tensor of shape `shape` and dtype `dtype`
    # containing values drawn from a distribution of your choice.

（可选）您还可以实现方法 get_config 和类方法 from_config 以支持序列化，就像任何 Keras 对象一样。

这是一个简单的示例：随机正态初始化器。

class ExampleRandomNormal(keras.initializers.Initializer):

    def __init__(self, mean, stddev):
      self.mean = mean
      self.stddev = stddev

    def __call__(self, shape, dtype=None)`:
      return keras.random.normal(
          shape, mean=self.mean, stddev=self.stddev, dtype=dtype)

    def get_config(self):  # To support serialization
      return {'mean': self.mean, 'stddev': self.stddev}

请注意，我们不必在上面的示例中实现 from_config，因为类的构造函数参数与 get_config 返回的配置中的键相同。在这种情况下，默认的 from_config 工作正常。

层权重初始化器

◆ 初始化器的用法

◆ 可用的初始化器

RandomNormal 类

RandomUniform 类

TruncatedNormal 类

Zeros 类

Ones 类

GlorotNormal 类

GlorotUniform 类

HeNormal 类

HeUniform 类

Orthogonal 类

Constant 类

VarianceScaling 类

LecunNormal 类

LecunUniform 类

Identity 类

◆ 创建自定义初始化器

简单可调用对象

Initializer 子类

层权重初始化器

初始化器的用法

可用的初始化器

RandomNormal 类

RandomUniform 类

TruncatedNormal 类

Zeros 类

Ones 类

GlorotNormal 类

GlorotUniform 类

HeNormal 类

HeUniform 类

Orthogonal 类

Constant 类

VarianceScaling 类

LecunNormal 类

LecunUniform 类

Identity 类

创建自定义初始化器

简单可调用对象

Initializer 子类

`RandomNormal` 类

`RandomUniform` 类

`TruncatedNormal` 类

`Zeros` 类

`Ones` 类

`GlorotNormal` 类

`GlorotUniform` 类

`HeNormal` 类

`HeUniform` 类

`Orthogonal` 类

`Constant` 类

`VarianceScaling` 类

`LecunNormal` 类

`LecunUniform` 类

`Identity` 类

`Initializer` 子类