► Keras 3 API 文档 / 层 API / 层权重初始化器

层权重初始化器

初始化器的使用

初始化器定义了 Keras 层初始随机权重的方式。

传递初始化器给层的关键字参数取决于具体层。通常，这只是 kernel_initializer 和 bias_initializer。

from keras import layers
from keras import initializers

layer = layers.Dense(
    units=64,
    kernel_initializer=initializers.RandomNormal(stddev=0.01),
    bias_initializer=initializers.Zeros()
)

所有内置初始化器也可以通过其字符串标识符传递。

layer = layers.Dense(
    units=64,
    kernel_initializer='random_normal',
    bias_initializer='zeros'
)

可用初始化器

以下内置初始化器可在 keras.initializers 模块中使用。

[源代码]

`RandomNormal` 类

keras.initializers.RandomNormal(mean=0.0, stddev=0.05, seed=None)

随机正态初始化器。

根据给定的参数从正态分布中抽取样本。

示例

>>> # Standalone usage:
>>> initializer = RandomNormal(mean=0.0, stddev=1.0)
>>> values = initializer(shape=(2, 2))

>>> # Usage in a Keras layer:
>>> initializer = RandomNormal(mean=0.0, stddev=1.0)
>>> layer = Dense(3, kernel_initializer=initializer)

参数

mean: 一个 Python 标量或一个 Keras 张量。要生成的随机值的均值。
stddev: 一个 Python 标量或一个 Keras 张量。要生成的随机值的标准差。
seed: 一个 Python 整数或 keras.backend.SeedGenerator 的实例。用于使初始化器的行为确定化。请注意，使用整数或 None（未种子化）初始化的初始化器将在多次调用中产生相同的随机值。要获得多次调用之间的不同随机值，请使用 keras.backend.SeedGenerator 的实例作为种子。

[源代码]

`RandomUniform` 类

keras.initializers.RandomUniform(minval=-0.05, maxval=0.05, seed=None)

随机均匀初始化器。

根据给定的参数从均匀分布中抽取样本。

示例

>>> # Standalone usage:
>>> initializer = RandomUniform(minval=0.0, maxval=1.0)
>>> values = initializer(shape=(2, 2))

>>> # Usage in a Keras layer:
>>> initializer = RandomUniform(minval=0.0, maxval=1.0)
>>> layer = Dense(3, kernel_initializer=initializer)

参数

minval: 一个 Python 标量或一个 Keras 张量。要生成的随机值的范围下限（含）。
maxval: 一个 Python 标量或一个 Keras 张量。要生成的随机值的范围上限（不含）。
seed: 一个 Python 整数或 keras.backend.SeedGenerator 的实例。用于使初始化器的行为确定化。请注意，使用整数或 None（未种子化）初始化的初始化器将在多次调用中产生相同的随机值。要获得多次调用之间的不同随机值，请使用 keras.backend.SeedGenerator 的实例作为种子。

[源代码]

`TruncatedNormal` 类

keras.initializers.TruncatedNormal(mean=0.0, stddev=0.05, seed=None)

生成截断正态分布的初始化器。

生成的值类似于 RandomNormal 初始化器的值，不同之处在于，与均值相差两个标准差以上的值将被丢弃并重新抽取。

示例

>>> # Standalone usage:
>>> initializer = TruncatedNormal(mean=0., stddev=1.)
>>> values = initializer(shape=(2, 2))

>>> # Usage in a Keras layer:
>>> initializer = TruncatedNormal(mean=0., stddev=1.)
>>> layer = Dense(3, kernel_initializer=initializer)

参数

mean: 一个 Python 标量或一个 Keras 张量。要生成的随机值的均值。
stddev: 一个 Python 标量或一个 Keras 张量。要生成的随机值的标准差。
seed: 一个 Python 整数或 keras.backend.SeedGenerator 的实例。用于使初始化器的行为确定化。请注意，使用整数或 None（未种子化）初始化的初始化器将在多次调用中产生相同的随机值。要获得多次调用之间的不同随机值，请使用 keras.backend.SeedGenerator 的实例作为种子。

[源代码]

`Zeros` 类

keras.initializers.Zeros()

生成初始化为 0 的张量的初始化器。

示例

>>> # Standalone usage:
>>> initializer = Zeros()
>>> values = initializer(shape=(2, 2))

>>> # Usage in a Keras layer:
>>> initializer = Zeros()
>>> layer = Dense(units=3, kernel_initializer=initializer)

[源代码]

`Ones` 类

keras.initializers.Ones()

生成初始化为 1 的张量的初始化器。

也可以通过快捷函数 ones 使用。

示例

>>> # Standalone usage:
>>> initializer = Ones()
>>> values = initializer(shape=(2, 2))

>>> # Usage in a Keras layer:
>>> initializer = Ones()
>>> layer = Dense(3, kernel_initializer=initializer)

[源代码]

`GlorotNormal` 类

keras.initializers.GlorotNormal(seed=None)

Glorot 正态初始化器，也称为 Xavier 正态初始化器。

从一个以 0 为中心、标准差为 stddev = sqrt(2 / (fan_in + fan_out)) 的截断正态分布中抽取样本，其中 fan_in 是权重张量的输入单元数，fan_out 是权重张量的输出单元数。

示例

>>> # Standalone usage:
>>> initializer = GlorotNormal()
>>> values = initializer(shape=(2, 2))

>>> # Usage in a Keras layer:
>>> initializer = GlorotNormal()
>>> layer = Dense(3, kernel_initializer=initializer)

参数

seed: 一个 Python 整数或 keras.backend.SeedGenerator 的实例。用于使初始化器的行为确定化。请注意，使用整数或 None（未种子化）初始化的初始化器将在多次调用中产生相同的随机值。要获得多次调用之间的不同随机值，请使用 keras.backend.SeedGenerator 的实例作为种子。

参考

Glorot 等人，2010

[源代码]

`GlorotUniform` 类

keras.initializers.GlorotUniform(seed=None)

Glorot 均匀初始化器，也称为 Xavier 均匀初始化器。

从 [-limit, limit] 范围内的均匀分布中抽取样本，其中 limit = sqrt(6 / (fan_in + fan_out))（fan_in 是权重张量的输入单元数，fan_out 是权重张量的输出单元数）。

示例

>>> # Standalone usage:
>>> initializer = GlorotUniform()
>>> values = initializer(shape=(2, 2))

>>> # Usage in a Keras layer:
>>> initializer = GlorotUniform()
>>> layer = Dense(3, kernel_initializer=initializer)

参数

seed: 一个 Python 整数或 keras.backend.SeedGenerator 的实例。用于使初始化器的行为确定化。请注意，使用整数或 None（未种子化）初始化的初始化器将在多次调用中产生相同的随机值。要获得多次调用之间的不同随机值，请使用 keras.backend.SeedGenerator 的实例作为种子。

参考

Glorot 等人，2010

[源代码]

`HeNormal` 类

keras.initializers.HeNormal(seed=None)

He 正态初始化器。

它从一个以 0 为中心、标准差为 stddev = sqrt(2 / fan_in) 的截断正态分布中抽取样本，其中 fan_in 是权重张量的输入单元数。

示例

>>> # Standalone usage:
>>> initializer = HeNormal()
>>> values = initializer(shape=(2, 2))

>>> # Usage in a Keras layer:
>>> initializer = HeNormal()
>>> layer = Dense(3, kernel_initializer=initializer)

参数

seed: 一个 Python 整数或 keras.backend.SeedGenerator 的实例。用于使初始化器的行为确定化。请注意，使用整数或 None（未种子化）初始化的初始化器将在多次调用中产生相同的随机值。要获得多次调用之间的不同随机值，请使用 keras.backend.SeedGenerator 的实例作为种子。

参考

He 等人，2015

[源代码]

`HeUniform` 类

keras.initializers.HeUniform(seed=None)

He 均匀方差缩放初始化器。

从 [-limit, limit] 范围内的均匀分布中抽取样本，其中 limit = sqrt(6 / fan_in)（fan_in 是权重张量的输入单元数）。

示例

>>> # Standalone usage:
>>> initializer = HeUniform()
>>> values = initializer(shape=(2, 2))

>>> # Usage in a Keras layer:
>>> initializer = HeUniform()
>>> layer = Dense(3, kernel_initializer=initializer)

参数

seed: 一个 Python 整数或 keras.backend.SeedGenerator 的实例。用于使初始化器的行为确定化。请注意，使用整数或 None（未种子化）初始化的初始化器将在多次调用中产生相同的随机值。要获得多次调用之间的不同随机值，请使用 keras.backend.SeedGenerator 的实例作为种子。

参考

He 等人，2015

[源代码]

`Orthogonal` 类

keras.initializers.Orthogonal(gain=1.0, seed=None)

生成正交矩阵的初始化器。

如果待初始化张量的形状是二维的，它将使用从正态分布中抽取的随机数矩阵的 QR 分解得到正交矩阵进行初始化。如果矩阵的行数少于列数，则输出具有正交的行。否则，输出将具有正交的列。

如果待初始化张量的形状是多维的，将初始化一个形状为 (shape[0] * ... * shape[n - 2], shape[n - 1]) 的矩阵，其中 n 是形状向量的长度。然后将该矩阵重塑为所需的形状。

示例

>>> # Standalone usage:
>>> initializer = keras.initializers.Orthogonal()
>>> values = initializer(shape=(2, 2))

>>> # Usage in a Keras layer:
>>> initializer = keras.initializers.Orthogonal()
>>> layer = keras.layers.Dense(3, kernel_initializer=initializer)

参数

gain: 应用于正交矩阵的乘数。
seed: 一个 Python 整数。用于使初始化器的行为确定化。

参考

Saxe 等人，2014

[源代码]

`Constant` 类

keras.initializers.Constant(value=0.0)

生成具有恒定值的张量的初始化器。

只允许标量值。提供的常量值必须能够转换为调用初始化器时请求的 dtype。

示例

>>> # Standalone usage:
>>> initializer = Constant(10.)
>>> values = initializer(shape=(2, 2))

>>> # Usage in a Keras layer:
>>> initializer = Constant(10.)
>>> layer = Dense(3, kernel_initializer=initializer)

参数

value: 一个 Python 标量。

[源代码]

`VarianceScaling` 类

keras.initializers.VarianceScaling(
    scale=1.0, mode="fan_in", distribution="truncated_normal", seed=None
)

根据其输入张量形状调整其尺度的初始化器。

当 distribution="truncated_normal" 或 "untruncated_normal" 时，从具有零均值和标准差（截断后（如果使用）为 stddev = sqrt(scale / n)）的截断/未截断正态分布中抽取样本，其中 n 是

权重张量的输入单元数，如果 mode="fan_in"。
输出单元数，如果 mode="fan_out"。
输入和输出单元数的平均值，如果 mode="fan_avg"。

当 distribution="uniform" 时，从 [-limit, limit] 范围内的均匀分布中抽取样本，其中 limit = sqrt(3 * scale / n)。

示例

>>> # Standalone usage:
>>> initializer = VarianceScaling(
    scale=0.1, mode='fan_in', distribution='uniform')
>>> values = initializer(shape=(2, 2))

>>> # Usage in a Keras layer:
>>> initializer = VarianceScaling(
    scale=0.1, mode='fan_in', distribution='uniform')
>>> layer = Dense(3, kernel_initializer=initializer)

参数

scale: 缩放因子（正浮点数）。
mode: "fan_in", "fan_out", "fan_avg" 之一。
distribution: 要使用的随机分布。"truncated_normal", "untruncated_normal", 或 "uniform" 之一。
seed: 一个 Python 整数或 keras.backend.SeedGenerator 的实例。用于使初始化器的行为确定化。请注意，使用整数或 None（未种子化）初始化的初始化器将在多次调用中产生相同的随机值。要获得多次调用之间的不同随机值，请使用 keras.backend.SeedGenerator 的实例作为种子。

[源代码]

`LecunNormal` 类

keras.initializers.LecunNormal(seed=None)

Lecun 正态初始化器。

初始化器允许您预先指定一个初始化策略，该策略已编码在 Initializer 对象中，而无需知道待初始化变量的形状和 dtype。

从一个以 0 为中心、标准差为 stddev = sqrt(1 / fan_in) 的截断正态分布中抽取样本，其中 fan_in 是权重张量的输入单元数。

示例

>>> # Standalone usage:
>>> initializer = LecunNormal()
>>> values = initializer(shape=(2, 2))

>>> # Usage in a Keras layer:
>>> initializer = LecunNormal()
>>> layer = Dense(3, kernel_initializer=initializer)

参数

seed: 一个 Python 整数或 keras.backend.SeedGenerator 的实例。用于使初始化器的行为确定化。请注意，使用整数或 None（未种子化）初始化的初始化器将在多次调用中产生相同的随机值。要获得多次调用之间的不同随机值，请使用 keras.backend.SeedGenerator 的实例作为种子。

参考

Klambauer 等人，2017 年

[源代码]

`LecunUniform` 类

keras.initializers.LecunUniform(seed=None)

Lecun 均匀初始化器。

从 [-limit, limit] 范围内的均匀分布中抽取样本，其中 limit = sqrt(3 / fan_in)（fan_in 是权重张量的输入单元数）。

示例

>>> # Standalone usage:
>>> initializer = LecunUniform()
>>> values = initializer(shape=(2, 2))

>>> # Usage in a Keras layer:
>>> initializer = LecunUniform()
>>> layer = Dense(3, kernel_initializer=initializer)

参数

seed: 一个 Python 整数或 keras.backend.SeedGenerator 的实例。用于使初始化器的行为确定化。请注意，使用整数或 None（未种子化）初始化的初始化器将在多次调用中产生相同的随机值。要获得多次调用之间的不同随机值，请使用 keras.backend.SeedGenerator 的实例作为种子。

参考

Klambauer 等人，2017 年

[源代码]

`Identity` 类

keras.initializers.IdentityInitializer(gain=1.0)

生成单位矩阵的初始化器。

只能用于生成二维矩阵。

示例

>>> # Standalone usage:
>>> initializer = Identity()
>>> values = initializer(shape=(2, 2))

>>> # Usage in a Keras layer:
>>> initializer = Identity()
>>> layer = Dense(3, kernel_initializer=initializer)

参数

gain: 应用于单位矩阵的乘数。

创建自定义初始化器

简单的可调用对象

您可以将自定义的可调用对象作为初始化器传递。它必须接受 shape（待初始化变量的形状）和 dtype（生成值的 dtype）参数。

def my_init(shape, dtype=None):
    return keras.random.normal(shape, dtype=dtype)

layer = Dense(64, kernel_initializer=my_init)

`Initializer` 子类

如果您需要通过各种参数配置您的初始化器（例如 RandomNormal 中的 stddev 参数），您应该将其实现为 keras.initializers.Initializer 的子类。

初始化器应实现具有以下签名的 __call__ 方法。

def __call__(self, shape, dtype=None)`:
    # returns a tensor of shape `shape` and dtype `dtype`
    # containing values drawn from a distribution of your choice.

可选地，您还可以实现 get_config 方法和类方法 from_config 以支持序列化 – 就像任何 Keras 对象一样。

这是一个简单的例子：一个随机正态初始化器。

class ExampleRandomNormal(keras.initializers.Initializer):

    def __init__(self, mean, stddev):
      self.mean = mean
      self.stddev = stddev

    def __call__(self, shape, dtype=None)`:
      return keras.random.normal(
          shape, mean=self.mean, stddev=self.stddev, dtype=dtype)

    def get_config(self):  # To support serialization
      return {'mean': self.mean, 'stddev': self.stddev}

请注意，我们在上面的示例中不必实现 from_config，因为类的构造函数参数与 get_config 返回的配置中的键相同。在这种情况下，默认的 from_config 工作正常。

层权重初始化器

初始化器的使用

可用初始化器

RandomNormal 类

RandomUniform 类

TruncatedNormal 类

Zeros 类

Ones 类

GlorotNormal 类

GlorotUniform 类

HeNormal 类

HeUniform 类

Orthogonal 类

Constant 类

VarianceScaling 类

LecunNormal 类

LecunUniform 类

Identity 类

创建自定义初始化器

简单的可调用对象

Initializer 子类

`RandomNormal` 类

`RandomUniform` 类

`TruncatedNormal` 类

`Zeros` 类

`Ones` 类

`GlorotNormal` 类

`GlorotUniform` 类

`HeNormal` 类

`HeUniform` 类

`Orthogonal` 类

`Constant` 类

`VarianceScaling` 类

`LecunNormal` 类

`LecunUniform` 类

`Identity` 类

`Initializer` 子类