► Keras 3 API 文档 / 层 API / 核心层 / EinsumDense 层

EinsumDense 层

`EinsumDense` 类

keras.layers.EinsumDense(
    equation,
    output_shape,
    activation=None,
    bias_axes=None,
    kernel_initializer="glorot_uniform",
    bias_initializer="zeros",
    kernel_regularizer=None,
    bias_regularizer=None,
    kernel_constraint=None,
    bias_constraint=None,
    lora_rank=None,
    **kwargs
)

一个使用einsum作为底层计算的层。

此层可以执行任意维度的 einsum 计算。

参数

equation: 描述要执行的 einsum 的公式。此公式必须是有效的 einsum 字符串，格式为ab,bc->ac、...ab,bc->...ac或ab...,bc->ac...，其中“ab”、“bc”和“ac”可以是任何有效的 einsum 轴表达式序列。
output_shape: 输出张量的预期形状（不包括批次维度和由省略号表示的任何维度）。对于任何未知或可以从输入形状推断出的维度，您可以指定None。
activation: 要使用的激活函数。如果您未指定任何内容，则不应用任何激活（即“线性”激活：a(x) = x）。
bias_axes: 包含要应用偏差的输出维度(s)的字符串。bias_axes字符串中的每个字符都应该对应于equation字符串输出部分中的一个字符。
kernel_initializer: kernel权重矩阵的初始化器。
bias_initializer: 偏差向量的初始化器。
kernel_regularizer: 应用于kernel权重矩阵的正则化函数。
bias_regularizer: 应用于偏差向量的正则化函数。
kernel_constraint: 应用于kernel权重矩阵的约束函数。
bias_constraint: 应用于偏差向量的约束函数。
lora_rank: 可选整数。如果设置，则层的正向传递将使用提供的秩实现 LoRA（低秩自适应）。LoRA 将层的内核设置为不可训练，并用原始内核上的增量替换它，该增量通过将两个低秩可训练矩阵相乘获得（分解发生在最后一个维度上）。这对于减少微调大型密集层的计算成本很有用。您还可以通过调用layer.enable_lora(rank)在现有的EinsumDense层上启用 LoRA。
**kwargs: 基础层关键字参数，例如name和dtype。

示例

使用 einsum 的带偏差的密集层

此示例演示如何使用 einsum 操作实例化标准 Keras 密集层。此示例等效于keras.layers.Dense(64, use_bias=True)。

>>> layer = keras.layers.EinsumDense("ab,bc->ac",
...                                       output_shape=64,
...                                       bias_axes="c")
>>> input_tensor = keras.Input(shape=[32])
>>> output_tensor = layer(input_tensor)
>>> output_tensor.shape
(None, 64)

将密集层应用于序列

此示例演示如何实例化一个将相同的密集操作应用于序列中每个元素的层。此处，output_shape有两个值（因为输出中有两个非批次维度）；output_shape中的第一个维度是None，因为序列维度b具有未知形状。

>>> layer = keras.layers.EinsumDense("abc,cd->abd",
...                                       output_shape=(None, 64),
...                                       bias_axes="d")
>>> input_tensor = keras.Input(shape=[32, 128])
>>> output_tensor = layer(input_tensor)
>>> output_tensor.shape
(None, 32, 64)

使用省略号将密集层应用于序列

此示例演示如何实例化一个将相同的密集操作应用于序列中每个元素的层，但使用省略号表示法而不是指定批次和序列维度。

因为我们使用省略号表示法并且只指定了一个轴，所以output_shape参数是一个单值。以这种方式实例化时，该层可以处理任意数量的序列维度 - 包括不存在序列维度的情况。

>>> layer = keras.layers.EinsumDense("...x,xy->...y",
...                                       output_shape=64,
...                                       bias_axes="y")
>>> input_tensor = keras.Input(shape=[32, 128])
>>> output_tensor = layer(input_tensor)
>>> output_tensor.shape
(None, 32, 64)

EinsumDense 层

EinsumDense 类

EinsumDense 层

EinsumDense 类

`EinsumDense` 类