EinsumDense
类keras.layers.EinsumDense(
equation,
output_shape,
activation=None,
bias_axes=None,
kernel_initializer="glorot_uniform",
bias_initializer="zeros",
kernel_regularizer=None,
bias_regularizer=None,
kernel_constraint=None,
bias_constraint=None,
lora_rank=None,
lora_alpha=None,
**kwargs
)
一个使用 einsum
作为底层计算的层。
此层可以执行任意维度的 einsum 计算。
参数
ab,bc->ac
、...ab,bc->...ac
或 ab...,bc->ac...
,其中 'ab'、'bc' 和 'ac' 可以是任何有效的 einsum 轴表达式序列。None
。a(x) = x
)。bias_axes
字符串中的每个字符应对应于 equation
字符串输出部分中的一个字符。kernel
权重矩阵的初始化器。kernel
权重矩阵的正则化函数。kernel
权重矩阵的约束函数。layer.enable_lora(rank)
在现有的 EinsumDense
层上启用 LoRA。lora_alpha: 可选整数。如果设置,此参数在正向传播期间缩放低秩适应 delta(计算为两个较低秩可训练矩阵的乘积)。delta 通过 lora_alpha / lora_rank
进行缩放,使您能够独立于 lora_rank
微调 LoRA 调整的强度。name
和 dtype
。示例
使用 einsum 的带偏置的全连接层
此示例展示了如何使用 einsum 运算实例化标准的 Keras 全连接层。此示例等效于 keras.layers.Dense(64, use_bias=True)
。
>>> layer = keras.layers.EinsumDense("ab,bc->ac",
... output_shape=64,
... bias_axes="c")
>>> input_tensor = keras.Input(shape=[32])
>>> output_tensor = layer(input_tensor)
>>> output_tensor.shape
(None, 64)
将全连接层应用于序列
此示例展示了如何实例化一个将相同的全连接运算应用于序列中每个元素的层。这里,output_shape
有两个值(因为输出中有两个非批次维度);output_shape
中的第一个维度是 None
,因为序列维度 b
的形状未知。
>>> layer = keras.layers.EinsumDense("abc,cd->abd",
... output_shape=(None, 64),
... bias_axes="d")
>>> input_tensor = keras.Input(shape=[32, 128])
>>> output_tensor = layer(input_tensor)
>>> output_tensor.shape
(None, 32, 64)
使用省略号将全连接层应用于序列
此示例展示了如何实例化一个将相同的全连接运算应用于序列中每个元素的层,但使用省略号记法而不是指定批次和序列维度。
因为我们使用了省略号记法并且只指定了一个轴,所以 output_shape
参数是一个单值。以此方式实例化时,该层可以处理任意数量的序列维度 - 包括不存在序列维度的情况。
>>> layer = keras.layers.EinsumDense("...x,xy->...y",
... output_shape=64,
... bias_axes="y")
>>> input_tensor = keras.Input(shape=[32, 128])
>>> output_tensor = layer(input_tensor)
>>> output_tensor.shape
(None, 32, 64)