Dense
类keras.layers.Dense(
units,
activation=None,
use_bias=True,
kernel_initializer="glorot_uniform",
bias_initializer="zeros",
kernel_regularizer=None,
bias_regularizer=None,
activity_regularizer=None,
kernel_constraint=None,
bias_constraint=None,
lora_rank=None,
lora_alpha=None,
**kwargs
)
一个普通的密集连接神经网络层。
Dense
层执行以下操作:output = activation(dot(input, kernel) + bias)
,其中 activation
是作为 activation
参数传递的逐元素激活函数,kernel
是层创建的权重矩阵,bias
是层创建的偏置向量(仅当 use_bias
为 True
时适用)。
注意:如果层的输入张量阶数大于 2,Dense
层会在 inputs
的最后一个轴和 kernel
的轴 0 之间计算点积(使用 tf.tensordot
)。例如,如果输入维度为 (batch_size, d0, d1)
,则我们创建一个形状为 (d1, units)
的 kernel
,并且 kernel
会沿着 input
的轴 2 对每个形状为 (1, 1, d1)
的子张量进行操作(共有 batch_size * d0
个这样的子张量)。在这种情况下,输出的形状将是 (batch_size, d0, units)
。
参数
a(x) = x
)。kernel
权重矩阵的初始化器。kernel
权重矩阵的正则化函数。kernel
权重矩阵的约束函数。layer.enable_lora(rank)
在现有 Dense
层上启用 LoRA。lora_alpha / lora_rank
进行缩放,这允许您独立于 lora_rank
微调 LoRA 调整的强度。输入形状
N 维张量,形状为:(batch_size, ..., input_dim)
。最常见的情况是形状为 (batch_size, input_dim)
的 2D 输入。
输出形状
N 维张量,形状为:(batch_size, ..., units)
。例如,对于形状为 (batch_size, input_dim)
的 2D 输入,输出形状将是 (batch_size, units)
。