全连接层

`Dense` 类

keras.layers.Dense(
    units,
    activation=None,
    use_bias=True,
    kernel_initializer="glorot_uniform",
    bias_initializer="zeros",
    kernel_regularizer=None,
    bias_regularizer=None,
    activity_regularizer=None,
    kernel_constraint=None,
    bias_constraint=None,
    lora_rank=None,
    lora_alpha=None,
    **kwargs
)

只是你常规的全连接神经网络层。

Dense 实现的操作为：output = activation(dot(input, kernel) + bias)，其中 activation 是作为 activation 参数传递的逐元素激活函数，kernel 是由该层创建的权重矩阵，bias 是由该层创建的偏置向量（仅当 use_bias 为 True 时适用）。

注意：如果该层的输入秩大于 2，Dense 会沿着输入的最后一个轴和 kernel 的第 0 轴计算 inputs 和 kernel 之间的点积（使用 tf.tensordot）。例如，如果输入具有维度 (batch_size, d0, d1)，那么我们创建一个形状为 (d1, units) 的 kernel，并且 kernel 沿着输入的第 2 轴操作，对每个形状为 (1, 1, d1) 的子张量（有 batch_size * d0 个这样的子张量）。在这种情况下，输出的形状将是 (batch_size, d0, units)。

参数

units：正整数，输出空间的维度。
activation：要使用的激活函数。如果未指定，则不应用激活（即“线性”激活：a(x) = x）。
use_bias：布尔值，表示该层是否使用偏置向量。
kernel_initializer：kernel 权重矩阵的初始化器。
bias_initializer：偏置向量的初始化器。
kernel_regularizer：应用于 kernel 权重矩阵的正则化函数。
bias_regularizer：应用于偏置向量的正则化函数。
activity_regularizer：应用于层输出（其“激活”）的正则化器函数。
kernel_constraint：应用于 kernel 权重矩阵的约束函数。
bias_constraint：应用于偏置向量的约束函数。
lora_rank：可选整数。如果设置，该层的正向传播将实现具有给定秩的 LoRA（低秩适配）。LoRA 将该层的 kernel 设置为不可训练，并用通过乘以两个较低秩的可训练矩阵获得的增量替换它。这对于降低微调大型全连接层的计算成本非常有用。您也可以通过调用 layer.enable_lora(rank) 来在现有 Dense 层上启用 LoRA。
lora_alpha：可选整数。如果设置，此参数在正向传播期间缩放低秩适配增量（由两个较低秩的可训练矩阵的乘积计算得出）。增量将乘以 lora_alpha / lora_rank，允许您独立于 lora_rank 微调 LoRA 调整的强度。

输入形状

N 维张量，形状为：(batch_size, ..., input_dim)。最常见的情况是 2D 输入，形状为 (batch_size, input_dim)。

输出形状

N 维张量，形状为：(batch_size, ..., units)。例如，对于形状为 (batch_size, input_dim) 的 2D 输入，输出的形状将是 (batch_size, units)。

全连接层

Dense 类

全连接层

Dense 类

`Dense` 类