Hashing 层

[源代码]

Hashing

keras.layers.Hashing(
    num_bins, mask_value=None, salt=None, output_mode="int", sparse=False, **kwargs
)

一个对分类特征进行哈希和分箱的预处理层。

此层将分类输入转换为哈希输出。它将整数或字符串元素wise地转换为固定范围内的整数。稳定的哈希函数使用 tensorflow::ops::Fingerprint 在所有平台上一致地生成相同的输出。

此层默认使用 FarmHash64,它在不同平台之间提供一致的哈希输出,并且无论设备和上下文如何,通过彻底混合输入位,都能在调用之间保持稳定。

如果您想混淆哈希输出,也可以在构造函数中传入随机的 salt 参数。在这种情况下,该层将使用 SipHash64 哈希函数,并将 salt 值作为哈希函数的额外输入。

注意:此层内部使用 TensorFlow。除了 TensorFlow 之外,它不能作为模型编译计算图的一部分使用。但是,在急切执行时,它可以与任何后端一起使用。它也可以始终作为任何后端(模型本身之外)输入预处理管道的一部分使用,这也是我们建议使用此层的方式。

注意:此层可以在 tf.data 管道中使用(与您使用的后端无关)。

示例 (FarmHash64)

>>> layer = keras.layers.Hashing(num_bins=3)
>>> inp = [['A'], ['B'], ['C'], ['D'], ['E']]
>>> layer(inp)
array([[1],
        [0],
        [1],
        [1],
        [2]])>

带掩码值的示例 (FarmHash64)

>>> layer = keras.layers.Hashing(num_bins=3, mask_value='')
>>> inp = [['A'], ['B'], [''], ['C'], ['D']]
>>> layer(inp)
array([[1],
        [1],
        [0],
        [2],
        [2]])

示例 (SipHash64)

>>> layer = keras.layers.Hashing(num_bins=3, salt=[133, 137])
>>> inp = [['A'], ['B'], ['C'], ['D'], ['E']]
>>> layer(inp)
array([[1],
        [2],
        [1],
        [0],
        [2]])

示例 (Siphash64,带单个整数,与 salt=[133, 133] 相同)

>>> layer = keras.layers.Hashing(num_bins=3, salt=133)
>>> inp = [['A'], ['B'], ['C'], ['D'], ['E']]
>>> layer(inp)
array([[0],
        [0],
        [2],
        [1],
        [0]])

参数

  • num_bins: 哈希桶的数量。请注意,这包括 mask_value 桶,因此如果设置了 mask_value,则有效桶的数量为 (num_bins - 1)
  • mask_value: 表示被掩码输入的掩码值,它被映射到索引 0。None 表示不添加掩码项,哈希将从索引 0 开始。默认为 None
  • salt: 单个无符号整数或 None。如果传入,将使用 SipHash64 哈希函数,这些值将用作附加输入(在密码学中称为“盐”)。这些值应为非零。如果为 None,则使用 FarmHash64 哈希函数。它还支持包含 2 个无符号整数的元组/列表,详情请参阅参考论文。默认为 None
  • output_mode:层输出的规范。值可以是 "int""one_hot""multi_hot""count",配置层如下:
    • "int":直接返回整数桶索引。
    • "one_hot": 将输入中的每个单独元素编码成一个与 num_bins 大小相同的数组,在输入对应的桶索引处包含一个 1。如果最后一维的大小为 1,则在该维上进行编码。如果最后一维的大小不为 1,则会为编码输出附加一个新维度。
    • "multi_hot": 将输入中的每个样本编码成一个与 num_bins 大小相同的单个数组,其中包含样本中存在的每个桶索引的 1。如果输入形状为 (..., sample_length),则将最后一维视为样本维,输出形状将为 (..., num_tokens)
    • "count":与 "multi_hot" 类似,但整数数组包含分箱索引在样本中出现的次数计数。默认为 "int"
  • sparse: 布尔值。仅适用于 "one_hot""multi_hot""count" 输出模式。仅支持 TensorFlow 后端。如果为 True,则返回 SparseTensor 而不是密集 Tensor。默认为 False
  • **kwargs:用于构造层的关键字参数。

输入形状

单个字符串、字符串列表,或形状为 (batch_size, ...,)int32int64 张量。

输出形状

形状为 (batch_size, ...)int32 张量。

参考