KerasHub: 预训练模型 / API 文档 / 预处理层 / MaskedLMMaskGenerator 层

MaskedLMMaskGenerator 层

[源代码]

MaskedLMMaskGenerator

keras_hub.layers.MaskedLMMaskGenerator(
    vocabulary_size,
    mask_selection_rate,
    mask_token_id,
    mask_selection_length=None,
    unselectable_token_ids=[0],
    mask_token_rate=0.8,
    random_token_rate=0.1,
    **kwargs
)

应用语言模型掩码的层。

此层适用于准备掩码语言模型(MaskedLM)任务的输入。它遵循原始 BERT 论文中描述的掩码策略。给定分词后的文本,它会随机选择一定数量的词元进行掩码。然后对于每个选定的词元,它有机会(可配置)被替换为“掩码词元”、随机词元,或者保持不变。

输入数据应以张量、tf.RaggedTensor 或列表的形式传递。对于批量输入,输入应为列表的列表或二维张量。对于非批量输入,每个元素应为列表或一维张量。

此层可与 tf.data 一起使用,在训练期间即时生成动态掩码。

参数

  • vocabulary_size: int,词汇表大小。
  • mask_selection_rate: float,词元被选中进行掩码的概率。
  • mask_token_id: int。掩码词元的 ID。
  • mask_selection_length: int。每个序列中被选定进行掩码的最大词元数。如果设置,输出的 mask_positionsmask_idsmask_weights 将被填充为长度为 mask_selection_length 的密集张量,否则输出将是 RaggedTensor。默认为 None
  • unselectable_token_ids: 不应被视为符合掩码条件的词元 ID 列表。默认情况下,我们假定 0 对应于填充词元并忽略它。默认为 [0]
  • mask_token_rate: float。mask_token_rate 必须介于 0 和 1 之间,表示掩码词元替换被选定进行掩码的词元的频率。默认为 0.8
  • random_token_rate: float。random_token_rate 必须介于 0 和 1 之间,表示随机词元替换被选定进行掩码的词元的频率。注意:mask_token_rate + random_token_rate <= 1,对于 (1 - mask_token_rate - random_token_rate) 的情况,词元将不会被更改。默认为 0.1

返回值

  • 一个包含 4 个键的字典:token_ids: Tensor 或 RaggedTensor,与输入的类型和形状相同。经过掩码处理的序列。mask_positions: Tensor,如果 mask_selection_length 为 None 则为 RaggedTensor。被掩码的 token_ids 的位置。mask_ids: Tensor,如果 mask_selection_length 为 None 则为 RaggedTensor。掩码位置的原始词元 ID。mask_weights: Tensor,如果 mask_selection_length 为 None 则为 RaggedTensor。mask_weightsmask_positionsmask_ids 具有相同的形状。mask_weights 中的每个元素应为 0 或 1,1 表示 mask_positions 中对应的位置是实际的掩码,0 表示它是填充。

示例

基本用法。

masker = keras_hub.layers.MaskedLMMaskGenerator(
    vocabulary_size=10,
    mask_selection_rate=0.2,
    mask_token_id=0,
    mask_selection_length=5
)
# Dense input.
masker([1, 2, 3, 4, 5])

# Ragged input.
masker([[1, 2], [1, 2, 3, 4]])

对包含特殊词元的批量数据进行掩码。

pad_id, cls_id, sep_id, mask_id = 0, 1, 2, 3
batch = [
    [cls_id,   4,    5,      6, sep_id,    7,    8, sep_id, pad_id, pad_id],
    [cls_id,   4,    5, sep_id,      6,    7,    8,      9, sep_id, pad_id],
]

masker = keras_hub.layers.MaskedLMMaskGenerator(
    vocabulary_size = 10,
    mask_selection_rate = 0.2,
    mask_selection_length = 5,
    mask_token_id = mask_id,
    unselectable_token_ids = [
        cls_id,
        sep_id,
        pad_id,
    ]
)
masker(batch)