困惑度指标
Perplexity 类
keras_nlp.metrics.Perplexity(
from_logits=False, mask_token_id=None, dtype="float32", name="perplexity", **kwargs
)
困惑度指标。
此类实现困惑度指标。简而言之，此类计算交叉熵损失并取其指数。注意：此实现不适用于固定大小的窗口。
参数
- from_logits: 布尔值。如果为 True，则
y_pred（update_state()的输入）应为模型返回的对数几率。否则，y_pred是一个概率张量。 - mask_token_id: 整数。要屏蔽的标记的 ID。如果提供，则为此类计算掩码。请注意，如果提供此字段，并且如果
update_state()中的sample_weight字段也提供，我们将计算最终的sample_weight作为掩码和sample_weight的逐元素乘积。 - dtype: 字符串或 tf.dtypes.Dtype。指标计算的精度。如果未指定，则默认为
"float32"。 - name: 字符串。指标实例的名称。
- **kwargs: 其他关键字参数。
示例
- 通过调用 update_state() 和 result() 来计算困惑度。1.1. 未提供
sample_weight和mask_token_id。
>>> np.random.seed(42)
>>> perplexity = keras_nlp.metrics.Perplexity(name="perplexity")
>>> target = np.random.randint(10, size=[2, 5])
>>> logits = np.random.uniform(size=(2, 5, 10))
>>> perplexity.update_state(target, logits)
>>> perplexity.result()
<tf.Tensor: shape=(), dtype=float32, numpy=14.352535>
1.2. 指定 sample_weight（使用 ID 为 0 的标记进行屏蔽）。
>>> np.random.seed(42)
>>> perplexity = keras_nlp.metrics.Perplexity(name="perplexity")
>>> target = np.random.randint(10, size=[2, 5])
>>> logits = np.random.uniform(size=(2, 5, 10))
>>> sample_weight = (target != 0).astype("float32")
>>> perplexity.update_state(target, logits, sample_weight)
>>> perplexity.result()
<tf.Tensor: shape=(), dtype=float32, numpy=14.352535>
- 直接调用困惑度。
>>> np.random.seed(42)
>>> perplexity = keras_nlp.metrics.Perplexity(name="perplexity")
>>> target = np.random.randint(10, size=[2, 5])
>>> logits = np.random.uniform(size=(2, 5, 10))
>>> perplexity(target, logits)
<tf.Tensor: shape=(), dtype=float32, numpy=14.352535>
- 提供填充标记 ID 并让类自行计算掩码。
>>> np.random.seed(42)
>>> perplexity = keras_nlp.metrics.Perplexity(mask_token_id=0)
>>> target = np.random.randint(10, size=[2, 5])
>>> logits = np.random.uniform(size=(2, 5, 10))
>>> perplexity(target, logits)
<tf.Tensor: shape=(), dtype=float32, numpy=14.352535>