Keras 3 API 文档 / 数据加载 / 文本数据加载

文本数据加载

[源代码]

text_dataset_from_directory 函数

keras.utils.text_dataset_from_directory(
    directory,
    labels="inferred",
    label_mode="int",
    class_names=None,
    batch_size=32,
    max_length=None,
    shuffle=True,
    seed=None,
    validation_split=None,
    subset=None,
    follow_links=False,
    verbose=True,
)

从目录中的文本文件生成一个 tf.data.Dataset

如果您的目录结构如下所示:

main_directory/
...class_a/
......a_text_1.txt
......a_text_2.txt
...class_b/
......b_text_1.txt
......b_text_2.txt

那么调用 text_dataset_from_directory(main_directory, labels='inferred') 将返回一个 tf.data.Dataset,它会生成来自子目录 class_aclass_b 的文本批次,以及标签 0 和 1(0 对应于 class_a,1 对应于 class_b)。

目前仅支持 .txt 文件。

参数

  • directory: 数据所在的目录。如果 labels"inferred",则它应包含子目录,每个子目录包含一个类别的文本文件。否则,将忽略目录结构。
  • labels: 可以是 "inferred"(从目录结构中推断标签)、None(无标签),或者与目录中找到的文本文件数量相同的整数标签列表/元组。标签应根据文本文件路径的字母数字顺序排序(在 Python 中通过 os.walk(directory) 获取)。
  • label_mode: 描述 labels 编码方式的字符串。选项包括:
    • "int": 表示标签编码为整数(例如,用于 sparse_categorical_crossentropy 损失函数)。
    • "categorical": 表示标签编码为分类向量(例如,用于 categorical_crossentropy 损失函数)。
    • "binary": 表示标签(只能有 2 个)编码为值为 0 或 1 的 float32 标量(例如,用于 binary_crossentropy)。
    • None(无标签)。
  • class_names: 仅在 "labels""inferred" 时有效。这是类名的显式列表(必须与子目录的名称匹配)。用于控制类的顺序(否则使用字母数字顺序)。
  • batch_size: 数据批次的大小。如果为 None,则数据将不会被批处理(数据集将生成单个样本)。默认为 32
  • max_length: 文本字符串的最大长度。超过此长度的文本将被截断为 max_length
  • shuffle: 是否打乱数据。如果设置为 False,则按字母数字顺序排序数据。默认为 True
  • seed: 用于打乱和转换的可选随机种子。
  • validation_split: 0 到 1 之间的可选浮点数,用于保留验证的数据比例。
  • subset: 要返回的数据子集。可以是 "training""validation""both"。仅在设置 validation_split 时使用。当 subset="both" 时,实用程序返回两个数据集的元组(分别为训练数据集和验证数据集)。
  • follow_links: 是否访问符号链接指向的子目录。默认为 False
  • verbose: 是否显示有关类和找到的文件数量的信息。默认为 True

返回值

一个 tf.data.Dataset 对象。

  • 如果 label_modeNone,则它会生成形状为 (batch_size,)string 张量,其中包含一批文本文件的内容。
  • 否则,它会生成一个元组 (texts, labels),其中 texts 的形状为 (batch_size,),而 labels 遵循下面描述的格式。

关于标签格式的规则

  • 如果 label_modeint,则标签是形状为 (batch_size,)int32 张量。
  • 如果 label_modebinary,则标签是形状为 (batch_size, 1) 的包含 1 和 0 的 float32 张量。
  • 如果 label_modecategorical,则标签是形状为 (batch_size, num_classes)float32 张量,表示类索引的独热编码。