text_dataset_from_directory
函数keras.utils.text_dataset_from_directory(
directory,
labels="inferred",
label_mode="int",
class_names=None,
batch_size=32,
max_length=None,
shuffle=True,
seed=None,
validation_split=None,
subset=None,
follow_links=False,
verbose=True,
)
从目录中的文本文件生成一个 tf.data.Dataset
。
如果你的目录结构是
main_directory/
...class_a/
......a_text_1.txt
......a_text_2.txt
...class_b/
......b_text_1.txt
......b_text_2.txt
然后调用 text_dataset_from_directory(main_directory, labels='inferred')
将返回一个 tf.data.Dataset
,该数据集会生成来自子目录 class_a
和 class_b
的文本批量,以及标签 0 和 1(0 对应于 class_a
,1 对应于 class_b
)。
目前仅支持 .txt
文件。
参数
labels
是 "inferred"
,则该目录应包含子目录,每个子目录包含一个类的文本文件。否则,目录结构将被忽略。"inferred"
(标签从目录结构推断),None
(无标签),或者一个与目录中找到的文本文件数量大小相同的整数标签列表/元组。标签应按照文本文件路径的字母数字顺序(通过 Python 中的 os.walk(directory)
获取)排序。labels
编码的字符串。选项包括"int"
: 表示标签编码为整数(例如,用于 sparse_categorical_crossentropy
损失)。"categorical"
: 表示标签编码为分类向量(例如,用于 categorical_crossentropy
损失)。"binary"
: 表示标签(只能有两个)编码为值为 0 或 1 的 float32
标量(例如,用于 binary_crossentropy
损失)。None
(无标签)。"labels"
是 "inferred"
时有效。这是类名的显式列表(必须与子目录名称匹配)。用于控制类的顺序(否则使用字母数字顺序)。None
,则数据将不会进行批处理(数据集将生成单个样本)。默认为 32
。max_length
。False
,则数据按字母数字顺序排序。默认为 True
。"training"
(训练集)、"validation"
(验证集)或 "both"
(两者)。仅当设置了 validation_split
时使用。当 subset="both"
时,该工具返回一个包含两个数据集的元组(分别是训练集和验证集)。False
。True
。返回值
一个 tf.data.Dataset
对象。
label_mode
为 None
,它将生成形状为 (batch_size,)
的 string
张量,其中包含一批文本文件的内容。(texts, labels)
,其中 texts
的形状为 (batch_size,)
,而 labels
的格式遵循下述描述。关于标签格式的规则
label_mode
是 int
,则标签是形状为 (batch_size,)
的 int32
张量。label_mode
是 binary
,则标签是形状为 (batch_size, 1)
的包含 1 和 0 的 float32
张量。label_mode
是 categorical
,则标签是形状为 (batch_size, num_classes)
的 float32
张量,表示类别的索引的 one-hot 编码。