load_data
函数keras.datasets.reuters.load_data(
path="reuters.npz",
num_words=None,
skip_top=0,
maxlen=None,
test_split=0.2,
seed=113,
start_char=1,
oov_char=2,
index_from=3,
)
加载路透社新闻分类数据集。
这是一个包含 11,228 篇来自路透社的新闻稿数据集,标记了 46 个主题。
此数据集最初是通过解析和预处理经典的 Reuters-21578 数据集生成的,但预处理代码不再与 Keras 打包。有关更多信息,请参阅此 GitHub 讨论。
每篇新闻稿都被编码为词语索引(整数)列表。为方便起见,词语按其在数据集中出现的总频率进行索引,因此例如整数“3”编码数据中第三个最常出现的词语。这允许快速过滤操作,例如:“只考虑前 10,000 个最常用的词语,但排除前 20 个最常用的词语”。
按照惯例,“0”不代表特定词语,而是用于编码任何未知词语。
参数
~/.keras/dataset
)。num_words
个最常出现的词语。任何出现频率较低的词语都将作为 oov_char
值出现在序列数据中。如果为 None,则保留所有词语。默认为 None
。oov_char
值出现在数据集中。0 表示不跳过任何词语。默认为 0
。None
。0.
和 1.
之间的浮点数。用作测试数据的数据集比例。0.2
表示 20% 的数据集用作测试数据。默认为 0.2
。1
。num_words
或 skip_top
限制而被切除的词语将替换为此字符。返回
(x_train, y_train), (x_test, y_test)
。x_train
, x_test
:序列列表,即索引(整数)列表。如果指定了 num_words
参数,则最大可能的索引值为 num_words - 1
。如果指定了 maxlen
参数,则最大可能的序列长度为 maxlen
。
y_train
, y_test
:整数标签列表(1 或 0)。
注意: “词汇表外”字符仅用于存在于训练集中但由于此处未达到 num_words
限制而被排除的词语。未在训练集中出现但在测试集中出现的词语已被直接跳过。
get_word_index
函数keras.datasets.reuters.get_word_index(path="reuters_word_index.json")
检索将词语映射到其在路透社数据集中索引的字典。
实际词语索引从 3 开始,其中 3 个索引保留用于:0(填充)、1(开始)、2(oov)。
例如,“the”的词语索引是 1,但在实际训练数据中,“the”的索引将是 1 + 3 = 4。反之,要使用此映射将训练数据中的词语索引翻译回词语,索引需要减去 3。
参数
~/.keras/dataset
)。返回
词语索引字典。键是词语字符串,值是其索引。