IMDB电影评论情感分类数据集
load_data 函数
keras.datasets.imdb.load_data(
path="imdb.npz",
num_words=None,
skip_top=0,
maxlen=None,
seed=113,
start_char=1,
oov_char=2,
index_from=3,
**kwargs
)
加载 IMDB 数据集。
这是一个包含 25,000 条来自 IMDB 的电影评论的数据集，按情感（正面/负面）进行标记。评论已预处理，每条评论都编码为单词索引（整数）列表。为了方便起见，单词按其在数据集中的整体频率进行索引，例如，整数“3”表示数据集中第 3 个最常出现的单词。这允许快速过滤操作，例如：“仅考虑前 10,000 个最常见的单词，但排除前 20 个最常见的单词”。
按照惯例，“0”不代表特定单词，而是用于编码填充标记。
参数
- path：缓存数据的位置（相对于
~/.keras/dataset）。 - num_words：整数或 None。单词按其出现频率（在训练集中）进行排序，并且仅保留
num_words个最常出现的单词。任何频率较低的单词都将作为序列数据中的oov_char值出现。如果为 None，则保留所有单词。默认为None。 - skip_top：跳过前 N 个最常出现的单词（这些单词可能没有信息量）。这些单词将作为数据集中
oov_char值出现。当为 0 时，不跳过任何单词。默认为0。 - maxlen：整数或 None。最大序列长度。任何更长的序列都将被截断。None 表示不截断。默认为
None。 - seed：整数。用于可重复数据洗牌的种子。
- start_char：整数。序列的开头将用此字符标记。0 通常是填充字符。默认为
1。 - oov_char：整数。超出词汇表的字符。由于
num_words或skip_top限制而被裁剪掉的单词将替换为此字符。 - index_from：整数。使用此索引及更高的索引来索引实际单词。
返回值
- NumPy 数组的元组：
(x_train, y_train), (x_test, y_test)。
x_train、x_test：序列列表，它们是索引（整数）列表。如果指定了 num_words 参数，则最大可能的索引值为 num_words - 1。如果指定了 maxlen 参数，则最大可能的序列长度为 maxlen。
y_train、y_test：整数标签列表（1 或 0）。
注意：'超出词汇表' 字符仅用于出现在训练集中但未包含在内的单词，因为它们没有达到此处的 num_words 限制。训练集中未出现但在测试集中出现的单词已被简单地跳过。
get_word_index 函数
keras.datasets.imdb.get_word_index(path="imdb_word_index.json")
检索一个将单词映射到其在 IMDB 数据集中的索引的字典。
参数
- path：缓存数据的位置（相对于
~/.keras/dataset）。
返回值
单词索引字典。键是单词字符串，值是其索引。
示例
# Use the default parameters to keras.datasets.imdb.load_data
start_char = 1
oov_char = 2
index_from = 3
# Retrieve the training sequences.
(x_train, _), _ = keras.datasets.imdb.load_data(
start_char=start_char, oov_char=oov_char, index_from=index_from
)
# Retrieve the word index file mapping words to indices
word_index = keras.datasets.imdb.get_word_index()
# Reverse the word index to obtain a dict mapping indices to words
# And add `index_from` to indices to sync with `x_train`
inverted_word_index = dict(
(i + index_from, word) for (word, i) in word_index.items()
)
# Update `inverted_word_index` to include `start_char` and `oov_char`
inverted_word_index[start_char] = "[START]"
inverted_word_index[oov_char] = "[OOV]"
# Decode the first sequence in the dataset
decoded_sequence = " ".join(inverted_word_index[i] for i in x_train[0])