set_random_seed 函数tf_keras.utils.set_random_seed(seed)
设置程序的所有随机种子(Python、NumPy和TensorFlow)。
您可以使用此实用程序使几乎任何TF-Keras程序完全确定性。在涉及网络通信(例如参数服务器分发)的情况下,这会产生额外的随机源,或者在涉及某些非确定性cuDNN操作时,存在一些限制。
调用此实用程序相当于以下内容
import random
import numpy as np
import tensorflow as tf
random.seed(seed)
np.random.seed(seed)
tf.random.set_seed(seed)
参数
split_dataset 函数tf_keras.utils.split_dataset(
dataset, left_size=None, right_size=None, shuffle=False, seed=None
)
将数据集分割成左半部分和右半部分(例如,训练/测试)。
参数
tf.data.Dataset 对象,或具有相同长度的数组列表/元组。[0, 1]内),则表示左数据集的数据比例。如果是整数,则表示左数据集中要包含的样本数。如果为None,则使用right_size的补集。默认为None。[0, 1]内),则表示右数据集的数据比例。如果是整数,则表示右数据集中要包含的样本数。如果为None,则使用left_size的补集。默认为None。返回
tf.data.Dataset 对象的元组:左拆分和右拆分。示例
>>> data = np.random.random(size=(1000, 4))
>>> left_ds, right_ds = tf.keras.utils.split_dataset(data, left_size=0.8)
>>> int(left_ds.cardinality())
800
>>> int(right_ds.cardinality())
200
get_file 函数tf_keras.utils.get_file(
fname=None,
origin=None,
untar=False,
md5_hash=None,
file_hash=None,
cache_subdir="datasets",
hash_algorithm="auto",
extract=False,
archive_format="auto",
cache_dir=None,
)
如果文件不在缓存中,则从URL下载文件。
默认情况下,URL origin 中的文件将下载到缓存目录 ~/.keras,存放在缓存子目录 datasets 中,并命名为 fname。因此,文件example.txt的最终位置将是~/.keras/datasets/example.txt。
tar、tar.gz、tar.bz和zip格式的文件也可以解压缩。提供哈希值将验证文件下载后的完整性。命令行程序shasum和sha256sum可以计算哈希值。
示例
path_to_downloaded_file = tf.keras.utils.get_file(
origin="https://storage.googleapis.com/download.tensorflow.org/example_images/flower_photos.tgz",
extract=True,
)
参数
/path/to/file.txt,则文件将保存在该位置。如果为None,则使用origin中的文件名。extract参数取代。布尔值,是否应解压缩文件。file_hash参数取代。用于验证的文件的md5哈希值。/path/to/folder,则文件将保存在该位置。'md5'、'sha256'和'auto'。默认的“auto”会检测正在使用的哈希算法。'auto'、'tar'、'zip'和None。'tar'包括tar、tar.gz和tar.bz文件。默认的'auto'对应于['tar', 'zip']。None或空列表将返回未找到匹配项。~/.keras/。返回
下载文件的路径。
⚠️ **关于恶意下载的警告** ⚠️
从互联网下载内容存在风险。如果您不信任来源,切勿下载文件/存档。我们建议您指定file_hash参数(如果源文件的哈希值已知),以确保您获得的文件是您期望的文件。
Progbar类tf_keras.utils.Progbar(
target, width=30, verbose=1, interval=0.05, stateful_metrics=None, unit_name="step"
)
显示一个进度条。
参数
Sequence类tf_keras.utils.Sequence()
用于拟合到数据序列(如数据集)的基类。
每个Sequence必须实现__getitem__和__len__方法。如果您想在每个epoch之间修改数据集,可以实现on_epoch_end。__getitem__方法应返回一个完整的批次。
注意事项
Sequence是一种更安全的实现多进程的方式。这种结构保证网络在每个epoch中只对每个样本训练一次,而生成器则不能保证这一点。
示例
from skimage.io import imread
from skimage.transform import resize
import numpy as np
import math
# Here, `x_set` is list of path to the images
# and `y_set` are the associated classes.
class CIFAR10Sequence(tf.keras.utils.Sequence):
def __init__(self, x_set, y_set, batch_size):
self.x, self.y = x_set, y_set
self.batch_size = batch_size
def __len__(self):
return math.ceil(len(self.x) / self.batch_size)
def __getitem__(self, idx):
low = idx * self.batch_size
# Cap upper bound at array length; the last batch may be smaller
# if the total number of items is not a multiple of batch size.
high = min(low + self.batch_size, len(self.x))
batch_x = self.x[low:high]
batch_y = self.y[low:high]
return np.array([
resize(imread(file_name), (200, 200))
for file_name in batch_x]), np.array(batch_y)
to_categorical函数tf_keras.utils.to_categorical(y, num_classes=None, dtype="float32")
将类向量(整数)转换为二进制类矩阵。
例如,用于categorical_crossentropy。
参数
num_classes - 1的整数)。None,则推断为max(y) + 1。'float32'。返回
输入作为NumPy数组的二进制矩阵表示。类轴放在最后。
示例
>>> a = tf.keras.utils.to_categorical([0, 1, 2, 3], num_classes=4)
>>> print(a)
[[1. 0. 0. 0.]
[0. 1. 0. 0.]
[0. 0. 1. 0.]
[0. 0. 0. 1.]]
>>> b = tf.constant([.9, .04, .03, .03,
... .3, .45, .15, .13,
... .04, .01, .94, .05,
... .12, .21, .5, .17],
... shape=[4, 4])
>>> loss = tf.keras.backend.categorical_crossentropy(a, b)
>>> print(np.around(loss, 5))
[0.10536 0.82807 0.1011 1.77196]
>>> loss = tf.keras.backend.categorical_crossentropy(a, a)
>>> print(np.around(loss, 5))
[0. 0. 0. 0.]
to_ordinal函数tf_keras.utils.to_ordinal(y, num_classes=None, dtype="float32")
将类向量(整数)转换为序数回归矩阵。
此实用程序将类向量编码为序数回归/分类矩阵,其中每个样本由一行表示,该样本的秩由该行中的1的数量表示。
参数
num_classes - 1的整数)。None,则推断为max(y) + 1。'float32'。返回
输入作为NumPy数组的序数回归矩阵表示。类轴放在最后。
示例
>>> a = tf.keras.utils.to_ordinal([0, 1, 2, 3], num_classes=4)
>>> print(a)
[[0. 0. 0.]
[1. 0. 0.]
[1. 1. 0.]
[1. 1. 1.]]
normalize 函数tf_keras.utils.normalize(x, axis=-1, order=2)
标准化NumPy数组。
参数
order=2)。返回
数组的标准化副本。