分布式超参数调优
作者： Tom O'Malley, Haifeng Jin
创建日期 2019/10/24
最后修改日期 2021/06/02
描述： 使用多个 GPU 和多台机器调优模型的超参数。
!pip install keras-tuner -q
简介
KerasTuner 使执行分布式超参数搜索变得容易。从本地单线程运行扩展到并行运行数十或数百个 worker 无需更改代码。分布式 KerasTuner 使用主-从（chief-worker）模型。主节点运行一个服务，worker 向其报告结果并查询要尝试的下一个超参数。主节点应在单线程 CPU 实例上运行（或者作为单独的进程在其中一个 worker 上运行）。
配置分布式模式
配置 KerasTuner 的分布式模式只需要设置三个环境变量
KERASTUNER_TUNER_ID：主进程应将其设置为 "chief"。其他 worker 应传入一个唯一的 ID（按照惯例，"tuner0", "tuner1" 等）。
KERASTUNER_ORACLE_IP：主服务应运行的 IP 地址或主机名。所有 worker 都应能够解析并访问此地址。
KERASTUNER_ORACLE_PORT：主服务应运行的端口。此端口可以自由选择，但必须是其他 worker 可以访问的端口。实例之间通过 gRPC 协议通信。
相同的代码可以在所有 worker 上运行。分布式模式的其他注意事项包括：
- 所有 worker 都应能访问一个集中的文件系统，以便写入结果。
- 所有 worker 都应能访问调优所需的训练和验证数据。
- 为了支持容错，在
Tuner.__init__中应将overwrite保留为False（默认值为False）。
主服务的示例 bash 脚本（页面底部提供了 run_tuning.py 的示例代码）
export KERASTUNER_TUNER_ID="chief"
export KERASTUNER_ORACLE_IP="127.0.0.1"
export KERASTUNER_ORACLE_PORT="8000"
python run_tuning.py
Worker 的示例 bash 脚本
export KERASTUNER_TUNER_ID="tuner0"
export KERASTUNER_ORACLE_IP="127.0.0.1"
export KERASTUNER_ORACLE_PORT="8000"
python run_tuning.py
使用 tf.distribute 的数据并行
KerasTuner 还支持通过 tf.distribute 进行数据并行。数据并行和分布式调优可以结合使用。例如，如果您有 10 个 worker，每个 worker 有 4 个 GPU，您可以使用 tf.distribute.MirroredStrategy 在 4 个 GPU 上训练，同时运行 10 个并行试验。您还可以通过 tf.distribute.TPUStrategy 在 TPU 上运行每个试验。目前不支持 tf.distribute.MultiWorkerMirroredStrategy，但这已列入开发计划。
示例代码
设置上述环境变量后，以下示例将运行分布式调优，并通过 tf.distribute 在每个试验中使用数据并行。该示例从 tensorflow_datasets 加载 MNIST，并使用 Hyperband 进行超参数搜索。
import keras
import keras_tuner
import tensorflow as tf
import numpy as np
def build_model(hp):
"""Builds a convolutional model."""
inputs = keras.Input(shape=(28, 28, 1))
x = inputs
for i in range(hp.Int("conv_layers", 1, 3, default=3)):
x = keras.layers.Conv2D(
filters=hp.Int("filters_" + str(i), 4, 32, step=4, default=8),
kernel_size=hp.Int("kernel_size_" + str(i), 3, 5),
activation="relu",
padding="same",
)(x)
if hp.Choice("pooling" + str(i), ["max", "avg"]) == "max":
x = keras.layers.MaxPooling2D()(x)
else:
x = keras.layers.AveragePooling2D()(x)
x = keras.layers.BatchNormalization()(x)
x = keras.layers.ReLU()(x)
if hp.Choice("global_pooling", ["max", "avg"]) == "max":
x = keras.layers.GlobalMaxPooling2D()(x)
else:
x = keras.layers.GlobalAveragePooling2D()(x)
outputs = keras.layers.Dense(10, activation="softmax")(x)
model = keras.Model(inputs, outputs)
optimizer = hp.Choice("optimizer", ["adam", "sgd"])
model.compile(
optimizer, loss="sparse_categorical_crossentropy", metrics=["accuracy"]
)
return model
tuner = keras_tuner.Hyperband(
hypermodel=build_model,
objective="val_accuracy",
max_epochs=2,
factor=3,
hyperband_iterations=1,
distribution_strategy=tf.distribute.MirroredStrategy(),
directory="results_dir",
project_name="mnist",
overwrite=True,
)
(x_train, y_train), (x_test, y_test) = keras.datasets.mnist.load_data()
# Reshape the images to have the channel dimension.
x_train = (x_train.reshape(x_train.shape + (1,)) / 255.0)[:1000]
y_train = y_train.astype(np.int64)[:1000]
x_test = (x_test.reshape(x_test.shape + (1,)) / 255.0)[:100]
y_test = y_test.astype(np.int64)[:100]
tuner.search(
x_train,
y_train,
steps_per_epoch=600,
validation_data=(x_test, y_test),
validation_steps=100,
callbacks=[keras.callbacks.EarlyStopping("val_accuracy")],
)
Trial 2 Complete [00h 00m 18s]
val_accuracy: 0.07000000029802322
Best val_accuracy So Far: 0.07000000029802322
Total elapsed time: 00h 00m 26s