超带式预言机

[source]

HyperbandOracle 类

keras_tuner.oracles.HyperbandOracle(
    objective=None,
    max_epochs=100,
    factor=3,
    hyperband_iterations=1,
    seed=None,
    hyperparameters=None,
    allow_new_entries=True,
    tune_new_entries=True,
    max_retries_per_trial=0,
    max_consecutive_failed_trials=3,
)

超带式的预言机类。

请注意，要将此预言机与您自己的子类化调优器一起使用，您的调优器类必须能够在 Tuner.run_trial 中处理三个由此调优器设置的特殊超参数。

• "tuner/trial_id": 字符串，可选设置。开始此试验时要加载的试验的试验 ID。
• "tuner/initial_epoch": 整数，始终设置。试验应从哪个初始 epoch 开始。
• "tuner/epochs": 整数，始终设置。此试验应训练的累积 epoch 数。

这些超参数将在超带式算法的“连续减半”部分设置。

示例

def run_trial(self, trial, *args, **kwargs):
    hp = trial.hyperparameters
    if "tuner/trial_id" in hp:
        past_trial = self.oracle.get_trial(hp['tuner/trial_id'])
        model = self.load_model(past_trial)
    else:
        model = self.hypermodel.build(hp)

    initial_epoch = hp['tuner/initial_epoch']
    last_epoch = hp['tuner/epochs']

    for epoch in range(initial_epoch, last_epoch):
        self.on_epoch_begin(...)
        for step in range(...):
            # Run model training step here.
        self.on_epoch_end(...)

参数

• objective: 字符串，keras_tuner.Objective 实例，或 keras_tuner.Objective 和字符串的列表。如果为字符串，将推断优化方向（最小化或最大化）。如果为 keras_tuner.Objective 的列表，我们将最小化所有要最小化的目标的总和，减去所有要最大化的目标的总和。当 Tuner.run_trial() 或 HyperModel.fit() 返回单个浮点数作为要最小化的目标时，objective 参数是可选的。
• max_epochs: 整数，训练一个模型的最大 epoch 数。建议将其设置为略高于您最大模型的预期收敛 epoch 值，并在训练期间使用早期停止（例如，通过 tf.keras.callbacks.EarlyStopping）。默认值为 100。
• factor: 整数，每个括号的 epoch 数和模型数的减少因子。默认值为 3。
• hyperband_iterations: 整数，至少为 1，在完整超带式算法上迭代的次数。一次迭代将在所有试验中运行大约 max_epochs * (math.log(max_epochs, factor) ** 2) 个累积 epoch。建议将其设置为资源预算范围内尽可能高的值。默认值为 1。
• seed: 可选整数，随机种子。
• hyperparameters: 可选的超参数实例。可用于覆盖（或预先注册）搜索空间中的超参数。
• tune_new_entries: 布尔值，超模型请求但在 hyperparameters 中未指定的超参数条目是否应添加到搜索空间中，或者不添加。如果不是，则将使用这些参数的默认值。默认值为 True。
• allow_new_entries: 布尔值，超模型是否允许请求 hyperparameters 中未列出的超参数条目。默认值为 True。
• max_retries_per_trial: 整数。默认值为 0。如果试验崩溃或结果无效，重试 Trial 的最大次数。
• max_consecutive_failed_trials: 整数。默认值为 3。连续失败的 Trial 的最大次数。达到此数字后，搜索将停止。当所有重试均未成功时，Trial 将被标记为失败。