Sklearn Tuner

[源代码]

SklearnTuner

keras_tuner.SklearnTuner(
    oracle, hypermodel, scoring=None, metrics=None, cv=None, **kwargs
)

Scikit-learn模型的调优器。

为Scikit-learn模型执行交叉验证超参数搜索。

示例

import keras_tuner
from sklearn import ensemble
from sklearn import datasets
from sklearn import linear_model
from sklearn import metrics
from sklearn import model_selection

def build_model(hp):
  model_type = hp.Choice('model_type', ['random_forest', 'ridge'])
  if model_type == 'random_forest':
    model = ensemble.RandomForestClassifier(
        n_estimators=hp.Int('n_estimators', 10, 50, step=10),
        max_depth=hp.Int('max_depth', 3, 10))
  else:
    model = linear_model.RidgeClassifier(
        alpha=hp.Float('alpha', 1e-3, 1, sampling='log'))
  return model

tuner = keras_tuner.tuners.SklearnTuner(
    oracle=keras_tuner.oracles.BayesianOptimizationOracle(
        objective=keras_tuner.Objective('score', 'max'),
        max_trials=10),
    hypermodel=build_model,
    scoring=metrics.make_scorer(metrics.accuracy_score),
    cv=model_selection.StratifiedKFold(5),
    directory='.',
    project_name='my_project')

X, y = datasets.load_iris(return_X_y=True)
X_train, X_test, y_train, y_test = model_selection.train_test_split(
    X, y, test_size=0.2)

tuner.search(X_train, y_train)

best_model = tuner.get_best_models(num_models=1)[0]

参数

  • oracle: 一个 keras_tuner.Oracle 实例。请注意,对于这个TunerOracleobjective应始终设置为Objective('score', direction='max')。此外,不应将利用神经网络特定训练的Oracle(例如Hyperband)与此Tuner一起使用。
  • hypermodel: 一个HyperModel实例(或一个接受超参数并返回Model实例的可调用对象)。
  • scoring: 一个sklearn scoring 函数。有关更多信息,请参阅sklearn.metrics.make_scorer。如果未提供,将通过model.score使用模型的默认评分。请注意,如果您正在搜索不同的模型族,这些模型的默认评分通常会不同。在这种情况下,您应该在此处提供scoring,以确保您的模型使用相同的指标进行评分。
  • metrics: 在搜索过程中要监控的附加sklearn.metrics函数。请注意,这些指标不会影响搜索过程。
  • cv: 一个sklearn.model_selection Splitter 类。用于确定样本如何分组以进行交叉验证。
  • **kwargs: 与所有 Tuner 子类相关的关键字参数。请参阅 Tuner 的文档字符串。