export 方法Model.export(
filepath, format="tf_saved_model", verbose=None, input_signature=None, **kwargs
)
将模型导出为推理用的 artifact。
参数
str 或 pathlib.Path 对象。用于保存 artifact 的路径。str。导出格式。支持的值："tf_saved_model" 和 "onnx"。默认为 "tf_saved_model"。bool。导出时是否打印消息。默认为 None，使用不同后端和格式设置的默认值。keras.InputSpec、tf.TensorSpec、backend.KerasTensor 或 backend tensor 的结构。如果未提供，将自动计算。默认为 None。is_static: 可选 bool。特定于 JAX 后端和 format="tf_saved_model"。指示 fn 是否为静态。如果 fn 涉及状态更新（例如，RNG 种子和计数器），则设置为 False。jax2tf_kwargs: 可选 dict。特定于 JAX 后端和 format="tf_saved_model"。jax2tf.convert 的参数。请参阅 jax2tf.convert 的文档。如果未提供 native_serialization 和 polymorphic_shapes，将自动计算它们。opset_version: 可选 int。特定于 format="onnx"。指定 ONNX opset 版本的整数值。注意： 目前仅支持 TensorFlow、JAX 和 Torch 后端。
注意： 请注意，当使用 format="onnx"、verbose=True 和 Torch 后端时，导出的 artifact 可能包含来自本地文件系统的相关信息。
示例
如何导出用于推理的 TensorFlow SavedModel。
# Export the model as a TensorFlow SavedModel artifact
model.export("path/to/location", format="tf_saved_model")
# Load the artifact in a different process/environment
reloaded_artifact = tf.saved_model.load("path/to/location")
predictions = reloaded_artifact.serve(input_data)
如何导出用于推理的 ONNX。
# Export the model as a ONNX artifact
model.export("path/to/location", format="onnx")
# Load the artifact in a different process/environment
ort_session = onnxruntime.InferenceSession("path/to/location")
ort_inputs = {
k.name: v for k, v in zip(ort_session.get_inputs(), input_data)
}
predictions = ort_session.run(None, ort_inputs)
ExportArchive 类keras.export.ExportArchive()
ExportArchive 用于编写 SavedModel artifact（例如，用于推理）。
如果您有一个 Keras 模型或层需要导出为 SavedModel 以便服务（例如，通过 TensorFlow-Serving），您可以使用 ExportArchive 来配置您需要的各种服务 endpoint 及其签名。只需实例化一个 ExportArchive，使用 track() 注册要使用的层或模型，然后使用 add_endpoint() 方法注册一个新的服务 endpoint。完成后，使用 write_out() 方法保存 artifact。
生成的 artifact 是一个 SavedModel，可以通过 tf.saved_model.load 加载。
示例
如何导出用于推理的模型。
export_archive = ExportArchive()
export_archive.track(model)
export_archive.add_endpoint(
name="serve",
fn=model.call,
input_signature=[keras.InputSpec(shape=(None, 3), dtype="float32")],
)
export_archive.write_out("path/to/location")
# Elsewhere, we can reload the artifact and serve it.
# The endpoint we added is available as a method:
serving_model = tf.saved_model.load("path/to/location")
outputs = serving_model.serve(inputs)
如何导出带有用于推理的一个 endpoint 和一个用于训练模式前向传递（例如，启用 dropout）的 endpoint 的模型。
export_archive = ExportArchive()
export_archive.track(model)
export_archive.add_endpoint(
name="call_inference",
fn=lambda x: model.call(x, training=False),
input_signature=[keras.InputSpec(shape=(None, 3), dtype="float32")],
)
export_archive.add_endpoint(
name="call_training",
fn=lambda x: model.call(x, training=True),
input_signature=[keras.InputSpec(shape=(None, 3), dtype="float32")],
)
export_archive.write_out("path/to/location")
关于资源跟踪的注意事项
ExportArchive 能够自动跟踪其 endpoint 使用的所有 keras.Variables，因此大多数情况下调用 .track(model) 不是必需的。但是，如果您的模型使用查找层，如 IntegerLookup、StringLookup 或 TextVectorization，则需要通过 .track(model) 显式跟踪它们。
如果您需要访问已恢复 archive 上的 variables、trainable_variables 或 non_trainable_variables 属性，也需要显式跟踪。
add_endpoint 方法ExportArchive.add_endpoint(name, fn, input_signature=None, **kwargs)
注册一个新的服务 endpoint。
参数
str。endpoint 的名称。ExportArchive 跟踪的模型/层上可用的资源（例如，keras.Variable 对象或 tf.lookup.StaticHashTable 对象）（您可以调用 .track(model) 来跟踪新模型）。函数的输入形状和 dtype 必须是已知的。为此，您可以 1) 确保 fn 是一个至少调用过一次的 tf.function，或者 2) 提供一个 input_signature 参数来指定输入的形状和 dtype（见下文）。fn 的形状和 dtype。可以是 keras.InputSpec、tf.TensorSpec、backend.KerasTensor 或 backend tensor 的结构（下面有一个示例，展示了一个具有 2 个输入参数的 Functional 模型）。如果未提供，fn 必须是一个至少调用过一次的 tf.function。默认为 None。is_static: 可选 bool。指示 fn 是否为静态。如果 fn 涉及状态更新（例如，RNG 种子），则设置为 False。- jax2tf_kwargs: 可选 dict。jax2tf.convert 的参数。请参阅 jax2tf.convert。如果未提供 native_serialization 和 polymorphic_shapes，将自动计算它们。返回
已添加到 archive 的 tf.function 包装的 fn。
示例
当模型具有单个输入参数时，使用 input_signature 参数添加 endpoint
export_archive = ExportArchive()
export_archive.track(model)
export_archive.add_endpoint(
name="serve",
fn=model.call,
input_signature=[keras.InputSpec(shape=(None, 3), dtype="float32")],
)
当模型具有两个位置输入参数时，使用 input_signature 参数添加 endpoint
export_archive = ExportArchive()
export_archive.track(model)
export_archive.add_endpoint(
name="serve",
fn=model.call,
input_signature=[
keras.InputSpec(shape=(None, 3), dtype="float32"),
keras.InputSpec(shape=(None, 4), dtype="float32"),
],
)
当模型具有一个输入参数是张量列表（例如，具有两个输入的 Functional 模型）时，使用 input_signature 参数添加 endpoint
model = keras.Model(inputs=[x1, x2], outputs=outputs)
export_archive = ExportArchive()
export_archive.track(model)
export_archive.add_endpoint(
name="serve",
fn=model.call,
input_signature=[
[
keras.InputSpec(shape=(None, 3), dtype="float32"),
keras.InputSpec(shape=(None, 4), dtype="float32"),
],
],
)
这同样适用于字典输入
model = keras.Model(inputs={"x1": x1, "x2": x2}, outputs=outputs)
export_archive = ExportArchive()
export_archive.track(model)
export_archive.add_endpoint(
name="serve",
fn=model.call,
input_signature=[
{
"x1": keras.InputSpec(shape=(None, 3), dtype="float32"),
"x2": keras.InputSpec(shape=(None, 4), dtype="float32"),
},
],
)
添加一个 tf.function 类型的 endpoint
@tf.function()
def serving_fn(x):
return model(x)
# The function must be traced, i.e. it must be called at least once.
serving_fn(tf.random.normal(shape=(2, 3)))
export_archive = ExportArchive()
export_archive.track(model)
export_archive.add_endpoint(name="serve", fn=serving_fn)
结合使用模型与一些 TensorFlow 预处理，其中可能使用 TensorFlow 资源
lookup_table = tf.lookup.StaticHashTable(initializer, default_value=0.0)
export_archive = ExportArchive()
model_fn = export_archive.track_and_add_endpoint(
"model_fn",
model,
input_signature=[tf.TensorSpec(shape=(None, 5), dtype=tf.float32)],
)
export_archive.track(lookup_table)
@tf.function()
def serving_fn(x):
x = lookup_table.lookup(x)
return model_fn(x)
export_archive.add_endpoint(name="serve", fn=serving_fn)
add_variable_collection 方法ExportArchive.add_variable_collection(name, variables)
注册一组变量以在重新加载后检索。
参数
keras.Variable 实例的元组/列表/集合。示例
export_archive = ExportArchive()
export_archive.track(model)
# Register an endpoint
export_archive.add_endpoint(
name="serve",
fn=model.call,
input_signature=[keras.InputSpec(shape=(None, 3), dtype="float32")],
)
# Save a variable collection
export_archive.add_variable_collection(
name="optimizer_variables", variables=model.optimizer.variables)
export_archive.write_out("path/to/location")
# Reload the object
revived_object = tf.saved_model.load("path/to/location")
# Retrieve the variables
optimizer_variables = revived_object.optimizer_variables
track 方法ExportArchive.track(resource)
跟踪变量（来自层或模型）和其他 asset。
默认情况下，当您调用 add_endpoint() 时，endpoint 函数使用的所有变量都会被自动跟踪。但是，非变量 asset（如查找表）需要手动跟踪。请注意，内置 Keras 层（TextVectorization、IntegerLookup、StringLookup）使用的查找表由 add_endpoint() 自动跟踪。
参数
write_out 方法ExportArchive.write_out(filepath, options=None, verbose=True)
将相应的 SavedModel 写入磁盘。
参数
str 或 pathlib.Path 对象。保存 artifact 的路径。tf.saved_model.SaveOptions 对象，指定 SavedModel 保存选项。关于 TF-Serving 的注意事项：通过 add_endpoint() 注册的所有 endpoint 在 SavedModel artifact 中对 TF-Serving 可见。此外，第一个注册的 endpoint 会以别名 "serving_default" 可见（除非已手动注册名为 "serving_default" 的 endpoint），因为 TF-Serving 要求设置此 endpoint。