DataParallel API

[源代码]

DataParallel 类

keras.distribution.DataParallel(
    device_mesh=None, devices=None, auto_shard_dataset=True
)

用于数据并行的分发。

您可以选择通过指定 device_mesh 或 devices 参数来创建此实例（但不能同时指定两者）。

device_mesh 参数应为 DeviceMesh 实例，并且应为 1D。如果网格有多个轴，则第一个轴将被视为数据并行维度（并将发出警告）。

当提供 devices 列表时，它们将用于构建一个 1D 网格。

当 mesh 和 devices 均不存在时，将使用 list_devices() 来检测任何可用设备并从中创建一个 1D 网格。

参数

• device_mesh：可选的 DeviceMesh 实例。
• devices：可选的设备列表。
• auto_shard_dataset：在多进程设置中自动在进程之间分片数据集。如果数据集已在主机之间分片，则设置为 False。默认为 True。