DataParallel API

keras.distribution.DataParallel(
    device_mesh=None, devices=None, auto_shard_dataset=True
)

数据并行的分布式策略。

您可以通过指定 device_mesh 或 devices 参数之一来创建此实例（但不能同时指定两者）。

device_mesh 参数应为 DeviceMesh 实例，并且仅限一维。如果 mesh 有多个轴，则第一个轴将被视为数据并行维度（并会发出警告）。

当提供 devices 列表时，它们将用于构建一个一维 mesh。

当 mesh 和 devices 均缺失时，将使用 list_devices() 来检测任何可用设备，并从中创建一个一维 mesh。

参数

device_mesh: 可选的 DeviceMesh 实例。
devices: 可选的设备列表。
auto_shard_dataset: 在多进程环境中自动将数据集分片到各个进程。如果数据集已跨主机分片，请将其设置为 False。默认为 True。