DataParallel API

[源代码]

DataParallel 类

keras.distribution.DataParallel(
    device_mesh=None, devices=None, auto_shard_dataset=True
)

用于数据并行的分布。

您可以选择通过指定 device_mesh 或 devices 参数来创建此实例（但不能同时指定两者）。

device_mesh 参数应为 DeviceMesh 实例，并且应仅为一维。如果网格具有多个轴，则第一个轴将被视为数据并行维度（并将发出警告）。

当提供 devices 列表时，它们将用于构建一维网格。

当 mesh 和 devices 均不存在时，list_devices() 将用于检测任何可用的设备并从中创建一维网格。

参数

• device_mesh: 可选的 DeviceMesh 实例。
• devices: 可选的设备列表。
• auto_shard_dataset: 在进程之间自动分片数据集。默认为 true。