jax.lax.all_to_all

jax.lax.all_to_all(x, axis_name, split_axis, concat_axis, *, axis_index_groups=None, tiled=False)

物化映射轴并映射不同的轴。

如果 x 是一个 pytree，则结果等效于将此函数映射到树中的每个叶子节点。

在输出中，输入映射轴 axis_name 在逻辑轴位置 concat_axis 上物化，并且位置 split_axis 上的输入未映射轴使用名称 axis_name 进行映射。

映射轴的组大小必须等于未映射轴的大小；也就是说，我们必须有 lax.psum(1, axis_name, axis_index_groups=axis_index_groups) == x.shape[axis]。默认情况下，当 axis_index_groups=None 时，这包含所有设备。

参数:

• x – 具有名为 axis_name 的映射轴的数组。

• axis_name – 用于命名 pmapped 轴的可哈希 Python 对象（有关更多详细信息，请参阅 jax.pmap() 文档）。

• split_axis – 整数，指示要使用名称 axis_name 映射的 x 的未映射轴。

• concat_axis – 整数，指示在输出中物化具有名称 axis_name 的输入映射轴的位置。

• axis_index_groups – 可选的列表的列表，其中包含轴索引（例如，对于大小为 4 的轴，[[0, 1], [2, 3]] 将在前两个和后两个副本上运行 all_to_all）。组必须完全覆盖所有轴索引一次，并且所有组的大小必须相同。

• tiled – 当为 True 时，all_to_all 将 split_axis 分成块，并将它们沿 concat_axis 连接起来。 特别是，不会添加或删除任何维度。 默认为 False。

返回:

当 tiled 为 False 时，数组的形状由以下表达式给出

np.insert(np.delete(x.shape, split_axis), concat_axis, axis_size)

其中 axis_size 是输入 x 中名为 axis_name 的映射轴的大小。

否则，数组的形状与输入形状相似，但 split_axis 除以轴大小，concat_axis 乘以轴大小。