Keras 3 API 文档 / 操作 API / 图像操作

图像操作

[源代码]

affine_transform 函数

keras.ops.image.affine_transform(
    images,
    transform,
    interpolation="bilinear",
    fill_mode="constant",
    fill_value=0,
    data_format=None,
)

将给定的变换应用于图像。

参数

  • images:输入图像或图像批次。必须是 3D 或 4D。
  • transform:投影变换矩阵/矩阵。长度为 8 的向量或大小为 N x 8 的张量。如果变换的一行是 [a0, a1, a2, b0, b1, b2, c0, c1],则它将输出点 (x, y) 映射到变换后的输入点 (x', y') = ((a0 x + a1 y + a2) / k, (b0 x + b1 y + b2) / k),其中 k = c0 x + c1 y + 1。变换与将输入点映射到输出点的变换相反。请注意,梯度不会反向传播到变换参数中。请注意,c0c1 仅在使用 TensorFlow 后端时有效,在使用其他后端时将被视为 0
  • interpolation:插值方法。可用的方法有 "nearest""bilinear"。默认为 "bilinear"
  • fill_mode:输入边界之外的点将根据给定的模式填充。可用的方法有 "constant""nearest""wrap""reflect"。默认为 "constant"
    • "reflect"(d c b a | a b c d | d c b a) 输入通过关于最后一个像素边缘的反射来扩展。
    • "constant"(k k k k | a b c d | k k k k) 输入通过用 fill_value 指定的相同常量值 k 填充边缘之外的所有值来扩展。
    • "wrap"(a b c d | a b c d | a b c d) 输入通过环绕到相对边缘来扩展。
    • "nearest"(a a a a | a b c d | d d d d) 输入通过最近的像素扩展。
  • fill_value:如果 fill_mode="constant",则用于输入边界之外的点的值。默认为 0
  • data_format:指定输入张量数据格式的字符串。它可以是 "channels_last""channels_first""channels_last" 对应于形状为 (batch, height, width, channels) 的输入,而 "channels_first" 对应于形状为 (batch, channels, height, width) 的输入。如果未指定,则该值将默认为 keras.config.image_data_format

返回值

应用仿射变换后的图像或图像批次。

示例

>>> x = np.random.random((2, 64, 80, 3)) # batch of 2 RGB images
>>> transform = np.array(
...     [
...         [1.5, 0, -20, 0, 1.5, -16, 0, 0],  # zoom
...         [1, 0, -20, 0, 1, -16, 0, 0],  # translation
...     ]
... )
>>> y = keras.ops.image.affine_transform(x, transform)
>>> y.shape
(2, 64, 80, 3)
>>> x = np.random.random((64, 80, 3)) # single RGB image
>>> transform = np.array([1.0, 0.5, -20, 0.5, 1.0, -16, 0, 0])  # shear
>>> y = keras.ops.image.affine_transform(x, transform)
>>> y.shape
(64, 80, 3)
>>> x = np.random.random((2, 3, 64, 80)) # batch of 2 RGB images
>>> transform = np.array(
...     [
...         [1.5, 0, -20, 0, 1.5, -16, 0, 0],  # zoom
...         [1, 0, -20, 0, 1, -16, 0, 0],  # translation
...     ]
... )
>>> y = keras.ops.image.affine_transform(x, transform,
...     data_format="channels_first")
>>> y.shape
(2, 3, 64, 80)

[源代码]

crop_images 函数

keras.ops.image.crop_images(
    images,
    top_cropping=None,
    left_cropping=None,
    bottom_cropping=None,
    right_cropping=None,
    target_height=None,
    target_width=None,
    data_format=None,
)

images 裁剪到指定的 heightwidth

参数

  • images:输入图像或图像批次。必须是 3D 或 4D。
  • top_cropping:从顶部裁剪的列数。
  • left_cropping:从左侧裁剪的列数。
  • bottom_cropping:从底部裁剪的列数。
  • right_cropping:从右侧裁剪的列数。
  • target_height:输出图像的高度。
  • target_width:输出图像的宽度。
  • data_format:指定输入张量数据格式的字符串。它可以是 "channels_last""channels_first""channels_last" 对应于形状为 (batch, height, width, channels) 的输入,而 "channels_first" 对应于形状为 (batch, channels, height, width) 的输入。如果未指定,则该值将默认为 keras.config.image_data_format

返回值

裁剪后的图像或图像批次。

示例

>>> images = np.reshape(np.arange(1, 28, dtype="float32"), [3, 3, 3])
>>> images[:,:,0] # print the first channel of the images
array([[ 1.,  4.,  7.],
       [10., 13., 16.],
       [19., 22., 25.]], dtype=float32)
>>> cropped_images = keras.image.crop_images(images, 0, 0, 2, 2)
>>> cropped_images[:,:,0] # print the first channel of the cropped images
array([[ 1.,  4.],
       [10., 13.]], dtype=float32)

[源代码]

extract_patches 函数

keras.ops.image.extract_patches(
    images, size, strides=None, dilation_rate=1, padding="valid", data_format=None
)

从图像中提取补丁。

参数

  • images:输入图像或图像批次。必须是 3D 或 4D。
  • size:补丁大小 int 或元组 (patch_height, patch_width)
  • strides:沿高度和宽度的步长。如果未指定,或如果为 None,则默认为与 size 相同的值。
  • dilation_rate:这是输入步长,指定输入中两个连续的补丁样本之间的距离。对于 1 以外的值,步长必须为 1。注意:strides > 1 不支持与 dilation_rate > 1 结合使用。
  • padding:要使用的填充算法类型:"same""valid"
  • data_format:指定输入张量数据格式的字符串。它可以是 "channels_last""channels_first""channels_last" 对应于形状为 (batch, height, width, channels) 的输入,而 "channels_first" 对应于形状为 (batch, channels, height, width) 的输入。如果未指定,则该值将默认为 keras.config.image_data_format

返回值

提取的补丁 3D(如果未批处理)或 4D(如果已批处理)

示例

>>> image = np.random.random(
...     (2, 20, 20, 3)
... ).astype("float32") # batch of 2 RGB images
>>> patches = keras.ops.image.extract_patches(image, (5, 5))
>>> patches.shape
(2, 4, 4, 75)
>>> image = np.random.random((20, 20, 3)).astype("float32") # 1 RGB image
>>> patches = keras.ops.image.extract_patches(image, (3, 3), (1, 1))
>>> patches.shape
(18, 18, 27)

[源代码]

hsv_to_rgb 函数

keras.ops.image.hsv_to_rgb(images, data_format=None)

将 HSV 图像转换为 RGB。

images 必须为浮点类型,并且只有当 images 中的值在 [0, 1] 中时,输出才定义良好。

参数

  • images:输入图像或图像批次。必须是 3D 或 4D。
  • data_format:指定输入张量数据格式的字符串。它可以是 "channels_last""channels_first""channels_last" 对应于形状为 (batch, height, width, channels) 的输入,而 "channels_first" 对应于形状为 (batch, channels, height, width) 的输入。如果未指定,则该值将默认为 keras.config.image_data_format

返回值

RGB 图像或 RGB 图像批次。

示例

>>> import numpy as np
>>> from keras import ops
>>> x = np.random.random((2, 4, 4, 3))
>>> y = ops.image.hsv_to_rgb(x)
>>> y.shape
(2, 4, 4, 3)
>>> x = np.random.random((4, 4, 3)) # Single HSV image
>>> y = ops.image.hsv_to_rgb(x)
>>> y.shape
(4, 4, 3)
>>> x = np.random.random((2, 3, 4, 4))
>>> y = ops.image.hsv_to_rgb(x, data_format="channels_first")
>>> y.shape
(2, 3, 4, 4)

[源代码]

map_coordinates 函数

keras.ops.image.map_coordinates(
    inputs, coordinates, order, fill_mode="constant", fill_value=0
)

通过插值将输入数组映射到新的坐标。

请注意,边界附近的插值与 scipy 函数不同,因为我们修复了一个未解决的错误 scipy/issues/2640

参数

  • inputs:输入数组。
  • coordinates:评估 inputs 的坐标。
  • order:样条插值阶数。阶数必须为 010 表示最近邻,1 表示线性插值。
  • fill_mode:输入边界之外的点将根据给定的模式填充。可用的方法有 "constant""nearest""wrap""mirror""reflect"。默认为 "constant"
    • "constant"(k k k k | a b c d | k k k k) 输入通过用 fill_value 指定的相同常量值 k 填充边缘之外的所有值来扩展。
    • "nearest"(a a a a | a b c d | d d d d) 输入通过最近的像素扩展。
    • "wrap"(a b c d | a b c d | a b c d) 输入通过环绕到相对边缘来扩展。
    • "mirror"(c d c b | a b c d | c b a b) 输入通过关于边缘镜像来扩展。
    • "reflect"(d c b a | a b c d | d c b a) 输入通过关于最后一个像素边缘的反射来扩展。
  • fill_value:如果 fill_mode="constant",则用于输入边界之外的点的值。默认为 0

返回值

输出输入或输入批次。


[源代码]

pad_images 函数

keras.ops.image.pad_images(
    images,
    top_padding=None,
    left_padding=None,
    bottom_padding=None,
    right_padding=None,
    target_height=None,
    target_width=None,
    data_format=None,
)

用零填充 images 到指定的 heightwidth

参数

  • images:输入图像或图像批次。必须是 3D 或 4D。
  • top_padding:在顶部添加的行数。
  • left_padding:在左侧添加的列数。
  • bottom_padding:在底部添加的行数。
  • right_padding:在右侧添加的列数。
  • target_height:输出图像的高度。
  • target_width:输出图像的宽度。
  • data_format:指定输入张量数据格式的字符串。它可以是 "channels_last""channels_first""channels_last" 对应于形状为 (batch, height, width, channels) 的输入,而 "channels_first" 对应于形状为 (batch, channels, height, width) 的输入。如果未指定,则该值将默认为 keras.config.image_data_format

返回值

填充后的图像或图像批次。

示例

>>> images = np.random.random((15, 25, 3))
>>> padded_images = keras.ops.image.pad_images(
...     images, 2, 3, target_height=20, target_width=30
... )
>>> padded_images.shape
(20, 30, 3)
>>> batch_images = np.random.random((2, 15, 25, 3))
>>> padded_batch = keras.ops.image.pad_images(
...     batch_images, 2, 3, target_height=20, target_width=30
... )
>>> padded_batch.shape
(2, 20, 30, 3)

[源代码]

resize 函数

keras.ops.image.resize(
    images,
    size,
    interpolation="bilinear",
    antialias=False,
    crop_to_aspect_ratio=False,
    pad_to_aspect_ratio=False,
    fill_mode="constant",
    fill_value=0.0,
    data_format=None,
)

使用指定的插值方法将图像调整为指定大小。

参数

  • images:输入图像或图像批次。必须是 3D 或 4D。
  • size:输出图像的大小,格式为 (height, width)
  • interpolation:插值方法。可用的方法有 "nearest""bilinear""bicubic"。默认为 "bilinear"
  • antialias:在下采样图像时是否使用抗锯齿滤波器。默认为 False
  • crop_to_aspect_ratio:如果为 True,则在不失真纵横比的情况下调整图像大小。当原始纵横比与目标纵横比不同时,输出图像将被裁剪,以便返回图像中与目标纵横比匹配的最大可能窗口(大小为 (height, width))。默认情况下 (crop_to_aspect_ratio=False),可能不会保留纵横比。
  • pad_to_aspect_ratio:如果为 True,则在不失真纵横比的情况下填充图像。当原始纵横比与目标纵横比不同时,输出图像将在短边上均匀填充。
  • fill_mode:当使用 pad_to_aspect_ratio=True 时,填充区域将根据给定的模式填充。此时仅支持 "constant"(用等于 fill_value 的常量值填充)。
  • fill_value:浮点数。当 pad_to_aspect_ratio=True 时使用的填充值。
  • data_format:指定输入张量数据格式的字符串。它可以是 "channels_last""channels_first""channels_last" 对应于形状为 (batch, height, width, channels) 的输入,而 "channels_first" 对应于形状为 (batch, channels, height, width) 的输入。如果未指定,则该值将默认为 keras.config.image_data_format

返回值

调整大小后的图像或图像批次。

示例

>>> x = np.random.random((2, 4, 4, 3)) # batch of 2 RGB images
>>> y = keras.ops.image.resize(x, (2, 2))
>>> y.shape
(2, 2, 2, 3)
>>> x = np.random.random((4, 4, 3)) # single RGB image
>>> y = keras.ops.image.resize(x, (2, 2))
>>> y.shape
(2, 2, 3)
>>> x = np.random.random((2, 3, 4, 4)) # batch of 2 RGB images
>>> y = keras.ops.image.resize(x, (2, 2),
...     data_format="channels_first")
>>> y.shape
(2, 3, 2, 2)

[源代码]

rgb_to_hsv 函数

keras.ops.image.rgb_to_hsv(images, data_format=None)

将 RGB 图像转换为 HSV。

images 必须为浮点类型,并且只有当 images 中的值在 [0, 1] 中时,输出才定义良好。

所有 HSV 值都在 [0, 1] 中。色相为 0 对应纯红色,1/3 对应纯绿色,2/3 对应纯蓝色。

参数

  • images:输入图像或图像批次。必须是 3D 或 4D。
  • data_format:指定输入张量数据格式的字符串。它可以是 "channels_last""channels_first""channels_last" 对应于形状为 (batch, height, width, channels) 的输入,而 "channels_first" 对应于形状为 (batch, channels, height, width) 的输入。如果未指定,则该值将默认为 keras.config.image_data_format

返回值

HSV 图像或 HSV 图像批次。

示例

>>> import numpy as np
>>> from keras import ops
>>> x = np.random.random((2, 4, 4, 3))
>>> y = ops.image.rgb_to_hsv(x)
>>> y.shape
(2, 4, 4, 3)
>>> x = np.random.random((4, 4, 3)) # Single RGB image
>>> y = ops.image.rgb_to_hsv(x)
>>> y.shape
(4, 4, 3)
>>> x = np.random.random((2, 3, 4, 4))
>>> y = ops.image.rgb_to_hsv(x, data_format="channels_first")
>>> y.shape
(2, 3, 4, 4)

[源代码]

rgb_to_grayscale 函数

keras.ops.image.rgb_to_grayscale(images, data_format=None)

将 RGB 图像转换为灰度图像。

此函数将 RGB 图像转换为灰度图像。它支持 3D 和 4D 张量。

参数

  • images:输入图像或图像批次。必须是 3D 或 4D。
  • data_format:指定输入张量数据格式的字符串。它可以是 "channels_last""channels_first""channels_last" 对应于形状为 (batch, height, width, channels) 的输入,而 "channels_first" 对应于形状为 (batch, channels, height, width) 的输入。如果未指定,则该值将默认为 keras.config.image_data_format

返回值

灰度图像或灰度图像批次。

示例

>>> import numpy as np
>>> from keras import ops
>>> x = np.random.random((2, 4, 4, 3))
>>> y = ops.image.rgb_to_grayscale(x)
>>> y.shape
(2, 4, 4, 1)
>>> x = np.random.random((4, 4, 3)) # Single RGB image
>>> y = ops.image.rgb_to_grayscale(x)
>>> y.shape
(4, 4, 1)
>>> x = np.random.random((2, 3, 4, 4))
>>> y = ops.image.rgb_to_grayscale(x, data_format="channels_first")
>>> y.shape
(2, 1, 4, 4)