MoonshineAudioConverter

[源代码]

MoonshineAudioConverter 类

keras_hub.layers.MoonshineAudioConverter(
    sampling_rate=16000, padding_value=0.0, do_normalize=False, **kwargs
)

Moonshine 音频预处理层。

该层处理 Moonshine ASR 模型所需的原始音频波形。音频将以 16kHz 的采样率格式化为批量张量，并进行长度验证（0.1 到 64 秒）。该层处理填充和可选的归一化。它不包含可训练权重。

参数

• sampling_rate: int, 可选。音频采样率（以 Hz 为单位）。默认为 16,000。
• padding_value: float, 可选。用于填充的值。默认为 0.0。
• do_normalize: bool, 可选。是否对输入进行归一化。默认为 False。
• **kwargs: 传递给基类 AudioConverter 的其他关键字参数，用于自定义底层预处理行为。

调用参数

• - inputs: 要处理的原始音频数据。对于单声道音频，它应该是一个形状为 (batch_size, time_steps, 1) 的张量。如果输入形状为 (batch_size, time_steps)，该层将添加通道维度。
• - sampling_rate: 音频采样率（以 Hz 为单位）。如果提供，必须与初始化时设置的期望采样率（默认为 16,000 Hz）匹配。如果未提供，则期望采样率将从初始化参数中获取。
• - padding: 要应用的填充策略。如果提供，可以是以下之一：
  • "longest": 如果设置了 pad_to_multiple_of，则填充音频以使 time_steps 维度成为 pad_to_multiple_of 的倍数。
  • "max_length": 将音频填充或截断到 max_length 个时间步。如果设置了 pad_to_multiple_of，则目标长度将是大于或等于 max_length 的 pad_to_multiple_of 的最小倍数。
  • 如果未指定或为 None，则不应用填充。
• - max_length: 当 padding 为 "max_length" 时的目标时间步数。如果未提供且 padding 为 "max_length"，则不应用填充或截断。
• - pad_to_multiple_of: 如果设置，则在选择的填充策略下，填充后的 time_steps 将是此值的倍数。

示例

import keras
from keras_hub.layers import MoonshineAudioConverter

# Create a dummy audio input (1 second at 16kHz).
dummy_audio = keras.ops.convert_to_tensor(
    [[0.1] * 16000],
    dtype="float32"
)
dummy_audio = keras.ops.expand_dims(dummy_audio, axis=-1)

# Initialize the preprocessor.
preprocessor = MoonshineAudioConverter(do_normalize=True)

# Process the audio.
processed_audio = preprocessor(dummy_audio)

# Output shape.
print(processed_audio.shape) # Expected: (1, 16000, 1) or padded length

[源代码]

from_preset 方法

MoonshineAudioConverter.from_preset(preset, **kwargs)

从模型预设实例化 keras_hub.layers.AudioConverter。

预设是一个包含配置、权重和其他文件资产的目录，用于保存和加载预训练模型。preset 可以作为以下之一传递：

1. 内置预设标识符，例如 'whisper_base_en'
2. Kaggle 模型句柄，例如 'kaggle://user/whisper/keras/whisper_base_en'
3. Hugging Face 句柄，例如 'hf://user/whisper_base_en'
4. 本地预设目录的路径，例如 './whisper_base_en'

您可以运行 `cls.presets.keys()` 来列出该类上所有可用的内置预设。

此构造函数可以通过两种方式之一调用。可以从基类（如 keras_hub.models.AudioConverter.from_preset()）调用，也可以从模型类（如 keras_hub.models.WhisperAudioConverter.from_preset()）调用。如果从基类调用，则返回对象的子类将从预设目录中的配置推断。

参数

• preset：字符串。一个内置预设标识符、一个 Kaggle Models 句柄、一个 Hugging Face 句柄或一个本地目录的路径。
• load_weights：布尔值。如果为 `True`，权重将被加载到模型架构中。如果为 `False`，权重将被随机初始化。

示例

# Load an audio converter from a preset.
converter = keras_hub.layers.AudioConverter.from_preset(
    "whisper_base_en"
)
# Convert some raw mono channel audio input.
converter(np.ones(2, 1_000))