MoonshineAudioConverter

[源代码]

MoonshineAudioConverter 类

keras_hub.layers.MoonshineAudioConverter(
    sampling_rate=16000, padding_value=0.0, do_normalize=False, **kwargs
)

Moonshine 音频预处理层。

此层处理 Moonshine ASR 模型的原始音频波形。音频被格式化为 16kHz 采样率的批处理张量，并验证长度（0.1 到 64 秒）。该层处理填充和可选归一化。它不包含可训练的权重。

参数

• sampling_rate: int, 可选。音频采样率，单位为 Hz。默认为 16,000。
• padding_value: float, 可选。填充值。默认为 0.0。
• do_normalize: bool, 可选。是否归一化输入。默认为 False。
• **kwargs: 传递给基类 AudioConverter 的额外关键字参数，用于自定义底层预处理行为。

调用参数

• - inputs: 要处理的原始音频数据。对于单声道音频，它应该是一个形状为 (batch_size, time_steps, 1) 的张量。如果输入形状为 (batch_size, time_steps)，该层将添加通道维度。
• - sampling_rate: 音频的采样率，单位为 Hz。如果提供，它必须与初始化时设置的预期采样率（默认为 16,000 Hz）匹配。如果未提供，则从初始化参数中获取预期采样率。
• - padding: 要应用的填充策略。如果提供，可以是以下之一：
  • "longest": 如果设置了 pad_to_multiple_of，则将音频填充，使 time_steps 维度成为 pad_to_multiple_of 的倍数。
  • "max_length": 将音频填充或截断到 max_length 个时间步。如果设置了 pad_to_multiple_of，则目标长度将是大于或等于 max_length 的最小 pad_to_multiple_of 倍数。
  • 如果未指定或为 None，则不应用填充。
• - max_length: 当 padding 为 "max_length" 时的目标时间步数。如果未提供且 padding 为 "max_length"，则不应用填充或截断。
• - pad_to_multiple_of: 如果设置，对于所选的填充策略，填充后的 time_steps 将是此值的倍数。

示例

import keras
from keras_hub.layers import MoonshineAudioConverter

# Create a dummy audio input (1 second at 16kHz).
dummy_audio = keras.ops.convert_to_tensor(
    [[0.1] * 16000],
    dtype="float32"
)
dummy_audio = keras.ops.expand_dims(dummy_audio, axis=-1)

# Initialize the preprocessor.
preprocessor = MoonshineAudioConverter(do_normalize=True)

# Process the audio.
processed_audio = preprocessor(dummy_audio)

# Output shape.
print(processed_audio.shape) # Expected: (1, 16000, 1) or padded length

[源代码]

from_preset 方法

MoonshineAudioConverter.from_preset(preset, **kwargs)

从模型预设实例化 keras_hub.layers.AudioConverter。

预设是一个包含配置、权重和其他文件资产的目录，用于保存和加载预训练模型。preset 可以作为以下之一传递：

1. 内置预设标识符，例如 'whisper_base_en'
2. Kaggle 模型句柄，例如 'kaggle://user/whisper/keras/whisper_base_en'
3. Hugging Face 句柄，例如 'hf://user/whisper_base_en'
4. 本地预设目录的路径，例如 './whisper_base_en'

您可以运行 `cls.presets.keys()` 来列出该类上所有可用的内置预设。

此构造函数可以通过两种方式调用。一种是从基类调用，例如 keras_hub.models.AudioConverter.from_preset()，另一种是从模型类调用，例如 keras_hub.models.WhisperAudioConverter.from_preset()。如果从基类调用，返回对象的子类将根据预设目录中的配置推断。

参数

• preset：字符串。一个内置预设标识符、一个 Kaggle Models 句柄、一个 Hugging Face 句柄或一个本地目录的路径。
• load_weights：布尔值。如果为 `True`，权重将被加载到模型架构中。如果为 `False`，权重将被随机初始化。

示例

# Load an audio converter from a preset.
converter = keras_hub.layers.AudioConverter.from_preset(
    "whisper_base_en"
)
# Convert some raw mono channel audio input.
converter(np.ones(2, 1_000))