トップ ＞ テクノロジー

CPUだけで動くリアルタイム多言語音声認識「早耳」が公開

内容

「早耳（Hayamimi）」は、GPUやクラウドAPIを使わずにCPUだけで動く、軽量なリアルタイム多言語音声認識システムです。GitHubでリポジトリが公開されており、GIGAZINEが「CPUのみで動作するリアルタイム多言語音声認識『早耳』」として紹介しました。

CPUだけで速く動く仕組み

早耳は、発話ごとに言語を判定し、その言語向けの専用モデルに処理を振り分けます。モデルはINT8量子化したONNX形式で、sherpa-onnx上で動きます。このためPyTorchやCUDAは必要ありません。6コアのデスクトップCPUで、実時間の10～50倍の速さで処理できるとされています。精度は、実際のテレビ放送の日本語音声で文字誤り率（CER）3.8%と報じられています。

対応言語と字幕の出し方

専用モデルで処理するのは、日本語・中国語・韓国語・広東語・英語の5言語と、欧州24言語です。それ以外の約1600言語は、Meta Omnilingual ASRに切り替えて対応します。字幕は話している途中から約0.5秒ごとに仮の文字として表示され、日本語では話し終えてから約100msで確定します。2秒間の無音があると直前の発話を読み直して清書する機能もあり、日本語のCERが15.5%から12.0%に改善したとされています。

主な機能

オプションで、次の機能を使えます。

• CAM++とpyannote/segmentation-3.0による話者ラベル付け
• 日本語字幕を英語・中国語・韓国語・スペイン語などへリアルタイムに翻訳
• 固有名詞の認識強化と置換辞書
• 漢数字を算用数字へ変換
• OBS用のオーバーレイと、ブラウザで見られるライブダッシュボード
• WebSocket経由の音声入力
• PC内部の音声やマイクとの合成音声の文字起こし（Windows専用）

英語には、誤り率を下げる上位モデルへの切り替えも用意されています。

動作環境とメモリ

使うには、Python 3.10以上とffmpegが必要です。Windows、macOS、Linuxそれぞれのインストール手順が案内されています。常駐させるモデルは、使われていないものから順に退避させる仕組みで、上限内（既定は2GB）に抑えられます。日本語と英語だけに絞る約1.1GBの最小構成も選べます。ただし、古い機種や低性能なPCでどこまで快適に動くかは、現時点で明らかになっていません。料金やライセンスの条件も、現時点で明らかになっていません。

注目ポイント

専用のGPUやクラウド契約がなくても、手元のPCだけで字幕から翻訳までまとめて扱える点が関心を集めています。OBS向けのオーバーレイやPC内部音声の文字起こしに対応しているため、配信やオンライン会議など、身近な場面での使い道が想像しやすい話題です。対応する言語が幅広いことも注目されています。

ネットでの反応

SNSでは、低コストで使えそうだという受け止めや、ローカル環境のCPUだけでメモリ2GBを切る点に魅力を感じる声が出ています。動く環境を選ばない点を評価し、配信の字幕ツールとして使いやすそうだという投稿も見られます。

参考記事

• CPUのみで動作するリアルタイム多言語音声認識「早耳」、GPUもクラウドAPIも使わずメモリ2GB未満でライブ字幕表示からブラウザ表示・話者ラベル付け・翻訳字幕まで可能GIGAZINE　2026年10月11日 13:33

ランキング登場履歴

この記事の内容に誤りを見つけた方は 情報の誤りを報告 からお知らせください。