先日リリースしたメジャーアップデートである Version 3.x では、単なる基本性能の向上にとどまらず、アプリのあり方を少し変える新しい機能を搭載しました。 それが、「音響特徴量付きJSON」およびMarkdownの出力対応です。 これは単に、従来のSRT（字幕ファイル）やMarkdownと同じテキスト内容をJSONというフォーマットに変換しただけのものではありません。 各発話セグメントに対して、 ・話者（Speaker） ・タイムスタンプ / 発話時間（duration） ・発話前の無音時間（pause_before） ・ピッチの平均（pitch_mean） ・ピッチの標準偏差 / 揺らぎ（pitch_std） ・平均音量（energy_mean） といった音響の統計データ（メタデータ）をテキストと完全に紐付けて保持する設計にしています。 この構造化データを外に吐き出せるようになると、文字起こしの「その先」の自動化や知的生産の幅が一気に広がります。 まるでその場で聞いていたかのような要約や、字幕や知的生産ツール（Obsidian / Logseq等）との連携も可能となりました。 もちろん、文字起こし結果の編集も使い勝手を大幅に向上させ、任意の位置での改行による行分割、タイムラインを次々に移動しながらの連続編集で時短を実現しています。

この数か月でFFTrans Neuは、単なる文字起こしアプリから、Apple Silicon向けに最適化された高速・高精度なオフライン音声解析ツールへと大きく進化しました。 主なアップデート 1. Apple SpeechAnalyzer対応 ・Apple純正の最新音声解析エンジンを採用 ・処理速度・認識精度を大幅に改善 ・Apple Siliconとの親和性をさらに向上 2. メモリ使用量を大幅改善 ・8GBメモリ搭載Macでも長時間の音声を安定処理 ・全体のメモリ管理を最適化 3. ノイズ除去機能を追加 ・周囲の雑音が多い録音でも文字起こし精度を向上 ・会議・インタビュー・講演など実用性を強化 4. 話者割り当てを改善 ・優先話者割り当て機能を追加 ・話者分離結果の安定性が向上 5. モデル配信をCloudflare R2へ移行 ・ダウンロード速度・安定性を改善 ・モデル管理をより効率化 6. オフライン話者分離を強化 ・FluidAudio + VBxによる高速・高精度な話者分離を継続改善 ・完全オフラインでプライバシーを保護 FFTrans Neuは今後も、 ・完全オフライン ・Apple Silicon最適化 ・高速 ・高精度 ・プライバシー重視 というコンセプトを維持しながら、さらに進化を続けていきます。

Tahoeから登場した新しいApple純正の文字起こしエンジン「SpeechAnalyzer」に対応して2.0.0となりました。 ・Appleモデル(高速) : 16秒 ・量子化モデル（推奨）：38秒 ・高精度モデル：2分02秒 (いずれも6分動画、言語識別あり。MacBook Air M4にて計測) SpeechAnalyzerには言語識別の機能がなく、通常は事前に言語を手動指定する必要があるのですが、音声の先頭発話を量子化モデルを使って検出して多数決処理で決定することで、これまで通りの使い勝手を継承しています。 1.8.0で言語の手動指定も可能にしてあるので、これで言語をあらかじめ指定すれば12.8秒とさらなる爆速を実現できます。 Appleモデルでも話者分離・記憶、カスタム辞書はそのままお使いいただけますし、言語識別も精度を重視した量子化モデル、高精度モデルもこれまで通り設定画面より選択してご利用いただけます。

1.4.0で追加した内容は以下の通りです。 [ Version 1.4.0 ] ・Segment Timeline Adjustmentを搭載し、タイムライン精度を向上 ・タイムライン編集用の波形表示調整ホバー機能を追加 ・文字起こし完了直後の本文の表示が一部隠れることがある問題を修正 ・音声抽出処理のタイミングを変更 ・ハルシネーションフィルターを強化

1.3.0にて追加した内容は以下の通りです。 [ Version 1.3.0 ] ・文字起こし処理を見直し、Neural Engineのみでの処理として高速化 ・行編集機能を追加 1.3.0ではGPU併用を見直し、Neural Engineのみでの文字起こし処理に改良しました。 MacBook Air M3 8GBで6分のニュース動画からの文字起こしが1分8秒→40秒と圧倒的な高速化となっています。 GPU使用が一切なくなったので、省電力や発熱の少なさも大きく改善してサーマルスロットリングの発生も減少しますし、メモリ消費も限りなく最小になっています。 また、FFTrans Pro固有の機能のうち、文字起こし結果の編集機能もほぼ同等のものを装備しました。