YouTubeの日本語字幕機能の精度を調べてみた

January 17, 2019

前回、SKYPEのリアルタイム字幕表示機能を紹介しましたが、今回はYouTubeの字幕機能を紹介します。

使った映像は、当社（ジャパンオンラインスクール）がテレビ東京のワールドビジネスサテライトというニュース番組で紹介された時の映像で、次の６人が登場します。

A：日本人／ナレーター／男性

B：日本人／ナレーター／女性

C：日本人／日本語教師／女性

D：日本人／会社経営者／男性

E：外国人／男性（日本語レベル＝中級）

F：外国人／女性（日本語レベル＝上級）

それぞれが話した言葉と、YouTubeの字幕を比べてみた動画がこちらです。

そして、それぞれの字幕の正解率を調べてみたところ、次のような結果になりました。

A：日本人／ナレーター／男性　：　81.8%

B：日本人／ナレーター／女性　：　97.3%

C：日本人／日本語教師／女性　：　88.6%

D：日本人／会社経営者／男性　：　87.3%

E：外国人／男性（日本語レベル＝中級）　：　56.6%

F：外国人／女性（日本語レベル＝上級）　：　85.7%

日本人（A-D）と外国人（E、F）を比べると、87.0%と65.2%になり、やはり外国人が話す日本語よりも、日本人が話す日本語の方が正しく認識されていることが分かります。

また、外国人の中でも、ネイティブレベルのFさんが話す日本語が高い精度で認識された一方、中級レベルのEさんの日本語は半分位しか正しく認識されませんでした。

次のように、意味が通じない文章として認識されてしまった文もありました。

〇　部長ちょっとよろしいでしょうか

×　盲腸ちょっと同時でしょうか

〇　東京商事へ出す企画書なんですが目を通していただけないでしょうか

×　東京総次元出す企画書なんですが夫婦をtwitterいただけないでしょうか

なお、音声の品質や雑音の有無等にも影響されるため一概には言えませんが、この2人の字幕の精度は、プロの日本語教師が評価した会話力とほぼ比例していました。このことからも、YouTubeに正しく認識される日本語を話せる方は、かなりの上級レベルと言えるでしょう。

よろしければ皆さんもお試し下さい(^^)/

※台本があるニュースやドラマでは精度が高くなりますが、お笑い番組やLiveインタビュー等の台本がない番組は精度が低くなります。

※この記事は2019年01月11日時点の内容です。

Japanese Online Lessons using SKYPE