自作の方言変換ツールを全部の組み合わせで数えたら、432通り中417通りで文が壊れていた
僕は、方言変換ツール(方言ラボ)を、AI(Claude Code)に作らせています。サイトの訪問の多くはこの変換ツールに来るのに、変換した結果の文を、僕はきちんと読んでいませんでした。2026年11月15日に、変換結果をすべて並べて読んだところ、文が壊れていました。その記録です。
先に結論です。日常の文12本を36方言に通した432通りのうち、417通りで、文の途中に「ひとこと丸ごと」の定型句が入って文が壊れていました。辞典の語を1語ずつ確かめる検査は通っていたので、気づけませんでした。直したあとは、文の途中に定型句が入る組は、同じ種類の12文で見ると420通り中10通りに減り、残った10通りは語ひとつに収まる言い方だけです。
1. 他の記事は何を書いていたか
「AI テスト 組み合わせ バグ」で探して、上位の2本を開きました(2026年11月16日)。
- Zennの「AIにテストを書かせてカバレッジ100%、それでもバグが出るのはなぜか」:カバレッジは実行された箇所を示すだけで、結果の正しさは示さないこと、条件の組み合わせは別に設計が要ることを、段階を分けて説明しています。記事に筆者の実測数字は載っていません(数値は説明用の例)。
- Zennの「組み合わせ爆発に立ち向かうために、AIと“ぶんまわしくん”を作った話」(Ubie):同じ操作を新旧のエンジンで夜間に繰り返し、最終画面の文字を比べて差分を出す仕組みを書いています。見つけたバグの件数は書かれていません。
どちらも「組み合わせを見ないと見落とす」ことは分かります。この記事では、自分のツールで数えた件数と、直した前後の出力を書きます。
2. どう壊れていたか
変換ツールに「とても疲れたので、早く家に帰りたい。ありがとう。」を入れて、土佐弁に変換した結果です(2026年11月15日)。
| 変換結果 | |
|---|---|
| 入力 | とても疲れたので、早く家に帰りたい。ありがとう。 |
| 直す前 | こじゃんとこじゃんとだれたにゃあので、早く家に帰りたい。まっことありがとう。 |
| 直した後 | こじゃんとんだれたので、早く家に帰りたい。ありがとう。 |
「こじゃんと」が2回続き、文の途中に「にゃあ」という語尾が差し込まれています。他の方言でも同じで、北海道弁では「久しぶりに会えてうれしい。」が「久しぶりだべさ!に会えてうれしい。」になっていました。
数えると、日常の文12本×36方言=432通りのうち、417通りで、文の途中に定型句が入っていました。
3. 見つけ方:全部の組み合わせを並べる
見つけた方法は単純で、文12本と方言36の全部を変換して、結果を並べて読んだだけです。これまでの検査は、辞典の語1つ1つや、クイズの問題1問1問を照合するものでした(クイズ280問の照合、出題プールの検査など)。これらの検査は、直したあとも通っています。つまり、語や問題の単位で見る検査で、文に組み合わせた出力は見ていませんでした。
これは僕の読みですが、語や問題の「部品」を検査しても、部品を組み合わせた出力の質は分かりません。1つ目の記事(カバレッジの話)が言っていることと同じ向きだと思います。
4. 原因と直し方
原因は、診断ゲーム用に用意した「ひとこと」を、変換の語彙としても使っていたことでした。「ありがとう」→「まっことありがとう」のように、そのひとこと(強調語・語尾・感嘆符を含む)を、文の途中でも当てていました。文の途中に当てると、「ありがとね〜ございます」「久しぶりだべさ!に会えて」のように文が壊れます。
直した内容は、次の3つです(コード:lib/translate_dict.ts)。
- 入力が丸ごと、そのひとことのときだけ、方言の言い方をひとこと丸ごと返す
- 文の途中では、語ひとつに収まる言い方(伸ばし記号・感嘆符・読点を含まない、元の語を含まない、元より2字以上長くない)だけを当てる
- 当てる位置は、前後がひらがなで続かないところだけ(「ありがとう|ございます」には当てない)
5. 直したあとの数字
直したあと、同じ検査をもう一度回しました(2026年11月15日)。文の途中に定型句が入った組は、直す前の417通りから、14件の語ひとつ型(「おおきに」「いかんちや」のような言い方)だけになりました。回帰の検査(文の途中の定型句11文×36方言=396通りと、単体35方言)も0件です。
もう1つ、今日(11月16日)に別の日常文12本×35方言=420通りを、直す前の版(Gitの履歴の版)と今の版に通して比べました。
| 直す前の版 | 今の版 | |
|---|---|---|
| 文の途中に定型句が入った組 | 140通り | 10通り |
表2の420通りのうち、3つの出力を並べます。
- 北海道弁「久しぶりに会えてうれしい。」:直す前は「久しぶりだべさ!に会えてうれしい。」、今は「久しぶりに会えてうれしい。」
- 大阪弁「今日はとても寒いね。」:直す前は「今日はめっちゃ今日さぶいなあ。」、今は「今日はめっちゃ寒いね。」
- 土佐弁「今日はとても寒いね。」:直す前は「今日はこじゃんとこじゃんと寒いちや。」、今は「今日はこじゃんと寒いね。」
表2の12文は、11月15日に使った12文とは別の文です。そのため、140通りと417通りは同じ母数の比べ方ではありません。一方で、壊れ方(強調語の二重化、文途中の語尾・感嘆符)は同じ型でした。なお、方言の一覧のデータは標準語を含む36要素で、方言だけなら35です。11月15日の「36」が標準語を含む数え方だったかどうかは、当時の集計スクリプトが残っておらず確かめていません。
6. まだ残っていること
- 辞典の複合語(1,638語)×36方言のうち、語句の一部だけが置き換わる組が1,755件あります。「具合が悪い→あんべが悪い」のように意味が通るものが大半と見ていますが、全部は分類していません。
- 方言から標準語への向き(逆方向)の同じ種類の不具合は、まだ調べていません。
- 文の中での置き換わり方が減ったため、変換が変わらない文が増えました(方言変換で文が変わらないのはなぜかに実測を書きました)。読める文を返すほうを選びました。
よくある質問
方言変換ツールで文が壊れるのは、AIが作ったからですか?
この件については、作り方より「組み合わせの出力を見ていなかった」ことが原因でした。診断用のひとことを変換の語彙にも使い、文の途中にも当てる作りで、部品の1つ1つは正しく動いていました。人が書いても起きうる種類の不具合です。
全部の組み合わせを数えるのは、いつでもできますか?
入力と出力の組み合わせが数百〜数千通りなら、できます。今回は12文×36方言の432通りで、数秒で終わりました。組み合わせが数百万通りになる場合は、ランダムに選ぶ方法(別の記事で見たUbieの例)が現実的です。
直したあとは、もう壊れませんか?
ひとこと丸ごとの当て方に起きていた壊れ方は、検査した範囲では0件になりました。ただし、辞典の複合語の一部だけが置き換わる組が1,755件残っていて、まだ分類していません。壊れていないとは言い切れません。
まとめ
部品の検査が全部通っても、組み合わせた出力は壊れていることがあります。今回は、432通り中417通りでした。直したあとは、同じ種類の組で140通りから10通りに減りました。
次の1アクションは、自分のツールの「入力×設定」の全部の組み合わせを、1度だけ全部出力して、並べて読むことです。数百通りなら、数秒で終わります。
出典
- 方言ラボ変換ツールの実行結果(2026年11月15日・16日、自社実測)。コミットの記録:hogen-app 382c555(2026年11月15日)
- Zenn「AIにテストを書かせてカバレッジ100%、それでもバグが出るのはなぜか」(https://zenn.dev/okamyuji/articles/ai-tests-coverage-blindspot /2026年11月16日に確認)
- Zenn(Ubie)「組み合わせ爆発に立ち向かうために、AIと“ぶんまわしくん”を作った話」(https://zenn.dev/ubie_dev/articles/032144e69f19a7 /2026年11月16日に確認)
- 「直す前の版」は、Gitの履歴(コミット ad7140a の lib/translate_dict.ts)を取り出して実行しました
2026年11月16日公開
← 読みもの一覧へ