ホーム›読みもの›AI運用の失敗台帳215件を数えた実測

AIに任せた運用の失敗を書き溜めた台帳215件を数えたら、同じ型が3つ見えた(実測)

2026年11月11日 / フジケン

失敗台帳の月ごとの記録件数の棒グラフ。2026年8月が36件、9月が42件、10月が105件、11月は11日までで18件
図1:失敗台帳の月ごとの記録件数(2026年11月11日に数えた結果)

僕は個人のサイト運営や情報収集の多くを、AI(Claude)に任せています。AIはセッションが終わると、その会話を覚えていません。だから失敗したら、会話ではなく1つのファイルに書き足す運用にしています。そのファイルを、2026年11月11日に数え直しました。

先に結論です。台帳の教訓は215件(2026年11月11日の実測)で、半分近い105件は10月の記録でした。そのうち、10月8日の1日に書いた3件には共通の型があり、「成功したと報告する失敗」「落ちない検査」「古い結論の書き写し」でした。どれも、AIが怠けたというより、僕と仕組みの側が「気づける形」にしていなかったことが原因です。ただし、件数は記録の量であって、失敗の多さそのものではありません。

1. 他の人の事故一覧と、足りなかったもの

AI運用の失敗の記録について、日本語で上位に出る記事を開きました(2026年11月11日)。AI社員の運用事故15件を、日付・起きたこと・原因・入れた仕組み・型の列で表にして、5つの型に分けている記事です(2026年11月11日に確認)。件数や割合は「自社の環境の記録で、業界全体の傾向ではない」と断っていて、できていないことを書く節もあります。読む側が、自分の運用に引き寄せて使える作りです。

真似したのは、一覧を表にする点と、限界を書く点です。一方で、台帳全体の件数や月ごとの増減は載っていませんでした。僕の台帳でそこを数えたのが、この記事です。

2. 台帳は215件。半分近くが10月

台帳は1つのMarkdownファイルで、2026年11月11日時点で2,244行、約326KBあります。見出しは221件で、そこから章の見出し6件を除いた215件が、1件ずつの教訓です。

表1:失敗台帳の月別件数(見出しの日付で数えた。2026年11月11日の実測)
月件数メモ
2026年8月36件最初の記録は8月13日(実測)
9月42件9月7日から、見出しを番号ではなく日付にした
10月105件全体の約49%(105÷215の計算)
11月(11日まで)18件途中の数字
日付が見出しにないもの14件章ごとにまとめた古い記録(実測)

10月が多いのは、失敗が増えたからなのか、作業量が増えたからなのか、書く量が増えたからなのかは、この数字だけでは分かりません。件数が多い月ほど失敗した、とは言えないので、ここでは「記録が多い月だった」とだけ書いておきます。

見出しの語を機械的に数えると(2026年11月11日の実測)、「検査」「測」「計測」などの語を含む見出しが43件、「公開」「本番」「push」などを含む見出しが25件ありました。これは型の分類ではなく、語が出る回数を数えただけです。215件すべてを型に分ける作業は、まだしていません。

3. 10月8日の1日で見つけた、同じ型の3件

型の説明に使うのは、数字つきで裏が取れる3件です。すべて2026年10月8日の台帳に書いたものです。

表2:10月8日の台帳から選んだ3件(自分の記録)
型起きたこと気づけなかった理由入れた仕組み
成功したと報告する失敗収集ツールが、取りこぼしたまま正常終了していたログに「やったこと」しか出ていなかった最後に「まだ取れていない本数」を1行出す
落ちない検査検査を足したのに、壊しても落ちるかを確かめていなかった通ると「守られている」と思い込める足した日に、わざと壊して落ちるのを見る
古い結論の書き写し「この環境に node は無い」を毎週書き写していた一度調べた結論を、条件が変わったあとも信じた「無い」と書く前に、フォルダ内を1回探す

型1:成功したと報告する失敗

同じ日に、収集系のツールで似たバグが見つかりました。台帳には、症状が6行並んでいます。たとえば、ウェブページの本文を取り込むツールが、本文を途中で切っていました。602本中121本(20.1%)です。ログには「新規0/既存602」と出ていて、読み終えたように見えていました。

動画の字幕を取るツールでは、上限の60件を「既存かどうかの確認」より前に当てていました。そのため、先頭の60行が埋まると、61行目以降に進めません。字幕なしの取り直しも、319本のうち60本しか見ていなかった(実際に試したのは1本)。見られていなかったのは259本で、81.2%です。ログの表示は「対象60/まだ字幕なし1」で、取れるものが無いように見えていました。

ログは正常なのに取りこぼしていた割合の棒グラフ。本文を途中で切っていたのが20.1%、取り直しで未確認の動画が81.2%、対象外の動画が混ざった索引が42.7%
図2:ログが正常でも取りこぼしていた割合(2026年10月8日の台帳より)

共通点は、どのツールも「何本処理したか」しか出力しておらず、「何本届いていないか」を誰も出していなかったことです。失敗は例外として目立ちますが、取りこぼしは正常終了します。だから今は、収集系のツールの最後に必ず「条件に合う対象N本/まだ取れていないM本」を1行出させています。

4. 型2と型3:落ちない検査と、古い結論の書き写し

型2:落ちない検査

同じ日に、記録していた「検査」にも同じ疑いを向けました。検査を足したのに、通るのが当たり前になっていたら、無いより悪いからです。そこで2本の検査を、わざと壊してみました。1本は、索引に書いた語を存在しない語に替える。もう1本は、計算式の係数を少しだけ変える。結果は、2本とも検査が落ちて、戻すと通りました。

検査をわざと壊して落ちるかを確かめた結果の図。2本の検査はどちらも落ち、元に戻すと通った
図3:検査をわざと壊した結果(2026年10月8日の台帳より)

この確認で分かったのは、この2本は動いていた、ということだけです(台帳の記録より)。ほかの検査が動いているかは別の話なので、新しい検査を足した日に、1回だけ壊して確かめる運用にしました。

型3:古い結論の書き写し

手順のメモに、2026年9月13日から毎週、「この環境に node は無い」と書いていました。ところが、実際にはリポジトリの中に node がありました。シェルで場所を調べるコマンドが空を返したので、「無い」ように見えただけです。見つかったのは10月8日で、25日間、同じ注記を書き写していたことになります。

これは、調べずに書いた失敗ではありません(台帳の記録より)。一度調べた結論を、条件が変わったあと(node をフォルダに置いたのは別の作業でした)も信じて書き続けた失敗です。括弧書きで毎週コピーされる注記ほど、古くなります。

5. 3つに共通すること

6. この記録から言えないこと

7. 自分で台帳を作るなら

  1. 1件ごとに、日付・短い名前・「何が起きたか」の一文を見出しにします。僕は9月7日から、番号ではなく日付にしました。番号は途中で重複して、参照が壊れたからです。
  2. 本文には、きっかけ、やったこと、次から変える一般化を書きます。
  3. 月に1回、見出しだけを数えます。件数が多い月は、中身を読み返して、同じ型が並んでいないかを見ます。
  4. 同じ型が2件以上あったら、注意ではなく、出力や手順を変えます。

よくある質問

AIの失敗を、なぜ会話ではなくファイルに書くのですか?

AIは、セッションが終わるとその会話を覚えていないからです。次のセッションが読むのは設定ファイルとメモなので、学んだことは会話の中ではなく、ファイルに書いておく必要があります。

台帳の件数が多いのは、失敗が多いということですか?

そうとは限りません。件数は記録の量で、作業量や書く量にも左右されます。10月が105件と多いのは事実ですが、失敗が増えたからかどうかは、この数字だけでは言えません。

「成功したと報告する失敗」は、どう防げますか?

処理した本数だけでなく、届いていない本数も最後に1行出す形にしました。条件に合う対象N本、まだ取れていないM本、と出すと、止まっていることに気づけます。

まとめ

次の1アクションとして、自分が使っている自動化やスクリプトを1つ選び、出力の最後に「届いていない数」を出す行があるかを確かめてみてください。ログが「正常」のときに、何本が未処理なのかが答えられるかが分かります。

ほかにも、自分で運営して測った記録を書いています。予約タスクで利用上限を使い切った記録や、自作の検査を記事33本に当てた実測もどうぞ。

公開: