AIに任せた運用の失敗を書き溜めた台帳215件を数えたら、同じ型が3つ見えた(実測)
僕は個人のサイト運営や情報収集の多くを、AI(Claude)に任せています。AIはセッションが終わると、その会話を覚えていません。だから失敗したら、会話ではなく1つのファイルに書き足す運用にしています。そのファイルを、2026年11月11日に数え直しました。
先に結論です。台帳の教訓は215件(2026年11月11日の実測)で、半分近い105件は10月の記録でした。そのうち、10月8日の1日に書いた3件には共通の型があり、「成功したと報告する失敗」「落ちない検査」「古い結論の書き写し」でした。どれも、AIが怠けたというより、僕と仕組みの側が「気づける形」にしていなかったことが原因です。ただし、件数は記録の量であって、失敗の多さそのものではありません。
1. 他の人の事故一覧と、足りなかったもの
AI運用の失敗の記録について、日本語で上位に出る記事を開きました(2026年11月11日)。AI社員の運用事故15件を、日付・起きたこと・原因・入れた仕組み・型の列で表にして、5つの型に分けている記事です(2026年11月11日に確認)。件数や割合は「自社の環境の記録で、業界全体の傾向ではない」と断っていて、できていないことを書く節もあります。読む側が、自分の運用に引き寄せて使える作りです。
真似したのは、一覧を表にする点と、限界を書く点です。一方で、台帳全体の件数や月ごとの増減は載っていませんでした。僕の台帳でそこを数えたのが、この記事です。
2. 台帳は215件。半分近くが10月
台帳は1つのMarkdownファイルで、2026年11月11日時点で2,244行、約326KBあります。見出しは221件で、そこから章の見出し6件を除いた215件が、1件ずつの教訓です。
| 月 | 件数 | メモ |
|---|---|---|
| 2026年8月 | 36件 | 最初の記録は8月13日(実測) |
| 9月 | 42件 | 9月7日から、見出しを番号ではなく日付にした |
| 10月 | 105件 | 全体の約49%(105÷215の計算) |
| 11月(11日まで) | 18件 | 途中の数字 |
| 日付が見出しにないもの | 14件 | 章ごとにまとめた古い記録(実測) |
10月が多いのは、失敗が増えたからなのか、作業量が増えたからなのか、書く量が増えたからなのかは、この数字だけでは分かりません。件数が多い月ほど失敗した、とは言えないので、ここでは「記録が多い月だった」とだけ書いておきます。
見出しの語を機械的に数えると(2026年11月11日の実測)、「検査」「測」「計測」などの語を含む見出しが43件、「公開」「本番」「push」などを含む見出しが25件ありました。これは型の分類ではなく、語が出る回数を数えただけです。215件すべてを型に分ける作業は、まだしていません。
3. 10月8日の1日で見つけた、同じ型の3件
型の説明に使うのは、数字つきで裏が取れる3件です。すべて2026年10月8日の台帳に書いたものです。
| 型 | 起きたこと | 気づけなかった理由 | 入れた仕組み |
|---|---|---|---|
| 成功したと報告する失敗 | 収集ツールが、取りこぼしたまま正常終了していた | ログに「やったこと」しか出ていなかった | 最後に「まだ取れていない本数」を1行出す |
| 落ちない検査 | 検査を足したのに、壊しても落ちるかを確かめていなかった | 通ると「守られている」と思い込める | 足した日に、わざと壊して落ちるのを見る |
| 古い結論の書き写し | 「この環境に node は無い」を毎週書き写していた | 一度調べた結論を、条件が変わったあとも信じた | 「無い」と書く前に、フォルダ内を1回探す |
型1:成功したと報告する失敗
同じ日に、収集系のツールで似たバグが見つかりました。台帳には、症状が6行並んでいます。たとえば、ウェブページの本文を取り込むツールが、本文を途中で切っていました。602本中121本(20.1%)です。ログには「新規0/既存602」と出ていて、読み終えたように見えていました。
動画の字幕を取るツールでは、上限の60件を「既存かどうかの確認」より前に当てていました。そのため、先頭の60行が埋まると、61行目以降に進めません。字幕なしの取り直しも、319本のうち60本しか見ていなかった(実際に試したのは1本)。見られていなかったのは259本で、81.2%です。ログの表示は「対象60/まだ字幕なし1」で、取れるものが無いように見えていました。
共通点は、どのツールも「何本処理したか」しか出力しておらず、「何本届いていないか」を誰も出していなかったことです。失敗は例外として目立ちますが、取りこぼしは正常終了します。だから今は、収集系のツールの最後に必ず「条件に合う対象N本/まだ取れていないM本」を1行出させています。
4. 型2と型3:落ちない検査と、古い結論の書き写し
型2:落ちない検査
同じ日に、記録していた「検査」にも同じ疑いを向けました。検査を足したのに、通るのが当たり前になっていたら、無いより悪いからです。そこで2本の検査を、わざと壊してみました。1本は、索引に書いた語を存在しない語に替える。もう1本は、計算式の係数を少しだけ変える。結果は、2本とも検査が落ちて、戻すと通りました。
この確認で分かったのは、この2本は動いていた、ということだけです(台帳の記録より)。ほかの検査が動いているかは別の話なので、新しい検査を足した日に、1回だけ壊して確かめる運用にしました。
型3:古い結論の書き写し
手順のメモに、2026年9月13日から毎週、「この環境に node は無い」と書いていました。ところが、実際にはリポジトリの中に node がありました。シェルで場所を調べるコマンドが空を返したので、「無い」ように見えただけです。見つかったのは10月8日で、25日間、同じ注記を書き写していたことになります。
これは、調べずに書いた失敗ではありません(台帳の記録より)。一度調べた結論を、条件が変わったあと(node をフォルダに置いたのは別の作業でした)も信じて書き続けた失敗です。括弧書きで毎週コピーされる注記ほど、古くなります。
5. 3つに共通すること
- どれも、気づくきっかけが仕組みの側に無かった。ログ、検査の合格表示、毎週の注記が、すべて「大丈夫」と読める形でした。
- AIに「もっと注意して」と言っても直らない種類の問題です。直したのは、出力の形(残りを出す)と、運用の手順(壊して確かめる、探してから書く)でした。
- 見つけたのは、この日に台帳を見直したからです。書き溜めた台帳があったので、同じ型が並んで見えました。
6. この記録から言えないこと
- 215件のすべてを型に分けたわけではなく、3つの型は「数字つきで裏が取れた3件」から選んだものです。
- 台帳の件数と、実際に起きた失敗の数は同じではありません。1件の中に複数の症状が入っていることもあります(型1は1件に6行)。
- 対策を入れたあとに、同じ型の失敗が減ったかどうかは測っていません。
- 1人の運用、1つの台帳の話です。他の環境の傾向を示す数字ではありません。
7. 自分で台帳を作るなら
- 1件ごとに、日付・短い名前・「何が起きたか」の一文を見出しにします。僕は9月7日から、番号ではなく日付にしました。番号は途中で重複して、参照が壊れたからです。
- 本文には、きっかけ、やったこと、次から変える一般化を書きます。
- 月に1回、見出しだけを数えます。件数が多い月は、中身を読み返して、同じ型が並んでいないかを見ます。
- 同じ型が2件以上あったら、注意ではなく、出力や手順を変えます。
よくある質問
AIの失敗を、なぜ会話ではなくファイルに書くのですか?
AIは、セッションが終わるとその会話を覚えていないからです。次のセッションが読むのは設定ファイルとメモなので、学んだことは会話の中ではなく、ファイルに書いておく必要があります。
台帳の件数が多いのは、失敗が多いということですか?
そうとは限りません。件数は記録の量で、作業量や書く量にも左右されます。10月が105件と多いのは事実ですが、失敗が増えたからかどうかは、この数字だけでは言えません。
「成功したと報告する失敗」は、どう防げますか?
処理した本数だけでなく、届いていない本数も最後に1行出す形にしました。条件に合う対象N本、まだ取れていないM本、と出すと、止まっていることに気づけます。
まとめ
- 失敗台帳は215件で、10月が105件でした(2026年11月11日に数えた結果)
- 10月8日の1日で、「成功したと報告する失敗」「落ちない検査」「古い結論の書き写し」の3つの型が見えました
- 収集の取りこぼしは、本文の切れが20.1%(602本中121本)、字幕の取り直しの未確認が81.2%(319本中259本)でした
- 件数は記録の量で、失敗の多さそのものではありません
次の1アクションとして、自分が使っている自動化やスクリプトを1つ選び、出力の最後に「届いていない数」を出す行があるかを確かめてみてください。ログが「正常」のときに、何本が未処理なのかが答えられるかが分かります。
ほかにも、自分で運営して測った記録を書いています。予約タスクで利用上限を使い切った記録や、自作の検査を記事33本に当てた実測もどうぞ。