皆さんこんにちは、横浜で清掃業を営みながら、IT未経験の状態からDifyを学んでいる49歳のYasuです。このブログでは、私が実際に手を動かしてつまずいたこと、解決できたことを、できるだけ正直に記録しています。
前回の記事で、Kindle本文の生成プロンプトを「節単位」から「章まるごと」に作り直した話を書きました。そのとき、こう書き残していました。「構成メモの効果は、次章以降で確かめて、また報告します」。
報告します。あれから、このプロンプトで1冊まるごと書き切りました。序章と全10章、あとがきまで含めて約44,000字。テーマは北海道の食文化です（この本の話は、また完成報告の記事で）。
先に結論を言うと、「章まるごと生成」の型そのものは、ちゃんと機能しました。1冊が11回の生成で形になるのは、節単位の切り貼り時代からすると別世界です。ただし、1冊分・約11回の生成を通してみて、設計時には想定していなかった問題が4つ出ました。中には「ロシア語が混入する」という、書いている本人が一番びっくりした事件もあります。
今日はその4つの問題と、それを踏まえて改訂したプロンプト「v2.1」、そして新しく工程に加えた「検品4点セット」の話です。いつも通り、失敗の実測データごと全部公開します。
問題1：初回の出力は、毎回きっちり3割短い
前回の記事で、「下限5,000字と明記したのに初回4,227字だった」と書きました。1回だけの偶然かと思っていたら、違いました。ほぼ毎回です。
各章の「初回出力の実測値」を並べます。下限はすべて5,000字に設定していました。
- 第1章：4,227字
- 第2章：3,972字
- 第3章：3,972字（第2章と同じ数字。偶然ですが不気味でした）
- 第4章：3,311字
- 第5章：3,869字
平均すると、目標のだいたい7割で出てくる。つまりAIには「体感より3割短く書く癖」が、かなり安定して存在するようなのです。下限を明記しても、この癖は消えませんでした。
消えないなら、織り込むしかありません。v2.1では、目標文字数を「本当に欲しい字数の3割増しで書く」ことにしました。8,000字欲しければ「10,000〜12,000字」と指定する。あわせて、章全体の下限だけでなく「各節1,200字以上」という節単位の下限も入れました。章全体の数字より、節ごとの数字のほうが効きます。大きな目標はごまかせても、小さな目標はごまかしにくい。これは人間の仕事でも同じですね。
問題2：文字数の「自己申告」は、やっぱり当てにならない
前回、「自己申告6,800字、実測4,227字」というズレを報告しました。これも全章で再現しました。申告値は毎回、実測より2〜3割多い。
原因を考えてみると、これは嘘をついているというより、AIも人間と同じで「自分の書いた量を多めに見積もる」ということなんだと思います。私も現場の報告書で「A4で2枚分書いたつもり」が1枚半だったこと、何度もあります。
対策はシンプルで、v2.1では自己申告の仕組みそのものを廃止しました。申告させても信用できない数字が出てくるだけなので、指示から削除。代わりに「文字数は依頼者が毎回実測する」と運用側に明記しました。出力をコピーして文字数カウントツールに貼るだけ、10秒の作業です。
問題3：日本語の本文に、ロシア語が混入した
今回の記事で一番お伝えしたかったのが、これです。
第3章の生成後、機械チェックをかけたら、本文からこんな一文が出てきました。
「日本の食料自給率が четverty──いや、四割弱で推移してきたことを思えば」
……четverty。キリル文字です。日本語の文章のど真ん中に、突然ロシア語のかけらが埋まっていました。同じ章では「риск分散」（リスク分散）、「necessity が、いつしか喜びに変わる」という英語の混入もありました。別の章では「ピーク」と書くべきところが「piーク」になっていた例も。1冊を通して、この種の外国語混入が計4件です。
怖いのは、これが目視だとかなり見落としやすいことです。「piーク」なんて、読み流していたら気づきません。縦書きのKindle本にこれが残ったらと思うと、ぞっとします。
対策は二段構えにしました。まずv2.1のプロンプト側に「指定した固有名詞以外の英単語・外国語の文字を一切混入させない」と明記。そのうえで、出力後の機械チェックを工程に組み込みました。方法は簡単で、原稿をWordに貼って半角英字を検索するだけ。指定した固有名詞（ChatGPTなど）以外がヒットしたら混入です。AIに「この原稿に外国語が混入していないか確認して」と投げる方法もあります。
プロンプトで禁止しても、確率をゼロにはできません。だから最後は検品で捕まえる。この「指示＋検品」の二段構えが、長文生成との正しい付き合い方だと思います。
問題4：禁止したはずの言葉が「別の文脈」から漏れてくる
今回の本には、「有名観光地の地名を出さない」という縛りがありました。プロンプトには「〇〇のグルメには触れない」と書いていました。
すると第3章で、その地名が出てきたんです。グルメの話ではなく、道順の説明として。「〇〇方面から峠を抜けて」という具合に。グルメに触れるなという指示は、確かに守られている。でも地名そのものは出てしまう。AIは、書いてあることは守りますが、書いてないことは守りようがないのです。
これは清掃の現場指示とまったく同じでした。「棚の上を拭いておいて」と頼むと、棚の上は完璧でも裏側はそのまま、ということがあります。頼んだ側は「棚まわり全部」のつもりでも、言葉にしたのは「上」だけ。悪いのは作業者ではなく、指示書です。
v2.1では、禁止の書き方を「話題に限らず、その語を本文に一切出さない」に変えました。以後、この漏れは出ていません。
改訂版プロンプト「v2.1」の変更点まとめ
- 目標文字数は「欲しい字数の3割増し」で書く（3割短く出る癖を織り込む）
- 章全体の下限に加えて「各節1,200字以上」の節単位下限を指定する
- 文字数の自己申告は廃止。依頼者が毎回実測する
- 外国語の文字の混入禁止をプロンプトに明記する
- 禁止語は「話題」ではなく「語そのもの」を禁止する
- 構成メモに「節ごとの文字数配分」も書かせる
新工程：「検品4点セット」
そして今回の1冊で確立した、生成後の検品工程がこれです。順番も固定です。
- 文字数の実測──カウントツールに貼る。足りなければ追撃（「新しい話題は足さず、具体例の描写を増やして各節を厚くしてください」）
- 外国語混入チェック──半角英字を検索。固有名詞以外がヒットしたら修正
- 禁止語チェック──出してはいけない語を検索
- 漢数字チェック──半角数字を検索（縦書き本の場合）
4つとも、機械的に確認できるチェックです。これを先に済ませてから、内容の読み直しに入る。機械で潰せるミスを先に潰しておくと、読み直しの集中力を「文章の中身」だけに使えます。うちの清掃の現場でも、道具の点検を先に済ませてから仕上がりの確認に入ります。順番を固定した点検は、注意力より強い。AI相手でも、現場の鉄則はそのまま通用しました。
使ってみた結果：1冊、44,000字
このv2.1と検品4点セットで、序章＋全10章＋あとがき、合計約44,000字の本文が完成しました。検品で実際に捕まえたのは、外国語混入4件、禁止語の漏れ1件、文字数不足はほぼ毎章（すべて追撃で回収）。逆に言えば、検品がなければこれらが全部、完成原稿に残っていたということです。
前回の記事で宿題にしていた「構成メモの効果」についても一言。章の後半で息切れする現象は、構成メモを書かせるようになってからは目立ちませんでした。ただ、文字数配分まで構成メモに含めさせたのはv2.1からなので、こちらの効果はまだ様子見です。断言できることが増えたら、また報告します。
まとめ：AIが賢くなるほど、検品の価値が上がる
今回の1冊で学んだことを、一行にまとめるとこうなります。
生成はAIの仕事、検品は人間の仕事。
モデルが賢くなって、生成の質は確かに上がりました。でもゼロにはならないミスが、必ず少しだけ残ります。そして長文になるほど、その「少し」は目視で見つけにくくなる。だから、機械的な検品を工程として固定する。これはAIの弱点の話ではなくて、分業の話です。得意なほうが得意なことをやる。仕上がりが良くなると思います。
これでだいぶ作業が楽になりました！色々と作るのが楽しみです！
次におすすめの記事
冷蔵庫の余り物が極上の一皿に！Difyで作る「深夜のおつまみAIソムリエ」
Xもやってるので良かったら見に来てください
コメント