皆さんこんにちは、横浜で清掃業をしているヤスです。
前回は、Difyで作ったSEO記事自動生成AIの記事を書きました。今回はその続きで、作ったAIに実際に記事を書かせてみたら何が起きたかという実験レポートです。
先に結果をまとめます。
- 4000文字を指定したのに、出てきたのは1900文字。修正を重ねても300文字程度しか増えませんでした
- 生成された文章の中に、**堂々とした嘘（それっぽいけど間違っている説明）**が混ざっていました
- 同じ段落が丸ごと2回出てくる、「（約700字）」という指示メモがそのまま残る、といった細かい粗もありました
- それでも、見出し構成のスピードと網羅性は正直すごいと思いました
「AIが記事を全自動で書いてくれる」という夢のような話の、リアルな中身です。これからAIでブログを書こうと思っている同世代の方は、ぜひ公開ボタンを押す前に読んでください。
今回の実験：自作AIに「Claudeの使い方」を書かせてみた
やったことはシンプルです。
- Difyで作ったSEO記事自動生成AIに、テーマ「Claudeの使い方」を渡す
- 文字数は4000文字程度を指定
- 出てきた記事を、手を加えずに検証する
「自分で作ったAIが書いた記事を、そのままアップできるレベルなのか？」を確かめるのが目的でした。結論から言うと、そのままアップは無理でした。ただ、その理由が今後AIを使ううえでめちゃくちゃ勉強になったので、順番に書いていきます。
失敗①：4000文字指定が、なぜか1900文字
まず最初にズッコケたのがこれです。プロンプトでは「4000文字程度」と指定したのに、出てきたのは約1900文字。半分以下です。
「じゃあ増やしてもらえばいいか」と思って、プロンプトを直したり、「もっと詳しく」と指示を足したりしたんですが、何度やっても300文字くらいしか増えない。4000文字には全然届きませんでした。
調べたり試したりして分かってきたのは、どうやらAIは「文字数を数えながら書く」のが苦手らしい、ということです。私たちが原稿用紙のマス目を数えるようには書いていなくて、指定した文字数は「だいたいの目安」くらいにしか扱われない。特に日本語の文字数指定は精度が出にくいようです。
このあたりの原因の深掘りと、「じゃあどうすれば長い記事を書かせられるのか」の対策は、次回の記事で詳しく書きます。先にヒントだけ言うと、「一発で4000文字」と頼むのをやめるのがポイントでした。
失敗②：AIは平気で嘘を書く。しかも自信満々に
文字数よりもゾッとしたのがこっちです。生成された記事を読んでいて、途中で手が止まりました。
Difyは、データ統合と分析を行うAIプラットフォームです。多様なデータソースからの情報を統合し、分析結果を可視化することで、ビジネスインサイトを提供します。
……いやいや、違います。DifyはAIアプリを作るための開発プラットフォームです。私はDifyでアプリを150個以上作ってきたので即座に気づきましたが、文章としてはめちゃくちゃそれっぽい。知らない人が読んだら、たぶん信じます。
他にもありました。
日本のある大手企業では、Claudeを活用して業務プロセスの効率化を図っています。（中略）応答時間が平均30%短縮され、顧客満足度が向上しました。
この「ある大手企業」、どこの何という会社なのか、AIに聞いても出てきません。おそらく実在しない、AIが作った架空の事例です。「平均30%短縮」という具体的な数字がついているのがまた厄介で、数字があると人間は信じてしまうんですよね。
こういう現象は「ハルシネーション（AIの幻覚）」と呼ばれていて、AIが知らないことを「知りません」と言わずに、それっぽい嘘で埋めてしまうことを指します。
ここから得た教訓はひとつです。
AIが書いた記事は、自分が内容を判断できるテーマでしか公開してはいけない。
私はDifyを毎日触っているから嘘に気づけました。もしこれが自分の知らない分野の記事だったら、嘘をそのまま公開して、読者の信頼を失っていたと思います。AI記事の最終チェックは、AIではなく自分の経験がやる仕事です。
失敗③：地味だけど致命的な「仕上げの粗」
大きな嘘以外にも、公開前チェックで引っかかった粗がいくつかありました。
- 同じ段落が丸ごと2回出てくる（「Claudeの基本情報と特徴」がコピペしたように重複）
- 「## 」というマークダウン記号や「（約700字）」という内部指示のメモがそのまま本文に残る
- 導入文の一部が、目次のあとにもう一度出てくる
どれも読者が見たら「あ、これAIに書かせてチェックしてないな」と一発でバレるやつです。逆に言えば、公開前に一度全文を音読するだけで全部防げるレベルのミスでもあります。全自動に憧れて作ったAIなのに、結局最後は人間の目が必要という、ちょっと切ない結論でした。
それでも「使える」と思った点
失敗談ばかり書きましたが、フォローもしておきます。
見出し構成を作るスピードは、正直すごいです。「基本情報 → 始め方 → 他ツールとの比較 → 活用事例 → 応用」という流れは、SEO記事の骨格としてちゃんと成立していました。私がゼロから構成を考えたら30分はかかるところが、数十秒です。
なので今の私の結論はこうです。
- 構成づくり：AIに任せる（得意）
- 本文の肉付け：AIに下書きさせて、自分の体験で上書きする
- 事実確認と仕上げ：必ず人間（自分）がやる
「全自動」ではなく「分業」。これが49歳IT未経験の私がたどり着いた、現時点での現実的な使い方です。
公開前チェックリスト（今回の失敗から作りました）
同じ失敗をしないために、自分用のチェックリストを作りました。AI生成記事を公開する前に、この5つだけ確認してください。
- 固有名詞の説明は正しいか（ツール名・サービス名は特に嘘が混ざりやすい）
- 「ある企業では」「調査によると」など、出どころのない事例・数字が入っていないか
- 同じ段落・同じ文が重複していないか
- 「##」「（約〇字）」など、生成時の記号やメモが残っていないか
- 自分の言葉・自分の体験が1割以上入っているか（ゼロなら公開しない）
まとめ：AIは優秀な下書き係。でも嘘つきでもある
今回の実験で分かったことをまとめます。
- 文字数指定は守られない（対策は次回）
- AIは自信満々に嘘を書く。自分が詳しいテーマ以外でAI記事を公開するのは危険
- 構成づくりは超優秀。全自動ではなく「分業」が正解
- 公開前の人間チェックは省略できない
次回は、失敗①の「4000文字指定が1900文字になる問題」をどう解決したか、試行錯誤の過程を詳しく書きます。同じところでつまずいている方、ぜひまた見に来てください。
次におすすめの記事
目次を入れるだけ！Kindle電子書籍の全自動執筆＆保存AIの作り方
Xもやってるので良かったら見に来てください
コメント