前回作ったアプリで思ったように動かなかったので
色々と修正した過程を焼くにたったので
そのまま記事にしようと思います。
―正解率より「事故らない設計」が最優先
Difyで質問分類器を作っていると、
ほぼ必ずこの壁にぶつかります。
「ちゃんと分類されない…」
「Otherに行ってほしい質問が、HowToに行く…」
私自身も、
「精度を上げなきゃ」と必死に調整していました。
でも、ある時気づいたんです。
ビジネス用の質問分類器に必要なのは、
“賢さ”じゃなかった。
結論：ビジネスでは「逃がし先」が最重要
まず結論から。
ビジネス用の質問分類器は
正解率100％を目指す必要はありません。
それよりも
失敗しても困らない設計が重要です。
なぜなら――
AIの誤判定より怖いのは、
- 本来、人が対応すべき問い合わせを
- AIが勝手に処理してしまうこと
これ、地味ですがビジネス的には致命傷です。
なぜ「精度重視設計」は失敗するのか
初心者の頃、私はこんなことをしていました。
- クラスを増やす
- 条件を細かく書く
- キーワードを盛り込む
一見、正しそうに見えますよね。
でも結果は――
- 導入相談がHowToに分類される
- ビジネス相談に操作説明が返る
問い合わせを取り逃がす設計になっていました。
ビジネス用質問分類器の正解構造
ここで、考え方を切り替えます。
質問分類器のゴールはこれです。
・定型質問 → AIが即回答
・判断が必要 → 人が対応
・よく分からない → 人が対応
つまり、
👉 人が見るべき質問を、確実に人へ渡す
そのために必要なのが
Otherクラスです。
Otherは「失敗」ではなく「保険」
よく誤解されがちですが、
Otherに分類される ＝ 失敗
ではありません。
むしろ、
Otherに行く ＝ ビジネス的に安全
です。
Otherは
AIが自信を持てない質問を逃がすための保険。
この考え方がないと、
分類器は一気に危険になります。
おすすめのクラス設計（実践向け）
❌ よくある失敗構成
5〜7クラス
細かすぎる分類
✅ ビジネス向けの最適解
3〜4クラス + Other
実は、この記事で作っている構成は
すでにかなり正解に近いです。
Otherを「最後の砦」に育てる3つのポイント
① Otherの意図を明確に書く
❌ ダメな例
上記に当てはまらない質問
✅ 良い例
導入相談、活用相談、ビジネス利用の可否など、
個別対応や人の判断が必要な質問
👉 これだけで分類精度が変わります。
② 「迷ったらOther」と明示する
LLMは、
安全側に倒れる指示を素直に守ります。
プロンプトにこう書いてください。
どのクラスにも明確に当てはまらない場合は
必ずOtherに分類してください
これ、地味ですがかなり効きます。
③ Other専用の質問例を入れる
Otherには
ビジネス臭のする質問を集中的に入れます。
・この仕組みを自社サービスで使えますか？
・業務に組み込めますか？
・導入の相談はできますか？
これを入れるだけで、
HowToへの誤爆が一気に減ります。
HowToは「操作質問」だけに閉じ込める
HowToの定義はシンプルです。
画面操作、設定手順、
ボタンの押し方などの具体的操作
逆に言うと、
- 使えますか？
- 導入できますか？
- ビジネス利用できますか？
👉 全部Other行き
ここを曖昧にすると、
分類器は必ず暴れます。
Otherに来たら「一次回答＋人へ」
Otherに分類された質問で
やってはいけないのは、
❌ AIが勝手に答え切ること
おすすめの一次回答例
ご質問ありがとうございます。
こちらは個別の確認が必要な内容です。
内容を確認のうえ、
担当者からご案内いたしますので、
以下のフォームよりお問い合わせください。
✔ 売り込みしない
✔ 判断しない
✔ 人へ渡す
これがビジネス用AIの正解です。
ビジネス用に育ったか？チェック方法
次の質問をテストしてみてください。
- このサービスを自社で使えますか？
- カスタマイズできますか？
- 導入相談は可能ですか？
✔ 全部Other → 合格
❌ HowToに行く → クラス説明文を修正
まとめ：質問分類器は「任せる範囲」を決める装置
最後に、この記事で一番伝えたいことです。
質問分類器は
AIを賢くするための仕組みではありません。AIに任せていい範囲を決めるための装置です。
この考え方に気づけると、
AIは「おもちゃ」から
ビジネスの道具に変わります。
作ったアプリをテスト実行したらHow toのブロックにば
かり行ってしまい、otherには全然行かなかったですが
プロンプトを修正したら行くようになりました。
やはり一筋縄ではいかないですね。
次回は【Dify初心者死亡】「明日の予定」が2023年になる原因と解決策｜49歳未経験の実体験」 です是非、お楽しみに！
コメント