ハルシネーションHallucination
AIが、事実ではないことを、もっともらしく自信ありげに出力してしまう現象。存在しない法律や数字、人名を作り出すことがあります。
もう少し詳しく
LLMは「次に続きそうな言葉」を生み出す仕組みのため、知らないことを聞かれても、それらしい答えを作ってしまうことがあります。これがハルシネーションです。文章が流ちょうなほど、人は間違いに気づきにくくなります。
対策は、「書かれていないことは補わない」「分からなければ分からないと答える」とプロンプトで指示すること、根拠となる資料を渡して答えさせること(RAG)、そして、数字・固有名詞・日付・法令は必ず人が確かめることです。社外に出すものは、人の確認を省かないのが基本です。
業務でのポイント
- 「書かれていないことは補わない」とプロンプトに書く
- 根拠の資料を渡し、「資料のどこに書いてあるか」も出させる
- 数字・固有名詞・日付・法令は、人が一次情報で確かめる
