取引先へのメールや見積もりの文言を書くとき、AIに下書きを頼むのが当たり前になっていた。ただ、頼っているのはいつも1つのAI(普段はGeminiを使うことが多い)で、その回答をそのまま信じていいのか、ふと不安になったことがあった。数字や条件を間違えたまま送ってしまったら取り返しがつかない。そこで試しに、同じ質問をChatGPT・Claude・Geminiの3つに同時に投げて、回答を突き合わせてみることにした。
きっかけは、値引き条件のメール文面で意見が割れたこと
最初に試したのは、取引先からの値引き交渉に対する返信メールの下書きだった。同じ状況説明をコピペして3つのAIに渡したところ、Geminiは「今回のみの特別対応」という条件を明記する文面を出し、ChatGPTは条件を明記せず柔らかい言い回しに寄せ、Claudeは値引きの代わりに支払いサイトの短縮を提案する文面を出してきた。3つとも間違ってはいないが、着地点がはっきり違った。1つのAIだけに任せていたら、この違いに気づかないまま送っていたと思う。
10件試して、3件は回答が割れ、7件はほぼ同じだった
面白かったので、その後10件ほど似たような業務文面(見積もり、納期調整の連絡、社内向けの注意喚起文など)で同じことを試した。結果は、3件で答えの方向性がはっきり割れ、7件はほぼ同じ内容で表現の違い程度だった。割れた3件はいずれも「相手との力関係が絡む交渉ごと」で、揃った7件は「事実を伝えるだけの連絡」だった。ここから、AIの答えが割れやすいのは判断や駆け引きが絡む場面で、単純な報告・連絡の文面ではあまり割れない、という感覚がつかめてきた。
逆に、3つに聞くとかえって時間を食う場面もあった
一方で、この確認作業には当然コストもある。1つのAIに聞けば1〜2分で済む下書き作成が、3つに同じ質問をして見比べるとなると、コピペと比較だけで5分前後かかる。緊急の返信や、間違えても大きな影響が出ない社内連絡にまでこれをやっていたら、逆に非効率になる。実際、最初の数日は何にでも3つ聞いていたが、途中から「金額が絡む」「取引先との力関係が絡む」文面だけに絞るようにした。それ以外は今まで通り1つのAIに任せている。
この記事の下に、どんな場面なら複数のAIに答え合わせをすべきか、逆にしなくていいかを整理した判断シートを置いてある。全部に3つ聞く必要はないので、線引きの参考にしてもらえればと思う。
コメント