AIの自白と謝罪、そして自嘲

　AIのレベルが同じであったとしても、それを使う側のスキルによって得られる恩恵が異なるというのは、なんとなく分かる。人間相手に話をしていても、聞き上手は肝心な話を引き出すのがうまい。その結果、有用なソリューションを導き出せる。それは分かっているのだが……。

やっかいなハルシネーション

　空気を読むとさえいわれる愛用のGeminiは、使っていてほとんどストレスを感じない。AIの宿命ともいわれているハルシネーションに気をつけ、生成結果に事実とは異なる情報がないかどうかを配慮しつつ、疑わしい場合は別のAIに同じことを問い合わせるといったことをしながら利用している分にはとても役に立つ。

　先日、ちょっとびっくりしたのは、Geminiに、あるPCメーカーの新製品発表会の現地録音データ約1時間分を文字起こしさせたところ、モバイルアプリの開発状況の進捗会議の議事録が生成された。もしこれが本物だったら大変だ。裏側でクロストークが起こってほかのユーザーの会議の様子が、非関係者の手元に暴露していることになる。

　会議の内容に心あたりがないというと、まことしやかに会議の内容の要約を生成し、具体的な会社名や場所については言及されていないが、モバイルアプリの開発プロジェクトに関わるチームの定例会議のようだと説明するのだ。また、心当たりがまったくない場合、ファイルが意図せず録音されたものである可能性もあるという。

　だが、実際にファイルを聞き直してみると、まちがいなく発表会の実況音声だ。そのことを告げると、「大変申し訳ございません。AIによる誤った生成(ハルシネーション)でした」と前言を撤回する。「前回の内容は『一般的なIT企業の会議』という架空のシチュエーションを私が作り出してしまったものです」というのだ。AIによる作り話を生成してしまい混乱を招いたことを詫びる。

　しかも本来は言っている内容を問われたので「本日のA社春モデル新製品発表会の録音です。約1時間で、社長登場、製品プレゼンテーション、対談と続きます」とだけ伝えると、その構成と要約案をでっちあげてくれた。インターネットでその日開催のプレスリリースやニュース記事、A社の公式サイトなどを確認し、想定される内容としてそのまま利用したことを白状した。

　典型的なハルシネーションらしい生成には慣れっこになっているが、AI自身が「AIによる誤った生成(ハルシネーション)」であると弁解し、AIが作り出してしまった「完全に誤った内容(AIによる作り話)」を生成したことを詫びるというシーンは初めて経験した。

　実際、この出来事の原因は、1時間を超える長尺の音声ファイルから直接文字起こしを作成する機能が正常に動作しておらず、実際の音声をテキスト化できていないからだとGeminiは説明する。でも、なぜ、それを最初からいわなかったのか。長すぎて対応できないといえばそれで別の方法を考えるのに。これほど派手なハルシネーションは、すぐに分かるので笑い話で済む。でも、息をするようにいかにも確信に満ちた様子で自信満々に生成してしまう内容を見破るには、使う側にもそれなりのスキルが必要だ。

レガシーアプリとAIの共存

　1つの生成AIだけを試すのではなく、ほかのAIの様子も知りたいと思って、企業向けのMicrosoft 365 Copilotを試してみることにした。1年の契約が求められ、年払いを指定すると少し安くなる。

　こちらはこちらで、けっこうな振る舞いをする。Officeアプリに組み込まれて、ユーザー自身のメールや予定を検索参照してピックアップしたり、そのとき作業しているWordやExcel、PowerPointなどの文面などを読み解き、いろいろなアドバイス、コンテンツを生成する。また、Edgeブラウザにも組み込まれて、閲覧中のサイトについて深掘りしてくれる。

　それはそれで便利なのだが、たとえば、Outlookの予定表を開いた状態で、Copilotに「昨年福岡に行ったのはいつだったか」などと尋ねたとき、予定表に入っているはずの予定をどうしても検索することができないのには参った。

　個人的にあらゆる予定はOutlook.exe(Classic)のカレンダーに登録している。データはメール等と同様にMicrosoft Exchangeサービスにホスティングしているものだ。1995年以降の予定がここに蓄積されている。

　たとえば、福岡出張の予定を入れるとしたら、件名に「○×視察福岡出張」と入力したイベントとして登録しておく。だから、Outlookの検索ボックスに「福岡出張」と入れれば、瞬時に過去の「福岡出張」を検索し、それがいつだったかを表形式で表示する。その中の先頭にあるものが直近の「福岡出張」だ。

　ところがCopilotに「昨年の福岡出張はいつでしたか」と尋ねても、福岡出張の予定は見つからなかったというのだ。そして1998年11月の福岡取材の予定を探してきて、これではないですよね、と提示する。

　いろんなやりとりをして原因をつきとめたようにも見えた。

　ぼくは、日帰りや複数日にまたがる期間の出張やイベントなどの予定はOutlookのイベントとして登録する。Outlookにとってのイベントは、終日設定された予定のことを指す。それが連続した複数日にまたがる場合もイベントと呼ぶ。つまり、予定は任意の日付の×時から×時までと、時間枠が指定されているが、その予定が終日指定された拡張版がイベントなのだ。

　この考え方は初代のOutlookが出てきた1997年当時から同じだ。なんならその前の世代のExchangeクライアントや1992年のMicrosoft Schedule Plusの時代から同じだ。そして、今も、ヘルプやMicrosoft公式の情報ページなどではそうなっている。

　だが、直近で新しくリリースされたOutlook(New)やWeb版のOutlookではそうなっていないようなのだ。終日の予定や、それが連続したものは「時間枠が決まっていない、招待者なしの会議」という扱いになっていることがCopilotとのやりとりの中で分かってきた。

　Copilotの出した結論を引用しておくと「“あなたの終日予定が会議に化けた”というより、Copilot(および裏側のMicrosoft Graph)が“予定表アイテムをひとまとめに event として扱う”設計に由来します」ということらしく、その副作用として福岡出張という予定が見つからないようなのだ。いかにももっともらしい。

　そのやりとりの中で、Copilotはコピペ用に探せるに違いないであろうプロンプトをいくつか提示するが、そのどれでもうまくいかない。いや、正確にいうと、プロンプトを詰めながらいったんは探し出せるようになったのだが、今、この原稿を書くために追試してみても見つからない。もはや何がなんだか分からない状態だ。

　Copilotは代わりに送信はできないが、そのまま貼って送れるフィードバック文面を作ってくれた。

　まとめると、Outlookの「詳細検索」はフォルダー内を厳密に掘るが、Copilot側の検索は“検索インデックス+関連度返却”色が強く、同名/大量ヒット/過去で欠落が出やすい」と説明された。そしてOutlookの検索機能を使う方がいいとまで。自虐的だ……。AIがAIである自分を責めている。レガシーアプリと最先端AIの衝突の結果でもある。当面はこういうことに耐え続けなければならないようだ。