否定文を理解できないAIたち - ｼﾞｮｲｼﾞｮｲｼﾞｮｲ
BERT や GPT の登場により、テキストを扱うモデルは大きく発展しましたが、否定というごくありふれた操作を扱うのが依然難しいです。 本稿では、その理由と、部分的な解決策を紹介します。 目次 目次 否定文を理解できないAIたち 否定文を理解できずに困ること なぜ否定文をうまく扱えないのか なぜたまに成功するのか 対処法 ファインチューニング プロンプトの工夫 否定文を意識した訓練 文書数を増やす クエリとキーを拡張する おわりに 否定文を理解できないAIたち BERT (tohoku-nlp/bert-base-japanese-v3) で A =「私はお寿司が好きです。」 B =「私の好きな食べ物はお寿司です。」 のテキスト埋め込みのコサイン類似度を求めてみましょう。A と B は同じようなことを言っており、予想されるようにコサイン類似度は 0.9695 と高いです。 では、 A =「
数十億パラメータの巨大AI、“たった1つのパラメータ”を削除するだけで完全崩壊。Appleなどが研究報告（生成AIクローズアップ） | テクノエッジ TechnoEdge
2014年から先端テクノロジーの研究を論文単位で記事にして紹介しているWebメディアのSeamless（シームレス）を運営し、執筆しています。 1週間の気になる生成AI技術・研究をいくつかピックアップして解説する連載「生成AIウィークリー」から、特に興味深いAI技術や研究にスポットライトを当てる生成AIクローズアップ。 今回は、大規模言語モデル（LLM）の数十億のパラメータの中でたった1つのパラメータを削除するだけで、モデルのテキスト生成能力が完全に崩壊することを発見した論文「The Super Weight in Large Language Models」に注目します。 研究チームは、このパラメータを「スーパーウェイト」と名付けました。70億のパラメータを持つMetaのLlama-7Bモデルでは、このスーパーウェイトをゼロにするだけで、モデルのテキスト生成能力が完全に失われ、ゼロショッ
Microsoftのエンジニア、Copilotによる画像生成の危険性についてFTCに警告
米Microsoftに6年以上務めるエンジニアのシェイン・ジョーンズ氏は3月6日（現地時間）、自身のLinkedInに「Copilot Designerと責任あるAIに関する懸念」を伝える書簡を米連邦取引委員会（FTC）のリナ・カーン委員長とMicrosoftの取締役会に送ったと投稿した。投稿にはそれぞれの書簡のコピーが添付されている。 ジョーンズ氏はLinkedIn投稿で「業界間、政府、市民社会との強力な協力関係を構築し、AIのリスクとメリットに関する一般の認識と教育を構築する必要がある」と主張した。 Copilot Designerは、米OpenAIの「DALL・E 3」ベースのCopilotの画像生成ツールだ。ジョーンズ氏は米CNBCにも書簡を送っており、同メディアにコメントも送った。それによると、Copilot Designerの安全性の問題や欠陥についてテストしたところ、ライフル
GPT-4の精度は悪化している？ 3月に解けた数学の問題解けず GPT-3.5にも敗北──米国チームが検証
「GPT-4の精度は時間とともに変わっている」──そんな研究成果を米スタンフォード大学と米カリフォルニア大学バークレー校の研究チームが発表した。3月と6月時点のGPT-4の精度を比較したところ、一部タスクでは精度が大きく悪化していたという。ただし、この論文は査読前のもので第三者によるレビューは受けていない。 GPT-4は、米OpenAIが提供する大規模言語モデル（LLM）。3月の発表後、チャットAI「ChatGPT」にも搭載され、性能の高さが大きな話題を集めた。LLMは、データのフィードバックや設計変更などをすると性能が変化する。しかし、OpenAIはLLMの更新について発表しておらず、公開以後の性能変化も明らかにしていない。そこで研究チームは、3月と6月時点でのGPT-4、前モデルであるGPT-3.5に精度の違いがあるのか検証した。 実験ではChatGPTに対して「数学の問題の回答」「機
AI成果物が急増したことで「AI生成コンテンツをAIが学習するループ」が発生し「モデルの崩壊」が起きつつあると研究者が警告 - GIGAZINE
Adobeが権利的にクリアなトレーニングモデルを用いた画像生成AI「Firefly」を発表したり、Microsoftの検索エンジンであるEdgeで対話型AIのChatGPTが活躍していたり、世界的なコンサル企業が「社員の50％は業務にジェネレーティブAIを活用している」と明らかにしたりと、ジェネレーティブAIは社会に広がり続けています。しかし、AIを使用してコンテンツを作成・公開する人が増えていることで、新たな問題として「AIが生成したコンテンツがインターネット上にあふれ、それをAIが学習することで、重大な欠陥が生まれている」ということが研究者グループから指摘されています。 [2305.17493] The Curse of Recursion: Training on Generated Data Makes Models Forget https://doi.org/10.48550/
「AIが書いた盗作」の投稿が爆増しSF雑誌が新作募集を打ち切り
SF小説雑誌「Clarkesworld Magazine」が「AIによる盗作の投稿が増えた」として新作投稿受付を停止しました。盗作の投稿は2022年末から急増しており、盗作のほとんどはChatGPTなどの高性能チャットAIを用いた作品だとされています。 A Concerning Trend – Neil Clarke http://neil-clarke.com/a-concerning-trend/ Clarkesworld Magazineの編集者であるニール・クラーク氏によると、Clarkesworld MagazineにはチャットAIの発達以前にも毎月数件の盗作が投稿されていたとのこと。しかし、チャットAIが発達し始めてから盗作の投稿件数が爆発的に増加してしまいました。 以下のグラフは、Clarkesworld Magazineに投稿される盗作の数を月ごとにまとめたものです。盗作投
AI対応「新Bing」が素直すぎて秘密情報バラしまくり | AppBank
マイクロソフトは2月8日、「ChatGPT」に似たチャットAIを搭載した「新しいBing」を発表しました。しかしその翌日に、このチャットAIに隠された情報を、スタンフォード大学の学生ケビン・リュー氏がAIとの対話によって解き明かしています。 *Category:テクノロジー Technology *Source：Ars technica ,@kliu128 BingのチャットAIが「秘密の設定」を漏らしてしまう 一般的な大規模言語モデル(GPT-3や ChatGPTなど)は、学習中に「学習」した大量のテキスト素材から、一連の単語の次に来るものを予測することで動作するものです。開発者は、チャットAIの初期条件を設定するために、ユーザーからの入力を受けたときの動作を指示する初期プロンプト、つまりはキャラ設定のようなものを決めています。 今回リュー氏が仕掛けたのは「プロンプト・インジェクション」
アルファベット株急落、グーグルのＡＩチャットボットが不正確な回答
２月８日の米株式市場で、米アルファベットの株価が急落し、時価総額１０００億ドル超を消失した。傘下グーグルのＡＩを使った自動応答ソフト（チャットボット）「バード（Ｂａｒｄ）」が不正確な回答を生成した。写真はカリフォルニア州アーバインで２０１７年８月撮影（２０２３年 ロイター／Mike Blake） [ロンドン ８日 ロイター] - ８日の米株式市場で、米アルファベットの株価が急落し、時価総額１０００億ドル超を消失した。傘下グーグルの人工知能（ＡＩ）を使った自動応答ソフト（チャットボット）「バード（Ｂａｒｄ）」が不正確な回答を生成した。検索サービスでのＡＩ活用でマイクロソフトに出遅れるとの懸念が広がった。
ChatGPTによる回答をStack Overflowが一時的に禁止 大量のもっともらしいが不正確な回答に対処しきれず
プログラミング関連Q&Aサイトの米Stack Overflowは12月5日（現地時間）、AIチャットボット「ChatGPT」によって生成した回答の投稿を一時的に禁止した。ChatGPTによる回答に間違っているものが多く、「ユーザーにとって実質的に有害」だとしている。 ChatGPTは、OpenAIが開発した実験的なチャットボットで、コンプリートテキストジェネレーター「GPT-3.5」に基づいている。そのデモ版が1日に無料で公開されて以来、人気が高まっている。 Stack Overflowによると、ChatGPTが生成する回答が間違っている可能性が高いにもかかわらず、一見もっともらしく見え、かつ、回答が非常に簡単に生成できることから、投稿前に回答の正しさを確認せずに投稿している人が多数いるという。 数千件にも上るこうした回答の正誤を判断するために「専門知識を持つ誰かが確認しなければならないと
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
米ニューヨーク・タイムズ、OpenAIを提訴 記事流用で数千億円損害 - 日本経済新聞
OpenAIのサム・アルトマン解任が、さらなる衝撃と波紋を業界に広げ始めた
太陽光発電施設で起きている鳥の大量死、その「謎」をAIが解き明かす