RAGの実装戦略まとめ - Qiita
それでは以下、簡単なデモを含めながら個別に説明していきます。 1. ハイブリッドサーチ こちらは、性質の異なる複数の検索方式（例えばベクトル検索とキーワード検索）を組み合わせて検索精度を向上させる手法になります。 各検索方式単体の場合に比べ、性質の異なる検索方式を組み合わせ、ある種いいとこ取りをする事で、検索性能の向上が期待できます。 今回はBM25でのキーワードベースの類似度検索と通常のベクトル検索を組み合わせていきます。 BM25について簡単に説明しておくと、文脈や文章構造は完全に無視した上で、文書内の単語を全てバラバラに分割し、文書内の各単語の出現頻度と文書間におけるレア度を加味した特徴量を算出します。 つまり、特定の文書内の各単語の数をカウントしてヒストグラムを作れば、似たような文書には同じような単語がよく出るはずなので(同じようなヒストグラムの形になるので)、類似度が高くなる性質
東京海上日動が生成AIでプログラミング工数44％削減、GPT-4oを活用
東京海上日動火災保険が、生成AI（人工知能）によるシステム開発の効率化を進めている。基幹システムの新規アプリケーションの開発や仕様変更で、設計書からAIでコードを生成する実証実験を実施したところ、新規開発においてプログラミング工数が44％削減できると分かった。実証実験を経て、2024年10月から実際の業務での利用を始める方針だ。 「人間にしかできない、戦略的な業務に人員を投入したい」。東京海上日動システムズの山下裕記ITインフラサービス本部インフラソリューション三部部付部長は、システム開発における生成AI活用に乗り出した理由をこう話す。生成AIと親和性が高い領域として、まずはプログラミング工程での活用を選んだ。 2023年9月から、東京海上日動システムズと日本IBMが共同でコード生成の実証実験を開始した。実証実験の対象としたのが、全国の拠点からの保険金請求に対応する損害調査システムだ。この
Microsoft Ignite 2023 キーノート日本語まとめ - 吉田の備忘録
今年も始まりました、Microsoft Ignite 2023！本日発表された、CEOのSatya Nadella氏のキーノートを日本語でまとめました。ChatGPTが発表されてから1年が経過しました。 進化のペースは凄まじいものです。我々は新しい時代に入ろうとしています。ただの新しい技術に留まりません。 このAIの時代によって、製品を作ったり、安全性を考えたりと、実課題を解決しています。 Airbnb、Shopifyや、BTや電通などもMicrosoft Copilotを展開しています。そして、組織は独自のCopilotを作成しています。 そして、Copilotは非常に生産性を向上させています。より少ない時間で情報を集めたり、ミーティングを行ったりすることができます。 Copilot はタスクを素早くこなすことが可能になり、新しいUI（ユーザーインターフェース）として、世界のナレッジだけ
Amazon Connect + Whisper + GPT-4 Turboで、発話から個人情報（名前、住所、生年月日）を正しく認識できるか試してみた | DevelopersIO
構成 構成としては、下記の通りです。 Connectのフローの詳細は下記の通りです。 例として、発話で住所を認識させる処理の流れは以下のとおりです。 コンタクトフロー内で「メディアストリーミングの開始」ブロックを使って、Kinesis Video Stream（KVS）への音声のストリーミングを開始します。 顧客は、住所を含めた発話をします。 「顧客の入力を保存する」ブロックで、顧客が特定の番号を押すと、ストリーミングを終了します。 「AWS Lambda関数を呼び出す」ブロックを使い、LambdaでKVSからデータを取得します。取得したデータをWAV形式に変換し、Whisper APIで文字起こしします。文字起こし内容から、GPT-4 Turboで住所のみを抽出します。 プロンプト再生で、住所のみを音声出力します。 以下の図は、電話での対話の流れを示しています。 前提 2023年11月時
LLMのプロンプト技術まとめ - Qiita
現在，34個掲載(一部執筆途中) Xのアカウント@fuyu_quantでも技術系の投稿をしているのでよかったらフォローしてください！ はじめに 今回はすぐに使えそうなプロンプトの工夫やフレームワークについて有名なものをまとめました．LMの出力の精度向上に役立てられればと思います． 論文があるものについてはarXivに最初に投稿された順番で掲載しています． 論文で精度向上が確認されているのは英語での検証がほとんどであるため，日本語で改善されるかは分かりません． 全てのLLM(GPT-4,Llama2,...)で精度が改善するとは限りません． ※記事に誤り等ありましたらご指摘いただけますと幸いです． 以下の記事では敵対的プロンプト技術をまとめています！ 目次 Zero-shot prompting Few-shot prompting 2021年〜 Generated Knowledge Pr
GPT-4Vができることをまとめてみた - 電通総研 テックブログ
こんにちは。ISID 金融ソリューション事業部の若本です。 先日、GPT-4から発展し、画像も扱うことができるGPT-4 with vision（GPT-4V）が発表されました。GPT-4Vは大規模マルチモーダルモデル（LMMs: Large multimodal models）と呼ばれるAIモデルの一種であり、GPT-4の入力として「画像」を拡張したものになります。 今日は Microsoft Researchの論文[1]を中心に、Open AIの発表したSystem Card[2]も踏まえ、GPT-4Vでできることや苦手とすること、そして実用上の制限について解説します。 GPT-4Vの特徴 ① 画像とテキストを入力にできる GPT-4Vでは、GPT-4のテキスト入力に加えて画像も入力することが可能になりました。 画像は複数枚入力することが可能であり、かつ、画像とテキストを任意に交互に組
日本初の挑戦〜食べログによるChatGPTプラグイン開発の舞台裏 - Tabelog Tech Blog
はじめに 食べログのメディア領域でサービス開発のエンジニアリングマネージャーをしている関戸です。 2023年5月8日のプレスリリースの通り、食べログの新たな取り組みとして2023年5月6日にChatGPTプラグインの提供を開始しました。さまざまなメディアで日本初の試みとして取り上げられています。 ChatGPTプラグイン提供の前提として、プラグイン開発をするためには、（当時は）ウェイトリストに登録し、開発者として招待される必要がありました。招待が届いたアカウントでは、プラグインの動作確認や開発ができるようになります。ウェイトリストに登録後、いつ招待が届くか分からない状況でした。 食べログではアカウントに招待が届いた当日に動作確認して、公開申請を提出しました。 OpenAI社によるChatGPTプラグインの発表後、どこよりもいち早くプラグインを提供することを目指して、必要な調整を事前に進めて
OpenAIのEvalsを利用してLLMの性能をテストする方法｜mah_lab / 西見 公宏
OpenAIのGPT-4 APIのウェイティングリストに申し込むと、メールで以下のような内容が送られてきます。 While we ramp up, invites will be prioritized to developers who have previously build with the OpenAI API. You can also gain priority access if you contribute model evaluations to OpenAI Evals that get merged, as this will help us improve the models for everyone. OpenAI APIで開発したことがある開発者に優先的に招待します。また、OpenAI Evalsにモデル評価を投稿し、それがマージされた場合にも、優先的にアク
OpenAIのGPT-4報告書を分かりやすくまとめていく。｜Ishida Haru
GPT-4の概略マルチモーダルモデル。 司法試験で上位10%の成績(GPT-3.5は下位10%の成績) 6ヶ月間調整が行われた。 事実性、操縦性、倫理性ともに最高のスコア パフォーマンスの結果を正確に予測出来た初めての言語モデル。 ChatGPT Plusで先行利用可能 APIは順次公開(ウェイトリストあり) 画像処理についてはある1社と提携しながら準備中 OpenAI EvalsというAIモデルの性能を自動評価するフレームワークをオープンソースで公開。これにより誰でもフィードバックが可能に。 私たちは、ディープラーニングのスケールアップを目指すOpenAIの取り組みの最新マイルストーンであるGPT-4を作成しました。GPT-4は大規模なマルチモーダルモデル（画像とテキストの入力を受け付け、テキスト出力を出す）で、多くの実世界のシナリオでは人間より能力が劣るものの、様々な専門的・学術的ベン
プロンプトエンジニアリングを加速する、AI モデルの性能評価フレームワーク「OpenAI Evals」を試してみた | DevelopersIO
こんにちは。CX 事業本部 Delivery 部のきんじょーです。 先日 ChatGPT の API が公開されたかと思いきや、今度は GPT-4 が公開されて大盛り上がりですね。 GPT-4 の公開とともに、AI モデルの性能を評価するためのフレームワーク「OpenAI Evals」が公開されていたので、早速試してみました。 OpenAI Evals とは? README.mdによると以下の記載があります Evals は、OpenAI モデルを評価するためのフレームワークであり、ベンチマークのオープンソースレジストリでもある。 Evals を使用して、以下のような評価を作成し実行することができます。 データセットを使ってプロンプトを生成する。 OpenAI モデルが提供する補完の品質を測定し 異なるデータセットやモデル間で性能を比較することができます。 モデルに与えるプロンプトと、期待す
完全に知識ゼロから ChatGPT MeetUp Tokyo #0 をおっかけ視聴してみた - 電磁波に撃たれて眠りたい！
去る2023年4月28日(金)に虎ノ門の KDDI Digital Gateで開催された「ChatGPT Meetup Tokyo #0」 もともと会場側スタッフとして参加する予定だったんですが、先約があり参加できなかったため、Youtubeのアーカイブを通じて追っかけ視聴してみました。 chatgpt.connpass.com www.youtube.com オンライン/オフラインともに、参加された人たちが口を揃えて 「ヤバすぎる」 「我々はどのくらい周回遅れしているのか」 「エンジニアとして危機感を感じた」 と語られていたので身構えながら挑みましたが、それは本当でした。 自分がどれだけこの分野についての知見が浅かったのか、上辺だけの情報しか見てなかったのか思い知らされることになりました。 このブログ記事は、タイトルにあるとおりLLMに関して本当に何も知らない私が私なりに残したメモと所感
百花繚乱の大規模言語モデル その現状まとめ【2023年4月末版】
昨年末から急激に話題を呼んだChatGPT、その内部的なバージョンアップであるGPT-3.5とGPT-4はいずれもMicrosoftから強力な支援を受けた米OpenAIという企業が独占的に提供する大規模言語モデル（LLM）だ。 それに呼応するかのように、Meta社からはLLaMA（ラマ）がリリースされ、LLaMAをChatGPTとの1万3千回の会話データで微調整したAlpaca（アルパカ）、AlpacaをShareGPT（GPTとの会話を有志がオープンにしたもの）のデータで微調整したVicuna（ビクーニャ）といった派生モデルが次々と登場した。 しかし、LLaMAはMeta社の意向により「アカデミック用途限定」という縛りがある。またGPTの出力にはOpenAIの利用規定で「GPTの出力結果を元にGPTに対抗できる強力なAIを作ってはいけない」という制約があるため、AlpacaもVicuna
ChatGPT APIの各種パラメーターを指定して動作確認してみた。 - Qiita
はじめに こんにちは、山田です。 今回は最近はまっているChatGPT APIの概要と各種パラメータを指定した際の挙動について記載していきます。 よろしくお願いします。 ChatGPT APIについて ChatGPT APIは、OpenAIが提供する自然言語処理に基づくAPIの一つで、言語モデル「GPT-3.5」を使用して自然な対話を行うことが可能です ChatGPTのAPIを利用することで以下のような機能を実装することが可能です。 ・チャットボットの開発 ・情報検索 ・文書の生成 ・プログラミングコード作成 ChatGPT API利用料金 利用料金に関しては、1000トークン当たり、$0.002になります。 トークンの数え方に関しては、英語の場合は1単語=1トークンになるのですが、日本語の場合はややこしくひらがなは1文字が1トークン以上、漢字だと1文字2,3トークンになるそうです。 実際
ChatGPTにブログ全エントリを学習させて「おしえてきしださん」を作る - きしだのHatena
最近「100万件の文章をChatGPTに学習させて応答チャットを作りました」みたいなニュースがあって、違和感があります。 ということで「ChatGPTにブログ全エントリを学習させて「おしえてきしださん」を作る」としたときに、どんな仕組みになっていて、なぜ「ChatGPTに文章を学習させて」ということに違和感があるか見てみます。 とりあえずこんな感じで、質問に対して答えれてるっぽいチャットができました。 まず、Embedding APIを使って、全エントリのベクトルを得てMongoDBに突っ込んでおきます。 このエントリでやってるので、そのまま使います。 GPTのEmbeddingを利用してブログの投稿に対する近いものを探し出す - きしだのHatena 質問が入力されたら、質問文も同じようにEmbeddingでベクトルをとってきます。 var req = EmbeddingRequest.
Semantic Kernelを使ってGPTと外部ツールを簡単に連携してみる - Taste of Tech Topics
こんにちは。最近湿度が上がってきてつらい@Ssk1029Takashiです。 最近当社ではAzure OpenAI Serviceを活用した検索ソリューションに取り組んでおり、私も開発として携わっています。 www.acroquest.co.jp そんな中でもOpenAIのGPT周りのアップデートが激しく、GPT-4のリリースなどニュースに事欠きません。 特にChatGPT PluginsというChatGPTと外部のデータソースやツールなどを連携する枠組み発表され、よりChatGPTにできることが広がっています。 その中で先月MicrosoftがSemantic KernelというSDKを発表しました。 Semantic KernelとはGPT-3などの大規模言語モデルをアプリ開発に統合するC#で開発されたOSSのSDKです。 これを使うことで、ChatGPT PluginsのようにGPT
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
0421DS協会_ChatGPTによって描かれる未来とAI開発の変遷.pdf
ChatGPT_APIのEmbedding_カスタマイズ入門