タグ

RAGに関するjassmazのブックマーク (8)

  • RAGを30倍速くするMetaの新技術「REFRAG」

    記事では、RAGの性能を高めるための「REFRAG」という手法について、ざっくり理解します。 株式会社ナレッジセンスは、生成AIやRAGを使ったプロダクトを、エンタープライズ向けに開発提供しているスタートアップです。 この記事は何 この記事は、RAGの回答を爆速にする手法「REFRAG」の論文[1]について、日語で簡単にまとめたものです。 今回も「そもそもRAGとは?」については、知っている前提で進みます。確認する場合は、こちらの記事もご参考下さい。 題 ざっくりサマリー REFRAGは、RAGの回答速度を上げるための新しい手法です。「巨額報酬での人材引き抜き」で話題になったMeta社の「Superintelligence Labs」[2]の研究者らによって2025年9月に提案されました。 通常のRAGでは、外部のデータベースから検索した関連文書を、そのままLLMに渡します。しかし、

    RAGを30倍速くするMetaの新技術「REFRAG」
  • 初めてのLangChain

    LangChainは、大規模言語モデルを活用したアプリケーション開発を支えるフレームワークです。書では、プロンプト設計、RAGインデックス構築、会話メモリ、外部ツール連携、自律エージェントについて詳しく説明し、基理論から実装、テスト、CI/CD、運用監視、継続的改善までの全プロセスをPythonJavaScriptによる豊富なサンプルコードで丁寧に解説しています。さらに、LangGraphによる高度なエージェントアーキテクチャ、外部データやツールの連携、監視や評価の手法まで網羅しており、社内文書検索、FAQボット、パーソナライズドアシスタント、業務自動化など、さまざまなLLMプロジェクト要件に対応できる内容となっています。 はじめに 1章 LangChainによるLLMの基礎 1.1 LangChainを設定する 1.2 LangChainでLLMを使う 1.3 LLMプロンプトを再

    初めてのLangChain
  • RAGでも「深い検索」を実現する手法「DeepRAG」

    記事では、RAGの性能を高めるための「DeepRAG」という手法について、ざっくり理解します。株式会社ナレッジセンスは、エンタープライズ企業向けにRAGを提供しているスタートアップです。 この記事は何 OpenAIがリリースした「Deep Research」[1]という機能が話題です。 この記事は、RAGでも「Deepな検索」ができるようにする手法「DeepRAG」の論文[2]について、日語で簡単にまとめたものです。 今回も「そもそもRAGとは?」については、知っている前提で進みます。確認する場合はこちらの記事もご参考下さい。 題 ざっくりサマリー DeepRAGは、RAGの新しい手法です。DeepRAGを使うことで、データベースを深く・網羅的に検索した上で回答するRAGを、構築することができます。中国科学院ソフトウェア研究所とWeChat AIの研究者らによって2025年2月に提案

    RAGでも「深い検索」を実現する手法「DeepRAG」
  • LLMの幻覚を自己検知する「RIG」

    導入 こんにちは、株式会社ナレッジセンスの須藤英寿です。普段はエンジニアとして、LLMを使用したチャットのサービスを提供しており、とりわけ文字起こしシステムの改善は日々の課題になっています。 今回は、LLMの幻覚を検知するための仕組みとしてGoogleが紹介する「RIG(Retrieval Interleaved Generation)」について解説します。 ちなみにこのRIGは2024年の9月には公開されていたのですが、最近再びポストされていたので、せっかくのこの機会に紹介できればと思います! サマリー LLMはその性質上ハルシネーションを完全に避けることが難しいです。このため、LLMの利用には利用者側がある程度正確に情報を判断する必要があります。 しかし、その生成された文章の中に情報の参照元があるだけで、真偽の判断の難易度はぐっと下がります。「RIG」はLLMをファインチューニングする

    LLMの幻覚を自己検知する「RIG」
  • RAG技術の現状考察と2025年のトレンド予想

    記事では、現在流行している「RAG」技術について、2024年トレンドの振り返りと、2025年の予想をします。株式会社ナレッジセンスは、エンタープライズ企業向けにRAGを提供しているスタートアップです。 この記事は何 2024年は、RAGが大流行した年でした。この記事では、2024年の技術トレンドを振り返りつつ、2025年のRAGの進展を予想したいと思います。技術的トレンドはもちろん、普段、企業向けにRAGを提供している会社としての、僕の肌感覚も合わせて、お伝えできればと思います。 題 ざっくりサマリー 結論として、RAGは、来年も変わらず流行し続けると予想します。 まず来年は、これまで以上に回答精度が向上するのは間違いないです。その理由は、LLMの価格低下トレンドと入力できるコンテキスト増大トレンドが、まだ続くためです。加えて、LLMが「視覚・音声」の入力手段を獲得したこと、ベクトルD

    RAG技術の現状考察と2025年のトレンド予想
  • ゼロからRAGを作るならこんなふうに

    どんな人向けの記事? これからRAGを作ってみたい DifyやLangChainにこだわらず、自分で開発をハンドリングしたい ベクトルDBや埋め込みモデルの選定の勘所をサッと知りたい ここではRAGとは何かのような話題は扱いません。 RAGが、ほぼAI活用の現実的な最適解になりつつある LLMは高度な知的タスクを実行可能である。 そんな理解が世界に広まっていく中で、企業は自らが蓄えたデータをLLMに組み合わせてどう活用するか躍起になっています。これからはビッグデータだ!という時代を経ているため、情報インフラに投資した企業も多く、AIでデータを活用する流れはもはや確定路線と言えます。 この問題を解決する手法として一番最初に思いつくのは、モデル自体を改変するファインチューニングです。しかし、ファインチューニングにはいくつかの実用上の問題があります。ファインチューニング自体に専門知識が必要である

    ゼロからRAGを作るならこんなふうに
  • GraphRAGシステムの使い方:初心者向け完全ガイド - Sun wood AI labs.2

    はじめにみなさん、こんにちは!今日は、GraphRAGというすごく便利なライブラリの中にある二つの検索方法について、わかりやすくお話しします。その二つとは、「LocalSearch(ローカルサーチ)」と「Global Search(グローバ... GraphRAGのインストール まずは、GraphRAGをインストールしましょう。Pythonの環境(バージョン3.10から3.12)が必要です。 !pip install graphrag ├── create_final_community_reports ├── create_final_text_units ├── create_base_documents └── create_final_documents �[?25h �[32mAll workflows completed successfully.�[0m MS公式のGraph

    GraphRAGシステムの使い方:初心者向け完全ガイド - Sun wood AI labs.2
  • Microsoft、RAGの機能を拡張、強化させたGraphRAGを一般利用可能に | gihyo.jp

    Microsoft⁠⁠、RAGの機能を拡張⁠⁠、強化させたGraphRAGを一般利用可能に Microsoftは2024年7月2日、LLMが生成する出力の精度を向上させるために利用するRAG(検索拡張生成)の機能を拡張/強化した「GraphRAG」をGitHub上で公開した。 GraphRAG: New tool for complex data discovery now on GitHub -Microsoft Research Blog Welcome to GraphRAG RAG(Retrieval-Augmented Generation:検索拡張生成)は、ユーザーのクエリに基づいて特定の分野や組織の内部ナレッジベースの情報を検索し、その結果を参照してAIの回答に組み合わせる技術。モデルを再トレーニングすることなく、これらの情報を生成結果に即座に反映できる。 一方、通常のRAG

    Microsoft、RAGの機能を拡張、強化させたGraphRAGを一般利用可能に | gihyo.jp
    jassmaz
    jassmaz 2024/07/05
  • 1