ベクトル検索の苦手を克服。ナレッジグラフでRAGを作る
TL;DR ベクトル検索だと、複数のステップを踏まないと答えられない質問の検索がむずい 「TomにEmil Eifrém（Neo4jのCEO）を紹介してくれる人は？」とかを検索むずい ナレッジグラフは構造化データと非構造化データをうまく扱えてベクトル検索の苦手を補える 課題はあるけどナレッジグラフは、Neo４jとLangchainで構築できるよ。 はじめに 今回はベクトル検索の苦手分野をどうしても補ってあげたいとおもっている筆者やまぐちが、ベクトル検索の苦手を補ってあげられるナレッジグラフに関してまとめていこうと思います。 少々長い記事ですが、ベクトル検索を労ってあげたいと思っている方はぜひ読んでください。 ベクトル検索の限界 以前の記事の最後にも少しだけ記載しましたが、ベクトル検索は以下の問題点があります。 必要な情報がTop Kのドキュメントには含まれていない可能性がある。 チャンクの
今日の論文2023/05/11, 12：AttentionViz: A Global View of Transformer Attention - izmyonの日記
AttentionViz: A Global View of Transformer Attention arxiv.org Yeh, Catherine, Yida Chen, Aoyu Wu, Cynthia Chen, Fernanda Viégas, and Martin Wattenberg. "AttentionViz: A Global View of Transformer Attention." arXiv preprint arXiv:2305.03210 (2023). ©2023 The Authors License: Creative Commons Attribution 4.0 International License(CC-BY) 本記事は、原著の内容に基づき筆者が要約または翻訳したものです。以下の図は、そこから引用しています。 This article
Using topological text analysis for COVID-19 Open Research Challenge
Note from the editors: Towards Data Science is a Medium publication primarily based on the study of data science and machine learning. We are not health professionals or epidemiologists, and the opinions of this article should not be interpreted as professional advice. To learn more about the coronavirus pandemic, you can click here. On 12 March the White House and a coalition of leading research
日本の中心はどの県だ？グラフ理論（ネットワーク）の基本的な諸概念 - アジマティクス
Ｑ：これは何の構造を表しているでしょう？ グラフ理論 上の構造のように、頂点（ノードともいいます）の集まりと、２つの頂点をつなぐ辺（エッジともいいます）の集まりでできたもののことを「グラフ」あるいは「ネットワーク」と呼び*1、このような構造を研究する分野こそが「グラフ理論（Graph theory）」です。今回はそんなグラフを使うと、身近なものの新たな側面が見えてくる話。 （余談ですが「グラフ」という用語は、数学だと関数のグラフとか円グラフみたいなやつもあって検索精度が悪いです。グラフ理論に関してわからないことがあった場合に「グラフ ○○」や「グラフ理論 ○○」とググるよりも、「ネットワーク ○○」とググったほうが得たい情報にリーチしやすいというライフハックが知られています） さて、冒頭のグラフです。グラフ理論の知識なんかひとつもなくても、このグラフから読み取れることはいくつもあります。例
第 8 回 グラフの表現
本日の内容 8-1. グラフ 8-2. グラフの表現 このドキュメントは http://edu.net.c.dendai.ac.jp/ 上で公開されています。 8-1. グラフ プログラムで扱うデータ構造としてグラフを取り上げます。 グラフとは頂点とそれを結ぶ辺からなるものです。 頂点は vertex、 節、 node などの呼び方があります、辺は edge、枝、 branch とも言います。 辺に向きがないグラフを無向グラフ、 辺に向きがあるグラフを有向グラフと言います。 互いに接続している頂点の列を道(path)と言います。 無向グラフにおいて、全ての頂点の組合せについて道がある場合、そのグラフ は連結であると言います。 頂点に接続している辺の数をその頂点の次数、degree 、arityと言います。 有向グラフにおいては出る辺の数を出次数、out degree、入る辺の数を入次数、i
トポロジーとホモロジー群 - 大人になってからの再学習
ホモロジー群について、とてもわかりやすく解説しているスライドを見つけた。 広島大学の平岡先生によるものだ。 ■ ホモロジー群とその応用 （平岡 裕章 ｜ 広島大学理学研究科） http://www2.math.kyushu-u.ac.jp/~hiraoka/applied_homology_for_non_math.pdf 今まで、トポロジーに関する分野は漠然とした知識しかなくて、参考書をいくつか買ってみたりしたものの、 いまひとつ何をする学問なのかわからずにいた。 だけど、このスライドはすごい。本当に初学者向けにわかりやすく書かれて、今までの疑問がかなり晴れてスッキリとした。 これはお勧めだ。 参考までに、冒頭の導入部分のスライドを紹介してみる。 何かを学問の対象とする場合、まずは、その対象を分類することを試みる。 分類するためには、「これとこれは同じ」「これとこれは違う」と区別するため
ロトカ・ヴォルテラの捕食式 - もうカツ丼はいいよな
捕食者と被食者の個体数は捕食を通じて互いに影響しており、時に双方の個体数が共振動することがある。例えば、カナダのカンジキウサギ(被食者)とカナダオオヤマネコ(捕食者)の個体数は、約10年の周期で共振動している。野外では気象条件などの影響を排除し切れないが、室内の実験系においても共振動は確認されているらしい。 個体数の共振動という現象は、理論的にはロトカ・ヴォルテラの捕食式を用いることで確認できる。 ロトカ・ヴォルテラの捕食式では以下の仮定をしている。 まず、捕食者、被食者がそれぞれ単独で存在していて、捕食-被食の関係が存在しない時、捕食される心配のない被食者は世代ごとにrの割合で個体数を増やし、獲物を得られない捕食者は世代ごといqの割合で死亡すると仮定する。被食者の個体数をN、捕食者の個体数をPとすると と表現できる。 次に、単位時間あたりに捕食される被食者の数について、その数は捕食者が多
GraphX Advent Calendar - Day 16 - クラスタリング・モジュラリティ計算 - TEPPEI STUDIO
GraphX Advent Calendar 2014 - Adventar 16日目です。 今日からはクラスタリングを見ていきます クラスタリングで一般的なのは K-means 法に代表される距離によって分類していくやり方ですが、グラフ分析では「密度」で計測します。辺による繋がりによる頂点の密度が高くなるグループを作って、クラスタリングしていきます。 グラフ分析でもクラスタリングの手法にはいろいろありますが、今日はそのクラスタリングの指標の計算を見ていきます。この指標をモジュラリティと言います。 モジュラリティ計算方式 ※ 当初はこのスライドを使って計算式の説明をしていましたが、いくつか誤りがあるようなので、訂正します。 モジュラリティの計算方式は、以下のようになります。 数式ワカラナイ… でも頑張って説明したいと思います。 まずは、考え方ですが、一言で言うと、「クラスタ内部の辺の数が、
Deep Learning の次は、TDA 「トポロジカル・データ・アナリシス」 (Topological data analysis) が来る ? ～ その概要と、R言語 / Python言語 実装ライブラリ をちらっと調べてみた - Qiita
人工知能やデータ解析の領域で、膨大な量のデータから、物体概念（物体識別）や音声・体の運動スキーマ概念を自動的・自律的に獲得できる可能性をもった手法として、Deep Learning（ディープ・ラーニング、「深層学習」）と総称される手法が注目を集めています。 こうした中、一部の研究者やベンチャー企業の経営者・エンジニアの中には、このDeep Learningのさらに先をいくデータ解析手法として、TDA：トポロジカル・データ・アナリシス (Topological data analysis) と呼ばれる手法に着目している方たちがいるようです。 Deep Learningと同じく、人間が脳を使って、五感で得た周囲や自分の体についての感覚情報から、どのようにして周囲の環境空間に対する認識イメージや、物体概念、みずからの身体概念を得ているのか？という「問い」に対して、統計学や確率論のアプローチではな
Isomapで東方キャラの関連性のデータを二次元に可視化する - 唯物是真 @Scaled_Wurm
昨日の記事で得られた東方キャラ同士の関連性の強さ(NPMI)を使って、Isomapという手法でキャラを二次元上に配置して可視化します 東方キャラの関連性の強さをニコニコ動画の動画数で測ってみた - 唯物是真 @Scaled_Wurm Isomapの概要 Isomapは非線形次元削減、あるいは多様体学習の手法の一つです Isomap - Wikipedia, the free encyclopedia 非線形次元削減では、与えられたデータの元の次元数での情報をできるだけ失わないように、より低次元に埋め込みます 多くの手法では元のデータでの近傍(近いデータ点)や距離を保存するような埋め込みを行います 最近流行りのニューラルネットワークも内部では非線形次元削減的なことをしていて、単語を密なベクトルに変換するword2vecなどは、単語同士の意味の足し算引き算がうまくいくことがあっておもしろいです
Persistent Homology in R | phom
The pipeline for computing the persistent homology consists of two stages: the construction of a filtered simplicial complex, and the computation of the homology of the filtered complex. This package has two methods for creating filtered simplicial complexes from geometric data: Vietoris-Rips mode: This uses the Vietoris-Rips construction to build a sequence of simplicial complexes on the underlyi
Topological Data Analysis with R
Revolutions Milestones in AI, Machine Learning, Data Science, and visualization with R and Python since 2008 by Joseph Rickert When I was in graduate school in the mid '70s Mathematics departments were still under the spell of abstraction for its own sake. At that time, Algebraic Topology which uses concepts from Abstract Algebra to study topological spaces was a major gateway to the realm of abst
マインドウエア総研 | 技術情報 | SOMデータマイニング解説
SOMのマップを見るときに重要なポイントは、各属性（変数）の値が、マップの領域でどのように分布しているかということです。領域ごとに、どの属性の値が高いか？低いか？を見ます。マップの可視化によって、直観的にそれを判断できるのがSOMの強みでもありますが、反面、可視化のみに頼った分析では定量的な分析ができません。Viscoveryでは、SOMのマップ上で定量的な分析もできるように改良されておりますが、Viscovery以外のSOMでは可視化に頼りすぎる点が最大の欠点でもあります。 初心者がSOMのマップを見たときに最もよく出る疑問は、「マップの縦と横は何？」ということなんですが、SOMはデカルト座標の縦軸・横軸を意味しておりません。前のページで述べたように、多次元空間内でデータが分布している密度の高いところに、2次元の柔軟な格子を沿わせて自由曲面を形成しています。SOMのノードは、多次元空間で
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - scikit-tda/kepler-mapper: Kepler Mapper: A flexible Python implementation of the Mapper algorithm.
Difference between Topological Data Analysis and Graph Technology
行列の固有値・固有ベクトルの定義と具体的な計算方法 | 高校数学の美しい物語
東京大学グローバル消費インテリジェンス寄付講座 - Chair for Global Consumer Intelligence
Welcome to the Python Mapper documentation! — Python Mapper documentation
Using Topological Data Analysis on your BigData
Vietoris–Rips complex - Wikipedia