アルゴリズム SPLADEとは？学習型の疎ベクトルで語句のずれを補う検索手法
SPLADEとは？学習型の疎ベクトルで語句のずれを補う検索手法 AIの初心者 「車の保険」と検索して、「自動車保険の補償内容」という資料も見つけたいです。書かれた言葉が違っても探せますか？ AI専門家 そのための手法の一つがSPLADEです...
アルゴリズム
記事数:(463)
アルゴリズム 
アルゴリズム 世界モデルとは？行動の先を予測するAIと動画生成・シミュレーションの違い
世界モデルとは？行動の先を予測するAIと動画生成・シミュレーションの違い AIの初心者 世界モデルとは、AIが現実そっくりの動画を作る技術ですか？ AI専門家 映像を作るものもありますが、中心にあるのは環境の変化を予測する役割です。行動も扱...
アルゴリズム HyDEとは？仮想文書を手掛かりにRAGの検索を改善する仕組み
HyDEとは？仮想文書を手掛かりにRAGの検索を改善する仕組み AIの初心者 社内の資料に答えがあるはずなのに、短い質問だとうまく検索できません。質問を詳しく書くしかないのでしょうか？ AI専門家 AIに仮の説明文を作らせ、その文章を手掛か...
アルゴリズム ColPaliとは？PDFのページ画像から図表も含めて検索する仕組み
ColPaliとは？PDFのページ画像から図表も含めて検索する仕組み AIの初心者 PDFを検索できるようにしたのに、知りたい内容が載ったグラフを見つけられません。文字は読み取れているはずなのですが。 AI専門家 文字を取り出すだけでは、線...
アルゴリズム セマンティックキャッシュとは？似た質問の回答を再利用する仕組みと注意点
セマンティックキャッシュとは？似た質問の回答を再利用する仕組みと注意点 AIの初心者 AIへの問い合わせで、同じ意味の質問にも毎回答えを作っているのは、少しもったいなく感じます。 AI専門家 そんな場面で役立つのがセマンティックキャッシュで...
アルゴリズム PagedAttentionとは？KVキャッシュを分割してLLMのメモリの無駄を減らす仕組み
PagedAttentionとは？KVキャッシュを分割してLLMのメモリの無駄を減らす仕組み AIの初心者 LLMを動かせるGPUでも、同時に質問する人が増えるとメモリが足りなくなるのはなぜですか？ AI専門家 モデル本体に加えて、それぞれ...
アルゴリズム ColBERTとは？トークンごとの対応で検索するLate Interactionの仕組み
ColBERTとは？トークンごとの対応で検索するLate Interactionの仕組み AIの初心者 ベクトル検索は、文章を一つのベクトルにして似ているか調べる仕組みですよね。ColBERTは何が違うのですか？ AI専門家 ColBERT...
アルゴリズム Late Chunkingとは？RAGで文脈を保つ仕組みと通常のチャンク化との違い
Late Chunkingとは？RAGで文脈を保つ仕組みと通常のチャンク化との違い AIの初心者 RAGで社内文書を検索すると、会社名は合っているのに、知りたい説明の段落が見つからないことがあります。 AI専門家 文書を分割した結果、後ろの...
アルゴリズム Matryoshka Embeddingsとは？次元を短くして使える埋め込みの仕組み
Matryoshka Embeddingsとは？次元を短くして使える埋め込みの仕組み AIの初心者 文書検索に使う埋め込みが増えて、保存容量が気になっています。ベクトルの数値を途中で切れば、小さくできますか？ AI専門家 その使い方を想定し...
アルゴリズム 連続バッチ処理とは？LLMの複数リクエストを効率よくさばく仕組み
連続バッチ処理とは？LLMの複数リクエストを効率よくさばく仕組み AIの初心者 同じAIに何人も質問すると、短い質問でも、ほかの人の長い回答が終わるまで待つのでしょうか？ AI専門家 待ち方はサーバーの仕組みによります。連続バッチ処理では、...
アルゴリズム Contextual Retrievalとは？文書の断片に文脈を補うRAG改善手法
Contextual Retrievalとは？文書の断片に文脈を補うRAG改善手法 AIの初心者 資料には売上の数字があるのに、AIに会社名と年度を指定して質問すると見つかりません。なぜですか？ AI専門家 検索用に資料を小さく分けた結果、...
アルゴリズム プリフィルとデコードとは？処理の違いとLLM推論を分離する仕組み
プリフィルとデコードとは？処理の違いとLLM推論を分離する仕組み AIの初心者 生成AIで、返答が始まるまで長く待つときと、文章が少しずつ遅く出てくるときがあります。どちらも同じ処理が遅いのでしょうか？ AI専門家 原因は分けて考えられます...
アルゴリズム 投機的デコーディングとは？LLMの回答を高速化する仕組み
投機的デコーディングとは？LLMの回答を高速化する仕組み AIの初心者 AIの回答が少しずつ表示されます。まとめて文章を作れば、もっと速くなるのでしょうか？ AI専門家 通常は直前までの文章を見て、次の要素を一つずつ決めます。そこで、軽いモ...
アルゴリズム コンテキスト圧縮とは？長いAI作業を引き継ぐ仕組みと注意点
コンテキスト圧縮とは？長いAI作業を引き継ぐ仕組みと注意点 AIの初心者 AIと長く相談していると、最初に伝えた条件が抜けることがあります。会話を短くまとめれば、そのまま続けられるのでしょうか？ AI専門家 そのための方法の一つがコンテキス...
アルゴリズム MLOpsとは？機械学習モデルを継続運用する仕組みと導入手順
MLOpsとは？機械学習モデルを継続運用する仕組みと導入手順 AIの初心者 MLOpsとは何ですか？機械学習の勉強をしていると出てきますが、モデルを作る話なのか、システム運用の話なのか分かりません。 AI専門家 MLOpsは、機械学習モデル...
アルゴリズム TabTransformerとは？表形式データをTransformerで扱う仕組みと使いどころ
TabTransformerとは？表形式データをTransformerで扱う仕組みと使いどころ AIの初心者 TabTransformerという言葉を見ました。画像や文章ではなく、表のデータにもTransformerを使うのですか？ AI専...
アルゴリズム RRF(Reciprocal Rank Fusion)とは？ハイブリッド検索とRAGで使う順位統合を初心者向けに解説
RRF(Reciprocal Rank Fusion)とは？ハイブリッド検索とRAGで使う順位統合を初心者向けに解説 AIの初心者 RRFという言葉をRAGの記事で見かけました。検索のアルゴリズムなのでしょうか？ AI専門家 RRFは検索エ...
アルゴリズム GBDTとは？勾配ブースティング決定木の仕組み・使いどころ・注意点
GBDTとは？勾配ブースティング決定木の仕組み・使いどころ・注意点 AIの初心者 機械学習の説明でGBDTという言葉を見かけました。決定木の仲間だとは思うのですが、何がすごいのでしょうか？ AI専門家 GBDTは、弱い決定木を順番に足しなが...
アルゴリズム マテリアルズ・インフォマティクスとは？材料開発を変える機械学習とデータ活用
マテリアルズ・インフォマティクスとは？材料開発を変える機械学習とデータ活用 AIの初心者 マテリアルズ・インフォマティクスという言葉を見かけました。材料開発でAIを使う、という理解で合っていますか？ AI専門家 大まかには合っています。ただ...
アルゴリズム HNSWとは？Hierarchical Navigable Small Worldの仕組みとベクトル検索で使われる理由
HNSWとは？Hierarchical Navigable Small Worldの仕組みとベクトル検索で使われる理由 AIの初心者 ベクトル検索を調べていたらHNSWという言葉が出てきました。検索を速くする仕組みらしいのですが、何をしてい...
アルゴリズム 直積量子化とは？ベクトル検索を軽くするProduct Quantizationの仕組み
直積量子化とは？ベクトル検索を軽くするProduct Quantizationの仕組み AIの初心者 ベクトル検索の記事で「直積量子化」や「PQ」という言葉を見ました。普通の圧縮と何が違うのですか？ AI専門家 直積量子化は、高次元ベクトル...
アルゴリズム 全文検索とベクトル検索のインデックス入門｜仕組みと使い分け
全文検索とベクトル検索のインデックス入門｜仕組みと使い分け AIの初心者 AI検索やRAGでは、全文検索とベクトル検索をどう使い分ければよいですか？ AI専門家 どちらも検索を速くするためのインデックスですが、対象にするデータが違います。転...
アルゴリズム ハーネスエンジニアリングとは？意味と使い方をわかりやすく解説
ハーネスエンジニアリングとは？意味と使い方をわかりやすく解説 AIの初心者 「ハーネスエンジニアリング」という言葉を見ました。プロンプトエンジニアリングとは違うものですか？ AI専門家 違います。ハーネスエンジニアリングは、AIをうまく動か...
アルゴリズム GraphRAGとは？意味と使い方をわかりやすく解説
GraphRAGとは？意味と使い方をわかりやすく解説 AIの初心者 「GraphRAG」という言葉を見かけました。RAGと似ているようですが、何が違うのでしょうか？ AI専門家 GraphRAGは、生成AIが回答を作るときに、文書の断片だけ...