Mapify: https://mapify.so/share-link/8Z2Kgs3TQB
Mapify構造化データ(Markdown)にしたもの【以下】
RAGの深掘り
RAGの基本コンポーネント
チャンク戦略
- 文章を意味のある簡潔な単位に分割する目的
- コンテキストを適切にモデルに与えるため
- レスポンス速度、検索・回答精度、開発難易度などを考慮
- チャンク戦略の種類
- 固定チャンク:固定トークン/文字数で分割、実装が容易
- セマンティックチャンク:意味に基づいて分割、コンテキストを考慮
- 階層チャンク:親子関係を持たせ、検索と回答生成の精度を向上
Embeddingモデルの選択
- Knowledge Bases for Amazon Bedrockで利用可能なモデル
- Amazon Titan Text Embedding V2
- Cohere Embed Multilingual V3
- その他のAWS Marketplace等で提供されるモデル
- Embeddingモデルの比較ポイント
- コンテキスト長
- 出力のベクトル次元
- コスト
- 対応言語数
- 精度(MTEBスコア)
ベクトルDBの選択