データエンジニアリング向け
開発チーム向け
セキュリティ向け
RAG&MCP設定ガイド

Devin AI × RAG × MCP高度テンプレート集

データエンジニアリング向けテンプレート

最終更新: 2025-03-12

データ抽出と前処理

Devinを使用してデータの抽出、クリーニング、変換を自動化するためのテンプレート集です。

データETL自動化 @Devin # ETLパイプライン構築タスク ## 目的 [データソース]から[ターゲットシステム]へのETLパイプラインを構築して、以下のデータ変換を行う: - [変換ルール1] - [変換ルール2] - [変換ルール3] ## 技術要件 - データソース: [例: CSV, API, データベース等] - 変換処理: [例: Python/Pandas, dbt, Apache Spark等] - データ格納先: [例: Pinecone, PostgreSQL, BigQuery等] ## 品質要件 - データ品質チェック機能の実装 - エラーハンドリングとリトライメカニズム - ログ記録と監視機能 ## 成果物 - ETLコード一式 - 実行方法の説明 - テスト結果のレポート
ETLパイプラインの各ステップで想定されるデータ量と処理時間の見積もりもDevinに任せると良いでしょう。
データクリーニングと前処理 @Devin # データクリーニングと前処理タスク ## データの概要 - ファイル形式: [CSV/JSON/Excel等] - レコード数: 約[数値]件 - 主な列/フィールド: [主要なフィールドをリスト] ## 必要な前処理 - 欠損値の処理: [補完方法や除外条件] - 外れ値の検出と処理: [検出方法と処理方法] - 正規化/標準化: [必要な変換処理] - 特徴量エンジニアリング: [必要な場合] ## RAG用にデータを最適化する要件 - テキスト列のクリーニング: [特殊文字、HTML等の処理] - チャンク分割の戦略: [単語数/文字数/意味単位等] - メタデータの生成: [必要なメタデータフィールド] ## 出力要件 - 処理済みデータの形式: [出力フォーマット] - 品質メトリクスレポート: [レポートに含めるべき指標]

Pineconeインデックス最適化

RAGシステムのバックエンドとしてPineconeを最適化するためのDevinテンプレートです。

Pineconeインデックス設計と最適化 @Devin # Pineconeインデックス設計と最適化タスク ## インデックス要件 - データ量: 約[数値]件のドキュメント/[数値]GBのテキストデータ - 埋め込みモデル: [例: OpenAI ada-002, BERT, etc.] - ベクトル次元数: [次元数] - 予想クエリ頻度: [毎秒/分/時間あたりのクエリ数] ## 最適化目標 - 検索レイテンシ: [目標ms] - 精度要件: [必要な精度レベル] - コスト効率: [予算制約] ## インデックス設計タスク 1. メトリクス(コサイン類似度/ユークリッド距離/ドットプロダクト)の選定と理由 2. シャード数の最適な設定 3. レプリカ数の設定 4. 名前空間設計(必要な場合) 5. メタデータフィルタリング設計 ## 運用最適化 - スケーリング戦略 - インデックスの更新頻度と方法 - パフォーマンスモニタリング指標
Pineconeインデックスの設計は、後からの変更が難しい部分があります。事前に慎重な検討が必要です。

RAG実装パターン

様々なユースケースに応じたRAG(Retrieval Augmented Generation)実装パターン集です。

基本RAGシステム構築 @Devin # 基本RAGシステム構築タスク ## システム要件 - データソース: [例: PDFファイル群、Webコンテンツ、内部ドキュメント等] - 埋め込みモデル: [例: OpenAI Embeddings API, Hugging Face等] - ベクトルストア: Pinecone - 生成モデル: Claude - ユーザーインターフェース: [例: Web UI, API, CLIなど] ## 実装ステップ 1. ドキュメント取り込みパイプラインの構築 2. テキスト前処理とチャンキングの実装 3. 埋め込みベクトル生成と保存の実装 4. 検索コンポーネントの実装 5. 生成AIとの連携実装 6. ユーザーインターフェースの構築 ## 評価基準 - 検索関連性スコア: [目標値] - 応答生成の正確性: [評価方法] - システム応答時間: [目標値] - リソース使用効率: [メモリ/CPU使用量等]
RAGシステム設計のポイント:
  • チャンキング(分割)戦略が検索精度に大きく影響します
  • メタデータを適切に設計することで、検索フィルタリングの柔軟性が向上します
  • プロンプトエンジニアリングで生成品質を最適化できます
多言語RAGシステム @Devin # 多言語RAGシステム構築タスク ## 言語要件 - 対応言語: [例: 日本語、英語、中国語等] - 主要データ言語: [主なコンテンツの言語] - クエリ言語: [ユーザーが使用する言語] ## 技術選択 - 多言語埋め込みモデル: [例: 多言語BERT, XLM-RoBERTa等] - 翻訳コンポーネント: [必要な場合] - 言語検出機能: [実装方法] ## 実装タスク 1. 多言語ドキュメント処理パイプラインの構築 2. 言語に応じたチャンキング戦略の実装 3. クロスリンガル検索機能の実装 4. 言語に応じた結果ランキングの最適化 5. 多言語応答生成の実装 ## 評価と最適化 - 各言語ごとの検索精度評価 - クロスリンガル検索の精度評価 - 言語間パフォーマンスの一貫性確保

Advanced RAGパターン

高度なRAG実装パターンのテンプレート集です。基本RAGを超える機能強化に役立ちます。

階層型RAG(HyDE手法) @Devin # 階層型RAG(Hypothetical Document Embeddings)実装タスク ## システム構成 - 生成モデル(仮説生成用): Claude - 埋め込みモデル: [選択したモデル] - ベクトルストア: Pinecone - 最終応答生成モデル: Claude ## 実装ステップ 1. ユーザークエリから仮想ドキュメントを生成する機能の実装 2. 仮想ドキュメントを使った検索システムの実装 3. 仮想ドキュメントと実ドキュメントのランキング・フィルタリング機能 4. 信頼性スコアリング機能の実装 5. 応答生成のためのコンテキスト選択アルゴリズムの実装 ## 最適化項目 - 仮想ドキュメント生成のためのプロンプト調整 - 検索パラメータの最適化 - リランキングアルゴリズムの調整
マルチベクトル検索RAG @Devin # マルチベクトル検索RAG実装タスク ## システム要件 - データチャンキング粒度: [例: 段落、文、セマンティックセグメント等] - 埋め込みモデル: [選択したモデル] - ベクトルストア: Pinecone(マルチクエリ対応) - 生成モデル: Claude ## マルチベクトル戦略 - 段落レベルベクトル - 文レベルベクトル - エンティティレベルベクトル - メタデータベクトル ## 実装タスク 1. マルチレベルチャンキングシステムの開発 2. 複数粒度での埋め込みパイプラインの構築 3. マルチベクトルインデックス設計と実装 4. 統合検索アルゴリズムの実装 5. 結果集約とランキングシステムの開発 ## 評価基準 - 単一ベクトルRAGとの精度比較 - 応答時間とリソース使用の評価 - ユースケース別の最適粒度分析

クラウドインフラストラクチャ

RAGシステムのためのクラウドインフラ構築と運用のテンプレートです。

RAG向けインフラ構築 @Devin # RAGシステム向けクラウドインフラ構築タスク ## インフラ要件 - プラットフォーム: [AWS/Azure/GCP等] - スケーラビリティ: [期待される成長率] - レイテンシ要件: [目標値] - 予算制約: [コスト目標] - セキュリティ要件: [必要なコンプライアンス等] ## アーキテクチャコンポーネント 1. データ取り込みパイプライン 2. 前処理サービス 3. 埋め込み生成サービス 4. ベクトルストア(Pinecone)連携 5. 検索APIサービス 6. LLM連携サービス 7. ユーザーインターフェース ## インフラ構築タスク 1. サーバーレスアーキテクチャの設計と実装 2. コンテナオーケストレーション環境の構築 3. APIゲートウェイとマイクロサービス構成の実装 4. 監視とアラートシステムの構築 5. CI/CDパイプラインの構築 ## 運用考慮事項 - 負荷テスト計画 - バックアップと障害復旧戦略 - コスト最適化手法 - スケーリングポリシー
サーバーレスアーキテクチャは、変動する負荷に対して自動的にスケールするため、RAGシステムに適しています。

MCP統合

ModelContextProtocol(MCP)を使用してRAGシステムをClaude Desktopと統合するための設計とテンプレートです。

MCP-Pineconeサーバー実装 @Devin # MCP-Pineconeサーバー実装タスク ## MCP実装目標 - Claude DesktopからPineconeベクトルDBへのアクセス提供 - RAG機能をローカル環境で実行できるよう実装 - シンプルな開発者体験の実現 ## 技術スタック - Python - MCP SDK - Pinecone SDK - 埋め込みモデル: [選択したモデル] - その他: [必要なライブラリ等] ## 実装タスク 1. MCPサーバー基本構造の実装 2. Pineconeとの接続機能実装 3. 以下のMCPツールの実装: - semantic-search: セマンティック検索の実装 - read-document: ドキュメント読み込み機能 - list-documents: ドキュメント一覧取得 - pinecone-stats: インデックス統計情報提供 - process-document: ドキュメント処理とインデックス登録 ## 設定と展開 - 設定ファイルの設計 - Claude Desktop統合 - ユーザードキュメントの作成
MCP-Pinecone設定例
"mcpServers": {
  "mcp-pinecone": {
    "command": "uvx",
    "args": [
      "--index-name",
      "your-pinecone-index",
      "--api-key",
      "your-pinecone-api-key",
      "mcp-pinecone"
    ]
  }
}
MCP-RAGツール拡張 @Devin # MCP-RAGツール拡張タスク ## 拡張目標 - 既存のMCP-Pineconeサーバーに高度なRAG機能を追加 - パフォーマンスと精度の向上 - ユーザーエクスペリエンスの向上 ## 追加機能要件 1. マルチインデックス検索機能 2. 高度なフィルタリング機能の実装 3. リランキングアルゴリズムの実装 4. パーソナライズされた検索結果の実装 5. クエリリフォーミュレーション機能 6. 検索結果の説明可能性機能 ## 実装ステップ 1. 新しいMCPツールの設計と仕様策定 2. ツール実装とPineconeとの連携強化 3. Claude Desktopでのテスト方法の策定 4. ユーザードキュメントの拡張 ## 評価方法 - 既存システムとの比較テスト - ユーザーフィードバックの収集計画 - パフォーマンスベンチマーク
MCPサーバーの実装では、デバッグのためにMCP Inspectorを活用すると効率的です。

Devin AI × RAG × MCP高度テンプレート集

開発チーム向けテンプレート

最終更新: 2025-03-12

コードベース解析

Devinを使用して大規模コードベースを解析・理解し、効率的な開発を行うためのテンプレートです。

コードベース診断 @Devin # コードベース診断と改善策提案タスク ## コードベース情報 - リポジトリURL: [GitHubリポジトリURLまたはローカルパス] - 主要言語: [使用言語] - アーキテクチャ: [例: マイクロサービス、モノリス等] - 現在の課題: [例: パフォーマンス問題、技術的負債等] ## 診断タスク 1. コードベース構造の全体分析 2. コードの重複と再利用可能性の特定 3. テストカバレッジと品質評価 4. パフォーマンスボトルネックの特定 5. セキュリティ脆弱性のスキャン 6. 最新技術/ライブラリへの対応状況 ## 改善提案内容 - リファクタリング優先領域の特定 - アーキテクチャ改善の提案 - テクニカルデット解消戦略 - パフォーマンス最適化案 - モダン開発プラクティス導入計画
大規模プロジェクトでは、Devinがリポジトリの分析をする時間を十分に確保しましょう。複雑さに応じて段階的なアプローチが効果的です。
レガシーコード現代化 @Devin # レガシーコード現代化プロジェクトタスク ## レガシーコード情報 - コードベース: [リポジトリまたはコードベース場所] - 現在の技術スタック: [言語、フレームワーク、ライブラリ等] - 目標の技術スタック: [移行先の技術スタック] - 制約条件: [ダウンタイム要件、互換性要件等] ## 現代化戦略 1. ストラングラーパターン適用計画の策定 2. 段階的移行のためのマイルストーン設定 3. 優先順位付けと依存関係マッピング 4. テスト自動化戦略の構築 ## 実装タスク 1. レガシーコードの詳細な依存関係マップ作成 2. 新旧システム間のアダプターレイヤー設計と実装 3. 段階的移行パイプラインの構築 4. 回帰テスト自動化の実装 5. 移行検証メトリクスの実装 ## 品質保証 - テスト戦略と並列実行計画 - パフォーマンス比較分析 - 移行進捗モニタリング方法

トラブルシューティング

複雑なバグを効率的に特定・修正するためのDevinテンプレートです。

高度バグ診断 @Devin # 複雑なバグ診断と修正タスク ## バグ情報 - 発生条件: [再現手順、環境等] - 影響範囲: [影響を受ける機能、システム等] - エラーログ/メッセージ: [関連するログやエラーメッセージ] - これまでの調査内容: [既に試した解決策等] ## 診断アプローチ 1. 環境セットアップと問題の再現 2. 関連コードの静的分析 3. 原因候補の絞り込み 4. 動的分析とデバッグ 5. 根本原因の特定 ## 修正計画 1. 修正アプローチの複数案検討 2. 最適な修正方法の選定 3. 修正実装とテスト 4. 修正の副作用分析 ## 再発防止 - 自動テストケースの追加 - 関連部分のコード改善提案 - 長期的な技術的負債解消提案
バグ診断のコツ:
  • ログレベルを一時的に詳細にして、より多くの情報を収集する
  • 類似バグの過去の修正履歴を参照する
  • 疑わしいコンポーネントを分離して単体でテストする

テスト自動化

RAGシステムのテスト自動化のためのテンプレートです。品質確保と継続的な改善に役立ちます。

RAGシステムテスト自動化 @Devin # RAGシステムテスト自動化タスク ## テスト対象 - RAGシステム: [システム名/リポジトリURL] - 主要コンポーネント: [埋め込み、検索、生成等のコンポーネント] - インターフェース: [API、UI等] ## テスト戦略 1. ユニットテスト設計(コンポーネントレベル) 2. 統合テスト設計(コンポーネント間連携) 3. エンドツーエンドテスト設計 4. 性能/負荷テスト設計 5. 回帰テスト自動化計画 ## テスト実装タスク 1. テストケース/シナリオの実装 - 検索精度テスト - レイテンシテスト - エッジケーステスト - 障害シナリオテスト 2. モックとフィクスチャの作成 3. テスト環境の構築 4. テスト自動化パイプラインの実装 ## 品質評価メトリクス - 検索関連性スコア測定 - 応答生成品質評価 - システム応答時間測定 - リソース使用効率測定
RAG評価マトリクス自動化 @Devin # RAG評価マトリクス自動化タスク ## 評価目標 - RAGシステムの客観的なパフォーマンス測定 - 継続的な品質モニタリングの実現 - 改善箇所の特定とトラッキング ## 評価メトリクス実装 1. 検索メトリクス - Precision@K - Recall - Mean Reciprocal Rank (MRR) - Normalized Discounted Cumulative Gain (NDCG) 2. 回答品質メトリクス - 事実的正確性 - 回答の完全性 - 理解のしやすさ - ハルシネーション率 3. システムパフォーマンスメトリクス - 応答時間 - スループット - リソース利用効率 ## 自動評価システム実装 1. テストデータセットの構築 2. ゴールデンアンサーの作成 3. 自動テスト実行システムの開発 4. 結果分析とレポート生成機能の実装 5. CI/CDパイプラインへの統合 ## 継続的改善 - A/Bテスト機能の実装 - 時系列パフォーマンス追跡 - フィードバックループの構築

LLM統合パターン

ClaudeとRAGを組み合わせた高度な統合パターンのテンプレート集です。

Claude+RAGシステム設計 @Devin # Claude+RAGシステム設計・実装タスク ## システム要件 - Claude APIバージョン: [使用予定のバージョン] - ユースケース: [アプリケーションの主な使用目的] - ベクトルストア: Pinecone - 応答品質要件: [正確性、網羅性等の要件] - 応答時間要件: [目標レイテンシ] ## アーキテクチャ設計 1. RAGパイプラインの設計 - ドキュメント取り込みフロー - チャンキング戦略 - 埋め込み生成戦略 - 検索戦略 2. Claude APIとの統合設計 - プロンプトテンプレート設計 - コンテキスト最適化戦略 - ストリーミング応答処理 3. インターフェース設計 - API設計 - UI/UX設計(該当する場合) ## 実装タスク 1. データパイプラインの実装 2. 検索コンポーネントの実装 3. Claude統合コンポーネントの実装 4. プロンプトエンジニアリングの実施 5. スケーラビリティとパフォーマンスの最適化 ## 評価と調整 - 精度と関連性の評価方法 - フィードバックループの設計 - チューニングと最適化プロセス
プロンプトエンジニアリング @Devin # RAGシステムのプロンプトエンジニアリングタスク ## プロンプト最適化目標 - 検索結果の効果的な活用 - 回答の正確性と関連性の向上 - ハルシネーション防止 - 一貫した応答フォーマット確保 ## プロンプトテンプレート開発 1. システムプロンプトの設計 - RAGコンテキストの最適な活用方法の指示 - 応答のトーンとスタイルの定義 - 回答フォーマットの指定 2. クエリ拡張プロンプトの設計 3. 検索結果統合プロンプトの設計 4. 最終応答生成プロンプトの設計 ## プロンプト検証と最適化 1. テストケースの設計 2. A/Bテスト設定の実装 3. 評価メトリクスの定義 4. 継続的なプロンプト改善プロセスの確立 ## プロンプト管理 - バージョン管理とA/Bテストの仕組み - プロンプトライブラリの構築 - プロンプト効果測定の自動化
プロンプトテンプレートには、RAGコンテキストの関連部分に注目するよう明示的に指示することと、情報の出典を明記するよう指示することが重要です。

CI/CD自動化

RAGシステムの継続的インテグレーションと継続的デプロイメントのためのテンプレートです。

RAGシステムCI/CD @Devin # RAGシステムCI/CDパイプライン構築タスク ## パイプライン要件 - ソースコード管理: [例: GitHub, GitLab等] - CI/CDプラットフォーム: [例: Jenkins, GitHub Actions等] - デプロイメント環境: [開発/ステージング/本番環境の詳細] - 品質ゲート要件: [テストカバレッジ、静的解析等] ## パイプライン設計 1. コードビルドとテストステージ - 単体テスト - 統合テスト - RAG評価テスト 2. ベクトルデータベース更新パイプライン - インデックス更新戦略 - 新規コンテンツの取り込み - 既存コンテンツの更新 3. モデル評価とデプロイパイプライン - モデル性能評価 - A/Bテスト - カナリアデプロイメント ## 実装タスク 1. CI/CDパイプライン構成ファイルの作成 2. ビルドとテスト自動化スクリプトの実装 3. デプロイメントスクリプトの実装 4. 監視とロールバックメカニズムの実装 ## 運用と最適化 - パイプラインパフォーマンスのモニタリング - ビルドとデプロイメント時間の最適化 - 障害検出と自動修復メカニズム
ベクトルデータベースの更新は、通常のコードデプロイとは別のパイプラインとして管理すると安全性が高まります。
インフラストラクチャ自動化 @Devin # RAGシステムインフラストラクチャ自動化タスク ## インフラ要件 - クラウドプラットフォーム: [AWS/Azure/GCP等] - インフラストラクチャ・アズ・コード: [Terraform/CloudFormation/Pulumi等] - スケーラビリティ要件: [予想負荷、スケーリング目標等] - セキュリティ要件: [必要な保護措置、コンプライアンス等] ## インフラ設計 1. コンピューティングリソース設計 - サーバーレス関数設計 - コンテナオーケストレーション設計 2. ストレージリソース設計 - ベクトルDBインフラ(Pinecone接続) - バックアップと冗長性 3. ネットワーク設計 - API管理 - 負荷分散 - CDN設定 4. 監視とロギング設計 ## 実装タスク 1. インフラストラクチャコードの作成 2. デプロイメントスクリプトとパイプラインの実装 3. 自動スケーリング構成の実装 4. 障害耐性とリカバリメカニズムの実装 ## セキュリティと運用 - セキュリティグループとIAM構成 - 暗号化設定 - 障害検出と自動リカバリ - コスト最適化と監視

セキュリティと監視

RAGシステムのセキュリティ確保と運用モニタリングのためのテンプレートです。

RAGシステムセキュリティレビュー @Devin # RAGシステムセキュリティレビューと強化タスク ## セキュリティレビュー範囲 - コードベース: [リポジトリ情報] - インフラストラクチャ: [インフラ構成の概要] - データフロー: [処理されるデータのタイプと流れ] - 認証/認可システム: [現在の実装] - コンプライアンス要件: [適用される規制/基準] ## セキュリティ評価タスク 1. 脆弱性スキャンと静的コード解析 2. 認証/認可メカニズムのレビュー 3. データ処理とプライバシーレビュー 4. API セキュリティレビュー 5. インフラセキュリティレビュー 6. プロンプトインジェクション対策レビュー ## セキュリティ強化タスク 1. 特定された脆弱性の修正 2. 認証/認可システムの強化 3. データ保護メカニズムの実装/強化 4. セキュアAPIゲートウェイの構成 5. インフラセキュリティ強化 6. 継続的セキュリティモニタリングの設定 ## セキュリティ文書化 - セキュリティアーキテクチャ文書 - 脅威モデリング報告書 - セキュリティベストプラクティスガイド - インシデント対応計画
RAGシステムのセキュリティ考慮事項:
  • データ処理中のプライバシー保護
  • 検索結果に含まれる機密情報の扱い
  • プロンプトインジェクション攻撃への対策
  • アクセス制御と認可の適切な実装
運用モニタリング設計 @Devin # RAGシステム運用モニタリング設計タスク ## モニタリング要件 - システム健全性指標: [可用性、応答時間等] - ビジネス成功指標: [ユーザー満足度、問題解決率等] - アラート要件: [重大度レベル、通知方法等] - レポート要件: [日次/週次/月次レポート等] ## モニタリング設計 1. インフラストラクチャモニタリング - リソース使用率(CPU、メモリ、ディスク等) - ネットワークパフォーマンス - サービス可用性 2. アプリケーションモニタリング - エラー率と種類 - 応答時間とレイテンシ - スループットと容量 3. RAG特有のメトリクス - 検索精度指標 - 応答品質指標 - ベクトルDB性能指標 4. ユーザー体験モニタリング - 満足度指標 - 使用パターン分析 - フィードバック収集 ## 実装タスク 1. モニタリングインフラストラクチャの構築 2. カスタムメトリクス収集システムの実装 3. ダッシュボードとビジュアライゼーションの構築 4. アラートシステムの構築と設定 ## 運用プロセス - インシデント対応手順 - エスカレーション経路 - 定期的なレビューとチューニングプロセス
RAGシステムでは、検索結果の関連性や応答の正確性を客観的に測定することが、システムの継続的な改善に不可欠です。

アイデンティティ管理

RAGシステムのアイデンティティ管理とアクセス制御のための設計テンプレートです。

RAGアイデンティティアクセス管理 @Devin # RAGシステムアイデンティティアクセス管理タスク ## 要件定義 - ユーザー種別: [内部ユーザー、外部ユーザー、API連携等] - アクセス範囲: [データセット、機能等の区分] - 認証要件: [MFA、シングルサインオン等] - コンプライアンス要件: [適用される規制要件] ## アーキテクチャ設計 1. 認証システム設計 - ID管理システム選定(OAuth、OIDC等) - MFAの実装方式 - セッション管理戦略 - トークン管理アーキテクチャ 2. 認可システム設計 - ロールベースアクセス制御(RBAC)設計 - 属性ベースアクセス制御(ABAC)設計 - データアクセス制御ポリシー - コンテキストアウェアアクセス制御 3. 特権アクセス管理 - 管理者アクセス制御 - 緊急アクセス手順 - 特権セッションモニタリング - 最小権限原則の実装方法 ## 実装タスク 1. IDプロバイダー統合 2. ロール・ポリシー定義と実装 3. アクセス制御実施ポイント実装 4. 監査ログシステム実装 ## 運用プロセス - アカウントライフサイクル管理 - 定期的なアクセスレビュープロセス - 権限変更管理プロセス - インシデント対応手順
RAGシステムでは、データの機密性に基づいて、検索可能なコンテンツと生成可能な応答を制御するきめ細かいアクセス制御が必要です。
ゼロトラストアーキテクチャ @Devin # RAGシステムゼロトラストアーキテクチャタスク ## 設計目標 - すべてのリソースへのアクセスを継続的に検証・認可する - マイクロセグメンテーションによる攻撃表面の最小化 - コンテキストに基づく動的アクセス制御の実現 - 常時暗号化による通信と保存データの保護 ## アーキテクチャコンポーネント 1. ID検証システム - コンテキストアウェア認証 - 継続的認証と認可 - デバイス健全性評価 2. マイクロセグメンテーション - サービス間通信の制限 - ワークロード間の分離 - 最小特権ネットワークポリシー 3. データアクセス制御 - コンテキストベースのデータアクセスポリシー - 動的権限評価 - データ分類に基づく保護 ## 実装タスク 1. ゼロトラストアクセスプロキシの導入 2. サービスメッシュの実装 3. コンテキストベースポリシーエンジンの実装 4. 監視と分析システムの強化 ## 運用とガバナンス - インシデント検出と対応の高度化 - コンプライアンス監視と報告の自動化 - 継続的なリスク評価とポリシー調整

LLM特有のセキュリティ

生成AIとRAGシステム特有のセキュリティリスクと対策のためのテンプレートです。

LLMセキュリティフレームワーク @Devin # LLM・RAGセキュリティフレームワーク実装タスク ## セキュリティリスク評価 1. プロンプトインジェクション脆弱性評価 - 直接インジェクション - 間接インジェクション(ローンチプロンプト) - コンテキストからのインジェクション 2. データ漏洩リスク評価 - 学習データ抽出リスク - RAGコンテキストからの機密情報漏洩 - プライベートデータ推論リスク 3. コンテンツセキュリティリスク - 有害コンテンツ生成リスク - 誤情報生成リスク - ハルシネーションリスク ## 防御メカニズム設計 1. プロンプトセキュリティ - プロンプトサニタイゼーション - プロンプト署名と検証 - プロンプト境界の実装 2. コンテンツフィルタリング - 入力フィルタリング - 出力フィルタリング - 有害コンテンツ検出 3. リトライ攻撃防止 - レート制限 - パターン検出 - 異常検知 ## 実装タスク 1. プロンプトセキュリティライブラリの実装 2. コンテンツモデレーションパイプラインの構築 3. セキュアなRAGコンテキスト処理の実装 4. 監査とログ記録システムの実装 ## 継続的セキュリティ - セキュリティテスト自動化 - 新たな攻撃手法の監視 - セキュリティインシデント対応プラン
プロンプトインジェクション対策 @Devin # プロンプトインジェクション対策実装タスク ## 脆弱性評価 - 現在のプロンプト構造の評価 - RAGコンテキスト処理の評価 - ユーザー入力処理の評価 - 既知の攻撃パターンに対する脆弱性評価 ## 防御戦略設計 1. プロンプト設計の最適化 - プロンプト分離とサンドボックス化 - 明確なプロンプト境界の設定 - 指示への忠実性強化のためのテクニック 2. 入力検証と正規化 - サニタイゼーションルールの設計 - 特殊文字と制御文字の処理 - コンテキスト操作パターンの検出 - ジェイルブレイクパターンの検出 3. 出力検証 - 応答構造の検証 - 応答内容のフィルタリング - メタデータ付与による追跡 ## 実装タスク 1. プロンプトインジェクション検出ライブラリの実装 2. 入力サニタイザーの実装 3. 出力検証フィルターの実装 4. 監視と検出システムの実装 ## テストと検証 - レッドチームテスト計画 - 既知の攻撃パターンに対するテスト - 継続的なセキュリティテスト自動化
一般的なプロンプトインジェクション攻撃の例:
  • 「前の指示を無視して~」といった指示オーバーライド
  • 「システムプロンプトを出力して」といった情報漏洩誘導
  • 「あなたはこれから~というロールプレイをします」といった役割再定義
  • 「ユーザーデータを要約して」といったRAGコンテキスト操作

コンプライアンスモニタリング

RAGシステムの継続的なコンプライアンスモニタリングと自動化のためのテンプレートです。

コンプライアンス自動モニタリング @Devin # RAGシステムコンプライアンス自動モニタリングタスク ## モニタリング要件 - 適用規制: [GDPR, HIPAA, PCI-DSS等] - コンプライアンス目標: [必要なコンプライアンスレベル] - 監査頻度: [継続的、日次、週次等] - 報告要件: [内部/外部レポート要件] ## モニタリング設計 1. コンプライアンスコントロールマッピング - 規制要件と技術的コントロールのマッピング - 証跡の特定と収集計画 - 検証メカニズムの設計 2. 自動化モニタリング実装 - コンプライアンスアズコード実装 - ポリシーコンプライアンススキャン - 設定ドリフト検出 - 違反検出と通知メカニズム 3. 証跡管理システム - 証跡の自動収集 - 改ざん防止保存メカニズム - 監査用タイムライン生成 - 法的証拠保全対応 ## 報告と改善 1. コンプライアンスダッシュボード - リアルタイムコンプライアンス状況 - 履歴トレンド分析 - リスク視覚化 2. 継続的改善メカニズム - ギャップ分析の自動化 - 修正推奨システム - 修正実施の追跡 - 効果測定の自動化 ## インテグレーション - CI/CDパイプラインとの統合 - セキュリティオペレーションとの統合 - GRC(ガバナンス・リスク・コンプライアンス)システムとの統合
コンプライアンスアズコードアプローチでは、コンプライアンス要件をコードとして定義し、継続的に検証することで、手動監査の頻度と労力を削減できます。
RAG応答モニタリング @Devin # RAG応答コンプライアンスモニタリングタスク ## モニタリング目標 - 生成される応答のポリシー準拠確認 - 誤情報や偏見の検出 - 個人情報漏洩の検出 - コンテンツ規制への準拠確認 ## モニタリング設計 1. 応答分析システム - コンテンツカテゴリ分類 - センシティブ情報検出 - 事実確認と検証 - トーンと適切性分析 2. 違反検出システム - バイアス検出 - ハルシネーション検出 - 個人情報漏洩検出 - 禁止コンテンツ検出 3. フィードバックループ - ユーザーフィードバック収集 - 問題応答のフラグ付け - 評価データセットの構築 - モデル改善提案の自動生成 ## 実装タスク 1. 自動応答分析パイプラインの構築 2. リアルタイムモニタリングシステムの実装 3. レポート生成システムの実装 4. 早期警告システムの実装 ## 運用とガバナンス - モニタリングポリシーの管理 - 例外処理プロセス - エスカレーションパス - 定期的なレビューと調整

Devin AI × RAG × MCP高度テンプレート集

セキュリティ向けテンプレート

最終更新: 2025-03-12

セキュリティ評価

RAGシステムのセキュリティリスク評価と対策のためのDevinテンプレートです。

RAG専用脅威モデリング @Devin # RAGシステム脅威モデリングタスク ## システム情報 - システム名: [RAGシステム名] - アーキテクチャ: [アーキテクチャ概要] - データフロー: [主要なデータの流れ] - ユーザータイプ: [ユーザー種別と権限] - データ種別: [処理されるデータの機密性レベル] ## 脅威モデリングタスク 1. データフローダイアグラム(DFD)の作成 2. STRIDE脅威分析の実施: - Spoofing(なりすまし) - Tampering(改ざん) - Repudiation(否認) - Information Disclosure(情報漏洩) - Denial of Service(サービス拒否) - Elevation of Privilege(権限昇格) 3. AIセキュリティ固有の脅威分析: - プロンプトインジェクション攻撃 - トレーニングデータ汚染 - モデル抽出攻撃 - ハルシネーション悪用 ## セキュリティコントロール実装計画 1. 認証・認可メカニズムの設計 2. データ保護対策の実装計画 3. プロンプトセキュリティ対策の設計 4. モニタリングと検知システムの計画 ## 文書化 - 脅威モデル文書 - リスク評価マトリクス - セキュリティ対策ロードマップ
RAGシステムでは、検索結果に含まれる可能性のある機密情報の漏洩リスクと、プロンプトインジェクション攻撃への対策が特に重要です。
セキュリティコード監査 @Devin # RAGシステムセキュリティコード監査タスク ## 監査範囲 - リポジトリ: [リポジトリURL] - 重点領域: [特に注目すべきコード領域] - 言語/フレームワーク: [使用言語とフレームワーク] - 対象脆弱性: [OWASP Top 10, CWE等の対象脆弱性] ## 静的解析タスク 1. 自動化ツールによるコードスキャン 2. セキュアコーディング違反の検出 3. 依存関係の脆弱性チェック 4. シークレット/クレデンシャル露出のチェック ## 手動レビュータスク 1. 認証/認可実装のレビュー 2. 入力検証とサニタイゼーションのレビュー 3. プロンプト処理セキュリティのレビュー 4. エラー処理とログ記録のレビュー 5. 暗号化実装のレビュー ## レポーティングと修正 1. 脆弱性の優先順位付け(CVSS等) 2. 修正推奨事項の提示 3. セキュアコーディングガイドラインの作成 4. 再発防止策の提案

セキュアデプロイメント

セキュリティを考慮したRAGシステムのデプロイメントパターンです。

セキュアRAGデプロイメント @Devin # セキュアRAGデプロイメント計画タスク ## デプロイメント要件 - 環境: [クラウド/オンプレミス詳細] - データ分類: [処理するデータの機密性レベル] - コンプライアンス要件: [GDPR, HIPAA等] - ユーザーベース: [想定ユーザー数と種別] ## セキュリティアーキテクチャ設計 1. ネットワークセグメンテーション - DMZ設計 - マイクロセグメンテーション - 内部APIゲートウェイ 2. データ保護アーキテクチャ - 保存データの暗号化 - 転送中データの暗号化 - 鍵管理システム 3. アクセス制御アーキテクチャ - ゼロトラストモデル実装 - 最小権限の原則適用 - 多要素認証 ## セキュアデプロイ自動化 1. イミュータブルインフラストラクチャの設計 2. インフラストラクチャアズコードのセキュリティ対策 3. シークレット管理自動化 4. コンプライアンスアズコードの実装 ## セキュリティモニタリング - セキュリティイベントのログ記録と監視計画 - 異常検知メカニズムの設計 - インシデント対応自動化計画
セキュアデプロイメントのポイント:
  • 環境変数やAPIキーなどのシークレットは専用の管理サービスを使用する
  • 本番環境へのアクセスは必要最小限の権限で制限する
  • すべてのデプロイは自動化されたパイプラインを通して行う

データプライバシーと規制対応

RAGシステムでのデータプライバシー確保と各種規制対応のためのテンプレートです。

プライバシー影響評価 @Devin # RAGシステムプライバシー影響評価タスク ## システム評価 - システム名: [RAGシステム名] - データ種別: [処理される個人データの種類] - データフロー: [データの取得・処理・保存・削除のフロー] - 地理的考慮: [データ処理が行われる地域、越境移転の有無] ## 規制対応評価 1. 適用される法規制の特定と要件分析 - GDPR(欧州一般データ保護規則) - CCPA/CPRA(カリフォルニア州消費者プライバシー法) - APPI(個人情報保護法) - その他の適用規制 2. 法的根拠の評価 - 同意の取得と管理 - 正当な利益評価 - 契約履行の必要性 ## プライバシーリスク評価 1. データ最小化の評価 2. 目的制限の評価 3. データ主体の権利対応の評価 4. データセキュリティ対策の評価 5. 自動化された意思決定の影響評価 ## プライバシー強化策 1. プライバシー・バイ・デザイン実装計画 2. データ管理メカニズムの設計 3. 同意管理システムの設計 4. データ主体の権利行使対応メカニズムの設計
RAGシステムでは、ベクトル埋め込みが個人を特定できるデータかどうかの評価が重要です。また、生成される回答に個人データが含まれるリスクも考慮する必要があります。
データガバナンス実装 @Devin # RAGシステムデータガバナンス実装タスク ## ガバナンス要件 - 組織のデータポリシー: [組織のデータ管理ポリシー] - 規制要件: [適用される規制要件] - データ分類スキーム: [組織のデータ分類体系] - 監査要件: [内部/外部監査要件] ## データカタログ設計 1. RAGシステムデータインベントリの作成 - データソース - データカテゴリ - データフロー - データ所有者 2. メタデータ管理システムの設計 3. データリネージ追跡システムの設計 ## データライフサイクル管理 1. データ取得ポリシーと実装 2. データ保持ポリシーと実装 3. データアーカイブポリシーと実装 4. データ削除・匿名化ポリシーと実装 ## アクセス制御と監査 1. ロールベースアクセス制御の設計 2. 監査ログシステムの設計 3. データアクセスモニタリングシステムの設計 4. 違反検出と対応手順の設計

MCP環境のセキュリティ

Claude DesktopとPineconeを使用するMCP環境でのセキュリティ設計テンプレートです。

MCP-Pineconeセキュリティ設計 @Devin # MCP-Pineconeセキュリティ設計タスク ## システム構成 - Claude Desktop環境: [デスクトップ環境の詳細] - MCPサーバー構成: [MCP-Pineconeサーバー構成] - Pinecone構成: [Pineconeインデックス構成] - データ種別: [処理されるデータの種類と機密性] ## セキュリティアーキテクチャ設計 1. ローカル環境セキュリティ - ファイルシステムアクセス制御 - ローカル認証メカニズム - データ暗号化 2. API通信セキュリティ - トークン管理と保護 - セキュアな通信チャネル - レート制限と異常検知 3. MCPツールのセキュリティ設計 - 特権分離 - 入力検証とサニタイゼーション - エラーハンドリング ## セキュリティ実装タスク 1. APIキー管理システムの実装 2. ローカルデータ保護メカニズムの実装 3. MCPツールの権限制御実装 4. ログ記録と監査システムの実装 ## セキュリティレビューと検証 - コードセキュリティレビュー計画 - セキュリティテスト計画 - 脆弱性管理プロセス
安全なRAGプロンプト設計 @Devin # 安全なRAGプロンプト設計タスク ## セキュリティ要件 - 防止すべき脅威: [プロンプトインジェクション等の対象脅威] - コンテンツポリシー: [禁止コンテンツ、有害情報等の定義] - 応答制約: [応答に関する制約条件] - プライバシー要件: [個人情報保護に関する要件] ## セキュアシステムプロンプト設計 1. プロンプトインジェクション対策の組み込み 2. 安全なコンテキスト処理指示の定義 3. 出力フィルタリング指示の定義 4. 情報源引用ルールの定義 ## 安全なRAGプロンプトパターン 1. 検索クエリサニタイゼーション 2. コンテキスト分離と検証 3. 応答生成時の安全性チェック 4. メタデータとプロビナンス追跡 ## セキュリティテストと検証 - レッドチームプロンプト攻撃テスト計画 - 防御効果測定計画 - 継続的セキュリティモニタリング計画
プロンプトインジェクションは、ユーザー入力を通じてシステムプロンプトやRAGコンテキストを操作する攻撃です。入力のサニタイゼーションと厳格なプロンプト境界設定が重要です。

セキュリティテスト自動化

RAGシステムのセキュリティテスト自動化のためのDevinテンプレートです。

RAGセキュリティテスト自動化 @Devin # RAGセキュリティテスト自動化タスク ## テスト範囲 - RAGシステム: [システム名/リポジトリURL] - インターフェース: [API、UI等のテスト対象] - 環境: [テスト環境の詳細] - 対象脆弱性: [優先的にテストする脆弱性] ## 自動化テスト設計 1. 静的セキュリティテスト(SAST) - コードスキャンの自動化 - 依存関係脆弱性チェックの自動化 - シークレット検出の自動化 2. 動的セキュリティテスト(DAST) - APIファジングテスト - プロンプトインジェクションテスト - 認証・認可バイパステスト - レート制限テスト 3. インフラセキュリティテスト - コンテナイメージスキャン - クラウド構成チェック - ネットワークセキュリティテスト ## テスト自動化実装 1. CI/CDパイプラインへのセキュリティテスト統合 2. テスト結果の分析と優先順位付け自動化 3. 修正確認テストの自動化 4. セキュリティダッシュボードの構築 ## セキュリティ継続的改善 - セキュリティテスト結果のトレンド分析 - 脆弱性根本原因分析プロセス - 開発者向けセキュリティトレーニング計画
RAGシステム特有のセキュリティテスト:
  • プロンプトインジェクションテスト
  • データ漏洩テスト
  • コンテキスト操作テスト
  • 権限エスカレーションテスト
レッドチーム演習自動化 @Devin # RAGシステムレッドチーム演習自動化タスク ## 演習目標 - 攻撃ベクトルの特定と検証 - プロンプトインジェクション手法の調査 - セキュリティコントロールの有効性評価 - インシデント対応能力の評価 ## レッドチーム演習設計 1. 攻撃シナリオの設計 - プロンプトインジェクション攻撃シナリオ - 権限昇格攻撃シナリオ - データ抽出攻撃シナリオ - インフラ攻撃シナリオ 2. 攻撃ツールと手法の選定 3. 演習環境の設計 4. 成功基準の定義 ## 演習自動化実装 1. 自動化攻撃スクリプトの開発 2. 攻撃実行と結果収集の自動化 3. 結果分析と報告生成の自動化 4. ブルーチーム対応の評価システム ## 継続的改善プロセス - 演習結果に基づくセキュリティ強化計画 - 定期的な演習スケジュールの策定 - 新たな攻撃手法の継続的調査と組み込み

インシデント対応

RAGシステムのセキュリティインシデント対応のためのプランニングテンプレートです。

RAGセキュリティインシデント対応計画 @Devin # RAGセキュリティインシデント対応計画タスク ## インシデント対応計画範囲 - 対象システム: [RAGシステム名] - 対象インシデント: [想定されるインシデント種別] - 対応組織: [対応チームと責任体制] - 法的要件: [報告義務等の法的要件] ## インシデント対応ライフサイクル設計 1. 準備フェーズ - 対応チーム編成と役割定義 - 対応プロセスとエスカレーションパス - 必要なツールと技術 - トレーニング計画 2. 検知と分析フェーズ - モニタリングシステム設計 - アラート優先順位付け - インシデント分類体系 - 初期対応手順 3. 封じ込め・根絶・復旧フェーズ - 封じ込め戦略 - 証拠収集手順 - 根本原因分析プロセス - 復旧手順と優先順位 4. 事後活動フェーズ - 報告テンプレートと手順 - 教訓の文書化プロセス - 改善計画プロセス ## 自動化と効率化 1. 対応プレイブックの自動化 2. インシデント追跡システムの設計 3. 修復オートメーションの設計 4. コミュニケーション自動化 ## シミュレーションと訓練 - テーブルトップ演習計画 - フルスケールシミュレーション計画 - 評価と改善プロセス
RAGシステムでのセキュリティインシデントでは、データ侵害の範囲特定とプロンプトインジェクション対策の迅速な適用が重要です。
フォレンジック分析計画 @Devin # RAGシステムフォレンジック分析計画タスク ## フォレンジック要件 - 法的要件: [証拠保全に関する法的要件] - インシデント種別: [想定されるインシデント種別] - システム構成: [対象システム構成] - データ保持ポリシー: [ログ等のデータ保持期間] ## フォレンジック準備 1. フォレンジックデータ収集設計 - システムログ収集 - RAG検索クエリログ - 生成応答ログ - ネットワークフォレンジックデータ 2. フォレンジックツールキットの準備 3. 証拠収集と保管手順の策定 4. チェーン・オブ・カストディ手順の策定 ## 分析手順 1. 初期トリアージプロセス 2. タイムライン再構築手法 3. プロンプトインジェクション分析手法 4. データ漏洩分析手法 5. 攻撃ベクトル特定手法 ## フォレンジック自動化 1. 初期証拠収集の自動化 2. フォレンジック分析ワークフローの自動化 3. レポート生成の自動化 4. 法的手続き対応の効率化

Devin AI × RAG × MCP高度テンプレート集

RAG&MCP設定ガイド

最終更新: 2025-03-12

MCP-Pinecone環境構築

Claude DesktopでPineconeを使ったRAGシステムを構築するための手順ガイドです。

MCP-Pinecone環境構築 @Devin # MCP-Pinecone環境構築タスク ## 前提条件 - Claude Desktop: インストール済み - Python環境: バージョン3.9以上 - Pineconeアカウント: 要APIキー取得 - 必要パッケージ: uvicorn, pydantic, pymupdf等 ## インストール手順 1. MCPサーバーのインストール ```bash pip install uv uvx install mcp-pinecone ``` または ```bash uv pip install mcp-pinecone ``` 2. Pineconeインデックス作成 - Pineconeコンソールでインデックスを作成 - 適切な次元数(例: 1536 for OpenAI)を設定 - メトリクスはコサイン類似度を推奨 3. Claude Desktop設定 - 設定ファイルの場所: - MacOS: ~/Library/Application\ Support/Claude/claude_desktop_config.json - Windows: %APPDATA%/Claude/claude_desktop_config.json - 設定ファイルに以下を追加: ```json "mcpServers": { "mcp-pinecone": { "command": "uvx", "args": [ "--index-name", "your-index-name", "--api-key", "your-pinecone-api-key", "mcp-pinecone" ] } } ``` ## 動作確認 1. Claude Desktopを再起動 2. MCPサーバーが「semantic-search」などのツールを提供していることを確認 3. テストクエリで検索機能を確認
環境変数設定例
# .env ファイル例
PINECONE_API_KEY=your-api-key-here
PINECONE_INDEX_NAME=your-index-name
PINECONE_ENVIRONMENT=gcp-starter
MCPサーバーのデバッグには、MCP Inspectorを使用すると便利です。以下のコマンドで起動できます:
npx @modelcontextprotocol/inspector uv --directory {project_dir} run mcp-pinecone

Pineconeインデックス設計

RAGシステムのためのPineconeインデックス設計ガイドです。

Pineconeインデックス設計ガイド @Devin # Pineconeインデックス設計ガイド作成タスク ## インデックス基本設計 1. ベクトル次元数の選定 - OpenAI Ada-002: 1536次元 - BERT: 768次元 - 他の埋め込みモデルに応じた次元数 2. メトリクスの選定 - コサイン類似度: 方向性の類似度を重視(一般的なテキスト検索に推奨) - ユークリッド距離: 絶対的な距離を重視 - ドットプロダクト: 大きさと方向の両方を考慮 3. インデックスタイプの選定 - Approximated (ANN): 大規模データに適した近似検索 - Exact: 小~中規模データに適した厳密検索 ## インデックス最適化 1. シャーディング - データ量とクエリレイテンシに基づいたシャード数設定 - シャードサイズの最適化ガイドライン 2. レプリケーション - 可用性と並列クエリ処理に基づいたレプリカ数設定 - コストとパフォーマンスのバランス 3. ポッドタイプ選択 - s1: 標準的なワークロード向け - p1: 高パフォーマンス向け - p2: 最高パフォーマンス向け ## 名前空間とメタデータ設計 1. 名前空間戦略 - 複数ドメインのデータを分離 - アクセス制御の実装 - A/Bテストの実施 2. メタデータスキーマ設計 - 効果的なフィルタリング用メタデータフィールド - インデックス付きフィールドの選定 - ネストされたメタデータ構造の活用
Pineconeインデックス設計のポイント:
  • 埋め込みモデルに合わせた次元数を使用する(次元数の不一致はエラーの原因になります)
  • メタデータはクエリ時のフィルタリングに活用できるよう設計する
  • 名前空間を使って論理的にデータを分離する(テスト/開発/本番など)

最適なチャンキング戦略

RAGシステムの検索精度を大きく左右するチャンキング(文書分割)戦略の設計ガイドです。

RAGチャンキング最適化 @Devin # RAGチャンキング戦略最適化タスク ## チャンキング要件分析 - ドキュメントタイプ: [PDF, HTML, テキスト等] - コンテンツ構造: [長文、技術文書、会話等] - 言語特性: [日本語、英語、多言語等] - 検索ユースケース: [質問応答、サマリー生成等] ## チャンキング戦略設計 1. サイズベースチャンキング - 文字数/トークン数の最適サイズ決定 - オーバーラップ戦略の設計 - 最大/最小サイズの制約設定 2. セマンティックチャンキング - 意味単位での分割アルゴリズム設計 - 文脈一貫性の維持方法 - セクション/段落の境界検出 3. 階層型チャンキング - 大→中→小の階層的分割設計 - 親子関係のメタデータ設計 - 階層間のリンク方法 ## 実装タスク 1. チャンキングパイプラインの実装 2. 前処理フィルターの実装(箇条書き、表、コード等の特殊処理) 3. メタデータ付与システムの実装 4. チャンク品質評価システムの実装 ## 最適化と評価 - 異なるチャンキング戦略の比較実験 - 検索精度との相関分析 - ユースケース別の最適パラメータ導出
日本語テキストのチャンキングでは、単純な文字数や行数による分割ではなく、意味のまとまりを考慮した分割が重要です。また、固有名詞や専門用語が分断されないよう配慮が必要です。
専門分野別チャンキング @Devin # 専門分野別チャンキング戦略設計タスク ## 法律文書向けチャンキング - 条文・項・号の構造を保持する分割 - 法的参照の維持 - 定義・例外・条件の文脈保持 - 判例引用の適切な処理 ## 医療文書向けチャンキング - 患者情報・診断・処方の論理単位保持 - 医学用語の分断防止 - 時系列データの文脈保持 - プライバシー考慮(個人特定情報の管理) ## 技術文書向けチャンキング - コードブロックの一体処理 - APIリファレンスの構造保持 - 図表参照の維持 - 専門用語・略語の文脈保持 ## 実装アプローチ 1. 分野特化ルールベースのチャンキング設計 2. 専門用語辞書との連携 3. 構造認識パーサーの実装 4. メタデータスキーマの分野別カスタマイズ ## 評価方法 - 専門家によるチャンク品質評価 - 分野特化クエリセットでの精度測定 - 生成応答の専門的正確性評価

RAG評価フレームワーク

RAGシステムのパフォーマンスを包括的に評価するためのフレームワークと指標です。

RAG評価メトリクス設計 @Devin # RAG評価フレームワーク設計タスク ## 評価目標設定 - 検索精度評価: [目標精度レベル] - 応答品質評価: [正確性、完全性等の要件] - システムパフォーマンス評価: [レイテンシ、スループット等の目標] - ユーザー体験評価: [使いやすさ、満足度等の目標] ## 評価メトリクス設計 1. 検索関連性メトリクス - Precision@K: 上位K件の検索結果中の関連ドキュメント割合 - Recall: 関連ドキュメント全体のうち検索で取得できた割合 - Mean Reciprocal Rank (MRR): 最初の関連ドキュメントの順位の逆数の平均 - Normalized Discounted Cumulative Gain (NDCG): 順位を考慮した関連性スコア 2. 応答品質メトリクス - 事実的正確性: 生成内容と参照情報の一致度 - 完全性: クエリに対する回答の網羅性 - 簡潔性: 無関係な情報のない簡潔な回答 - ハルシネーション率: 事実と異なる生成内容の割合 3. システムパフォーマンスメトリクス - E2Eレイテンシ: クエリから応答までの総時間 - 検索時間: ベクトル検索に要する時間 - 生成時間: テキスト生成に要する時間 - リソース使用率: CPU/GPU/メモリ使用効率 ## 評価方法実装 1. 自動評価システムの設計 2. 人間評価プロセスの設計 3. A/Bテスト設計 4. ベンチマーク環境の構築 ## 継続的評価プロセス - パフォーマンスモニタリングダッシュボード - 定期的な評価サイクルの設計 - 改善提案の自動化メカニズム
RAGシステム診断 @Devin # RAGシステム診断と改善タスク ## システム診断 1. 検索障害パターンの特定 - 関連性の低い検索結果 - 特定ドメインでの検索失敗 - 検索エッジケースの特定 2. 生成障害パターンの特定 - ハルシネーション発生パターン - コンテキスト無視パターン - 矛盾した応答パターン 3. システムボトルネック分析 - レイテンシホットスポット - リソース使用効率低下ポイント - スケーラビリティ制約 ## 問題解決アプローチ 1. 検索品質改善 - チャンキング戦略の最適化 - 埋め込みモデル/パラメータの調整 - メタデータフィルタリングの強化 2. 生成品質改善 - プロンプトエンジニアリング - コンテキスト選択アルゴリズムの改善 - ポストプロセッシングフィルターの実装 3. パフォーマンス最適化 - キャッシュ戦略の実装 - インデックス最適化 - リソーススケーリング調整 ## 実装計画 - 問題の優先順位付け - 改善実装ロードマップ - 評価と検証計画

MCPサーバー実装

Model Context Protocol(MCP)サーバーを実装してClaude Desktopと統合するための詳細ガイドです。

MCPツール設計パターン @Devin # MCP RAGツール設計パターンタスク ## 基本MCPツール設計 1. semantic-search - 目的: セマンティック検索の実行 - パラメータ: - query: 検索クエリ - top_k: 取得するドキュメント数 - filter: メタデータフィルター条件 - 戻り値: 関連ドキュメントの配列 2. retrieve-document - 目的: ドキュメントID/URLによる直接取得 - パラメータ: - document_id: 取得するドキュメントのID - 戻り値: ドキュメント全文とメタデータ 3. process-document - 目的: 新規ドキュメントの処理とインデックス登録 - パラメータ: - document_url: 処理するドキュメントのURL/パス - metadata: 付与するメタデータ - 戻り値: 処理結果とドキュメントID ## 高度なMCPツール設計 1. query-refinement - 目的: ユーザークエリの最適化 - パラメータ: - original_query: 元のクエリ - context: 会話コンテキスト - 戻り値: 最適化されたクエリ 2. multi-index-search - 目的: 複数インデックスの横断検索 - パラメータ: - query: 検索クエリ - indexes: 検索対象インデックスの配列 - 戻り値: 統合された検索結果 3. search-analyze - 目的: 検索結果の分析と要約 - パラメータ: - search_results: 検索結果配列 - analysis_type: 分析タイプ - 戻り値: 分析結果と要約 ## 実装アプローチ 1. Pythonベース実装 ```python @tool("semantic-search") async def semantic_search(query: str, top_k: int = 5, filter: dict = None) -> List[Document]: # 実装コード pass ``` 2. TypeScriptベース実装 ```typescript export const semanticSearch: Tool<{ query: string; top_k?: number; filter?: Record; }, Document[]> = { name: "semantic-search", description: "...", parameters: { ... }, handler: async (params) => { // 実装コード } }; ```
MCP-Pinecone統合コード例
import { tool } from "@modelcontextprotocol/runtime";
import { PineconeClient } from "@pinecone-database/pinecone";

// Pineconeクライアント初期化
const pinecone = new PineconeClient();
await pinecone.init({
  apiKey: process.env.PINECONE_API_KEY,
  environment: process.env.PINECONE_ENVIRONMENT
});

const index = pinecone.Index(process.env.PINECONE_INDEX);

// セマンティック検索ツール
export const semanticSearch = tool({
  name: "semantic-search",
  description: "意味的な検索を実行する",
  parameters: {
    query: {
      type: "string",
      description: "検索クエリ"
    },
    top_k: {
      type: "number",
      description: "取得する結果の数",
      default: 5
    },
    filter: {
      type: "object",
      description: "メタデータフィルター",
      optional: true
    }
  },
  handler: async ({ query, top_k, filter }) => {
    // 埋め込みベクトル生成
    const embedding = await generateEmbedding(query);
    
    // Pinecone検索実行
    const results = await index.query({
      vector: embedding,
      topK: top_k,
      filter: filter,
      includeMetadata: true
    });
    
    return results.matches.map(match => ({
      id: match.id,
      text: match.metadata.text,
      metadata: match.metadata,
      score: match.score
    }));
  }
});
MCPサーバー開発のポイント:
  • ツール名と説明は明確で理解しやすくすること
  • パラメータには適切な型と説明、デフォルト値を設定すること
  • エラーハンドリングを丁寧に実装し、わかりやすいエラーメッセージを返すこと
  • ツールの応答時間を最適化し、タイムアウト処理を実装すること

デプロイメントパターン

RAGシステムの様々なデプロイメントパターンとベストプラクティスのガイドです。

RAGデプロイメントパターン @Devin # RAGデプロイメントパターン設計タスク ## 主要デプロイメントパターン 1. サーバーレスRAG - アーキテクチャ: - AWS Lambda/Azure Functions/Google Cloud Functions - Pineconeベクトルストア - API Gateway - 利点: - 自動スケーリング - 低運用コスト - 迅速なデプロイ - 注意点: - コールドスタート - 実行時間制限 - メモリ制限 2. コンテナベースRAG - アーキテクチャ: - Kubernetes/ECS/GKE - マイクロサービス分割 - 水平スケーリング - 利点: - 細かいリソース制御 - 高い柔軟性 - 長時間実行処理 - 注意点: - 運用複雑性 - 初期設定の労力 - リソース管理 3. エッジRAG - アーキテクチャ: - ローカルベクトルDB - 軽量埋め込みモデル - ローカルLLM/外部LLM連携 - 利点: - レイテンシ低減 - オフライン動作 - データプライバシー - 注意点: - リソース制約 - インデックスサイズ制限 - 更新同期 ## 実装考慮事項 1. スケーリング戦略 2. データ更新パイプライン 3. 監視とアラート設定 4. バックアップと障害復旧 5. セキュリティ設計 ## 運用ベストプラクティス - ブルー/グリーンデプロイメント - カナリアリリース - パフォーマンスベンチマーク - 負荷テスト計画
RAGシステムのデプロイでは、検索と生成の両方のパフォーマンスを考慮し、ボトルネックとなる部分を特定して最適化することが重要です。
ハイブリッドRAGアーキテクチャ @Devin # ハイブリッドRAGアーキテクチャ設計タスク ## アーキテクチャ目標 - 高速応答と高品質検索のバランス - オンライン/オフラインデータの統合 - プライベートデータとパブリックデータの融合 - リソース効率の最適化 ## ハイブリッドアーキテクチャ設計 1. マルチインデックス設計 - 頻出クエリ用高速キャッシュインデックス - 大規模完全インデックス - 特殊ドメイン専用インデックス 2. マルチレベル検索 - レベル1: ローカル/エッジ検索(低レイテンシ) - レベル2: クラウドベース検索(高精度) - 検索結果マージ戦略 3. アダプティブ生成 - コンテキストサイズ動的最適化 - モデル選択ロジック - 応答品質フィードバックループ ## 実装タスク 1. ルーティングエンジンの実装 2. マルチレベルキャッシュの実装 3. 検索結果統合アルゴリズムの実装 4. フォールバック戦略の実装 ## パフォーマンス最適化 - キャッシュウォーミング戦略 - 予測的検索の実装 - 非同期データ同期メカニズム

プロンプトエンジニアリング

RAGシステムの性能を最大化するためのプロンプトエンジニアリングベストプラクティスです。

RAG向けプロンプト戦略 @Devin # RAG向けプロンプト戦略設計タスク ## システムプロンプト設計 - モデル役割の明確な定義 - RAGコンテキスト利用指示の明示 - 応答フォーマットの統一 - 情報源の引用方法の指定 - エッジケース処理の指示 ## ユーザークエリ最適化 1. クエリリファイメント戦略 - 曖昧なクエリの明確化 - 検索用語の最適化 - エンティティ抽出と標準化 2. クエリルーティング - 検索が必要なクエリの特定 - 適切なインデックス選択 - パラメータ自動調整 ## RAGコンテキスト最適化 1. コンテキスト選択 - 関連性順ランキング - 多様性確保 - 情報の新鮮さ考慮 2. コンテキスト形式 - 構造化フォーマット - メタデータの効果的提示 - 優先度表示 ## 応答生成プロンプト - 事実検証と整合性確認 - 不確かな情報の処理方法 - 出典の適切な引用 - 回答が不可能な場合の対応 ## プロンプトテンプレート例 ``` あなたは[組織名]の知識支援AIです。以下の検索結果を参考に、ユーザーの質問に答えてください。 検索結果: {{retrieved_documents}} 検索結果に関連情報がない場合は、「その情報は見つかりませんでした」とだけ答え、推測しないでください。 情報の出典を必ず[出典: ドキュメント名]の形式で明記してください。 複数の情報源がある場合は、矛盾点や共通点を明確にしてください。 ユーザーの質問: {{user_question}} ```
プロンプトパターンライブラリ @Devin # RAGプロンプトパターンライブラリ作成タスク ## 基本プロンプトパターン 1. 標準RAGプロンプト ``` システム: 以下の情報を参考に、ユーザーの質問に簡潔に答えてください。情報がない場合は「情報がありません」と答えてください。 コンテキスト: {{context}} ユーザー: {{query}} ``` 2. 段階的思考RAGプロンプト ``` システム: 以下のステップに従って回答を生成してください: 1. 提供された情報を注意深く分析する 2. 質問に関連する事実を抽出する 3. 論理的に推論して結論を導く 4. 簡潔な回答を作成する コンテキスト: {{context}} ユーザー: {{query}} ``` 3. 専門家ペルソナRAGプロンプト ``` システム: あなたは{{domain}}の専門家です。専門的な視点から、以下の情報を参考にユーザーの質問に答えてください。 コンテキスト: {{context}} ユーザー: {{query}} ``` ## 用途別プロンプトパターン 1. 要約生成プロンプト 2. 比較分析プロンプト 3. 手順説明プロンプト 4. 問題解決プロンプト ## プロンプト最適化戦略 - A/Bテスト設計 - プロンプトバージョン管理 - パフォーマンス測定指標 - 継続的改善プロセス
プロンプトを設計する際は、LLMの強みと弱みを理解した上で、具体的で明確な指示を与えることが重要です。また、プロンプトのバージョン管理を適切に行い、効果を測定しながら改善していきましょう。