OpenAIとPineconeを連携したRAGチャットボット実装の包括的調査

from langchain_text_splitters import RecursiveCharacterTextSplitter

# ドキュメントを適切なサイズのチャンクに分割
text_splitter = RecursiveCharacterTextSplitter(
    chunk_size=1000,
    chunk_overlap=200
)
chunks = text_splitter.split_text(document_text)

from langchain_openai import OpenAIEmbeddings

# 埋め込みモデルの初期化
embeddings = OpenAIEmbeddings(
    model="text-embedding-3-small"  # 最新の埋め込みモデル
)

# チャンクの埋め込みベクトルを生成
embedded_chunks = []
for chunk in chunks:
    vector = embeddings.embed_query(chunk)
    embedded_chunks.append({
        "id": str(uuid4()), 
        "vector": vector, 
        "text": chunk
    })

import pinecone

# Pineconeクライアントの初期化
pinecone.init(api_key="YOUR_API_KEY")

# インデックスが存在しなければ作成
index_name = "knowledge-base"
if index_name not in pinecone.list_indexes():
    pinecone.create_index(
        name=index_name,
        dimension=1536,  # OpenAIの埋め込みベクトルの次元数
        metric="cosine"
    )

# インデックスに接続
index = pinecone.Index(index_name)

# ベクトルをアップロード
batch_size = 100
for i in range(0, len(embedded_chunks), batch_size):
    batch = embedded_chunks[i:i+batch_size]
    index.upsert(vectors=[
        (item["id"], item["vector"], {"text": item["text"]}) 
        for item in batch
    ])

from langchain_pinecone import PineconeVectorStore
from langchain.prompts import ChatPromptTemplate
from langchain_openai import ChatOpenAI

# Pineconeベクトルストアの初期化
vectorstore = PineconeVectorStore(
    index_name=index_name,
    embedding=embeddings
)

# 検索とRAGのチェーンを作成
template = """
以下の情報に基づいて質問に答えてください。
情報に基づかない回答をする場合は「この質問に答えるための
十分な情報がありません」と回答してください。

コンテキスト：
{context}

質問：{question}
"""
prompt = ChatPromptTemplate.from_template(template)

# 検索用関数
def retrieve_context(query):
    docs = vectorstore.similarity_search(query, k=3)
    return "\n\n".join([doc.page_content for doc in docs])

# RAGフロー実装
def answer_question(question):
    # 関連コンテキストを取得
    context = retrieve_context(question)
    
    # LLMを使用して回答を生成
    llm = ChatOpenAI(model="gpt-4o")
    chain = prompt | llm
    response = chain.invoke({
        "context": context, 
        "question": question
    })
    return response.content