# 依赖：需要依赖上一段代码中的 embed() 函数和 supabase 客户端
from concurrent.futures import ThreadPoolExecutor
import time

def chunk_text(text: str, size: int = 500, overlap: int = 50):
    """
    把长文本切成带重叠的小块（生成器，节约内存）
    :param text: 原始长文本
    :param size: 每块文本最大长度
    :param overlap: 块之间重叠长度（防止语义断裂）
    """
    start = 0
    while start < len(text):
        yield text[start:start + size]
        start += size - overlap

def batch_insert(texts: list[str], source: str = ""):
    """
    多线程并发生成向量，批量存入Supabase（速度极快）
    :param texts: 文本块列表
    :param source: 元数据-来源（如书名/文档名）
    """
    def process_one(text):
        # 生成向量
        vec = embed(text)
        return {
            "content": text,
            "embedding": vec,
            "metadata": {"source": source}
        }

    print(f"正在处理 {len(texts)} 个文本块...")
    start_time = time.time()

    # 多线程生成Embedding
    with ThreadPoolExecutor(max_workers=5) as executor:
        rows = list(executor.map(process_one, texts))

    # 批量插入数据库（一次请求，效率远高于循环单条插入）
    supabase.table("documents").insert(rows).execute()
    
    # 打印耗时
    print(f"✅ 完成！共插入 {len(rows)} 块，总耗时 {time.time() - start_time:.1f}s")

# ------------------- 使用示例 -------------------
# 读取本地文本文件（跑步书籍/文档）
with open("running_book.txt", encoding="utf-8") as f:
    full_text = f.read()

# 1. 切割长文本（500字符/块，重叠50字符）
text_chunks = list(chunk_text(full_text, size=500, overlap=50))

# 2. 批量存入Supabase知识库
batch_insert(text_chunks, source="《跑步圣经》")