def chunk_text(text: str, size: int = 500, overlap: int = 50):
    """
    生成器函数：将长文本切割成【固定大小+重叠】的文本块
    :param text: 原始长文本（字符串）
    :param size: 每个文本块的最大长度,默认500字符
    :param overlap: 块与块之间的重叠字符数,默认50(保证语义连贯）
    :yield: 逐块返回切割后的文本片段
    """
    # 初始化文本切割的【起始索引】，从0开始
    start = 0
    # 循环：只要起始索引 < 文本总长度，就继续切割
    while start < len(text):
        # 计算当前块的【结束索引】= 起始 + 块大小
        end = start + size
        # 生成器核心：yield 产出当前切割的文本块，然后暂停执行
        yield text[start:end]
        # 计算下一块的起始位置（减去重叠部分，实现块与块重叠）
        start += size - overlap


# ------------------- 调用代码 -------------------
# 1. 读取本地文本文件（utf-8编码），with语句会自动关闭文件，安全高效
with open("running_book.txt", encoding="utf-8") as f:
    # 一次性读取文件全部内容到变量 text（小文件适用，大文件也可分块读）
    text = f.read()

# 2. 遍历生成器：逐一生成文本块（内存中仅保留当前1块，不占用大量内存）
for chunk in chunk_text(text):
    # 业务逻辑：为当前文本块生成向量嵌入（AI常用功能）
    embedding = get_embedding(chunk)
    # 业务逻辑：将文本块和对应的向量存入向量数据库
    vector_db.insert(chunk, embedding)