public class Document {
    private String id;                          // 唯一标识
    private String content;                     // 核心文本内容
    private Map<String, Object> metadata;       // 元数据（来源、作者、时间等）
    private MediaType mediaType;                // 可选：图片、音频、视频
}

@Component
public class LoveDocumentLoader {
    
    @Autowired
    private MarkdownDocumentReader markdownReader;
    
    public List<Document> loadKnowledgeBase() {
        // 读取resources/love-tips/目录下的所有.md文件
        List<Document> documents = markdownReader.read(
            new FileSystemResource("knowledge-base/")
        );
        
        System.out.println("成功加载 " + documents.size() + " 个文档片段");
        // DEBUG输出：此时会将每个.md文件作为一个Document对象
        // 如果文件内有---分隔符，会被切分为多个Document
        return documents;
    }
}

@Component
public class LoveDocumentSplitter {
    
    public List<Document> splitDocuments(List<Document> documents) {
        // 参数详解：
        // 1. defaultChunkSize: 目标块大小（token数），默认800
        // 2. minChunkSizeChars: 最小字符数，低于此值会合并到相邻块（默认350）
        // 3. minChunkLengthToEmbed: 最小嵌入长度，过滤噪音（默认5）
        // 4. maxNumChunks: 最大块数，防止超大文档爆炸（默认10000）
        // 5. keepSeparator: 是否保留换行符等分隔符（默认true）
        
        TokenTextSplitter splitter = new TokenTextSplitter(
            200,    // 目标200 tokens/块（适合短问答场景）
            100,    // 最小100字符
            10,     // 至少10 tokens
            5000,   // 最多5000块
            true    // 保留分隔符，保持格式
        );
        
        return splitter.apply(documents);
    }
}

@Component
public class KeywordEnricher {
    
    @Autowired
    private ChatModel chatModel;  // 使用DeepSeek/Qwen等
    
    public List<Document> enrichWithKeywords(List<Document> documents) {
        // 为每个文档提取5个关键词，存入metadata
        KeywordMetadataEnricher enricher = 
            new KeywordMetadataEnricher(chatModel, 5);
        return enricher.apply(documents);
    }
}

DefaultContentFormatter formatter = DefaultContentFormatter.builder()
    // 元数据展示模板：key: value
    .withMetadataTemplate("{key}: {value}")
    // 多行元数据分隔符
    .withMetadataSeparator("\n")
    // 最终组合模板：元数据 + 换行 + 内容
    .withTextTemplate("{metadata_string}\n\n{content}")
    // 推理时排除的字段（避免向量数据污染Prompt）
    .withExcludedInferenceMetadataKeys("embedding", "vector_id")
    // 嵌入时排除的字段（避免URL等噪音干扰相似度计算）
    .withExcludedEmbedMetadataKeys("source_url", "timestamp")
    .build();

// 使用方式
String promptContent = formatter.format(document, MetadataMode.INFERENCE);

@Component
public class KnowledgeBaseWriter {
    
    @Autowired
    private VectorStore vectorStore;  // 自动注入配置的PGVector/Milvus等
    
    public void storeDocuments(List<Document> documents) {
        // 自动完成：1) Embedding向量化 2) 存储到数据库
        vectorStore.accept(documents);
        System.out.println("知识库已持久化，共 " + documents.size() + " 条记录");
    }
}

@Component
public class MultiRouteWriter {
    
    public void writeToMultipleStores(List<Document> docs) {
        // 主存储：向量数据库（用于检索）
        vectorStore.accept(docs);
        
        // 备份存储：文件（用于审计）
        new FileDocumentWriter("backup.txt", true, MetadataMode.ALL)
            .accept(docs);
    }
}

@Service
public class LoveKnowledgeBaseETL {
    
    @Autowired private MarkdownDocumentReader reader;
    @Autowired private TokenTextSplitter splitter;
    @Autowired private KeywordMetadataEnricher enricher;
    @Autowired private VectorStore vectorStore;
    
    @PostConstruct  // 应用启动时自动执行
    public void buildKnowledgeBase() {
        // 1. Extract：读取恋爱咨询文档
        List<Document> rawDocs = reader.read(
            new FileSystemResource("knowledge-base/")
        );
        System.out.println("Step 1 - 读取完成: " + rawDocs.size() + " 个原始文档");
        
        // 2. Transform：切分 + 增强
        List<Document> chunks = splitter.apply(rawDocs);
        System.out.println("Step 2 - 切分完成: " + chunks.size() + " 个片段");
        
        List<Document> enrichedChunks = enricher.apply(chunks);
        System.out.println("Step 3 - 增强完成: 已添加关键词元数据");
        
        // 3. Load：存入向量库
        vectorStore.accept(enrichedChunks);
        System.out.println("Step 4 - 加载完成: 知识库构建完毕！");
    }
}

Step 1 - 读取完成: 15 个原始文档
Step 2 - 切分完成: 30 个片段
Step 3 - 增强完成: 已添加关键词元数据
Step 4 - 加载完成: 知识库构建完毕！