前面课程当中，给大家介绍了项目的数据来源，其中一个是关于公司的文档数据。因为文档是需要提前做分割和向量化的，这节课就来完成这个功能。

为了给大家演示多种类型文档的处理方法，给大家准备了常见的三种类型，txt、pdf、csv，文件也在素材文件夹，需要先拷贝到项目 /data/inputs 目录。

代码示例

1、创建文件 

内容不可见，请联系管理员开通权限。

2、定义文本分割器 

内容不可见，请联系管理员开通权限。

3、读取并分割文件 

内容不可见，请联系管理员开通权限。

4、向量化并存储

基础部分向量数据库，给大家讲的是Faiss，但是Faiss只能存储句向量，不能存储元数据（原始文件信息）。这里用另一个叫ChromaDB，用法上跟Faiss是一模一样的。 

内容不可见，请联系管理员开通权限。

好的，现在准备工作就基本上做完了，下节课，就可以开始处理Agent了。

本文链接：http://ichenhua.cn/edu/note/712

版权声明：本文为「陈华编程」原创课程讲义，请给与知识创作者起码的尊重，未经许可不得传播或转售！