LLM-RAG项目 P27 Embedding模型配置与函数封装
从这节课开始,我们来学习片段向量化的流程,这块内容是这套课程的重点和难点,课后大家一定要自己动手实现一遍。主要是两个大块的内容,一个向量化,另一个是向量的存储和检索。
代码示例
1、模型配置
a) 这里我们以OpenAI为例,讲解向量化的流程,大家可以根据需要,替换百川、千问等国产模型,都兼容OpenAI接口,只需要配置相应的url和key即可。
b) 如果需要自己部署的离线模型,只需要将模型部署为兼容OpenAI接口的http服务即可,有需要的话也可以参考我前面录制的模型部署课程。
c) 不同Embedding模型,向量化之后的维度是不一样的,通常来说,项目上线前需要确定具体模型,上线后不能更改,如果强制更改,则需要清除向量库,重新进行全站向量化。
内容不可见,请联系管理员开通权限。
2、封装函数
内容不可见,请联系管理员开通权限。
3、调用测试
内容不可见,请联系管理员开通权限。
这个向量化的过程,因为OpenAI做了比较好的封装,实现起来还是相对比较容易的。下节课,我们开始学习向量存储和检索,需要用到Milvus,这个就没有现成的三方包可以用了,所以为了降低大家的学习门槛,我提前封装好了一个操作Milvus的类,下节课我们一起看一下具体内容。
本文链接:http://ichenhua.cn/edu/note/761
版权声明:本文为「陈华编程」原创课程讲义,请给与知识创作者起码的尊重,未经许可不得传播或转售!