LLM-RAG项目 P32 大模型配置和模型函数封装
接下来,就正式开始学习对话模块,这是一个基于大模型的RAG对话项目,肯定得用到大模型。具体对话的时候,用哪个大模型来做回复呢?课程开篇给大家演示过,是用户在聊天页面上自己选择的。
所以,我们需要在代码层面,把支持的所有的模型参数都配置好,让用户不论选择那一个模型,都可以正常的发起请求。
代码示例
1、账号配置
国内的大模型,大部分都支持OpenAI接口,修改base_url即可。本项目也支持本地部署的模型,部署为兼容OpenAI的接口即可。后续会录制大模型部署的课程,请关注官网。
内容不可见,请联系管理员开通权限。
2、模型配置
千问文档:https://help.aliyun.com/zh/dashscope/developer-reference/model-introduction
内容不可见,请联系管理员开通权限。
3、定义模型函数
内容不可见,请联系管理员开通权限。
4、调用测试
内容不可见,请联系管理员开通权限。
课上只给大家演示了千问的模型,其他的比如百川之类的模型,大家也可以自己去尝试,都比较简单,替换相应的base_url和api_key就可以了。
本文链接:http://ichenhua.cn/edu/note/766
版权声明:本文为「陈华编程」原创课程讲义,请给与知识创作者起码的尊重,未经许可不得传播或转售!