这节课，临时给大家补充一个知识点，叫做LangSmith。刚好昨天，我的账号通过了内测申请，先带大家来体验一下。需要提前说明的是，目前这个平台还在内测，大家注册完账号，可能需要等一段时间才能使用。

LangSmith是什么

LangSmith 是一个用于调试、测试、评估和监控大语言模型（LLM）应用程序的统一平台，由 LangChain 公司推出。

LangChain 的使命是让构建基于 LLM 的应用变得更简单。尽管用几行代码就可以搭建原型，但把原型进化成产品仍然困难。LangSmith 正在解决这个问题。

LangSmith 通过 5 大核心功能帮助开发团队：

调试：LangSmith 可以查看事件链中的每个步骤的模型输入输出。这可以方便地试验新链和新提示，找到问题根源,如意外结果、错误或延迟。同时可以查看延迟和 Token 使用情况来定位调用性能问题。

测试：LangSmith 可以跟踪数据样本或上传自定义数据集。然后可以针对数据集运行链和提示，手动检查输入输出或者自动化测试。许多团队发现手工检查有助建立对 LLM 交互的直观感受，从而提出更好的优化思路。

评估：LangSmith 无缝集成开源评估模块，支持规则评估和 LLM 自评估。LLM 辅助评估有潜力大幅降低成本。

监控：LangSmith 可以主动跟踪性能指标、模型链性能、调试问题、用户交互体验等，从而持续优化产品。

统一平台：LangSmith 整合上述功能，让团队无需组装各种工具组合，可以集中在核心应用创造上。

LangSmith 代表了 LLM 应用开发进入成熟阶段，开发团队不再需要自行搭建调试、测试、部署基础设施，可以完全专注在创造独特的产品。LangSmith 有望大幅降低构建高质量 LLM 应用的门槛。

操作流程

1、注册和申请体验  https://smith.langchain.com/

2、创建Project

3、Setup 

内容不可见，请联系管理员开通权限。

4、监控请求过程

这节课内容比较简单，就是简单带大家体验了，LangSmith这个产品。大家有兴趣，也可以申请账号，用这个服务去监控自己的大模型应用。

本文链接：http://ichenhua.cn/edu/note/722

版权声明：本文为「陈华编程」原创课程讲义，请给与知识创作者起码的尊重，未经许可不得传播或转售！