大语言模型应用开发框架:LangChain

Description
Published
April 10, 2023
Tags
AI
OpenSource
LangChain

大语言模型应用开发框架:LangChain

LangChain 是一个基于大语言模型进行应用开发的框架。
所谓大语言模型(Large Language Models, LLMs),是指基于海量语料训练、参数动辄数十亿上百亿的语言模型。除了大家熟知的 ChatGPT(由 OpenAI 研发),还有 Google 早期研发的 BERT、OpenAI 的整个 GPT 系列、Meta 近期开源的 LLaMA、清华大学的 GLM 系列、华为的盘古等。
而不同模型很可能有相差甚远的使用方式,包括但不限于 API 接口(以 OpenAI 为代表)、模型权重托管(在 Hugging Face 网站)、填表申请……
于是如果你想做一个应用,为了用户充分体验各种 LLM,那难度一下就上来了。
而 LangChain 要解决的,首先便是这个问题。作为一个 LLM 应用框架,LangChain 支持调用多种不同模型,提供相对统一、便捷的操作接口,让模型即插即用。
能把模型用起来只是第一步,第二步是建立连接。LangChain 提供 Indexes 去转化不同类型的文档,使用户能够将数据投喂给模型,这极大地解决了 ChatGPT 信息不及时、难以个性化的问题;
还有第三步,交互。让调教好的 LLM 根据用户的安排去做出决策、执行动作、评估反馈、重复直到完成。LangChain 提供 Chains 让 LLM 与其他应用交互,提供 Agents 让开发者定义能够自行决策的 AI。
简单而言,LangChain 为未来的 LLM AI 型应用铺了一条路,通过结构化的框架和对应的概念工具,让此类应用开发有轨可循。
 
补充案例:
  1. 作者给出了一个 案例:向 AI 投喂记录在 Notion 中的一个员工手册,然后提问相关问题,即可得到答案
  1. 社区亦有 消化PDF中文本地知识 等应用案例。