用Python streamlit实现简单的AI 大模型对话对比器

阅读本书更多章节>>>>

前言

如何实现与AI大模型的对话？一种选择是登陆AI大模型厂商提供的对话网站或者App。另外，目前网络上还有很多开源的实现，比如Chatbox，Chathub，ChatALL等等。这些项目大多使用Typescript, Javascript，提供配置功能，大模型人设等功能。
这篇文章里，我们使用Python的几十行代码来实现一个简单的AI 大模型对话对比器。

功能介绍

这个AI大模型对话对比器包含与大模型对话和多个大模型对比的功能。

提供浏览器界面，供用户输入提示词和显示对话生成结果。可以对比多个大模型 （目前代码示例为GPT3和GPT4）。保存对话上下文直至手动清空。

界面如下：

大模型本身没有记忆功能。从截图中可以看到，程序本身可以记忆上下文，上文中的英文被输入给大模型，并在用户的要求下被大模型翻译成下文中的中文。

代码实现

这里要介绍一下Streamlit，使用它根本不需要任何前端代码，只需要纯Python就可以快速构建漂亮的Web应用。Streamlit很流行，甚至AI大模型也支持Streamlit代码。

文中这个简单的系统-AI 大模型对话对比器，只使用了几十行的Python代码，按照前端功能和后端功能分成两个文件。
你可以通过访问我的Github直接下载代码。

前端功能

前端功能主要包括输入提示词和显示大模型对话生成内容。在用户清空对话之前，保存对话的上下文，并作为输入调用后端功能。

首先确保在调试运行之前安装了streamlit:

$ pip install streamlit

前端功能的python文件 - aitalk.py

__author__ = 'liyane'import streamlit as stfrom aibackend import models, get_chat_response_from_all_models# define page / 定义页面st.set_page_config(layout="wide")st.title("🤖 AI大模型对话&对比器")# save chat context by default / 默认可保存对话上下文# clean chat context after click the reset button / "点击“清空所有对话”按钮后将清空上下文reset_button = st.button("清空所有对话(Reset)")if reset_button:    st.session_state.messages = {model_id: [] for model_id in models}# initialize column for each model / 初始化大模型对话栏st_all_columns = st.columns(len(models))model_to_column_map = {}for i, model_id in enumerate(models):    model_to_column_map[model_id] = st_all_columns[i]for model_id, column in model_to_column_map.items():    column_subheader=model_id+"("+models[model_id]+")"    column.subheader(column_subheader)# initialize streamlit session messages / 初始化会话if "messages" not in st.session_state:    st.session_state.messages = {model_id: [] for model_id in models}# display chat history / 显示历史会话内容for model_id, messages in st.session_state.messages.items():    column = model_to_column_map[model_id]    for message in messages:        column.chat_message(message["role"]).write(message["content"])# handle the prompt / 处理用户提示词prompt = st.chat_input()if prompt:    # save and display the prompt / 将用户提示词储存在会话中，并显示在对话栏中    for model_id, column in model_to_column_map.items():        st.session_state.messages[model_id].append({"role": "user", "content": prompt})        column.chat_message("user").write(prompt)        # call backend function and save&display the output from AI model / 调用后端大模型生成接口，并存储和显示大模型的输出    with st.spinner("AI正在思考中，请稍等..."):            response = get_chat_response_from_all_models(st.session_state.messages)        for model_id, column in model_to_column_map.items():            content = response[model_id]            st.session_state.messages[model_id].append({"role": "assistant", "content": content})            column.chat_message("assistant").write(content)

后端功能

后端功能主要包括定义大模型字典和与大模型的对话生成接口通信。
在运行示例文件之前，取保你将OPENAI_API_KEY和其他需要的环境变量写入到同目录的如下隐藏文件中。
.env

OPENAI_API_KEY="..."OPENAI_BASE_URL="..." 

我使用的是GPT3 和 GPT4， 如果你需要使用其他的大模型，需要添加相关的代码。
apibackend.py

__author__ = 'liyane'import osfrom openai import OpenAI# load .env for OPENAI_API_KEY / 加载 .env 到环境变量，其中包含OPENAI_API_KEYfrom dotenv import load_dotenv, find_dotenv_ = load_dotenv(find_dotenv())# configure OpenAI client/ 配置 OpenAI 服务client = OpenAI()# define dict for all AI models / 定义大模型ID和对应的实际名称models = {"GPT4": "gpt-4-turbo-preview", "GPT3": "gpt-3.5-turbo"}# loop all defined AI models / 循环调用所有大模型def get_chat_response_from_all_models(messages):    response_from_models = {}    for model_id, model_dict in models.items():        response = get_chat_response_from_gpt(messages[model_id], models[model_id])        response_from_models[model_id] = response    return response_from_models# call OpenAI chat completioin API / 调用GPT大模型对话生成接口def get_chat_response_from_gpt(messages, model):    response = client.chat.completions.create(        messages=messages,        model=model    )    return response.choices[0].message.content

启动步骤

使用下面的命令启动：

$ streamlit run aitalk.py

然后访问如下地址：

http://localhost:8501/

streamlit还支持将项目免费部署于streamlit community cloud上边，通过互联网访问。

其他问题

如何只使用一个大模型？

代码调用GPT的接口是通用的。如果希望只使用GPT的模型之一，可以修改aibackend.py中models的定义。
修改之前：

# define dict for all AI models / 定义大模型ID和对应的实际名称models = {"GPT4": "gpt-4-turbo-preview", "GPT3": "gpt-3.5-turbo"}

修改之后界面将只显示一个模型的对话栏。model的ID（比如GPT4）也可以修改。

# define dict for all AI models / 定义大模型ID和对应的实际名称models = {"GPT4": "gpt-4-turbo-preview"}

参考

Streamlit / Streamlit Github
OpenAI

阅读本书更多章节>>>>

本文链接：https://www.kjpai.cn/gushi/2024-04-16/159499.html，文章来源：网络cs，作者：焦糖，版权归作者所有，如需转载请注明来源和作者，否则将追究法律责任！