大健康领域的多模态大模型

​

🎈

这个大模型的目标用户是所有对自己健康关心的人，帮助进行基本的疾病诊断，病历分析，专业知识答疑等功能。本项目狭义上可以作为一个多功能的健康小助手，帮助管理个人健康，提供基础的医疗建议；广义上可以配置在任何领域，通过微调的大模型和RAG技术让大模型掌握目标领域的专业知识，成为任意专业的专家。​

​

界面展示​

文本交流界面、语音对话界面、病历识别、PPT/Word生成​

​

​

​

​

52%

​

​

​

​

48%

​

​

​

​

​

​

43%

​

​

​

​

57%

​

​

技术栈​

•

Python ​

•

PyTorch​

•

Transformers​

•

Gradio：简易的UI和交互生成工具​

•

Langchain：基于 Langchain 框架，构建语言模型进行链式操作​

•

modelscope & huggingface：预训练大模型的下载与配置​

•

RAG：结合检索与生成的技术，用于增强生成式模型的回答质量​

•

Knowledge Graph (Neo4j)：Neo4j图数据库的配置和Cypher语句操作​

•

TTS (edge-tts)，STT (whisper)：语音转文本，文本转语音​

•

OpenAi & zhipuai：相关大模型sdk调用方法​

Option：​

•

Ollama：本地大模型api封装​

如何启动项目​

从Github上拉取项目​

​

代码块​

Plain Text

git clone https://github.com/Warma10032/cyber-doctor.git​

或者​

git clone git@github.com:Warma10032/cyber-doctor.git​

​

配置大模型API​

复制 .env.example为 .env，填写 .env内相关API配置。​

API目前支持：​

a.

所有支持OpenAI SDK接口的API，包括​

▪

智谱AI​

▪

豆包大模型​

▪

硅基流动集成平台​

▪

deepseek​

▪

千问Qwen​

填写 config/config-web.yaml配置文件​

创建python环境（python>=3.10，建议为3.10）​

建议使用conda管理环境​

​

代码块​

Plain Text

conda create --name myenv python=3.10​

conda activate myenv​

​

安装依赖库​

​

代码块​

Plain Text

pip install -r requirements.txt​

​

启动项目​

​

代码块​

Plain Text

python app.py​

​

启动后访问 http://localhost:7860​

项目结构​

​

代码块​

Bash

cyber-doctor/​

├── .env # 环境配置文件，存储API密钥、模型配置等敏感信息​

├── .env.example # 环境配置文件示例，展示需要配置的环境变量​

├── .gitignore # Git版本控制忽略文件配置​

├── LICENSE # 项目许可证文件​

├── README.md # 项目中文说明文档​

├── README_en.md # 项目英文说明文档​

├── __init__.py # Python包初始化文件​

├── app.py # 项目启动文件，构建Gradio界面，处理多模态信息，可自定义ASR模型和界面​

├── env.py # 封装读取.env文件的接口​

​