这是构建问答模型的注意事项

第一步
你要使用我的app.py文件，按照如下流程让这个代码能够工作,建议在桌面上完成调试，以免麻烦，知识图谱要始终保持运行

1、看看环境和安装依赖

[!NOTE]

python --version

pip install flask flask-cors neo4j python-dotenv

2、你可以在项目根目录创建一个 .env 文件：端口啥的都可以调整，安装的所有东西都在一个文件夹里

[!IMPORTANT]

NEO4J_URI=bolt://localhost:7687

NEO4J_USER=neo4j

NEO4J_PASSWORD=12345678

FLASK_PORT=5001

3、可以运行后端的脚本了，不报错就成功了（不用在powershell上浪费时间，直接让GPT写前端）

[!CAUTION]

cd C:\Users\DELL\Desktop

python app.py

部署大语言模型

如果要安装已经成型的大语言模型，首先要看你的系统配置，然后根据配置选择合适的本地化文件，使用下面的方法安装

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
import torch
from transformers import AutoTokenizer, AutoModelForCausalLM
import os

# 模型路径
model_path = r"D:\ai_models\deepseek-llm-7b-chat"

# Offload 文件夹（确保存在）
offload_dir = r"D:\temp_offload"
os.makedirs(offload_dir, exist_ok=True)

print("正在加载模型...")

# 判断 GPU 是否可用
if torch.cuda.is_available():
    device_map = "auto"
    dtype = torch.float16
    use_gpu = True
else:
    device_map = "cpu"
    dtype = torch.float32
    use_gpu = False

try:
    tokenizer = AutoTokenizer.from_pretrained(model_path)

    # 尝试半精度 GPU 加载或 CPU 加载
    model = AutoModelForCausalLM.from_pretrained(
        model_path,
        device_map=device_map,
        dtype=dtype,  # 用 dtype 替代已废弃的 torch_dtype
        low_cpu_mem_usage=True,
        offload_folder=offload_dir
    )
    print(f"✓ 模型加载成功！使用 {'GPU' if use_gpu else 'CPU'}")

except Exception as e:
    print(f"模型加载失败: {e}")
    exit(1)

print("模型加载完成！开始对话...")

# 简单对话循环
while True:
    user_input = input("\n你: ")
    if user_input.lower() in ['退出', 'exit', 'quit']:
        break

    prompt = f"用户: {user_input}\n助手: "
    inputs = tokenizer(prompt, return_tensors="pt").to("cuda" if use_gpu else "cpu")

    with torch.no_grad():
        outputs = model.generate(
            **inputs,
            max_new_tokens=256,
            temperature=0.7,
            do_sample=True,
            pad_token_id=tokenizer.eos_token_id
        )

    response = tokenizer.decode(outputs[0], skip_special_tokens=True)
    assistant_response = response.split("助手: ")[-1]
    print(f"助手: {assistant_response}")

导入这段代码，保存为run_deepseek.py

🧩 第 1 步：创建干净环境

1
conda create -n deepseek python=3.11 -y

🧩 第2步：初始化 PowerShell 支持

1
conda init powershell

🧩 第 3步：运行大语言模型脚本

1
2
3
conda activate deepseek
cd "$env:USERPROFILE\Desktop\TCME\system\backend"
python run_deepseek.py