前言

3080Ti 只有 12GB 显存跑不起来?
不行,直接搞两张 Tesla P40 回来

SecGPT

1
https://github.com/Clouditera/secgpt

拉取源码

1
git clone https://github.com/Clouditera/secgpt.git

安装依赖

python3-pip

1
sudo apt install python3-pip

安装官方依赖

1
python3 -m pip install -r requirements.txt

gradio

1
python3 -m pip install --upgrade gradio

sentencepiece

1
python3 -m pip install --upgrade sentencepiece

transformers_stream_generator

1
python3 -m pip install transformers_stream_generator

torch

  1. 获取 torch 组件下载链接
1
https://pytorch.org/get-started/locally/
  1. 安装升级 torch_CUDA 组件
1
python3 -m pip install --upgrade torch torchvision torchaudio

下载及运行 LLM 模型

  • 居然都是同一条指令
  • 可能需要掌握上网技巧
1
2
cd ./webdemo
python3 webdemo.py --base_model w8ay/secgpt

运行成功效果

参考 & 引用

https://blog.csdn.net/Jay_Alon/article/details/128941761