Hello AI ——本地AI部署教程 by@汐仝与您

Hello AI ——本地AI部署教程 by@汐仝与您

汐仝与您
2024-03-03 / 0 评论 / 搜一下 / 103 阅读 / 正在检测是否收录...

本教程将以Windows作为示例

安装与部署Ollama,通义千问

file:///home/xtyn/%E4%B8%8B%E8%BD%BD/windows-wave.png
ollama

.Windows安装教程

  1. 安装Ollama开源AI容器
    Ollama官方下载
    (如果觉得下载慢,可以使用以下加速链接)
    加速链接
  2. 找到刚下载的的安装包,打开运行,按照提示进行安装
  3. 添加系统环境变量,改变模型下载位置(C盘空间充裕的朋友可以忽略)
    模型文件会保存在用户文件夹下,路径为 C:\Users\你的用户名.ama\models
    新建系统变量,名称为OLLAMA_MODELS,值设定为要储存模型的目录,如E:/ollama
  4. 安装模型
    右击开始键,选择命令提示符或者powershell
    输入命令,开始安装模型
ollama run (任意的AI模型名称,记得去括号)...

支持的模型如下:

qwen:14b qwen:7b qwen:4b
gemma:2b gemma:7b
Llama 2
..........

这里用qwen:4b示例

ollama run qwen:4b ...

输入命令后,软件就会自动拉取模型文件,下载速度也是非常的快
当出现“>>> Send a message (/? for help)”时,我们的AI就部署完成了
在>>>后面输入你的问题,AI就能给你答案
AI输出的速度与质量取决于你电脑的性能
想要再次运行AI,再输入一次ollama run (模型名)即可
建议在桌面新建一个bat文件

感谢你的阅读

2

评论 (0)

取消