本地安装和使用ollama

Ollama 是一个开源工具，专门用于在本地计算机上运行和操作大型语言模型（LLM）。它让用户能够轻松下载、管理和运行各种 AI 模型（如 LLaMA、Mistral 等），而无需复杂的配置或依赖云服务。

一、安装ollama

1.安装

– 访问 Ollama 的官方网站（https://ollama.ai/），下载适合你操作系统的安装包。

2.设置大语言模型下载目录

在 Windows 上

打开“系统属性”：

– 右键点击“此电脑”或“我的电脑”，选择“属性”。

– 点击“高级系统设置”，然后点击“环境变量”。

在“系统变量”部分，点击“新建”：

– 变量名：OLLAMA_MODELS

– 变量值：E:\path\to\your\custom\directory（替换为你希望保存模型的目录路径）。

点击“确定”保存更改。

重启 PowerShell 或命令提示符，使更改生效。

3.安装大语言模型

二、安装chatbox用户界面

Chatbox 是一个开源的桌面应用程序，专门用于与大型语言模型（如 OpenAI 的 GPT 系列、LLaMA、Mistral 等）进行交互。它提供了一个简洁、易用的图形界面，让用户能够轻松地与 AI 模型对话，而无需编写代码或使用复杂的命令行工具。访问 Chatbox网站https://chatboxai.app/zh，下载适合你操作系统的安装包。

三、手动在Ollama中手动导入大语言模型

步骤操作：

  1. 准备模型文件

确保模型文件是Ollama支持的格式（如GGML、GGUF等），并已下载到本地。

 

  1. 创建Modelfile

在模型文件所在目录下创建一个文件命名为：Modelfile，文件内容如下：

 

FROM E:\models\qwen2.5-7b-instruct-q4_0.gguf

 

将E:\models\qwen2.5-7b-instruct-q4_0.gguf替换为你模型文件的实际路径。

 

  1. 导入模型

在终端中运行以下命令：

 

ollama create qwen2.5-7b -f E:\models\Modelfile

 

将qwen2.5-7b替换为实际的模型名称，E:\models\Modelfile替换为Modelfile的实际路径。

 

  1. 验证导入

导入完成后，使用以下命令验证：

 

ollama list

 

确认模型已出现在列表中。

 

  1. 运行模型

使用以下命令运行模型：

 

ollama run qwen2.5-7b

 

将qwen2.5-7b替换为你的模型名称。

 

注意事项

– 确保Ollama已安装并正常运行。

声明：本站所有文章，如无特殊说明或标注，均为本站原创发布。任何个人或组织，在未征得本站同意时，禁止复制、盗用、采集、发布本站内容到任何网站、书籍等各类媒体平台。如若本站内容侵犯了原著者的合法权益，可联系我们进行处理。