Ollama是一个开源的大型语言模型服务工具，它帮助用户快速在本地运行大模型，通过简单的安装指令，可以让用户执行一条命令就在本地运行开源大型语言模型，例如 Llama2。这个框架简化了在Docker容器内部署和管理LLM的过程，使得用户能够快速地在本地运行大型语言模型。
Ollama 将模型权重、配置和数据捆绑到一个包中，定义成 Modelfile。它优化了设置和配置细节，包括 GPU 使用情况。
二、Ollama的优点
1、易于使用
Ollama提供了一个简单的API，使得即使是没有经验的用户也可以轻松使用。此外，它还提供了类似ChatGPT的聊天界面，用户无需开发即可直接与模型进行聊天交互。
2、轻量级
Ollama的代码简洁明了，运行时占用资源少。这使得它能够在本地高效地运行，不需要大量的计算资源。
3、可扩展
Ollama支持多种模型架构，并可以扩展以支持新的模型。它还支持热加载模型文件，无需重新启动即可切换不同的模型，这使得它非常灵活多变。
library
4、预构建模型库
Ollama提供了一个预构建模型库，可以用于各种任务，如文本生成、翻译、问答等。这使得在本地运行大型语言模型变得更加容易和方便。
三、Linux环境下安装Ollama
方案一：
直接使用官网提供的安装命令（Download Ollama on Linux）
curl -fsSL https://ollama.com/install.sh | sh
命令操作的确简单，但是官网上下载有个问题，就是网络传输的问题，有时远程下载会很慢，经常导致下载失败。
方案二：
使用Docker方式构建部署Ollama服务
1、创建安装脚本文件
vi install-ollama-centos7.sh
写入下面的内容：
#!/bin/bash
info(){
echo -e "\033[34m 【`date \'+%Y-%m-%d %H:%M:%S\'`】\033[0m" "\033[35m$1\033[0m "
}
## 安装docker服务
install_docker(){
#!/bin/bash
info "安装依赖..."
yum -y install gcc
yum -y install gcc-c++
##验证gcc版本
gcc -v
info "安装Docker（指定版本：23.0.6）"
wget https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo -O/etc/yum.repos.d/docker-ce.repo
##更新yum软件包索引
yum makecache fast
## 安装docker ce cli
# 查看可安装版本：yum list docker-ce --showduplicates | sort -r
yum -y install docker-ce-23.0.6-1.el7 docker-ce-cli-23.0.6-1.el7
info "启动Docker并验证"
systemctl enable docker && systemctl start docker
docker version
# 增加国内镜像配置
cd /etc/docker
if [ ! -f "$daemon.json" ]; then
touch "$daemon.json"
else
rm -rf daemon.json
touch "$daemon.json"
fi
tee /etc/docker/daemon.json <<-'EOF'
{
"registry-mirrors": [
"https://hub.uuuadc.top",
"https://docker.anyhub.us.kg",
"https://dockerhub.jobcher.com",
"https://dockerhub.icu",
"https://docker.ckyl.me",
"https://docker.awsl9527.cn"
]
}
EOF
systemctl daemon-reload
systemctl restart docker
info "Docker（23.0.6）安装完毕！
"
}
# 安装 Ollama
install_Ollama(){
info "参考IP地址："$(hostname -I)
read -p "请问，您当前服务器的内网IP地址是？:" inner_ip
inner_ip="${inner_ip:-127.0.0.1}"
docker run -d -v ollama:/root/.ollama -p 11434:11434 --name ollama --restart always ollama/ollama
info "ollama部署完毕，开始下载gemma大模型..."
docker exec -it ollama ollama run gemma “你好”
#docker exec -it ollama ollama run qwen2 “你好”
info "gemma大模型加载完成，开始部署webui界面..."
docker run -d -p 3000:8080 -e OLLAMA_BASE_URL=http://${inner_ip}:11434 -v open-webui:/app/backend/data --name open-webui --restart always ghcr.nju.edu.cn/open-webui/open-webui:main
eip=$(curl ifconfig.me/ip)
info "部署完毕，正在启动WEBUI界面，大约5分钟后，请访问：http://${eip}:3000"
}
# 方法调用
install_docker
install_Ollama
配置说明，该脚本会同时安装docker服务和ollama服务，所以用户不需要提前准备docker环境，如果客户服务器上已经有docker服务，则可把最后面的install_docker 调用注释掉即可。
这边已经配置了国内镜像地址了：
{
"registry-mirrors": [
"https://hub.uuuadc.top",
"https://docker.anyhub.us.kg",
"https://dockerhub.jobcher.com",
"https://dockerhub.icu",
"https://docker.ckyl.me",
"https://docker.awsl9527.cn"
]
}
镜像相关说明可以参考这个文档：
镜像配置说明
2、授予执行权限
chmod +x install-ollama-centos7.sh
3、执行安装程序
./install-ollama-centos7.sh
注意观察执行日志，有时会因为网络问题会导致容器镜像下载失败，造成部分服务安装失败了。安装失败需要重新执行安装，执行前需要把已经起来的容器服务删除掉，在重新操作即可。
4、容器的相关操作
查看当前容器运行的服务列表
docker ps
停止指定容器服务
docker stop 容器ID
删除指定容器服务
docker rm 容器ID
查看容器日志
docker logs -f open-webui
5、Ollama的模型下载
去Ollama的镜像库查找需要模型，然后执行下面的语句进行本地安装模型
library
docker exec -it ollama ollama run xxxx(模型名称) “你好”
至此关于Ollama在Linux上的安装操作已经全部介绍完毕，大家在实际使用过程中如果有发现其他问题，可以留言进行沟通讨论。感谢大家观看，如果感觉有帮助，记得点赞、收藏加关注。后续会持续更新这块相关内容，大家敬请期待。。。。
