搜索
提交
工作笔记
默认
Java
SpringBoot
JVM
Netty
Linux
运维
服务器
Nginx
数据库
MySQL
前端
echart
数据结构
AI
部署llama.cpp
AI
|
2024-05-20
|
ZH
|
阅读(3,678)
git clone http://github.com/ggerganov/llama.cpp
编译llama.cpp
使用GPU执行【推荐】:
cd llama.cpp
make LLAMA_CUBLAS=1
使用CPU执行【安装简单】:
cd llama.cpp
make
提示缺少 ccache,安装
brew install ccache
安装完成以后,再次make
提示bash: brew: command not found【
安装brew
】
docker环境CPU运行Llama 3 8B大模型和对话客户端
Ollama部署本地中文环境大模型
最新
截至 2025 年 6 月 30 日OSSRH(oss.sonatype.org)到期并已关闭
华为服务器风扇转速调整
鼠标微动开关坏了
文件或目录损坏且无法读取
Docker安装Vespa
windows 11初始化设置
npm install electron执行慢
docker部署Weaviate
docker部署milvus
IDEA测试时run可以执行,debug执行不了
整合RAGFlow、Dify、Ollama、DeepSeek
ubuntu部署ollama
ubuntu查看版本号
centos8 yum dnf配置
centos部署ollama
docker快速部署opengauss
Windows文件在CentOS中的格式转换问题
文件上传
docker 部署oceanbase
electron创建应用