目前有什么可以本地部署的大模型推荐？

发表于： 2024年11月16日 2024年11月16日
分类：未分类

作者：曹操
链接：https://www.zhihu.com/question/648879790/answer/32312857057
来源：知乎
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。

说明

Ollama是一个本地部署大语言模型的工具。

官方网站为 ollama.com

标志为一只小羊驼。

支持平台：Windows，macOS，Linux

安装

安装方式：

Windows，macOS下载安装包打开安装即可。

Linux提供了安装脚本

curl -fsSL https://ollama.com/install.sh | sh

安装完成后打开会在状态栏出现一个小羊驼的标志。点击之后一个退出选项（以macOS为例）。

所以目前Ollama官方只提供了一系列基于命令行的操作。

使用

Ollama提供了一系列操作命令。

在终端输入 ollama -h 即可显示：

ollama -h
Large language model runner

Usage:
  ollama [flags]
  ollama [command]

Available Commands:
  serve       Start ollama
  create      Create a model from a Modelfile
  show        Show information for a model
  run         Run a model
  stop        Stop a running model
  pull        Pull a model from a registry
  push        Push a model to a registry
  list        List models
  ps          List running models
  cp          Copy a model
  rm          Remove a model
  help        Help about any command

Flags:
  -h, --help      help for ollama
  -v, --version   Show version information