前言

5分钟，教你搭建专属AI助手！不管是个人还是企业，都能轻松部署DeepSeek、Gemma3、Qwen3等主流大模型。本地运行更安全，还能用手机随时访问，提升 10倍生产效率！

大纲导览

  • 本地部署：一键在本地运行主流大模型，保护隐私数据，完全掌控运行环境。
  • 性能优化：从7B到70B模型，根据硬件配置选择最佳方案，实现性能与效果的平衡。
  • 定制功能：快速打造符合业务需求的专属AI助手，提升竞争优势。
  • 更改ollama位置：修改ollama模型位置，拒绝默写C 盘。
  • 手机端访问：通过手机、平板随时调用本地AI服务，扩展应用场景。

搞定Ollama，你的AI模型管家

首先，我们需要一个强大的工具——Ollama。它能让你在本地电脑上运行各种大型语言模型，告别云端限制，享受私密又高效的AI体验。

  1. 下载Ollama访问 ollama.com，找到那个大大的“Download”按钮，根据你的操作系统（Mac或Windows）选择对应的版本，点击下载。就像下载任何一款软件一样简单，别犹豫。

【小白教程】Ollama本地部署任意大模型（适合企业/个人），看到就是赚到！！_大数据

  1. 启动命令行，准备开聊下载完成后，双击安装Ollama。安装完毕后，打开你的命令行工具（Mac用户是“终端”，Windows用户是“命令提示符”或“PowerShell”）。

体验模型：一键“召唤”你的AI

现在，重头戏来了！在命令行里，输入以下命令：

ollama run <模型名>

比如，如果你想体验Qwen3模型，就输入：

ollama run qwen3

【小白教程】Ollama本地部署任意大模型（适合企业/个人），看到就是赚到！！_大模型入门_02

Ollama会自动为你下载并启动这个模型。第一次下载可能需要一点时间，因为它要把整个模型clone到你电脑里。下载完成后，你就可以直接在命令行里和模型聊天了，就像和朋友发微信一样！

修改模Ollama存储位置

默认情况下，Ollama会把模型下载到你的系统盘。如果你的系统盘空间有限，或者想把模型随时带走，那我们就要“乾坤大挪移”一下，把模型放到其他地方，比如你的外接硬盘。

  1. 更改模型下载地址
    **Mac用户看这里：**在外接硬盘里新建一个文件夹，比如命名为ollama，专门用来存放模型。 退出Ollama。点击屏幕上方菜单栏里那个羊驼图标，选择“Quit Ollama”。 打开命令行，运行这串“魔法代码”：
echo 'export OLLAMA_MODELS="/<文件夹路径>/models"' >> ~/.zshrc
source ~/.zshrc

注意： 把 <文件夹路径> 替换成你刚才在外接硬盘里创建的ollama文件夹的实际路径。

**Windows用户看这里：**Windows操作相对简单，通常在Ollama的设置中可以找到更改模型存储路径的选项。具体操作方式可能会因Ollama版本而异，但基本思路就是找到“Settings”或者“Preferences”里的“Model Storage Location”类似选项进行修改。

*模型选择：不是越大越好*

现在，你可以回到Ollama官网，选择更多你感兴趣的模型。不过，模型可不是越大越好，关键是要你的电脑能“跑得动”。每个模型都有不同的参数（比如7B、13B、32B），参数越大，对电脑性能的要求越高。
你可以参考官网的模型参数说明，或者直接把你想下载的模型型号告诉AI，让AI帮你推测你的电脑是否能驾驭。
  1. **小进阶：模型命名规则，一眼看透AI“真身”**你会发现模型的名字往往一长串，比如 gemma3-4b-it-q4_K_M。别被吓到，这背后其实有规律：
    不懂的直接问大模型，如果对比多个模型参数，要去表格对比输出即可，非常清晰易懂。
  • gemma3：模型名称及版本（Gemma第三代）
  • 4b：参数量（40亿参数）
  • it：指令微调版本（Instruction-tuned）
  • q4_K_M：量化信息（4-bit量化，使用K-quant量化，中等规模量化） 看懂了这些，你就能一眼识别出模型的“核心竞争力”！

【小白教程】Ollama本地部署任意大模型（适合企业/个人），看到就是赚到！！_Ollama_03

进阶：定制你的专属企业AI助手

如果通用模型不能满足你的需求，你完全可以微调一个自己的AI模型，给她设定独特的性格和风格。这对于企业管理者和追求个人效率提升的超级个体来说，意味着能够打造出最符合业务场景或个人习惯的AI助手，实现真正的10倍AI效率提升。直接把性格写进模型里面

  1. **创建模型文件：给你的AI写“档案说明”**打开一个文本编辑工具（比如记事本），创建一个zhiduoxing.txt文件。 在文件里写入以下内容，这就是你AI的“档案说明”：
FROM qwen3:32b
PARAMETER temperature 0.8 
SYSTEM "你是一个专业的客服机器人，名为“智多星”，负责解答客户关于公司产品和服务的常见问题。你的回答需要准确、简洁、专业，并严格遵守公司提供的知识库信息。如果遇到知识库以外的问题，请引导客户联系人工客服。你的语言风格应积极、耐心、有帮助。"

把这个文件保存到你之前创建的Ollama模型文件夹里，并将文件后缀名从.txt改为Modelfile（确保没有.txt）。

  • FROM：必填项，指定这个模型的权重来自哪里，这里以 qwen3:32b 为例。
  • PARAMETER temperature 0.8：设置“温度”为0.8。温度越高，模型的回答就越有创造力。
  • SYSTEM：系统提示词，这是你给AI设定的核心“人设”。这里我们设定了一个专业客服机器人，旨在解答客户常见问题。

【小白教程】Ollama本地部署任意大模型（适合企业/个人），看到就是赚到！！_人工智能_04

  1. 在Ollama里创建模型：为“智多星”命名保存好Modelfile后，回到命令行，输入：
ollama create <自定义模型名字> -f Modelfile

我们把模型命名为zhiduoxing（智多星），所以命令是：

ollama create zhiduoxing -f Modelfile

Ollama就会根据你的“档案说明”来创建这个新模型了。

【小白教程】Ollama本地部署任意大模型（适合企业/个人），看到就是赚到！！_人工智能_05

  1. **对话测试：和你的“智多星”聊起来！**创建成功后，你就可以输入：
ollama run zhiduoxing

然后，和你的专属企业AI助手“智多星”开始一场独一无二的对话吧！它会按照你设定的性格，给你意想不到的回复，高效地解决客户问题。

进阶：搭建局域网AI服务器，让全家都能用AI

想把你的AI模型分享给家里的其他设备，比如手机或平板？我们可以把Ollama服务器开放到局域网，让大家都能用。对于中小企业转型者和有资源/产品的甲方，这意味着能够低成本、私密地搭建企业内部的AI服务，无论是构建企业知识库还是进行AI效率提升，都提供了坚实的基础。

  1. 永久更改Ollama对外服务地址在命令行里输入：
OLLAMA_HOST=0.0.0.0:11434 ollama serve

这会将Ollama的服务器地址改为局域网可访问。

另外，Ollama默认会在5分钟不用后释放模型权重以节省内存。如果你想让模型一直保持加载状态，随时响应，可以在启动时加上 OLLAMA_KEEP_ALIVE=-1：

OLLAMA_HOST=0.0.0.0:11434 OLLAMA_KEEP_ALIVE=-1 ollama serve

注意： 这种方式只在当前命令行窗口有效，关闭窗口后设置就会失效。

  1. 永久更改：一劳永逸的设置为了永久生效，我们需要把这些设置写入环境变量。
    **Mac用户：**打开命令行，输入：
nano ~/.zshrc

在文件末尾添加以下两行：

export OLLAMA_HOST="0.0.0.0:11434"
export OLLAMA_KEEP_ALIVE="-1"

按 Control + O 保存，按 Enter 确认文件名，然后按 Control + X 退出nano编辑器。

  1. 手机端使用：Enchanted App让你随时随地玩AI现在，你的Ollama服务器已经在局域网开放了，手机也能连接了！ 在手机上下载一个名为Enchanted的APP。
    查看电脑IP地址：
    在Enchanted APP中，点击左上角菜单，进入“设置”，然后输入你的电脑IP地址和Ollama的默认端口号11434，比如 192.168.1.100:11434，然后保存。 现在，你就可以在Enchanted中选择你的Ollama模型，在手机上愉快地和AI聊天了！
  • Mac用户：在“设置” -> “网络”中查看你当前连接的网络（以太网或Wi-Fi）的IP地址。 （小技巧：点击状态栏网络图标，长按option）
  • Windows用户：在“网络和Internet设置”中查看你当前连接的网络（以太网或Wi-Fi）的IP地址。

Ollama常用命令速查表

掌握这些命令，你就是Ollama的“老司机”了：

  • 下载/运行模型：ollama run <模型名字>
  • 清除模型上下文：/clear (在对话中输入)
  • 退出对话/关闭模型：/bye (在对话中输入)
  • 查看模型运行速度&token数细节：ollama run <模型名字> --verbose
  • 查看你有什么模型：ollama list
  • 删除模型：ollama rm <模型名字>
  • 查看模型的详细信息：ollama show <模型名字>
  • 启动Ollama服务器：ollama serve
  • 创建模型文件（用于自定义模型）：ollama create <自定义的模型名字> -f Modelfile

聊天前端界面：让AI聊天更友好

命令行界面虽然高效，但不够直观。你可以配合一些美观的Web界面来提升使用体验：

  • Page Assist: 一个Chrome插件，让你在浏览器中轻松使用本地AI模型。
  • AnythingLLM: 一个强大的本地AI聊天平台，支持多种模型。
  • Openwebui: 简洁美观的Web界面，方便管理和使用Ollama模型。
  • Cherrystudio: 另一款优秀的本地AI聊天工具。
  • ChatWise: 专注于智能聊天的应用。

现在，你是不是已经迫不及待地想试试了？从下载到自定义模型，再到搭建局域网服务器，一个充满可能性的AI世界正在向你招手。