客户禁用云端 API,演示只能靠一台笔记本
Ollama 和 LM Studio 的差别不在模型,而在断网后的表现,这决定你能否过客户安全团队这一关。
要点速览
- Ollama 表示,本地运行时它看不到用户的提示词和数据。LM Studio 表示,聊天内容和上传的文档都留在本机。
- Ollama 默认只绑定回环地址,端口 11434。要对网络开放,必须主动修改 OLLAMA_HOST。
- LM Studio 在 Discover 标签页搜索模型和更新时仍会联网,所以一切都要在到达客户现场前下载好。
“数据不能出这栋楼”,这句话常常让演示在第一页幻灯片打开之前就结束了。对银行、医院和工厂来说,这是硬性要求,不是谈判的起手价。这种情况下,前线部署工程师(FDE)能带进去的,只有一台在本地运行开放权重模型的笔记本。
Ollama 和 LM Studio 是两种常见做法。两者比的不是模型有多聪明,因为模型都来自第三方。区别在于机器断网之后各自的表现,而这个细节决定了你能否顺利通过客户安全团队那场会。
Ollama 适合习惯终端的人
Ollama 是 MIT 许可证下的开源项目,后端基于 llama.cpp。官方仓库列出了众多模型系列,包括 Kimi、GLM、MiniMax、DeepSeek、gpt-oss、Qwen 和 Gemma。最值得向客户引用的一句话在 FAQ 里:本地运行时,Ollama 看不到用户的提示词和数据。
FDE 最看重 Ollama 的一点,是它的默认配置已经相当安全。服务器只绑定回环地址,端口 11434。想让网络上的其他机器访问,必须自己修改环境变量 OLLAMA_HOST,因此对外暴露永远是有意为之。同一台笔记本上的演示应用直接调用本地 REST API 即可:
curl http://localhost:11434/api/chat -d '{
"model": "<已下载的模型名称>",
"messages": [{"role": "user", "content": "总结这条保密条款"}]
}'
(占位符处填入已下载模型的名称。)
以一家想要做合同摘要的银行为例。会前,你在家把模型下载好,再把 OLLAMA_MODELS 指向客户 IT 部门批准的加密磁盘上的某个文件夹,FAQ 允许用这个变量修改模型的存放位置。
你还要按 FAQ 的说明关闭 Ollama 的云端功能,放弃云端模型和联网搜索。在禁止数据外传的项目上,这个取舍是对的。
LM Studio 适合给不写代码的人演示
LM Studio 有图形界面,可以直接交给业务专家自己上手试。官方文档称,与本地模型聊天时输入的内容不会离开设备,用户上传用于问答的文档也完全在本机处理。
自 2026 年 6 月起生效的隐私政策又多给了一层保证:本地使用时,消息、聊天记录和文档绝不会传出系统,只有该公司的云服务(Cloud Services)才会处理内容。
LM Studio 的运行时基于 MLX 和 llama.cpp,因此在 Apple Silicon 的 MacBook 上可以通过 MLX 运行。要接入应用,可以在 Developer 标签页或用 lms server start 启动一个本地的 OpenAI 兼容服务器。这个服务器既可以运行在 localhost,也可以对网络开放。在要求严格的环境里,让它留在 localhost。
两款工具都还有需要联网的部分
这一步很多人会跳过。在 Discover 标签页搜索模型时,LM Studio 仍会向外发请求,例如访问 huggingface.co。没有网络,应用内的更新程序也无法工作。
所以模型必须提前下载或手动导入,更新也要走单独的渠道,而不是在这台锁定的笔记本上完成。提前一天确定所需模型清单并下载好。不要在客户现场为了“保险起见”再打开 Discover 多下一个模型。
Ollama 有云端模型和联网搜索,两者都可以关闭。把这一步写进机器的配置脚本,下次就不用靠记忆。如果客户的安全团队正在监控网络流量,演示中途冒出一个意料之外的请求,比模型答错任何问题都更快地让你失去信任。
Ollama
- MIT 许可证,基于 llama.cpp
- REST API 位于 localhost:11434
- 默认只绑定回环地址,可用 OLLAMA_HOST 修改
- 可用 OLLAMA_MODELS 修改模型存放位置
- 有需要关闭的云端功能
LM Studio
- 图形界面,在本机与文档对话
- OpenAI 兼容 API,从 Developer 标签页或 lms server start 启动
- 运行时使用 MLX 和 llama.cpp
- Discover 标签页会访问 huggingface.co
- 更新程序需要联网
在客户发现之前,用彩排揪出问题
最容易犯的错是让服务器对网络开放。LM Studio 内置了这个选项,在办公室为了测试打开过一次,带着笔记本去客户那里时很容易忘记关。Ollama 对应的风险,则是改了 OLLAMA_HOST 却没改回来。
彩排第一步:关掉 Wi-Fi,从头到尾跑一遍完整的演示脚本,包括与文档对话。任何一步失败,都说明它还在悄悄依赖网络。
接着检查服务器监听的位置。在 Mac 上,下面这条命令应当返回 127.0.0.1:11434 这样的回环地址。如果看到 *:11434 或某个网卡的 IP,说明服务器对外开放了。LM Studio 服务器使用的端口也照此检查。
lsof -nP -iTCP:11434 -sTCP:LISTEN
最后,重新打开网络,再跑一遍脚本,用 lsof -nP -iTCP -sTCP:ESTABLISHED 列出已建立的连接。每一条不指向 127.0.0.1 的连接,都是你必须在客户安全团队开口之前就能回答的问题。
先学什么,简历上写什么
先学 Ollama。它的 API 简单,通过环境变量配置,容易写成配置脚本,默认绑定回环地址也便于向安全团队解释。LM Studio 留着备用:试用演示的是业务人员,或者你想在 Mac 上用 MLX 时再拿出来。
阅读 FDE 岗位描述时,留意 “on-prem”“air-gapped”“regulated industries” 这类字眼,它们意味着你会用到这项技能。简历上不要只写“用过 Ollama”,而要写你搭建过不外传数据的演示环境:提前下载模型、存放在加密磁盘上、服务器只监听 localhost、关闭云端功能,并完成了断网彩排。
客户的安全团队很少问你的模型有多聪明。他们问的是你的笔记本会往外发什么,而你应该能当场在终端里给出答案。
这篇文章对你有帮助吗?
感谢你的反馈!