断网也能聊:离线本地AI把模型装进口袋里

手机端五种核心能力

安装 Off Grid AI 后,手机即可在完全断网的环境下完成聊天、读取文档、浏览照片、语音输入以及本地生成图片五大任务。所有模型文件都存放在设备存储里,启动时直接加载,不需要任何账号登录,也不会把对话内容上传到云端。实际体验中,哪怕把 Wi‑Fi 关掉、拔掉 SIM 卡,依然能流畅回复日常问答,生成的图片也在秒级完成,完全感受不到网络缺失。

  • 聊天:基于本地 LLM 实时对话,无延迟上传
  • 读文档:PDF、Markdown、Word 全格式解析,摘要即时生成
  • 看照片:图像理解模型在手机端跑完推理,标签与描述秒出
  • 语音:语音转文字完全离线,支持中英混读
  • 作图:Stable Diffusion 精简版本本地推理,生成 512×512 图约 3 秒
  • 断网也能聊:离线本地AI把模型装进口袋里

电脑端一天的记忆与来源引用

电脑版在手机能力基础上新增“一天的记忆”功能。会议录音或系统音频经由本地 Whisper 模型转写,生成的文本自动打上时间戳与说话人标签。当你问“答应过 Sam 什么”,应用会在转写记录里定位到对应段落,并以引用形式给出原文出处,点击即可跳转播放对应音频片段。整个过程不把任何音频发送到会议平台,也不会在会议里植入机器人账号,隐私完全留在本机。

发前点头的动作机制

无论是起草邮件、创建工单还是发送日历邀请,动作都以“草稿”形式呈现。用户必须在界面上显式点击“确认发送”才会真正调用系统邮件客户端或第三方 API。这种“发前点头”设计避免了误触发,也让自动化流程保持在用户可控范围内。配合本地模型的上下文理解,草稿质量往往已接近人工撰写水平,仅需微调即可发出。

设备直连同步与本地 OpenAI 兼容 API

手机可以直接调用 Mac 上已下载的更大参数模型,两台设备通过本地局域网直连,数据全程不经过厂商服务器。开发者只需在本机启动一个兼容 OpenAI 格式的 HTTP 服务,即可复用所有已下载模型,调用方式与云端 API 完全一致,方便二次开发、自动化脚本或集成到现有工作流。GitHub 仓库已提供完整示例与文档,累计下载超过 25 万次、收获 3300 余颗星。

Pro 要加钱,老设备要降期待

Pro 订阅解锁长期记忆库、经批准的自动动作执行、跨最多五台设备的剪贴板同步以及加密 Vault 存储。但有三点需要留意:一、本机推理完全依赖硬件算力,老款手机或入门级笔记本跑大参数模型会明显变慢;二、“不上云”不代表零成本,Pro 订阅费与购买更强设备的硬件投入另算;三、模型能力上限取决于你自行下载的权重文件,官方不提供托管模型市场,需自行寻找合适的开源权重。综合来看,若追求极致隐私与离线可用,这套方案在当前开源生态里属于少见的完整落地产品。