Ferret-UI是苹果公司与哥伦比亚大学研究团队联合发布的一个多模态模型。它是专门为了增强对移动端用户界面（UI）屏幕的理解而定制的，配备了引用、定位和推理功能。该模型能够“看懂”手机屏幕上的内容并执行任务，聚焦于移动端、关注用户交互。
🔍 专攻手机界面的“视觉大脑”
苹果自研的多模态交互引擎
Ferret-UI是苹果专为移动端打造的AI模型，能像人类一样“看懂”手机屏幕。它不仅能识别App图标、按钮等微小元素，还能根据用户指令自动操作界面——比如一句“订美团外卖”，它就能跳转应用完成下单，彻底告别手动点按。
官网直达：Ferret-UI论文
开发者社区：苹果AI研究Discord
🚀 2025核心升级：跨平台+高精度
- 任意分辨率技术
把手机屏幕分割成多个子区域单独解析，像放大镜般捕捉图标、文字等细节，连安卓小部件的模糊文字也能精准识别。 - 动态网格编码
新增“自适应网格”算法，自动调整不同设备（iPhone/安卓/网页）的UI解析逻辑，跨平台操作准确率超70%。 - 多步任务推理
支持复杂指令分解：例如“查机票价比价后选最便宜的”，自动执行“打开航旅APP→抓取价格→排序下单”。
📊 实测表现：碾压GPT-4V的UI专家
| 测试项目 | Ferret-UI 2 | GPT-4V | 提升幅度 |
|---|---|---|---|
| 图标识别准确率 | 95.1% | 82.4% | +12.7% |
| 安卓小部件分类 | 91.3% | 76.8% | +14.5% |
| 跨平台操作成功率 | 89.7% | 77.3% | +12.4% |
| 响应速度 | 0.8秒/指令 | 2.1秒/指令 | 快2.6倍 |
💡 数据来源：苹果多平台基准测试（2025.07）
🎯 谁最需要它？落地场景超硬核
- 视障人士：语音指令“点咖啡”直接操作星巴克APP，跳过界面导航障碍
- 自动化测试工程师：自动遍历APP所有按钮，检测崩溃率提升40%
- 电商运营：一句“把商品图换成夏季海报”批量修改页面，省3小时人工
- 老年人辅助：语音控制健康码调取，避免误触焦虑
⚖️ 真实评测：强项与短板并存
✅ 三大优势
细节解析封神：0.5mm的按钮间隙也能精准点击，碾压传统OCR工具
隐私本地化：数据处理在iPhone神经引擎完成，避免云端泄露风险
工业级泛化：适配3000+安卓机型，山寨机界面照样操作
❌ 三大局限
中文语境较弱：对“薅羊毛”“拼团”等本土化指令理解偏差
动态界面吃力：直播购物飘屏弹幕常误识别为按钮
企业部署昂贵：私有化版本需苹果M4 Ultra芯片支持，成本超$2万
🆚 竞品对决：UI交互战场谁称王？
| 能力 | Ferret-UI 2 | Claude 3.5 Sonnet | 微软OmniParser |
|---|---|---|---|
| 移动端优化 | ✅ 苹果M系列芯片专属加速 | ⚠️ 云端依赖 | ✅ 开源可本地部署 |
| 中文适配 | ⚠️ 仅基础指令 | ✅ 深度语义理解 | ⚠️ 需手动配置词库 |
| 复杂任务链 | ✅ 多步骤自动分解 | ❌ 单次指令限制 | ⚠️ 需编写脚本 |
| 成本 | 💰 企业版$2万起 | 💰 API调用$0.01/次 | ✅ 免费开源 |
💡 选择指南：
- 苹果生态企业→闭眼选Ferret-UI（软硬件协同最优）
- 中文复杂场景→Claude 3.5（语义理解更接地气）
- 预算有限技术控→微软OmniParser（自主定制性强）
🛠️ 开发者速接入门
- 设备要求：
- MacBook M3/M4芯片或iPhone 15 Pro以上机型
- 安装Xcode 17+开发者套件
- 代码调用：
python import ferret_ui # 初始化模型 agent = ferret_ui.DeviceAgent(platform="iOS") # 执行指令 agent.execute("微信扫码支付午餐") - 调试工具：
- 使用SimUI插件实时预览操作路径
- 错误日志自动标注屏幕坐标
💎 总结：手机交互的“隐形革命者”
Ferret-UI像给手机装了“AI手指”——能看会点、跨平台流畅操作，尤其适合开发无障碍应用和自动化测试。但中小团队慎入：本地部署的高成本和技术门槛，目前仍是普及最大障碍。