苹果Ferret-UI,能“看懂”手机屏幕上并能执行任务的多模态模型

Apple发布Ferret-UI,一种多模态移动UI语言模型,性能超越GPT-4V,特别是在UI屏幕理解和执行开放式指令能力上。Ferret-UI通过“任意分辨率”技术,优化了对移动UI屏幕上小对象(如图标、文本)的识别,提升了视觉特征的细节。结合视觉元素与语言元素,Ferret-UI能理解用户指令并执行任务,展现出强大的推理能力和高效的UI交互性能。(AIGCLINK)

搜索