Article

人工智能时代的视觉交互新范式

Design · 2024-04-24

前言

我一直思考，在人工智能时代，这些我们习以为常的「工具」会以一种什么样的形态展示？

当前，人工智能最普遍的应用方式通常局限聊天界面，它们通常采用一种基于文本的问答模式进行交互。随着技术的不断进步，Vercel 也推出了能够根据对话内容和需求动态生成定制化的交互式用户界面 Generative UI 。未来的 UI 会是怎么样的一个形态，会演变成电影中所展示的那样，拥有炫酷的全息显示和直观的交互式 HUD，或者，我们可能会迎来一个不再依赖传统GUI的新时代？

Natural language becoming the fundamental interface for every software application might mean the end of GUIs

胡思乱想

以后是不是我可以直接一句「Siri，帮我订个飞机票。」，或者直接就跟马斯克做的脑机实验一样，只需要一个想法即可传递信息。需要呈现的信息，直接展示在眼球前（这样的话，盲人也能看得见吗？），不需要再外接其他设备。需要操控的内容也可像 VR 眼镜一样通过手指、眼球进行交互。以后或许就真的像黑镜一样了。

调研

硬件

AI Pin

Humane 推出的 Ai Pin 算是一位先行者，这款产品通过磁性夹在衣服上，它没有屏幕，通过语音和小型触摸表面进行控制。有一个激光可以将图像投射到你的手掌上，它还有一个摄像头，可以识别手势进行切换等操作。

其目前及未来可能支持的功能：激光投影显示、手势和语音交互、AI助理、实时翻译、健康监测、音乐播放、消息提醒等等

AI Pin 产品截图

Rabbit

Rabbit R1 是一款由Rabbit公司推出的AI设备，定位为您的口袋伴侣。主要由屏幕、摄像头、滚轮、按钮组成。

其目前及未来可能支持的功能：理解并执行操作（打车、订餐、播放音乐）、实时翻译、教学模式等，可查看评测视频

Rabbit R1 正面渲染图

软件

Dot

Dot 是一个iOS上的聊天应用，用户可以通过它发送文字、语音备忘录、图片、PDF文件，并且它还能为你搜索网络信息。目前，Dot 通过文字进行交流，旨在成为一个随时可用的伴侣。与大多数AI对话不同，Dot能够记住你之前说过的话，几乎不会忘记任何事情。

Dot 产品界面

Amazon Lex

Amazon Lex V2 是 AWS 提供的一项服务，它允许开发者构建应用程序的对话界面，支持语音和文本输入。用户可以利用自然语言进行交互，例如下单等操作。此外，Lex V2 还可以与网页元素（按钮、选择框等）集成，通过半引导式对话（Semi-Guided Conversations）来解决用户的问题或帮助他们完成特定任务。