AI助手Moemate：让大模型“阅读” 你电脑屏幕上的内容

　　Moemate 是一款应用程序，它可以让大型语言模型(包括 Anthropic 的 Claude 和 GPT-4)“阅读” 你电脑屏幕上的内容。

　　Moemate 是一款运行在 macOS、Windows 和 Linux 设备上的助手，以动漫风格的化身形式呈现，旨在为用户提供并朗读他们所提出的任何问题的最佳答案。

　　与其他聊天机器人相比，Moemate 的特点在于它可以直接查看屏幕上发生的事情。然而，给这样的软件访问你所看到和做的一切的权限，即使在最好的情况下，也存在相当大的风险。

　　Moemate 提供了强大的自定义功能，用户可以自定义化身的动画、合成语音和回答。此外，用户还可以构建自定义角色模型并导入，以及导出可供其他 Moemate 用户导入和使用的化身格式。Moemate 的 “个性” 由选择的文本生成模型驱动，而合成语音可以选择 ElevenLabs、Microsoft Azure 或 Moemate 自己的文本到语音引擎。

　　Moemate 通过为每个化身提供一个简介来 “根据地” 所选的文本生成模型，并试图防止其偏离轨道。化身的简介可以从头开始编写和编辑。Moemate 还提供了一些面向 Twitch 的功能，如将聊天窗口置于焦点和显示频道订阅者人数。

　　Moemate 的屏幕捕获功能可以让它看到并分析你的屏幕内容。无论选择哪个文本生成模型，Moemate 都可以回答关于屏幕上处于焦点的窗口的问题。虽然系统并不完美，但用户可以使用 Moemate 总结食谱和网页，获取复杂主题的概要，甚至在游戏中提供建议。

　　然而，Moemate 的效果有时不尽人意。它无法准确预测自己将关注的内容，有时会引用背景窗口的内容，有时则完全无法看到窗口的内容。此外，Moemate 有时会偏离主题，给出奇怪的回答。有些内置命令也有问题，如调节语音音量只能调节应用内音量而非整个系统音量。

　　尽管存在问题，Moemate 仍然有吸引力。多模态分析(结合文本、图像和其他媒体分析)显然具有强大的功能，尤其是在运行在 PC 上的助手的情况下。未来的助手可能会类似 Moemate，结合屏幕理解和文本生成模型，从而提高工作效率。Moemate 给我们展示了未来的一瞥，尽管还有很多问题，但仍然引人入胜。