AntGPT：一个视频中长期行为预测大型语言模型

　　AntGPT 是一个将大型语言模型应用于视频长期行为预测(LTA)的视觉语言框架。研究人员通过使用监督动作识别算法识别人类活动，并将其作为离散化的视频表示输入给 OpenAI GPT 模型。通过自回归方法、微调或上下文学习，GPT 模型可以预测未来的行动序列，从而实现从底向上的行动预测。

　　他们还利用目标信息来提供以目标为条件的预测，并研究了 AntGPT 在上下文推理和少样本学习方面的能力。

　　定量和定性评估表明，LLMs 可以从视频观察的离散化动作标签中推断出演员的高级目标，并且在 EPIC-Kitchens-55、EGTEA GAZE + 和 Ego4D LTA v1和 v2基准测试中取得了最先进的长期行动预测性能。该研究提出了使用大型语言模型进行长期行动预测的方法，并通过 AntGPT 框架将 LLMs 与计算机视觉算法相结合，取得了显著的成果。

　　核心功能:

　　1)预测目标:AntGPT 利用大型语言模型推断演员的目标，即使只有少量观察到的人类行为。

　　2)目标条件预测:AntGPT 通过将目标信息嵌入视觉框架，实现了基于目标的行为预测。

　　3)建模动作时序:AntGPT通过将大型语言模型调整到特定领域的行动序列上，直接建模动作的时间动态。

　　4)少样本预测:AntGPT 探索了大型语言模型在少样本情况下的预测能力，并尝试了不同的提示策略。