谷歌DeepMind发布千亿级数据集WebLI-100B，提升视觉语言模型包容性

　　科技媒体marktechpost昨日报道，谷歌DeepMind团队发布了WebLI-100B千亿级数据集，旨在通过增强文化多样性和多语言性，减少子组之间的性能差异，提高模型的包容性。

　　视觉语言模型(VLMs)依赖大型数据集执行图像字幕和视觉问答等任务，但现有数据集如Conceptual Captions和LAION在规模和质量上存在局限，导致模型精度和多语言理解能力难以进一步提升。

　　WebLI-100B包含1000亿个图像-文本对，规模是前者的十倍，覆盖罕见文化概念和低资源语言，提高了模型在多样化表示领域的性能。与以往依赖严格过滤的方式不同，WebLI-100B通过扩展数据保留语言和文化元素的广泛代表性。

　　研究显示，在完整数据集上训练的模型在文化和多语言任务中表现更优，尤其在低资源语言检索和文化多样性任务上取得了显著改进。