多模态学习

Google Research推出的ScreenAI是一种基于PaLI架构与pix2struct灵活分块策略的视觉语言模型，能以5B参数在UI与信息图理解任务中取得领先效果，同时自动生成大规模训练数据。

Google AI Blog 23:13 AI 辅助 AI技术多模态学习

Google Research推出ScreenAI，一种基于PaLI架构并融合pix2struct灵活分块策略的视觉语言模型，专为理解用户界面和信息图设计。该模型仅5B参数，在WebSRC、MoTIF等UI及信息图任务上达到最先进水平，并在Chart QA、DocVQA等任务上同类最佳。