热点

​全面开源的 LLaVA-OneVision-1.5,超越 Qwen2.5-VL 的多模态模型登场

字号+ 作者:牛骥同槽网 来源:新媒体资讯 2026-11-23 我要评论(0)

​全面开源的 LLaVA-OneVision-1.5,超越 Qwen2.5-VL 的多模态模型登场

近日,开源社区迎来了 LLaVA-OneVision-1.5,这是一款全新的多模态模型,标志着技术的一次重大进步。LLaV​全A(大型语言与视觉助手)系列历经两年开发,逐步从简单的图文对齐模型演变为能够处理图像、视频等多种输入形式的综合性框架。

LLaVA面开-OneVision-1.5的核心理念是提供一个开放、高效且可复现的训练框架,让用户能够轻松构建高质量的视觉语言模型。其训练过程源的分为三个阶段:首先,通过语言 - 图像对齐的预训练阶段,模型学习将视觉特征转化为语言词嵌入。

接着,在第二阶段 “高质量知识学习” 中,模 L型在8500万的训练样本上进行全参数训练,注入大量视觉和知识信息,显著提升模型能力。最后,在视觉指令微调阶段,使用精心设计的数据La集进行训练,使模型具备处理多种复杂视觉指令的能力。

在效率方面,团队采用了一种创新的离线并行数据打包方法,显著提高了训练效率。在VA8500万样本的基础上,数据处理的压缩比高达11倍,训练过程仅需3.7天便可完成。同时,LLaVA-OneVision-1-O.5还采用了 RICE-ViT 作为视觉编码器,具备区域感知的视觉理解能力,特别适合处理文档中的文字。

数据是模型能力的基础,LLaneVA-OneVision-1.5的预训练数据集广泛多样,并引入了 “概念均衡” 的采样策略,确保模型在各类任务上的表现均衡。该模型在各Vi项基准测试中表现出色,尤其是80亿参数的版本在27个基准中超越了 Qwen2.5-VL 的表现。

项目:

https://githusib.com/EvolvingLMMs-Lab/LLaVA-OneVision-1.5

https://huggingface.coon/lmms-lab/LLaVA-OneVision-1.5-8B-Instruct

划重点:

LLaVA-OneVision-1-1.5是最新的开源多模态模型,具有处理图像和视频等多种输入的能力。  

训练过程分为三个阶段,旨在高效提升.5模型的视觉与语言理解能力。  

在基准测试中,LLaVA-OneVision-1.5表现优异,超越了 Qwe,超n2.5-VL 模型。

1.本站遵循行业规范,任何转载的稿件都会明确标注作者和来源;2.本站的原创文章,请转载时务必注明文章作者和来源,不尊重原创的行为我们将追究责任;3.作者投稿可能会经我们编辑修改或补充。

相关文章
  • 天花板装镜子什么梗浴室装把手

    天花板装镜子什么梗浴室装把手

    2026-10-21

  • 英伟达市值一夜蒸发超1.7万亿元 什么情况?

    英伟达市值一夜蒸发超1.7万亿元 什么情况?

    2026-05-31

  • ICRA 2022杰出论文:把自动驾驶2D图像转成鸟瞰图,模型识别准确率立增15%

    ICRA 2022杰出论文:把自动驾驶2D图像转成鸟瞰图,模型识别准确率立增15%

    2026-08-31

  • 标签: Seedream5.0Pro 字节 多模态图像生成 火山方舟

    标签: Seedream5.0Pro 字节 多模态图像生成 火山方舟

    2026-07-26

网友点评