快捷搜索:  

北大最新众模态大模子开源:正在混淆数据集上训练,无需修削直接用到图像视频做事

"北大最新众模态大模子开源:正在混淆数据集上训练,无需修削直接用到图像视频做事,这篇新闻报道详尽,内容丰富,非常值得一读。 这篇报道的内容很有深度,让人看了之后有很多的感悟。 作者对于这个话题做了深入的调查和研究,呈现了很多有价值的信息。 这篇报道的观点独到,让人眼前一亮。 新闻的写作风格流畅,文笔优秀,让人容易理解。 " 账号设置我的关注我的收藏申请的报道退出登录登录搜索36氪Auto数字时氪将来消费智能涌现将来城市启动Power on36氪出海36氪研究院超人测评36氪企服点评36氪财经(Finance)职场bonus36碳后浪研究所暗涌Waves硬氪媒体品牌企业号企服点评36Kr研究院36Kr创新咨询企业服务核心服务城市之窗行政部门服务创投发布LP源计划VClubVClub投资机构库投资机构职位推介投资人认证投资人服务寻求报道36氪Pro创投氪堂企业入驻创业者服务创投平台 首页快讯资讯推荐财经(Finance)科技(Technology)创新城市最新创投汽车(Car)企服专精特新直播视频专题活动搜索寻求报道我要入驻城市合作北大最新多模态大模型开源:在混合数据集上训练,无需修改直接用到图像视频任务量子位·2023-11-29 16:29关注3天训完130亿参数通用VLM

训完130亿参数通用视觉语言大模型,只需3天!

北大和中山大学(University)团队又出招了——在最新研究中,研究团队提出了一种构建统一的图片和视频表征的框架。

利用(Use)这种框架,可以大大减少VLM(视觉语言大模型)在训练和推理过程中的开销。

具体而言,团队按照提出的新框架,训练了一个新的VLM:Chat-UniVi。

Chat-UniVi能在混合图片和视频数据的情况下进行(Carry Out)训练,并同时处理图片任务和视频理解任务。

以此为基础,Chat-UniVi在图片及视频上的17个基准上,都表现得还不错。

现在,项目已经在GitHub和抱抱脸上开源。

更多关于新方法和Chat-UniVi的详细信息,我们(We)一起进一步来看看~

Chat-UniVi是什么?

了解基础信息后,我们(We)详细地聊聊Chat-UniVi究竟是什么——

简单来说,Chat-UniVi是一个统一的多模态大型语言模型,可以同时理解图像和视频。

目前(Currently)VLM运用的方法,偏图片理解的,往往使用大量视觉tokens来获得更精细的空间分辨率。

偏视频理解的方法,则常常选择牺牲每帧的空间分辨率,以输入更多帧来构建更精细的时间理解能力。

与它们(They)不同,Chat-UniVi采用动态视觉token来统一表示图像和视频,动态token合并方法是无参数的,不需要额外训练。

而动态token的来源,是渐进地聚类视觉token。

为了获取这些动态的视觉token,研究人员基于最近邻的密度峰聚类算法,逐步对视觉token进行(Carry Out)分组和合并。

其中,图片可以通过不同大小的视觉token进行(Carry Out)建模。

举个

北大最新多模态大模型开源:在混合数据集上训练,无需修改直接用到图像视频任务

您可能还会对下面的文章感兴趣:

赞(508) 踩(76) 阅读数(6881) 最新评论 查看所有评论
加载中......
发表评论