华中科技大学开源多模态大模型Monkey

极客号(Daydx.com)12月9日 消息:Monkey 是华中科技大学与金山软件联合推出的一种高性能多模态大模型,通过提高输入分辨率和引入多级描述生成方法,解决了现有模型在复杂场景和视觉细节处理方面的挑战。Monkey 可以基于现有视觉编辑器进行构建,无需从0预训练,大大提高了研发效率。

Monkey 的多级描述生成方法可以为模型提供丰富的上下文信息,指导模型学习场景和对象之间的关联。通过在16个不同的数据集上进行测试,Monkey 在图像字幕、视觉问答、文档分类等多模态任务上取得了出色的成绩。Monkey 展现了超强的细微视觉信息感知和复杂场景理解能力,具有广泛的应用空间。

华中科技大学开源多模态大模型Monkey

开源地址:https://github.com/Yuliang-Liu/Monkey

论文地址:https://arxiv.org/abs/2311.06607v1

Monkey 的训练数据集质量是其能力提升的关键,研究人员生成了数十万条高质量的图像描述数据,并利用多个模型自动生成文字描述,并将不同模型的输出融合起来,提升了大模型对图像细节的理解能力。

在模型选择方面,Monkey 采用了开源模型 Qwen-VL 作为语言解码器,以及20亿参数的 ViT-BigHuge 作为视觉编码器,避免了重复预训练的资源浪费。为了提升 Monkey 的识别能力和输入分辨率,以及生成更丰富的图像描述和对复杂场景的理解能力,采用了多级描述生成、高分辨率编码和多任务训练三个训练阶段。

Monkey 在16个不同的数据集上进行了全面验证,包括图像字幕、通用视觉问答和文档导向问答等任务。在通用视觉问答任务上,Monkey 在多个数据集上都显示出明显的优势。在图像字幕任务上,Monkey 在 TextCaps 数据集上也表现出色,证明了其对图片中文本元素的多模态理解能力。

在文档导向问答任务上,Monkey 在多个文档图像理解数据集上取得了不错的成绩。研究人员表示,Monkey 在医学影像、卫星图像等领域具有广泛的应用空间,并将继续优化 Monkey 模型的感知、联想、推理和泛化能力。

综上所述,Monkey 是一种高性能多模态大模型,通过提高输入分辨率和引入多级描述生成方法,解决了复杂场景和视觉细节处理的挑战。Monkey 无需从0预训练,可以基于现有视觉编辑器进行构建,具有高效率和广泛的应用空间。通过在多个数据集上进行测试,Monkey 在多模态任务上取得了出色的成绩,展现了超强的视觉信息感知和场景理解能力。未来,Monkey 将继续优化模型的感知、联想、推理和泛化能力,进一步提升其在各领域的应用价值。

声明:本文内容整理自网络,观点仅代表原作者本人,投稿号仅提供信息发布服务。如有侵权,请联系管理员。

(0)
上一篇 2023年12月9日 12:15
下一篇 2023年12月9日 12:16

热点推荐

  • 日本男子吃白饭咸菜20年存下9300万 不结婚只为提前退休

    为了退休前存够足够的钱,你能接受二十多年时间内仅维持最低的生存开销,放弃美食佳肴,不谈恋爱、不结婚吗?下文的这位日本老哥,就做到了。 近日,日本。一名45岁男性秀晚餐的帖子爆红,大部分时候他就只吃米饭搭配调料,为了维持生命体征,他…

    热点 2023年7月6日
    99
  • 思鸡盯是什么意思网络用语(驴鸡是什么意思)

    大家知道“思鸡盯”吗?每个字都认识,但组合在一起就有些令人看不懂了,相信不少人都是这样的感觉吧。那么,思鸡盯到底是什么意思呢?网络用语思鸡盯表达的什么含义呢?下面小编就给大家带来关于思鸡盯网络用语的具体意思介绍,感兴趣的来了解看看…

    热点 2023年11月21日
    164
  • 《三体》真人版热播,光谷这家公司却被骂惨了

    近日,由杨磊执导,张鲁一、于和伟、陈瑾、王子文、林永健、李小冉等主演的真人版电视剧《三体》,在央视八套、腾讯视频等平台播出。 作为一名理工科直男,“风云武汉”对这类科幻片很感兴趣,于是便在腾讯视频一口气看完了前六集。 看完之后,我…

    2023年1月22日 热点
    131
  • 新风系统品牌排行(新风系统排行榜)

    新风系统排行榜 1、家庭用新风系统爱迪士新风系统爱迪士建于1925年,在全球室内空气技术行业中属于领军者,在国内同行业中属于唯一的外商投资企业,是最早把健康环保理念带入到国内的一家公司。 2、新风品牌十大排名:米家、日立、远大、艾…

    热点 2024年1月24日
    123
  • 小米集团张宇上手Redmi K70 卢伟冰:不会给友商任何机会

    快科技11月2日消息,小米集团张宇换上了Redmi K70系列新品,该机将在本月正式发布。 此前小米集团卢伟冰表示,Redmi K70系列性价比更高,不会给友商任何机会。 据悉,Redmi K70系列标准版搭载高通骁龙8 Gen2…

    热点 2023年11月2日
    82
  • 不裁剪的情况下改变图片尺寸(手机图片尺寸修改器)

    当大家在照相馆拍完照后,一般都会要求拷贝保留电子版证件照原图,因为现在网上办事很多都使用电子照片。然而当真正使用的时候,就会发现有各种各样的证件照尺寸大小要求,每个场景都不一样,下面就教大家一种用手机分分钟搞定的方法,安卓苹果手机…

    2022年10月10日 热点
    153
  • 18种最有效推广的方式(新品推广方法)

    新品营销,是很多品牌每年都要面临的重大课题。 如今市面上针对新品营销的打法,形形色色,单看别人的案例本身,都觉得挺好。 但到底哪一种打法才最适合自己本身?对应的打法,应该如何操盘? 这背后其实涉及到很多不同的决定性因素,比如:所处…

    热点 2022年10月1日
    145
  • 哪里蚕丝被最有名(蚕丝被排行榜)

    蚕丝被哪款舒服 1、被芯蓬松透气,柔软舒适;全面面料,60S高支高密锻纹织造,柔软亲肤、爽滑如丝,如水般清凉,是一款夏季必备家纺。 2、蚕丝被品牌推荐行业推荐品牌水星家纺水星控股集团下属主要成员企业,于2017年在上海证券交易所上…

    热点 2023年8月17日
    182
  • 女子称10万存款被转成理财,工行:河南周口项城支行已报案

    针对网传一位客户10万元存款被转走购买理财产品一事,工行周口项城支行14日夜间发布澄清说明称,网传信息不实。 工行表示,经核查,该客户是通过自助渠道转账10万元至某公司账户,涉及“协助人员”黄某杰不是工行员工。 针对客户反映情况,…

    热点 2023年10月23日
    92
  • 冥域天空套(冥域天空套百科)

    提起冥域天空套,大家都知道,有人问冥域天空套百科,你知道这是怎么回事?其实冥域天空套百科,下面就一起来看看冥域天空套,希望能够帮助到大家! DNF天空套有几件?分别是什么? 截止到2019年3月DNF国服共有11套天空套。具体名称…

    热点 2022年12月4日
    149

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注