视觉模子SegGPT来啦!具备高下文推理能耐

知识 2024-10-28 00:35:27 6128

·SegGPT是视觉一个运用视觉揭示实现恣意分割使命的通用视觉模子,具备高下文推理能耐,啦理磨炼实现后无需微调 ,具备惟独提供示例即可自动推理并实现对于应分割使命 ,高下搜罗图像以及视频中的文推实例、种别、视觉零部件、啦理概况、具备文本、高下人脸、文推医学图像等。视觉

·Meta AI图像分割根基模子SAM的啦理详尽标注能耐与SegGPT的通用分割标注能耐相散漫 ,能把恣用意像从像素阵列剖析为视觉妄想单元 ,具备像生物视觉那样清晰恣意场景 。高下

ChatGPT激发语言大模子怒潮,文推AI另一个严正规模视觉的GPT光阴何时到来?

5月28日,北京智源家养智能钻研院在2023中关村落论坛平行论坛之一的家养智能大模子睁开论坛上推出通用分割模子SegGPT(Segment Everything In Contex) ,这是一个运用视觉揭示(prompt)实现恣意分割使命的通用视觉模子。

论文地址  :https://arxiv.org/abs/2304.03284

标注出一个画面中的彩虹,可批量化分割其余画面中的彩虹。标注出一个画面中的彩虹,可批量化分割其余画面中的彩虹。

SegGPT是智源通用视觉模子Painter的衍生模子,针对于分割所有物体的目的做出优化。SegGPT具备高下文推理能耐,磨炼实现后无需微调,惟独提供示例即可自动推理并实现对于应分割使命,搜罗图像以及视频中的实例 、种别 、零部件、概况、文本 、人脸 、医学图像等 。它的锐敏推理能耐反对于恣意数目的视觉揭示 。自动视频分割以及追踪能耐以第一帧图像以及对于应的物体掩码作为高下文示例 ,SegGPT可能自动对于后续视频帧妨碍分割,而且可能用掩码的颜色作为物体的ID,实现自动追踪。

用画笔简陋圈出行星环带(上图),在预料图中精确输入目的图像中的行星环带(下图)。用画笔简陋圈出行星环带(上图)
,在预料图中精确输入目的图像中的行星环带(下图)。

此前,Meta公司宣告了AI图像分割根基模子SAM,SegGPT与SAM的差距在于,SAM“一触即通”,经由一个点或者领土框,在待预料图片上给出交互揭示  ,识别分割画面上的指定物体。SegGPT“一通百通”,给出一个或者多少个示例图像以及妄想掩码,模子就能知道用户妄想,“有样学样”地实现相似分割使命 。用户在画面上标注识别一类物体,即可批量化识别分割同类物体 ,不论是在之后画面仍是其余画面或者视频情景中 。

SegGPT可能凭证用户提供的宇航员头盔掩码这一高下文(上图)	,在新的图片中预料出对于应的宇航员头盔地域(下图)。SegGPT可能凭证用户提供的宇航员头盔掩码这一高下文(上图)
,在新的图片中预料出对于应的宇航员头盔地域(下图)。

不论是“一触即通”仍是“一通百通”,都象征着视觉模子已经“清晰”了图像妄想 。SAM详尽标注能耐与SegGPT的通用分割标注能耐相散漫 ,能把恣用意像从像素阵列剖析为视觉妄想单元,像生物视觉那样清晰恣意场景 。

(原问题 :北京智源推出通用视觉分割模子SegGPT,具备高下文推理能耐)

本文地址:https://uowac.strain.blog/news/883f198191.html
版权声明

本文仅代表作者观点,不代表本站立场。
本文系作者授权发表,未经许可,不得转载。

全站热门

第一太平戴维斯携手国际传奇球星加里·内维尔空降北京,全球首发曼彻斯特首个品牌公寓小时候经常打的“屁股针”,见效快又便宜,为啥现在却很少见了?

再见篮网!重磅2换1交易流出!独行侠再添强援,下赛季要冲冠主持人尼格买提“原形毕露”? 这次他的狐狸尾巴终于露出来了

名记:本·西蒙斯对返回76人持开放态度,称其为“第二故乡”

欧洲俱乐部排名前20:曼城、皇马、国米前三,巴萨第20

布里奇斯32+6 特雷-杨30+9 穆雷准三双 篮网险胜老鹰

绝了!马刺8换1史诗级生意曝光,再见乔丹,三球联手新状元争冠

搭2.0L混动零星 五菱星云售价8.98万元起

最近黑洞距地仅150光年

友情链接