theme: condensed-night-purple

信任大家最近都听说了Meta开源了一个图画切割模型【SegmentAnything Model】,简称SAM模型,声称切割全部,在短短开源的一周内,截止今天Github已经24k的star了!

[分割一切!] SegmentAnything真的太强了

看了很多推文各种炸裂的词都出来了,最近也是体会了一下,真就给我当头一棒,头皮发麻,由于这个模型直接宣告了咱们一些流程彻底不需要深入研究了,就用SAM就行。

王者的诞生

说到Meta大家或许不知道这个是什么公司,可是说到Facebook大家都知道,而Meta就是改名后的Facebook,而咱们常用的Pytorch深度学习框架就是他们旗下的产品。而SAM到底强在哪里?咱们看看官方的介绍:

[分割一切!] SegmentAnything真的太强了

多元化交互

现在官方的demo支撑交互式标示,能够通过画框、鼠标点击来获取切割的区域,此外还能够一键切割全部,轻轻点一下,将切割成果实时展示出来,而且关于不太确认的类别提供了多个有效的区域,举个比方,如果一堆草地里面会有花、花瓣也会切割出来,你能够依据阈值进行调整。

[分割一切!] SegmentAnything真的太强了

支撑三维

SAM模型的输出成果能够作为其他AI的输入,比方下图的视频里不断被追寻切割椅子,进而提取出椅子的特征,能够生成椅子的三维模型。

[分割一切!] SegmentAnything真的太强了

集成运用

SAM的可提示设计使其能够与其他系统灵敏整合,如图右,输入文本能够依据咱们文本进行切割;如图左,能够依据AR眼睛的注视规模(一个点表明)然后切割出物体而且给出它的类别,这个和Meta本身的VR方向彻底是相辅相成了。

[分割一切!] SegmentAnything真的太强了

0练习

官方宣扬SAM模型已经学会了关于物体是什么的一般性概念–这种理解使其能够对不熟悉的物体和图画进行归纳,而不需要额外的练习。

[分割一切!] SegmentAnything真的太强了

初步体会

好了好了,讲这么多,听起来也没啥感觉吧,不如实际体会一下。

[分割一切!] SegmentAnything真的太强了

这儿我先上传了一个高分辨率无人机拍的png:

[分割一切!] SegmentAnything真的太强了
[分割一切!] SegmentAnything真的太强了
能够看到草坪、人行道、车辆切割的非常完美,而右下角的空地要素较多也进行了分类,水潭是水潭、草坪是草坪、荒地是荒地。

运用框选的话,首先会把右下角分为一个整体:

[分割一切!] SegmentAnything真的太强了
然后后续运用SegmentAnything会给出更精细的切割:
[分割一切!] SegmentAnything真的太强了

而且输出很棒,能够直接将切割的区域进行输出

[分割一切!] SegmentAnything真的太强了

然后我还试了其他图片,在没有进行练习的情况下,SAM仍是把树一颗一颗的分别出来了,而且排除了暗影:

[分割一切!] SegmentAnything真的太强了

不练习效果都这么好,迁移一下模型,不得起飞(笑)

总结

总体体会下来,SAM最大的大招和冲击那就是样本标示,这种精细化交互式标示将杀死咱们以前纯人工划区域的方法,而且大大提高样本的精度和下降样本标示的本钱!

还在用labelIMG传统标示?来体会一下SAM模型的赛博标示吧! segment-anything.com/

展望

在研一上人工智能的数学原理的时分,数院教授就和咱们说深度学习其实已经进入了瓶颈期,未来将是深度学习运用的迸发期,其时还没什么感觉,而ChatGPT、Dall.e、SAM、Stable defussion及其衍生的运用的出现,让我身临其境的感悟了大模型的魅力。信任后边仍是运用的迸发期,大家的公司能够开起来了。

[分割一切!] SegmentAnything真的太强了

这儿是GIS世界,咱们下期再会~

商业协作请私信大众号
本人其他渠道账号:

  • 微信大众号:GIS世界
  • CSDN:GIS_世界
  • 知乎:GIS世界
  • :GIS世界