theme: condensed-night-purple
信任大家最近都听说了Meta开源了一个图画切割模型【SegmentAnything Model】,简称SAM模型,声称切割全部,在短短开源的一周内,截止今天Github已经24k的star了!
![[分割一切!] SegmentAnything真的太强了 [分割一切!] SegmentAnything真的太强了](https://www.6hu.cc/wp-content/uploads/2023/05/1684772019-6197e361bf061c7.gif)
看了很多推文各种炸裂的词都出来了,最近也是体会了一下,真就给我当头一棒,头皮发麻,由于这个模型直接宣告了咱们一些流程彻底不需要深入研究了,就用SAM就行。
王者的诞生
说到Meta大家或许不知道这个是什么公司,可是说到Facebook大家都知道,而Meta就是改名后的Facebook,而咱们常用的Pytorch深度学习框架就是他们旗下的产品。而SAM到底强在哪里?咱们看看官方的介绍:
![[分割一切!] SegmentAnything真的太强了 [分割一切!] SegmentAnything真的太强了](https://www.6hu.cc/wp-content/uploads/2023/05/1684772024-5456d3f6416f1c2.gif)
多元化交互
现在官方的demo支撑交互式标示,能够通过画框、鼠标点击来获取切割的区域,此外还能够一键切割全部,轻轻点一下,将切割成果实时展示出来,而且关于不太确认的类别提供了多个有效的区域,举个比方,如果一堆草地里面会有花、花瓣也会切割出来,你能够依据阈值进行调整。
![[分割一切!] SegmentAnything真的太强了 [分割一切!] SegmentAnything真的太强了](https://www.6hu.cc/wp-content/uploads/2023/05/1684772031-a85480d2088995a.png)
支撑三维
SAM模型的输出成果能够作为其他AI的输入,比方下图的视频里不断被追寻切割椅子,进而提取出椅子的特征,能够生成椅子的三维模型。
![[分割一切!] SegmentAnything真的太强了 [分割一切!] SegmentAnything真的太强了](https://www.6hu.cc/wp-content/uploads/2023/05/1684772037-9826b7eb9cd962c.png)
集成运用
SAM的可提示设计使其能够与其他系统灵敏整合,如图右,输入文本能够依据咱们文本进行切割;如图左,能够依据AR眼睛的注视规模(一个点表明)然后切割出物体而且给出它的类别,这个和Meta本身的VR方向彻底是相辅相成了。
![[分割一切!] SegmentAnything真的太强了 [分割一切!] SegmentAnything真的太强了](https://www.6hu.cc/wp-content/uploads/2023/05/1684772043-58dc73e5c339013.png)
0练习
官方宣扬SAM模型已经学会了关于物体是什么的一般性概念–这种理解使其能够对不熟悉的物体和图画进行归纳,而不需要额外的练习。
![[分割一切!] SegmentAnything真的太强了 [分割一切!] SegmentAnything真的太强了](https://www.6hu.cc/wp-content/uploads/2023/05/1684772050-49f148b8c2291a6.png)
初步体会
好了好了,讲这么多,听起来也没啥感觉吧,不如实际体会一下。
![[分割一切!] SegmentAnything真的太强了 [分割一切!] SegmentAnything真的太强了](https://www.6hu.cc/wp-content/uploads/2023/05/1684772056-4ef2e18d46b02d7.gif)
这儿我先上传了一个高分辨率无人机拍的png:
![[分割一切!] SegmentAnything真的太强了 [分割一切!] SegmentAnything真的太强了](https://www.6hu.cc/wp-content/uploads/2023/05/1684772063-63ccf905c596f9c.jpg)
![[分割一切!] SegmentAnything真的太强了 [分割一切!] SegmentAnything真的太强了](https://www.6hu.cc/wp-content/uploads/2023/05/1684772069-19bd376cc374075.jpg)
运用框选的话,首先会把右下角分为一个整体:
![[分割一切!] SegmentAnything真的太强了 [分割一切!] SegmentAnything真的太强了](https://www.6hu.cc/wp-content/uploads/2023/05/1684772075-19c6c77b605ed49.jpg)
![[分割一切!] SegmentAnything真的太强了 [分割一切!] SegmentAnything真的太强了](https://www.6hu.cc/wp-content/uploads/2023/05/1684772083-45f0aed0894e990.png)
而且输出很棒,能够直接将切割的区域进行输出
![[分割一切!] SegmentAnything真的太强了 [分割一切!] SegmentAnything真的太强了](https://www.6hu.cc/wp-content/uploads/2023/05/1684772089-d08ac8d06cb617f.jpg)
然后我还试了其他图片,在没有进行练习的情况下,SAM仍是把树一颗一颗的分别出来了,而且排除了暗影:
![[分割一切!] SegmentAnything真的太强了 [分割一切!] SegmentAnything真的太强了](https://www.6hu.cc/wp-content/uploads/2023/05/1684772095-b089505ff56a44b.png)
不练习效果都这么好,迁移一下模型,不得起飞(笑)
总结
总体体会下来,SAM最大的大招和冲击那就是样本标示,这种精细化交互式标示将杀死咱们以前纯人工划区域的方法,而且大大提高样本的精度和下降样本标示的本钱!
还在用labelIMG传统标示?来体会一下SAM模型的赛博标示吧! segment-anything.com/
展望
在研一上人工智能的数学原理的时分,数院教授就和咱们说深度学习其实已经进入了瓶颈期,未来将是深度学习运用的迸发期,其时还没什么感觉,而ChatGPT、Dall.e、SAM、Stable defussion及其衍生的运用的出现,让我身临其境的感悟了大模型的魅力。信任后边仍是运用的迸发期,大家的公司能够开起来了。
![[分割一切!] SegmentAnything真的太强了 [分割一切!] SegmentAnything真的太强了](https://www.6hu.cc/wp-content/uploads/2023/05/1684772101-a5ae805bee44787.gif)
这儿是GIS世界,咱们下期再会~
商业协作请私信大众号
本人其他渠道账号:
- 微信大众号:GIS世界
- CSDN:GIS_世界
- 知乎:GIS世界
- :GIS世界