本文同享自华为云社区《AI Gallery:从0到1开发AI图画分类运用》,作者: yd_269359708 。

现如今,人工智能(AI)技能在计算机领域内,得到了越来越广泛的注重,并在各行各业中得到运用。然而无论是AI开发的初学者,仍是资深的AI开发专家,在AI 运用开发工程中,都会面临着不小的费事。咱们今日要介绍的AI Gallery,便是一个开放的开发者生态社区,供给了数据集、算法、模型等AI数字财物的同享,协助开发者加快AI产品的开发与落地,确保AI开发生态链上各参加方高效地完结各自的商业价值。

布景常识

AI 开发基本流程

在介绍AI Gallery之前,咱们先来看看一个AI运用开发的基本流程,方面后面更好的说明AI Gallery在AI 运用开发流程中能够供给的协助。大神请直接跳过此章。

AI开发的基本流程通常能够概括为几个进程:确认意图、预备数据、练习模型、点评模型、布置模型。

带你从0到1开发AI图像分类应用

  1. 确认意图
    在开端AI开发之前,必须明确要剖析什么?要处理什么问题?商业意图是什么?依据商业的理解,收拾AI开发结构和思路。例如,图画分类、物体检测等等。不同的项目对数据的要求,运用的AI开发手法也是不一样的。
  2. 预备数据
    数据预备主要是指搜集和预处理数据的进程。
    依照确认的剖析意图,有意图性的搜集、整合相关数据,数据预备是AI开发的一个根底。此刻最重要的是确保获取数据的真实可靠性。而事实上,不能一次性将所有数据都收集全,因此,在数据标注阶段你或许会发现还缺少某一部分数据源,重复调整优化。
  3. 练习模型
    俗称“建模”,指经过剖析手法、办法和技巧对预备好的数据进行探究剖析,从中发现因果关系、内部联系和事务规律,为商业意图供给决议计划参阅。练习模型的成果通常是一个或多个机器学习或深度学习模型,模型能够运用到新的数据中,得到猜测、点评等成果。
    业界主流的AI引擎有TensorFlow、Spark_MLlib、MXNet、Caffe、PyTorch、XGBoost-Sklearn、MindSpore等,大量的开发者依据主流AI引擎,开发并练习其事务所需的模型。
  4. 点评模型
    练习得到模型之后,整个开发进程还不算结束,需求对模型进行点评和考察。往往不能一次性获得一个满意的模型,需求重复的调整算法参数、数据,不断点评练习生成的模型。
    一些常用的指标,如准确率、召回率、AUC等,能协助您有效的点评,最终获得一个满意的模型。
  5. 布置模型
    模型的开发练习,是依据之前的已有数据(有或许是测试数据),而在得到一个满意的模型之后,需求将其运用到正式的实践数据或新发生数据中,进行猜测、点评、或以可视化和报表的方式把数据中的高价值信息以精辟易懂的方式供给给决议计划人员,协助其制定更加正确的商业策略。

ModelArts

明白了AI 运用开发的流程,咱们就能够在本地搭建环境来进行AI运用开发了。但是俗话说“工欲利其事必先利其器”,凭借老练的AI 开发渠道,能够极大地进步咱们的开发效率,缩短咱们的开发周期,削减咱们的开发本钱。在这儿,我推荐的是华为云的ModelArts 一站式AI开发渠道。

ModelArts作为一个一站式的开发渠道,能够支撑开发者从数据到AI运用的全流程开发进程。包含数据处理、模型练习、模型管理、模型布置等操作,而且供给同享功用,能够在AI Gallery上与其他开发者同享模型。

ModelArts支撑图画分类、物体检测、视频剖析、语音辨认、产品推荐、异常检测等多种AI运用场景。

带你从0到1开发AI图像分类应用

AI Gallery

现在开端进入咱们的主题:AI Gallery。

有AI运用开发经历的同学,应该都有类似的感悟。纵观AI运用的整个开发流程,从数据收集、标注,到算法模型的构建,每个环节都会发生许多能够复用的AI财物,而AI Gallery的意图之一便是充分发挥这些财物的功效,进步AI开发效率。

AI Gallery是在ModelArts的根底上构建的开发者生态社区,供给了Notebook代码样例、数据集、算法、模型、Workflow等AI数字财物的同享,为高校科研机构、AI运用开发商、处理方案集成商、企业级/个人开发者等集体,供给安全、开放的同享及买卖环节,加快AI财物的开发与落地,确保AI开发生态链上各参加方高效地完结各自的商业价值。

带你从0到1开发AI图像分类应用

接下来,我将经过一个废物分类运用的开发示例,介绍Gallery在AI运用开发流程中的效果。

废物分类运用开发教程

预备作业

注册华为云账号

首先你需求注册一个华为云账号。注册链接:注册_华为帐号 (huawei.com)

注册完结后,进入华为云控制台,建议在北京四运用,网络相对比较稳定。控制台链接:ModelArts控制台

带你从0到1开发AI图像分类应用

创立OBS桶

OBS是华为云的目标存储服务,能够理解为一个放在云端的硬盘,咱们在运用ModelArts开发AI运用的进程中,需求运用OBS来保存开发所需的一些文件,例如练习所需的数据集,练习完结的模型等。

创立OBS桶,OBS链接:OBS控制台

依照页面提示,挑选适宜的规格,需求注意,桶的区域要和上一步中ModelArts运用的区域相同,我挑选的是北京四。

在后续开发的进程中,如果需求上传大批量的数据例如练习样本到OBS,推荐运用OBS Browser+。OBS Browser+简介_华为云 (huaweicloud.com)

带你从0到1开发AI图像分类应用

带你从0到1开发AI图像分类应用

带你从0到1开发AI图像分类应用

确认运用意图

完结上述的预备作业,咱们开端正式的AI运用开发作业。依据第二章的AI开发基本流程,咱们首先要确认咱们开发的这个运用需求处理什么问题。在本教程中,咱们假设需求开发一个废物分类运用,用户上传废物的照片,咱们回来废物所属的分类。

挑选数据集

确认完意图,咱们需求预备练习所需的数据集。AI Gallery上供给了7.7w+的数据集,包含官方发布的和用户同享的数据集,覆盖了主流的AI运用场景。

翻开AI Gallery的数据集专栏,查找废物分类,能够看到许多的废物分类相关的数据集。AI Gallery数据集专栏

带你从0到1开发AI图像分类应用

咱们挑选其间的一个数据集,点击检查详情。能够看到这个数据集是已经标注完结的,咱们能够直接该数据集进行模型练习。

点击下载,将数据集下载到ModelArts数据集。

带你从0到1开发AI图像分类应用

下载方式挑选ModelArts数据集,数据集输出位置和输入位置,能够挑选在OBS桶内新建一个文件夹

带你从0到1开发AI图像分类应用

带你从0到1开发AI图像分类应用

点击确认,页面会跳转到Gallery的个人中心。(这儿下载的数据集或许没有第一时间同步过来,能够多改写几次)

带你从0到1开发AI图像分类应用

数据集会在后端主动下载,咱们先来到ModelArts,左边导航栏挑选数据管理->数据集。等待刚刚下载数据集导入完结。

带你从0到1开发AI图像分类应用

由于有些AI算法需求切分完结的数据集(将数据集切分为练习集和验证集),咱们这儿翻开数据集详情,发布一个新版别,在新版别中对数据集进行切分。点击确认,等待数据集新版别发布完结。至此,数据集预备作业就完结了。

带你从0到1开发AI图像分类应用

带你从0到1开发AI图像分类应用

练习模型

挑选算法

预备完数据,咱们开端进行模型练习。由于废物分类在AI中属于图画分类的范畴,所以咱们到AI Gallery的算法专栏,查找图画分类,挑选一个适宜的算法,推荐挑选官方发布的算法,官方会定期更新官方算法,来确保算法的效果,这儿我挑选了一个官方发布的EfficientNetB0图画分类算法。

AI Gallery算法专栏

图画分类-EfficientNetB0

带你从0到1开发AI图像分类应用

简略阅读下该算法,发现很适合咱们的废物分类场景。

点击订阅,订阅成功后点击前往控制台,云服务区域挑选北京四(和上文相同的区域)。

带你从0到1开发AI图像分类应用

创立练习作业

跳转到ModelArts控制台后,挑选算法最新的版别,创立练习作业。

带你从0到1开发AI图像分类应用

依照提示,填写相应的信息。练习输入这儿咱们挑选刚刚下载的数据集,练习输出能够在OBS桶内新建一个文件夹,超参都是用默认的不变,规格这儿能够挑选显现免费的(或许需求排队,不想排队的话能够挑选收费的规格)。点击提交,开端练习作业。

带你从0到1开发AI图像分类应用

带你从0到1开发AI图像分类应用

带你从0到1开发AI图像分类应用

带你从0到1开发AI图像分类应用

创立AI运用

翻开练习作业详情页面,能够看到作业的状态以及练习进程中打印的日志。等待练习作业完结后,点击右上角的创立AI运用的按钮。

带你从0到1开发AI图像分类应用

带你从0到1开发AI图像分类应用

布置类型挑选在线服务,如果有批量服务或许边缘服务的需求,也能够把这两个选上。

带你从0到1开发AI图像分类应用

布置模型

等AI 运用创立完结后,就来到了最后一步,模型布置。点击刚刚创立的AI运用,挑选布置为在线服务。

带你从0到1开发AI图像分类应用

由于咱们这儿只是体会下开发流程,所以能够挑选免费的规格(一小时后主动停止,且每个账号只能布置一个免费规格的AI运用)。

带你从0到1开发AI图像分类应用

待在线服务布置成功,至此,咱们成功上线了一个废物分类。接下来咱们看一下这个AI运用的效果,以及怎么调用相应的API。

带你从0到1开发AI图像分类应用

调用AI运用

AI运用布置成功后,ModelArts会主动生成一个API接口,供开发者调用,能够看到咱们这儿是一个POST恳求,恳求的参数类型是file类型。回来两个参数,表明猜测的成果和每个标签的概率。这个API接口支撑AK/SK认证以及token认证,咱们能够在其他项目中调用这个API接口,完结废物的分类辨认功用。

带你从0到1开发AI图像分类应用

除了API调用,ModelArts还支撑网页上在线猜测,咱们单击猜测,来到猜测页面,上传一张测试图片,单击猜测,右侧就会显现出猜测成果。能够发现,咱们的模型成功辨认到了这是厨余废物的水果果皮。

带你从0到1开发AI图像分类应用

总结

相比于其他AI开发渠道,华为云ModelArts是更快的普惠AI开发渠道,触及数据标注与预备、模型练习、模型调优、模型布置等AI开发全流程,为AI运用开发供给一站式服务。ModelArts 是能够让开发者上手更快、练习更快、布置更快的全流程渠道。AI Gallery作为在ModelArts的根底上构建的开发者生态社区,供给了丰厚的AI运用开发所需的数据集,算法,模型。除此之外,AI Gallery还供给了社区沟通的功用,大家能够在Gallery沟通学习心得,同时本针对AI

Gallery也安排了一场直播,欢迎感兴趣的开发者预定报名参加:bbs.huaweicloud.com/live/cloud_…

点击关注,第一时间了解华为云新鲜技能~