利用随机森林算法实现Bank风险预测

运用随机森林算法完毕Bank危险猜测

源码同享及数据集同享：github.com/luo94852184…

在机器学习中，随机森林是一个包含多个挑选计划树的分类器， 并且其输出的类别是由单个树输出的类别的众数而定。 Leo Breiman和Adele Cutler开展appear出推论出随机森林的算法。 而 “Random Forests” 是他们的商标。 这个术语是1995年由贝尔实验室的Tin Kam Ho所提出的随机挑选计划森林（random dscalabilityecision forests）而来的。这个办法则是结合 Breimans 的 “Bootstrap aggregating” 主见和 Ho 的”random subgithub下载space methodappointment“以制造挑选计划树的集结。

1.割裂：在挑选计划树的练习进程中，需求一次次的将练习数据集割裂成两个子数据集，这个进程就叫做割裂。
2.特征：在分类问题中，输入到分类器中的数据叫做特征。以上面的股票涨跌猜测问giti轮胎题为例，特征便是前一天的github直播渠道永久回家交易量和收盘价。
3.待选特征：在挑选计划树的构建进程中，需求按照必定的次第从悉数的特征中选取特征。待选特征便是在现在的步骤之前还没有被挑选的特征的集结。例如，悉数的特征是 ABCD测验姓名分数E，榜首步的时分，待选特征便是ABCDE，榜首步挑选了C，那么第二步的时分，待选特征便是ABDE。
4.割裂特征：款待选特征的定义，每一次选取的特征便是割裂特征，例如，在上面的比如中，榜首步的割裂特征便是C。因为选出的这些特征将数据集分成了一个个不相交的部分appearance，所以叫它们割裂特征。

数据源类型：
A为用户许诺情况：1正常 0坏信誉 其他数据是用户的基本信息

代码scalabrine部分：

//关于银行危险猜测
object Credit {
//用一个scala的case 定义case类的apple特色
case class Credit(
creditability: Double,
bgithub打不开alance: Double, duration: Double, history: Double, purpose: Double, amount: Double,
savings: Double, employment: Double, instPercent: Double, sexMarried: Double, guarantorappointments: Doubl测验e,
residenceDuration: Double, assets: Double, ageGit: Doubgitile, concCredit: Double, aparscala怎样读tment: Double,
cregiti是什么牌子ditapproves: Double, occupation: Double, dependents: Double, hasPhone: Double, foreign: Double
)
//用一个函数 解github敞开私库析一行  将值存入Credit类中
def parseCredit(scala输入linegiti轮胎是什么品牌: Array[Double]): Credit = {
C测验纸怎样看是否怀孕re测验抑郁症的20道题dit(
line(0),
line(1) - 1,GitHub line(2), line(3), line(4) , line(5),
line(6) - 1, line(7) -测验 1,GitHub line(8), line(9) - 1, line(10) - 1,
line(11) - 1, line(12) - 1, line(13), line(14) - 1, line(15) - 1,
line(16) - 1, line(17) - 1, line(18) - 1, line(19) - 1github打不开, line(20) - 1
)
}
// 将字符串的RDD转换成Double类的RDD
def parseRDD(rdd: RDD[String]): RDD[Array[Double]] = {
rdd.mapplicationap(_.split(",")).map(_.map(_.toDouble))
}
//定义main函数
def main(args: Array[String]): Unigiteet = {
//定apple义ScalacAPP
valappearance conf = new Spa测验你的自卑程度rkConf().setAppName("Sgithub永久回家地址parkDFebay")
vaScalal sc = new SparkContext(conf)
val sqlContext = new SQLContext(sc)
//读取CVS文件
import sqlContext.implicits._scalabrine
//榜首个map 将字符串RDD转换成Scala Double RDD  第二个map  将Double 注scalabrine入到Credit的类傍边
//toDF 将scala隐式转换RDD转换成Credit类的DataFrame(一种表格结构)
val crediscalartDF = parseRDD(sc.textFile("germancredit.csv")).mascalar是什么意思p(parseCredit).toDF().cacappstorehe()
creditDF.github敞开私库register测验网速TempTable("credit")
//creditgithubDF.printSchema   打印成果
// creditDF.show测验你的自卑程度
// 可以运用scala教程SQLContext 对数据做进一步SQL测验姓名分数操作
//为了更好地给机器运用对一些GitHub特征appearance进行变化   变成一种维度
val测验姓名分数 feat测验手机是否被监控ureCols =github打不开 Array("balance", "duration", "history", "purpose测验纸怎样看是否怀孕", "amount",
"savings", "employmentappreciate", "instPercent", "sexMarried", "guarantors",
"residenceDuration", "assets", "age", "concCredit", "apartment",
"cred测验抑郁症的20道题its", "occupation",测验手机是否被监控 "dependescalabilitynts", "hasPhone", "foreign")
val assembler = new VectorAssembler().setInputCols(featureCols).setOutpu测验怀孕的试纸图片一深一浅tCol("features")
val df2 = assembler.transform(creditscalabrineDF)
//在2的基础上添加信誉appearance度，这个标签
//creditability 设置为目标值
val labelIndexer = new StringIndexer().setI测验网速nputCol("capplicationreditabiscalabrinelity").setOutputCol("label")
val dGitf3 = labelIndexer.fit(df2).transform(df2)
//对3的数据进行分割APP
//5043randogithub官网m的种子，基本可忽略。
val splitscalar函数Seed = 5043
val Array(traiappearningData, tscala隐式转换estData) =application df3.randomSplit(Arapplicationray(0.7scalar函数, 0.3), splitSeed)
//giti榜首种办法运用随机森林分类器
/*
*MaxDepth 最大深度  越大效果越好，但越延伸练习时间
* NumTrees用于设置测验数的数量  越大精度越高（考虑维度）
* maxBins 最大分桶数  挑选节点割裂
* impurity 核算信息增益的目标
* auto 节点割裂时挑选参与的特征数
* seed 随机生成的种子
*/
val classifier = negithub敞开私库w RandomForestClassifier().setgithub下载Impurity("gini").setMaxDepth(3).setNumTrees(20).setFeatureSubsetStrategy("auto").setgiteeSeed(5043)
val model = cappearancelassifier.fit(traininscala教程gData) //进行练习
val evaluator = new BinaryClassificationEvaluator().setLabelCol("label") //来设置label值
val predictions = model.transform(testData) //进行猜测
model.toDebugStrgiti是什么牌子ing
//保存模型
model.save("BankMscalarodel001")
//核算猜测的准确率application
val accur测验用例acy = evaluator测验.evaluate(predictions)
println("accuracy before pipeline fitting" + accuracy*100+"%")
/*
*第二种办法运用管道形APP式来练习模型（网络查找法）
*
*将不同参数进行组合来猜测成果
*
* */
//运用ParamGgithub怎样下载文件ridappstoreBuilderapp装置下载 东西来构建参数网络
//classifier是已相关好
val paramGitGrid = new ParamGridBuilder()
.addGrid(claappearancessifappreciateier测验手机是否被监控.maxBins, Array(25, 31))
.scalar函数addGrid(classifier.maxDepth, Array(5, 10))
.addGrid(classifier.numTrees, Array(20, 60))
.addGrid(classifier.impurity, Array("entropy", "gini"))
.build()
//创立管道 由一系列stage  每个stage相当于一个 Estimator测评测验者或许Transformer转换者
val steps: Array[PipelineStage] = A测验用例rray(测验你的自卑程度classifier)
val pipeline = new Pipeline().setStages(steps)
//用CrossValidator类完毕模型挑选  不能过高
// 这类让管道在网上匍匐
val cv = new CrossValidagithub打不开tor()
.setEstimator(pipeline)
.setEvaluatoscala教程r(evaluator)
.setEstimatorParamMaps(paramGrid)
.setNumFolds(10)
//管道在参数网络上匍匐不断被优化
val pipelineFittedModel =github打不开 cv.fit(trainingData)
pipscalar是什么意思elineFittedModel.save("BankPipeliscalabrineneMode")
//测验数据
val predictions2 = pipelineFittedModel.transform(testData)
val accuracy2 = evaluator.evaluate(predictions2)
priscala怎样读ntln("accuracy after pipeline fitting" + accuracy2*100+"%")
}
}

将项目打包成jar 上传到spark集群中进行核算，取得模型准确率：