作者 | CQT&星云团队

一、布景

代码级质量技能：顾名思义为了服务质量更好，涉及到代码层面的相关技能，特别要指出的是，代码级质量技能不单纯指代码召回技能，如静态代码扫描、单元测验等。

研讨代码级质量技能首要有以下几个方面的原因：

1、跟着精准测验等概念的鼓起，对代码掩盖率的依靠逐渐加剧，代码插桩的功用、准确性、时效性等都成为业界要处理的难题；

2、跟着智能化，尤其是依据危险驱动的测验开展，对代码的了解需求得到打破，才干更好的从代码完成中挖掘危险、判断危险；

3、在黑盒等级的测验，质量作业者往往是经过方针的返回或外在表象观测对下的反常体现然后发现问题，但是其实或许许多潜在的反常并没有到“肉眼”可观测到的等级而导致问题漏出，这时候就需求有更多的方针更细的运转数据来供质量作业者剖析去发现问题的蛛丝马迹，比方：内存泄露、功用恶化等，所以业界有许多prof、火焰图、asan等偏白盒动态检测问题的技能出现；

4、代码作为发生实践问题最前沿的阵地，大部分问题都能够归因到某段代码不合理，假如能够在代码等级直接召回问题，无论从仿真复杂度、修复本钱、定位本钱等均会得到极大改善；

5、代码是工程师沟通的舞台，经过对代码级质量技能的研讨和标准，能够促进代码更加的具有鲁棒性和更优质的规划如单测提高可测性等，也能够促进质量确保人员对代码加深掌控与了解，然后在质量确保各类场合发挥要害作用。

从辅导质量行为、极大提高召回问题才能、增强代码鲁棒性、提高人员对代码的掌控力等多个方面，都能够看出代码级质量技能的要害且不可代替作用，百度质量效能渠道于2019年开端重视和投入该方向，在代码了解、代码探针、代码质量技能运用等多个层级多方面进行探究和落地，接下来的文章中会依次为咱们介绍。

二、代码级质量技能架构

要了解代码级质量技能的原理和后续的首要运用场景，首先要了解代码从言语到可履行态的根本进程，下面以C++为例说下根本进程：

C++从代码到可履行bin文件，首要分为四个阶段：预处理、编译、汇编和链接。

预处理：处理一些#号定义的命令或句子（如#define、#include、#ifdef等），生成.i文件；

编译：进行词法剖析、语法剖析和语义剖析等，生成.s的汇编文件，咱们熟悉的AST抽象语法树就在该进程发生；

汇编：将对应的汇编指令翻译成机器指令，生成二进制.o方针文件；

链接：链接分为两种，静态链接：将静态链接库中的内容直接装填到可履行程序中；动态链接：只在可履行程序中记录与动态链接库中同享方针的映射信息。

代码级质量技能的技能原理，首要是获取到该进程的代码片段数据或植入对应的方针代码，来达到对应的质量方针，如获取片段数据能够用来了解代码判断危险，能够用来指结构化代码结构，供主动生成单元测验和代码检测供给根底数据；如植入对应方针代码，能够用来做插桩（即掩盖率收集）或动态数据收集等。

依据上述介绍与了解，咱们把代码级质量技能划分大范围为两个层次，两个层次内包含多个层次，如下图所示：

大层次一：代码了解，CodeC（Code Comprehend）：偏底层技能，依据底层AST等才能、剖析出代码的特性（AST、调用链、依靠等）和危险度，经过API、SDK等办法对外供给根底服务

• 存储层：首要用来代码编译进程的根底数据和对应的数据存储选型调优等，在这个进程首要难点在于根底东西的选型和进程功用的调优，以达到能够在事务运用的方针；

• 剖析层：剖析层是依托根底的数据，依据特定的要求，对数据进行结构化的建模，如函数调用链、依靠联系等，做好根底的剖析供上层运用；

• 模型层：用于经过剖析层和根底数据，去练习代码存在的潜在危险或危险偏向（功用问题突出等）；

• API层：经过API、SDK等办法对外供给根底服务。

该层会遇到很多技能应战，如要适配不同言语的解析器、编译进程；根底结构进行代码调优；剖析进程数据缺失修复等，是一项非常详尽且有技能应战的作业，当然咱们在该进程也会探究出一些技能经验供咱们参考。

大层次二：代码级质量技能运用，Code：首要是依托代码了解的进程或产出，植入对应的信息，以达到对应的质量方针，这个层次运用场景是要害，因此咱们是以处理问题的方针为导向，对该层次进行细分，所以方针或运用场景的不同会使得该层次的分类会不断增加，现在分为以下四类：

• CodeQ（Code Quality）: 与召回问题相关（智能UT、依据规矩的代码缺陷检测、依据AI的代码缺陷检测、火焰图、ASAN等在个分类）；

• CodeP（Code Probe）：与动态插桩相关（ccover、covtool、jacoco、gocov等在这层），首要是往代码里边植入探针获取运转行为数据；

• CodeH（Code Health）：评价代码健康度（类似sonarcube等）、代码危险度评价用于决议计划后续的质量行为；

• CodeDL(Code defect location)：代码缺陷定位。

下面的章节咱们会分布从第二级的层次，为咱们做根本原理和进程介绍，后续还会有系列发文再深化的介绍对应完成内容。

三、代码了解层介绍

代码了解是一个以软件程序为方针，对其内部的运作流程进行剖析，获取相关的常识信息，这些信息能够用于软件开发、软件测验、软件保护等各个阶段，旨在对程序进行功用优化和正确性验证。代码了解常用的剖析方向有静态剖析、动态剖析、非源码剖析3类，但是跟着LLM大模型的开展，咱们也正在研讨模型在代码了解范畴的打破与运用。

静态剖析：是指在不运转代码的办法下，经过词法剖析、语法剖析、操控流、数据流剖析等技能对程序代码进行扫描，验证代码是否满意标准性、安全性、可靠性、可保护性等目标的一种代码剖析技能。

动态剖析：软件体系在模仿的或真实的环境中履行之前、之中和之后，对软件体系行为的剖析。

非代码剖析：首要是对数据文件、装备文件等非源码文件和源码间进行关联剖析，当代码仓改变时，能感知改变内容对源码、功用的影响。

动态剖析多为对程序进行的一些功用测验或功用测验等对程序的运转成果，资源运用情况的相关程序剖析作业。故本小节首要介绍静态程序剖析相关的代码了解技能，不对动态程序剖析做打开。

静态程序剖析在不履行程序程序的情况下对程序进行剖析，剖析的方针能够是针对特定版别的源代码或许二进制文件，经过词法剖析、语法剖析、操控流、数据流剖析等技能对程序代码进行扫描，依据不同的剖析方针，得到对应的剖析成果。在学术界和工业界首要运用在软件安全范畴，验证代码是否满意标准性、安全性、可靠性、可保护性；在百度内部，除缝隙检测外，静态程序剖析还包含多维度的代码剖析和度量手法，在交给体系和监测体系中被广泛运用。

业界静态剖析一般依据以下4种办法打开：

• 要害字匹配，依据正则表达式剖析

• 依据AST的代码剖析，结合正则表达式和要害字才能

• 长处：结合语法和语义，能够引入作用域等更多概念，更准确。

• 缺陷：无法应对一切场景，别的，依据AST来剖析得到的数据流，忽略了分支、跳转、循环等影响履行进程次序的条件，短少操控流信息。

• 依据IR/CFG的代码剖析等克己的中间言语数据结构剖析

• 归于当时比较干流的代码剖析方案，例如被源伞，完成了多种言语生成统一的IR，这样一来对于新言语的扫描支撑难度就变得大大削减。

• IR：是一种类似于汇编言语的线性代码，其间各个指令依照次序履行。其间现在干流的IR是三地址码（四元组），例如llvm的IR。

• CFG：（Control flow graph）操控流图，在程序中最简单的操控流单位是一个根本块，在CFG中，每一个节点代表一个根本块，每一个边代表一个可控的操控搬运，整个CFG代表了整个代码的的操控流程图。依据IR来生成得到CFG。

• 依据QL（Query Language）剖析

• 例如codeQL，把源代码转化成一个可查询的数据库，经过 对源代码工程进行要害信息剖析提取，构成一个联系型数据库。安全缝隙、Bug 和其他过错被建模为可针对从代码中提取的数据库履行的查询。

常用的静态程序剖析技能：

• 数据流剖析

• 数据流剖析收集程序运转到不同方位时各个值的信息和它们随时间变化的信息。污点检验是一个典型的经过数据流剖析进行程序危险检测的例子，它会找到一切的或许被运用者修正的变量（也便是有“污点”、不安全的变量），并阻挠这些变量在被修复安全缝隙前被运用。

• 操控流剖析

• 用于剖析程序操控流结构的静态剖析技能，意图在于生成程序的操控流图，在污点剖析、编译器规划、程序剖析、程序了解等范畴都有重要运用。

• 指针剖析

• 指针剖析首要用于剖析指针一切或许指向的方针，它会剖析出一个指针所指向的内存方位和所对应的方针。能够用于调用剖析、代码优化、Bug清查、安全性剖析与验证测验。

四、代码级运用之探针

代码探针，也是插桩技能，它是在确保被测程序原有逻辑完整性的根底上在程序中刺进一些探针（又称为“探测仪”，本质上便是进行信息收集的代码段，能够是赋值句子或收集掩盖信息的函数调用），经过探针的履行并抛出程序运转的特征数据，经过对这些数据的剖析，能够获得程序的操控流和数据流信息，然后得到逻辑掩盖等动态信息，然后完成测验意图的办法。

不同言语的插桩技能有所不同，常见的技能有：ccover、covtool、jacoco、gocov。

CodeP代码探针能够运用在: 代码监控（办法履行耗时等），代码剖析（函数、数据流的盯梢等），事务埋点。

除此之外，代码探针最常见的场景是代码掩盖率收集。

4.1 掩盖率

代码掩盖率，是软件测验中的一种度量，描绘程序中源代码被测验的份额和程度，所得份额称为代码掩盖率 ，剖析未掩盖部分的代码，然后反推在前期测验规划是否充沛，没有掩盖到的代码是否是测验规划的盲点。掩盖率计算的分类包含:

行掩盖率：行掩盖率是最根本的目标，表明是否代码中的每个可履行句子都被履行过；

分支掩盖率：分支掩盖运用一组测验参数来测验是否代码中一切的分支都能被测验到了；

途径掩盖率：对包含一切分支在内的一切的途径都能测验一遍，这便是途径掩盖；

改变行掩盖率：上一次发布代码后更新的代码的行掩盖率，这个数据能够便利的看出新的代码是否做了测验。

掩盖率的事务运用场景广泛比方：RD自测、RD准入、QA准出、外包评价、精准测验、集成测验、基线升级评价、灰度测验评价，主动化测验才能评价、众测等。

代码探针完成掩盖率计算的步骤如下:

1、辨认待插桩的函数

2、用codep技能对函数进行插桩，插桩技能分为:

• 源码插桩: 侵入式的在源代码的根底上替换或许刺进别的一些代码

• 编译进程插桩: 在字节码文件中写入桩函数 （如asm、javassit等技能）

3、探针收集掩盖信息整合, 计算掩盖率数据

五、代码级运用之召回

从召回反常问题的角度介绍两类代码级技能运用：智能UT、SA。与现有反常测验办法进行比照剖析，压力测验、功用测验依靠编译运转且需人工结构反常场景，存在高本钱、低召回的问题。而智能UT和SA依据白盒剖析产出的数据能够提早、快速、低本钱、轻量级地召回反常问题。

5.1智能UT

单元测验（unit testing），是指对软件中的最小可测验单元进行查看和验证，这儿的最小测验单元是指函数或许类。在问题召回层面，UT针对最小单元进行测验，结构数据简单、易于验证正确性，便于后续功用的回归，能够更早地发现问题，定位和处理问题本钱低。

传统UT依靠开发人员人工编写单测代码来进行测验，存在开发本钱高、依靠人的意识等缺陷。依据单测的根本原理衍生出了智能UT东西。智能UT经过主动的剖析函数和随机的结构测验数据，可主动生成反常单元测验代码，生成的代码能够直接用于单元测验任务，单元测验运转后，智能UT东西能剖析代码中存在的安稳性问题。

如下图展示，智能UT建设的首要思路是将一个开发人员编写单元测验代码的进程进行拆解，将整个进程抽象为确认待测验函数->剖析代码->结构测验数据->生成测验代码四个步骤，利用白盒数据和一系列算法模仿上述单测代码生成的进程然后主动地生成反常单元测验代码并运用于单元测验任务。

△UT与智能UT进程比照

5.2SA-依据规矩的代码缺陷检测

SA（static analysis）意为静态代码扫描，整个扫描进程无需编译运转，仅经过词法剖析，语法剖析，语义剖析等技能对代码进行扫描，然后发现代码逻辑过错和编程缺陷。依据编程言语的自身特性，可将各类危险场景提取转化为通用的规矩进行反常拦截。现有SA查看是经过依靠代码剖析、依据通用的危险规矩进行代码缺陷查看的静态代码扫描东西，可召回例如空指针访问、数组越界、除零等危险问题。

下图展示了依据规矩的静态代码查看处理流程。

△SA处理流程结构

长处：无需编译运转、资源消耗少，扫描剖析进程高度主动化、不依靠人力。

缺陷：依靠后验常识、存在滞后性，依靠人开发规矩、准召低、可继续性差。

此外在代码级范畴还有专门被测方针动态行为的检测技能，用于发现程序细微的反常，比方业界常用的火焰图、gprof、ASAN等东西，便是在程序运转时收集程序体现数据，用于检测程序反常问题。

六、代码级运用之孤岛函数辨认

6.1 什么是孤岛函数

不被调用的函数被称为孤岛函数。假如一个函数已不再被调用，就成了无用的废弃函数。

6.2 为什么要做孑立函数辨认

无用函数归于技能债管理的场景之一，无用代码的存在增加了软件开发、测验、以及问题排查的开支，例如QA和RD需求更多额外的精力来评价需求的影响范围。

经过孤岛函数辨认的才能能够做无用代码和相关用例、装备、数据的整理，提高代码可保护性，一同提高问题的排查效率。

6.3如何辨认孤岛函数

1、静态剖析办法

原理：经过函数调用剖析，获取入度为0的函数，再结合不同言语特性，筛选出实践未被调用的函数。例如：c++言语中结构函数等非显式调用的函数、纯虚拟函数等函数特性。

• 长处：履行速度快，开发本钱低。

• 缺陷：受限于不同言语特性，辨认准确率需求继续优化。例如：装备反射调用、多态特性下辨认准确率更低。

2、动态剖析办法

原理：经过探针的办法，在程序运转时对函数调用栈进行记录，一般是依据抽样或许开关的办法来操控。

• 长处：辨认准确率相比静态剖析办法要高。

• 缺陷：代码侵入对功用有损，一同也受限于流量丰厚度，或许需求接入适配。

3、动态结合办法

将上述两种办法结合起来时运用，进行才能互补。

这篇文章更多的是从布景、结构和各个层的根本概念介绍了代码级质量技能的概况，接下来的文章将会在各个方面、各个层级进行打开，欢迎咱们重视和一同探讨。

———- END ———-

推荐阅览【技能加油站】系列：

依据openfaas保管脚本的实践

百度工程师移动开发避坑攻略——Swift言语篇

百度工程师移动开发避坑攻略——内存走漏篇

百度工程师教你玩转规划形式（装饰器形式）

揭秘百度智能测验在测验定位范畴实践

百度工程师教你玩转规划形式（适配器形式）