本文内容整理自「智能媒体出产」系列课程第三讲：开发者实战，由阿里云智能视频云技能专家共享云编排Timeline的功用及运用方法、云编排OpenAPI的运用流程、短视频批量出产的基本原理以及运用Timeline组成常见的短视频作用。课程回放见文末。
01 Timeline简化之道
什么是时刻线Timeline？Timeline是一个完好的数据结构，经过数据结构把整个编排表示出来。在云编排编辑器中，界面可分为轨迹、资料、预览窗口、特效设置四个部分。
轨迹分为视频轨、音频轨、字幕轨以及特效轨，上面的轨迹会盖住下面的轨迹，而一个轨迹上能够包括多个资料。
比方，视频轨是依照视频的先后次序拼接起来的，视频上可增加多个特效，像调色、蒙层、裁剪等，视频中可增加转场，也能够经过特效轨的方法，在视频中增加大局特效。字幕轨，能够设置字号、字体以及字幕款式等。
设置每一个资料的开端、完毕时刻，并经过一系列参数组成完好的视频编排。
Timeline编排组成
经过视频组成接口提交编排，组成以下视频。把多个视频拼接起来，增加设置过款式的字幕和贴纸，一起又弥补了上下黑边，将本来的横屏视频资料转成竖屏视频。
Timeline可能包括多个轨迹、每个轨迹包括多个资料、而每个资料又包括许多设置信息，经过拼装时刻线，用户调用OpenAPI就能够编排出自己的视频。
Timeline示例组成作用展现：v.youku.com/v_show/id_X…
Timeline数据结构
Timeline中可包括多种轨迹，包括视频轨、音频轨、字幕轨、特效轨等，而视频轨中也能够包括多个视频或图片资料。
资料最重要的信息是其来历，将OSS文件或VOD媒资ID引进到Timeline中，以此指定仅有的视频或图片。此外，还能够设置资料的开端、完毕时刻，方位、尺度等信息。
在Timeline中，上面的轨迹会盖住下面的轨迹，表现在数据结构中是数组后面的轨迹会放置在上面，如下图代码所示：上面的轨迹是视频，下面的轨迹是图片。而字幕轨也能够包括多个片段，能够是标题、底部的翻译等信息。
文中形如 “your-bucket.oss-cn-shanghai.aliyuncs.com/your-video.…” 的OSS URL均为示例地址，实践履行需替换成客户真实OSS地址履行。
接下来介绍每类轨迹资料的详细参数设置：
l VideoTrackClip
VideoTrackClip是视频轨上的片段，比方视频或图片，能够设置其在成片画布上的方位，如XY坐标、宽高，以及在时刻线中的方位等。
例如，想把一个视频资料的第5秒到第10秒截取出来，放在时刻线第15秒到第20秒的方位，那能够将它的In、Out、Timelinein、Timelineout别离设置为5、10、15、20。
一起还能够给视频增加特效，除了转场、滤镜外还有一些基础特效，比方音量调整、倍速、裁剪、视频水平翻转、旋转、AI特效、字幕款式、绿幕抠图、智能遮标等。
l AudioTrackClip
AudioTrackClip是音频轨上的资料，与视频轨不同，音频没有画布的概念，能够设置其在时刻线中的方位，比方第几秒呈现、第几秒完毕，也能够设置其在原资料中截取的方位。
此外，音频也能够增加一些特效，比方音量、倍速、是否循环播映、淡入淡出、语音辨认等。
音频轨中的资料，能够是音频或有音频流的视频，也支撑把一段文字转成人声，作为音频播映。文字转人声能够设置人声的类型、语速、腔调等，一起，在组成进程中，也能够把文字转换为字幕，增加到视频中。
l SubtitleTrackClip
SubtitleTrackClip是字幕轨上的资料，能够是文字或是字幕文件。
假如是一段文字，能够设置这段文字在成片画布中的方位，x、y坐标，在时刻线中的方位，还能够设置字体、字号、色彩、描边及暗影特点、动画等。
假如资料为字幕文件，则支撑SRT或许ASS字幕，一起，字幕款式包括在字幕文件里，能够直接组成到视频中。
l EffectTrackClip
EffectTrackClip是特效轨，一般在特效轨中设置大局特效，比方气氛类特效、滤镜、调色等，也能够设置特效在视频中的开端和完毕时刻。在资料中也能够设置特效，把它参加Effects里即可。特效的要害参数是其类型，部分特效能够设置调色等参数。
Timeline简化
Timeline轨迹中参数繁多，编排场景十分杂乱，因而对Timeline进行简化至关重要。
在编排进程中，Timeline会先剖析用户传入的资料，然后依据资料补全参数。
比方在两个10s视频前后拼接的场景中，用户只需求传入两个视频的MediaURL，Timeline就能够主动进行推导，而不再需求传入时刻、坐标等参数。
由此，开发人员在运用云编排时，不光能够进行十分杂乱的编排操作，也能够进行一些简略的视频处理作业。
比方视频的拼接，开发人员只需传入两个视频的地址，拼装成一个简略的Timeline即可进行拼接。
比方视频的裁剪，用户只需传入视频资料以及裁剪方位，而无需传入分辨率等其他信息。
再比方文字转语音，音频轨的输入能够是一段文字，在实践编排进程中，会把文字转成语音进行组成。用户将文字转为音频和字幕，并组成到视频中，只需制造一个Timeline即可。
组成作用展现：v.youku.com/v_show/id_X…
02 OpenAPI 调用攻略
Timeline有何作用？
有了Timeline，调用OpenAPI提交编排组成使命，就能够组成出成片。提交编排组成作业的接口是SubmitMediaProducingJob，输入是Timeline，OutputMediaConfig输出地址和输出装备，能够设置成片的宽高、码率以及其他的转码参数。
依据此，用户只需提交一个接口就能够组成视频。提交成功后会回来JobId，依据JobId查询编排组成作业的状况，当状况为成功的时候，代表成片组成完结。
查询编排组成作业的接口是GetMediaProducingJob，输入JobId，输出Job信息，由此查询到使命状况。
用户提交编排组成作业的全体流程为：提交Timeline和OutputMediaConfig之后，同步回来JobId、ProjectId和MediaId，其间ProjectId和MediaId能够便运用户进行一些后续的操作。
当编排完结今后，用户能够经过轮询的方法，依据JobId不断请求Job信息，终究拿到结果。一起，也支撑回调的方法，传入回调地址或许MNS行列，在编排完结今后回调给用户。
简略来说，用户提交一次编排只需用到以上两个接口，然后能够把更多的精力放在Timeline的拼装上。
03 营销短视频是怎样组成的？
实践部分将以口播案牍为索引，分步演示怎么运用Timeline和OpenAPI编排组成营销短视频。
运用资料组成短视频的流程是：先把案牍转化成人声，配上布景音乐，然后和视频资料拼接到一起，终究弥补特效、Logo以及标题，由此组成终究的成片。
组成作用展现：v.youku.com/v_show/id_X…那么，怎么运用Timeline来组成此视频？
首要剖析该视频，不难发现，该视频是由以下几个首要轨迹组成：视频轨包括了悉数视频资料，是一个首要的轨迹；案牍转成了字幕，组成了首要的字幕轨；案牍转成的人声组成了一个音频轨，此外，布景音乐构成了别的一个音频轨；叠加的大局特效组成了特效轨。
接下来别离看这些轨迹是怎么组成的。l 视频横转竖上述说到，把视频资料拼接起来，只需填入要害信息即可。
该Timeline 的功用是把每个资料截取前两秒，依照时刻次序拼接到一起。
此外，视频资料是横屏的，假如期望输出一个竖版视频在手机上播映，只需求在输出装备里边设置分辨率即可，比方720✖️280，由此输出了一个720P的视频。
一起，会默认把每个资料进行等比缩放，并依照成片的分辨率居中展现，不足部分弥补上下黑边，即可完结视频横转竖作用。
组成作用展现：v.youku.com/v_show/id_X…
布景含糊当然，上下黑边的作用仍不够好，我们期望在不足部分弥补上毛玻璃作用，把整个视频用内容填满。
在Timeline上的完结是这样的：增加Effects，Type是Background，增加布景含糊作用，一起SubType为Blur，并设置含糊半径。
组成作用展现：v.youku.com/v_show/id_X… 字幕转人声、布景音乐接下来弥补人声和布景音乐，别离为两个音频轨，完结一起播映作用。
在人声的音频轨中，设置人声类型，将案牍资料组成到视频中，一起，增加Effects为AI_ASR，把辨认出来的人声转成字幕并设置字幕款式。
在布景音乐的音频轨中，只需设置其URL，就能够从第0秒播映到视频的完毕。
组成作用展现：v.youku.com/v_show/id_X… 增加标题、修改字幕款式标题作为字幕，增加时只需新增一个字幕轨并将其置入即可。
字幕能够设置各种特点，比方字号、字体、色彩、描边、暗影等。在短视频中还常常运用花字、字幕动画等，将字幕居中对齐，设置为TopCenter并确定居顶的外坐标即可。
标题和AI_TTS中增加字幕款式特点
组成作用展现：v.youku.com/v_show/id_X… 转场、特效转场即Transition，需求设置其类型以及持续时刻，需求留意的是，转场会占用前后两个视频的时刻，因为转场是上下两个视频之间的过渡。
比方，把两个1秒的视频拼接起来，中间加一个0.3秒的转场，那么终究成片的时刻为1.7秒，即需求减去转场的时刻。特效即VFX，比方电影特效、气氛特效等。
组成作用展现：v.youku.com/v_show/id_X… 随机特效、随机截取随机作用是编排进程中常常会运用到的功用，用户期望只运用一个时刻线，完结每次编排时随机选择一个特效和转场进行运用的作用。
随机作用有许多，这儿介绍随机特效和随机截取。转场和特效的SubType能够设置为多个，并用英文逗号离隔，这样在实践组成进程中，就能够随机选取一个进行组成。
截取能够增加一个Effect：Clip，再增加SubType为RandomClip，并设置随机截取的时长，比方2秒，这样在每次编排进程中，会在资料里随机截取2秒，假如资料不足2秒则直接运用资料的悉数时长。
组成作用展现：v.youku.com/v_show/id_X…
以上讲解了短视频每个轨迹的制造进程、Timeline展现以及运用的功用，完好的时刻线和代码见文末课程回放。
l 字幕对齐
上述场景中，是把每个资料随机截取2秒进行前后拼接，更好的作用是把每个资料和每句话的开端完毕时刻一一对应，以此更赋有节奏感。
组成作用展现：v.youku.com/v_show/id_X…
怎么组成有节奏感的视频呢？
首要，能够依据文字资料生成字幕和音频，以此获取每句话的开端、完毕时刻。
依据此信息，即可依据字幕截取资料，然后再把截出来的片段依照次序进行拼接，使得每个资料正好和语句对齐，然后到达预期作用。
这儿要额定用到一个接口，即提交智能出产作业。此接口有三个参数，FunctionName为AsyncTextToSpeech，即文字转语音；Input是一段案牍，需求将其放到OSS文件里；Output是音频和语句的时刻戳。
提交完结后会回来一个JobId，依据JobId调用QueryIProductionJob获取使命信息，当使命状况为Success时即可得到使命结果。
全体流程为：首要，用案牍调用SubmitIProductionJob，提交文字转语音使命，调用QueryIProductionJob查询使命的结果。
当使命状况为Success时，获取人声的音频，以及每句话的开端、完毕时刻。
其次，依据此信息封装时刻线，把资料正好卡在每一句话的开端、完毕时刻上，进行一一对齐。
然后，调用SubmitMediaProducingJob提交编排组成使命，依据编排组成使命的JobId调用MediaProducingJob，等待编排使命组成完结。
当使命状况为Success时，获取终究成片。（详细代码见文末课程回放）
除了以案牍为主线截取视频资料之外，还能够依据音乐卡点、剧本等完结视频的“节奏感”，拼装时刻线进行视频组成，就能完结视频批量出产的作用。
04 Tips：经历共享
终究共享一些云编排的相关经历。
视频的批量出产、批量混剪，在云编排中十分常见。
跟着短视频的鼓起，客户需求在不同的营销号上分发不同的广告内容，然后到达宣扬的意图。
因为分发到不同营销号上，分发的视频之间不能重复，此时云编排就发挥了重大作用。
客户一般会预备许多资料，分成不同的组，然后经过套用不同的剧本，加上特效、转场、字幕、布景音乐，制造出许多成片，终究再经过主动化的方法进行分发，然后到达批量出产的意图，一起也大大节省了人力本钱。
以下是批量混剪多个成片的作用，能够看到，不同成片之间，选择的资料、资料的次序、截取资料的方位是不一样的，再加上不同的特效、贴纸、字幕、转场等，就能完结较好的去重作用。
组成作用展现：v.youku.com/v_show/id_X…
节奏卡点
视频的批量混剪内含许多小技巧，比方卡点。
卡点能让视频更有节奏感，然后到达更好的作用。除了口播案牍外，也能够经过卡点相册来到达作用，并且音乐卡点的节奏感更强，能给人一种冲击感。
组成作用展现：v.youku.com/v_show/id_X…
上一节课介绍过，视频AI能够主动辨认出一首歌的副歌部分和节奏卡点，由此就能够主动制造出卡点相册，然后到达批量化和主动化制造视频的作用。
除此之外，歌曲歌词、小说、剧本制造等都能够全主动地生成视频。
分镜时长
卡点作为一个很小的剧本，决议了视频以什么样的结构展开，而剧本制造也包括了一些小技巧：比方分镜，即一个视频片段，一个分镜的时刻不主张超过3s，太长的分镜会让用户视觉疲劳，尤其是在看短视频时，用户都想以最快速度看到自己想要的内容。
因而，无论是口播案牍、卡点仍是剧本，每个片段的时刻都不要太长。（分镜时长差异作用详见文末课程回放）
资料选择
除此之外，片段时长短还有另一个好处：选择资料会更便利。
组成作用展现：v.youku.com/v_show/id_X…
以上述资料举例，此类资料的特点为视频内容并没有产生太大的改变，能够截取恣意部分套入剧本进行编排。
在编排中时常存在一种误区，即人们往往想确保资料的完好性，而这其实是不对的。
在编排中，首要要确保剧本的完好性，因为剧本才是视频的魂灵，要以资料适配剧本，而不是以剧本适配资料。
此外，更重要的是能进步开发的功率。用户上传的资料多种多样，假如针对资料去做适配十分繁琐，但假如先预备好剧本，然后让用户的资料来适配剧本，则能够极大地简化开发量。
还有一种状况是，用户上传的每个资料都很短，比方都是1秒，但剧本里需求一个2秒的资料，这种状况下更主张预备多个剧本，适配不同的资料，当拿到用户资料今后，直接选择对应的剧本进行组成即可。
而智能媒体出产的模板工厂功用，则能够把用户常见的时刻线沉淀到模板中，即方才所说的剧本，将其做成一个个模板供编排运用。
总结视频批量出产的全体流程：首要创建剧本，剧本来历能够是口播案牍、音乐卡点、或是自己创造的剧本。
其次，预备多个用来适配不同剧本的资料，能够是长视频或是短视频。
终究，在用户传完资料之后，依据用户的资料选择对应的剧本并进行组成。
由此，能够减少许多不必要的适配作业，进步开发功率，降低开发本钱，一起还能获得许多模板沉淀，然后进步视频批量出产功率。
视频编排场景杂乱，在实践的作业中更调查创造者的构思与构思。运用云编排工具，智能媒体出产依托云端算力，让编排作业更方便、更高效、更智能，进一步提高媒体出产制造功率。
更多完好内容详见课程回放：v.youku.com/v_show/id_X…
阿里云视频云将职业资深导师共享的视频出产精彩讲演内容，浓缩成智能媒体出产领域的有用宝典《云端智创》电子书，与各位开发者和视频制造技能朋友共享。
《云端智创》电子书获取路径：重视【视频云技能】大众号，回复“电子书”即可领取。
