最简单的MediaCodec和MediaExtractor解码并播放视频-六虎

MediaCodec class can be used to access low-level media codecs, i.e. encoder/decoder components. It is part of the Android low-level multimedia support infrastructure. 上面是MediaCodec的简介~~~

话不多说，直接上解码的流程图。

看着很杂乱，其实都是次序的步骤，需求代码的能够直接拉到最底下能看到全部代码，或许去github看完好代码。

MediaExtractor

如字面意思，多媒体提取器，它在Android的音视频开发里首要担任提取视频或许音频中的信息和数据流(例如将视频文件,剥离出音频与视频)，也便是提取&解封装。初始化步骤：

设置文件path。
找到要处理的音频帧/视频帧的索引index。
选择要处理的帧，之后只会回来对应的帧信息。

MediaCodec

解码器效果便是解码，拿到MediaExtractor给的每一帧，解出能够显示或许处理的数据帧用来显示或许二次处理。初始化步骤：

通过类型生成MediaCodec。
依据MediaExtractor得到的信息生成MediaFormat(当然手动生成也能够)装备。
start进入running状况，准备解码

其实跟FFMpeg的解码次序很像，拿到文件信息，解封装找到需求处理的音视频帧Index，依据帧Index生成对应的解码器，开始解码。

解码流程

MediaCodec的首要办法有下面几个：

dequeueInputBuffer() 回来值是一个int值，这个值表示回来的是MediaCodec的第几个输入缓存。比如有4个InputBuffer，这个int可能会依次的0.1.2.3的次序来回来，告知咱们能够往哪个buffe里边放数据，一起能够运用这个index得到一个ByteBuffer来放数据。
queueInputBuffer() 将得到的ByteBuffer传给MediaExtractor，运用MediaExtractor将解码后的数据塞到ByteBuffer里边，之后再调用enqueue办法。
dequeueOutputBuffer() 回来值效果用来符号当时的解码状况。
queueOutputBuffer() 获取一个输出ByteBuffer，能够做相应处理。
releaseOutputBuffer() 将之前获取的输出ByteBuffer释放掉，以供缓冲区的循环运用。

用到的MediaExtractor的办法首要有两个：

readSampleData() 读取一帧数据交给MediaCodec解码。
advance() 移动到下一帧，等待下一次read。

上面是播映的时分用到的首要的办法。这时分启动线程播映循环，就能够将画面显示在跟MediaCodec绑定的surface上了。
但许多时分咱们并不限于仅仅是播映一个视频而已，这样的话跟用VideoView有啥区别？咱们想拿到yuv数据，然后不管是后续保存还是做二次处理都很方便。

那么咱们在调用MediaCodec.configure的时分就不能传surface，直接传null，一起能够指定YUV的格局:

        videoMediaFormat.setInteger(MediaFormat.KEY_COLOR_FORMAT, MediaCodecInfo.CodecCapabilities.COLOR_FormatYUV420Flexible);
        MediaCodec videoCodec = MediaCodec.createDecoderByType(videoMediaFormat.getString(MediaFormat.KEY_MIME));
        videoCodec.configure(videoMediaFormat, null, null, 0);
        videoCodec.start();

一起能够运用mediaCodec.getOutputImage得到一个Image，这样就能够得到YUV数据了，对Image不熟悉的能够移步Image中获得YUV数据及YUV格局了解，能够看到getDataFromImage办法。

            int outputBufferIndex = videoCodec.dequeueOutputBuffer(videoBufferInfo, TIMEOUT_US);
            switch (outputBufferIndex) {
...
                default:
...
// 获取一个Image
                    Image image = videoCodec.getOutputImage(outputBufferIndex);
// 从Image中获取byte[]数据
                    byte[] i420bytes = CameraUtil.getDataFromImage(image, CameraUtil.COLOR_FormatI420);
                    FileUtils.writeToFile(i420bytes, yuvPath, true);
                    byte[] nv21bytes = BitmapUtil.I420Tonv21(i420bytes, width, height);
                    Bitmap bitmap = BitmapUtil.getBitmapImageFromYUV(nv21bytes, width, height);
...
                    // 将该ByteBuffer释放掉，以供缓冲区的循环运用。
                    videoCodec.releaseOutputBuffer(outputBufferIndex, true);
                    break;
            }

下面是完好代码，假如想看更完好的代码，能够点这里:AndroidMediaCodec

public class SimpleDecodeVideoPlayer {
    public void init(String mp4Path, Surface surface) {
        new Thread(() -> {
            try {
                initInternal(mp4Path, surface);
            } catch (IOException e) {
                LogUtil.d(MediaCodecUtil.TAG, e.toString());
                e.printStackTrace();
            }
        }).start();
    }
    private void initInternal(String mp4Path, Surface surface) throws IOException {
        if (TextUtils.isEmpty(mp4Path)) {
            return;
        }
        MediaExtractor mediaExtractor = new MediaExtractor();
        mediaExtractor.setDataSource(mp4Path);
        MediaFormat videoMediaFormat = null;
        int videoTrackIndex = -1;
        for (int i = 0; i < mediaExtractor.getTrackCount(); i++) {
            MediaFormat mediaFormat = mediaExtractor.getTrackFormat(i);
            String mime = mediaFormat.getString(MediaFormat.KEY_MIME);
            if (mime.startsWith("video/")) {
                videoMediaFormat = mediaFormat;
                videoTrackIndex = i;
            }
            LogUtil.d(MediaCodecUtil.TAG, mime);
        }
        if (videoMediaFormat == null) {
            return;
        }
        int width = videoMediaFormat.getInteger(MediaFormat.KEY_WIDTH);
        int height = videoMediaFormat.getInteger(MediaFormat.KEY_HEIGHT);
        long time = videoMediaFormat.getLong(MediaFormat.KEY_DURATION);
        LogUtil.d(MediaCodecUtil.TAG, "width::" + width + " height::" + height + " time::" + time);
        // 只会回来此轨迹的信息
        mediaExtractor.selectTrack(videoTrackIndex);
//        videoMediaFormat.setInteger(MediaFormat.KEY_COLOR_FORMAT, MediaCodecInfo.CodecCapabilities.COLOR_FormatYUV420Flexible);
        MediaCodec videoCodec = MediaCodec.createDecoderByType(videoMediaFormat.getString(MediaFormat.KEY_MIME));
        videoCodec.configure(videoMediaFormat, surface, null, 0);
        videoCodec.start();
        LogUtil.d(MediaCodecUtil.TAG, "getOutputFormat::" + videoCodec.getOutputFormat().toString());
        MediaCodec.BufferInfo videoBufferInfo = new MediaCodec.BufferInfo();
        boolean isVideoEOS = false;
        boolean end = false;
        long startMs = System.currentTimeMillis();
        while (!end) {
            //将资源传递到解码器
            if (!isVideoEOS) {
                // dequeue:出列，拿到一个输入缓冲区的index，因为有好几个缓冲区来缓冲数据，所以需求先恳求拿到一个InputBuffer的index，-1表示暂时没有可用的
                int inputBufferIndex = videoCodec.dequeueInputBuffer(-1);
                if (inputBufferIndex >= 0) {
                    // 运用回来的inputBuffer的index得到一个ByteBuffer，能够放数据了
                    ByteBuffer inputBuffer = videoCodec.getInputBuffer(inputBufferIndex);
                    // 运用extractor往MediaCodec的InputBuffer里边写入数据，-1表示已全部读取完
                    int sampleSize = mediaExtractor.readSampleData(inputBuffer, 0);
                    LogUtil.d(MediaCodecUtil.TAG, "inputBufferIndex::" + inputBufferIndex + " sampleSize::" + sampleSize + " mediaExtractor.getSampleTime()::" + mediaExtractor.getSampleTime());
                    if (sampleSize < 0) {
                        videoCodec.queueInputBuffer(inputBufferIndex, 0, 0, 0,
                                MediaCodec.BUFFER_FLAG_END_OF_STREAM);
                        isVideoEOS = true;
                    } else {
                        // 填充好的数据写入第inputBufferIndex个InputBuffer，分贝设置size和sampleTime，这里sampleTime纷歧定是次序来的，所以需求缓冲区来调节次序。
                        videoCodec.queueInputBuffer(inputBufferIndex, 0, sampleSize,
                                mediaExtractor.getSampleTime(), 0);
                        // 在MediaExtractor执行完一次readSampleData办法后，需求调用advance()去跳到下一个sample，然后再次读取数据
                        mediaExtractor.advance();
                        isVideoEOS = false;
                    }
                }
            }
            // 获取outputBuffer的index，
            int outputBufferIndex = videoCodec.dequeueOutputBuffer(videoBufferInfo, 10000);
            switch (outputBufferIndex) {
                case MediaCodec.INFO_OUTPUT_FORMAT_CHANGED:
                    LogUtil.v(MediaCodecUtil.TAG, outputBufferIndex + " format changed");
                    break;
                case MediaCodec.INFO_TRY_AGAIN_LATER:
                    LogUtil.v(MediaCodecUtil.TAG, outputBufferIndex + " 解码当时帧超时");
                    break;
                case MediaCodec.INFO_OUTPUT_BUFFERS_CHANGED:
                    //outputBuffers = videoCodec.getOutputBuffers();
                    LogUtil.v(MediaCodecUtil.TAG, outputBufferIndex + " output buffers changed");
                    break;
                default:
                    //直接渲染到Surface时运用不到outputBuffer
                    //ByteBuffer outputBuffer = videoCodec.getOutputBuffer(outputBufferIndex);
                    //假如缓冲区里的可展现时刻>当时视频播映的进展，就休眠一下
                    sleepRender(videoBufferInfo, startMs);
                    // 将该ByteBuffer释放掉，以供缓冲区的循环运用。
                    videoCodec.releaseOutputBuffer(outputBufferIndex, true);
                    break;
            }
            if ((videoBufferInfo.flags & MediaCodec.BUFFER_FLAG_END_OF_STREAM) != 0) {
                LogUtil.v(MediaCodecUtil.TAG, "buffer stream end");
                end = true;
            }
        }//end while
        mediaExtractor.release();
        videoCodec.stop();
        videoCodec.release();
    }
    private void sleepRender(MediaCodec.BufferInfo audioBufferInfo, long startMs) {
        while (audioBufferInfo.presentationTimeUs / 1000 > System.currentTimeMillis() - startMs) {
            try {
                Thread.sleep(10);
            } catch (InterruptedException e) {
                e.printStackTrace();
            }
        }
    }
}

参阅： Android视频编解码 Android MediaCodec stuff

最简单的MediaCodec和MediaExtractor解码并播放视频

MediaExtractor

MediaCodec

解码流程

作者信息

推广

最简单的MediaCodec和MediaExtractor解码并播放视频

MediaExtractor

MediaCodec

解码流程

相关文章

Swift底层探索（六）Swift内存管理的源码分析

协程+Retrofit 让你的代码足够优雅

Github国内2FA配置（需要魔法）

SpringCloud 微信小程序 获取手机号一键登录 【SpringCloud系列14】

作者信息

推广

SpringCloud 微信小程序获取手机号一键登录【SpringCloud系列14】