【实战技巧】前端利用 ffmpeg 播放本地视频

前言

ffmpeg.wasm

先来学习一下这个库的基本用法，全部的 ​​API​​ 都在下面了。

• ​​createFFmpeg()​​

• ​​ffmpeg.load()​​
• ​​ffmpeg.run()​​
• ​​ffmpeg.FS()​​
• ​​ffmpeg.exit()​​
• ​​ffmpeg.setLogging()​​
• ​​ffmpeg.setLogger()​​
• ​​ffmpeg.setProgress()​​

• ​​fetchFile()​​

安装

npm install @ffmpeg/ffmpeg @ffmpeg/core -S

在模块中导出这两个方法 ​​createFFmpeg​​​, ​​fetchFile​​。

import { createFFmpeg, fetchFile } from '@ffmpeg/ffmpeg';

createFFmpeg

​​createFFmpeg​​​ 是一个创建 ​​ffmpeg​​ 实例的工厂函数。

import { createFFmpeg, fetchFile } from '@ffmpeg/ffmpeg';

const ffmpeg = createFFmpeg({})

参数如下

• corePath： 指定 ​​ffmpeg-core.js​​ 的加载路径。
• log： 是否打开所有日志，默认为 ​​false​​
• logger： 获取日志消息的函数，例： ​​({ message }) => console.log(message)​​
• progress： 跟踪进度的函数，例： ​​p => console.log(p)​​

ffmpeg.load

​​ffmpeg.load()​​​ 返回一个 ​​Promise​​​，用来加载 ​​ffmpeg-core.js​​​ 核心包，在浏览器环境中，​​ffmpeg.wasm-core​​​ 脚本默认是从 ​​CDN​​​ 中获取的，可以在创建 ​​ffmpeg​​​ 实例时通过 ​​corePath​​ 来指定到本地路径。

(async () => {
  await ffmpeg.load();
})();

ffmpeg.run

​​ffmpeg.run(...args)​​​ 返回一个 ​​Promise​​​，官网说这个方法和原生的 ​​ffmpeg​​ 一样，需要传递的参数也一样，但我原生的也不会啊😂😂，算了，知道用法就行了。

(async () => {
  /* 等价于执行了 `$ ffmpeg -i flame.avi -s 1920x1080 output.mp4` */
  await ffmpeg.run('-i', 'flame.avi', '-s', '1920x1080', 'output.mp4');
})();

​​ffmpeg​​ 参数说明：

ffmpeg.FS

​​ffmpeg.FS(method, ...args)​​​ 用来运行 ​​FS​​ 操作。

对于 ​​ffmpeg.wasm​​​ 的输入/输出文件，需要先将它们保存到 ​​MEMFS​​​ 以便 ​​ffmpeg.wasm​​​ 能够使用它们。这里我们依赖 ​​Emscripten​​​ 提供的 ​​FS​​ 方法♂️。

参数如下

• method:需要执行的方法名。
• args:执行方法对应的参数。

/* Write data to MEMFS, need to use Uint8Array for binary data */
// 把文件存入内存中
ffmpeg.FS('writeFile', 'video.avi', new Uint8Array(...));
/* Read data from MEMFS */
// 在内存中读取
ffmpeg.FS('readFile', 'video.mp4');
/* Delete file in MEMFS */
// 在内存中删除
ffmpeg.FS('unlink', 'video.mp4');

ffmpeg.exit

​​ffmpeg.exit()​​​ 用来杀死程序的执行，同时删除 ​​MEMFS​​ 以释放内存。

ffmpeg.setLogging

​​ffmpeg.setLogging(logging)​​ 控制是否将日志信息输出到控制台。

参数如下

• logging:在控制台中打开/关闭日志消息。

ffmpeg.setLogging(true);

ffmpeg.setLogger

​​ffmpeg.setLogger(logger)​​​ 设置和获取 ​​ffmpeg.wasm​​ 的输出消息。。

参数如下

• logger:处理消息的函数。

ffmpeg.setLogger(({ type, message }) => {
  console.log(type, message);
  /*
   * type can be one of following:
   *
   * info: internal workflow debug messages
   * fferr: ffmpeg native stderr output
   * ffout: ffmpeg native stdout output
   */

ffmpeg.setProgress

​​ffmpeg.setProgress(progress)​​​ 进度处理程序，用于获取 ​​ffmpeg​​ 命令的当前进度。

参数如下

• progress:处理进度信息的函数。

ffmpeg.setProgress(({ ratio }) => {
  console.log(ratio);
  /*
   * ratio is a float number between 0 to 1. 0 到 1之间的数字
   */

fetchFile

​​fetchFile(media)​​​ 返回一个 ​​Promise​​​， 用于从各种资源中获取文件。要处理的视频/音频文件可能位于远程 ​​URL​​​ 或本地文件系统中的某个位置。这个函数帮助你获取文件并返回一个 ​​Uint8Array​​​ 变量供 ​​ffmpeg.wasm​​ 使用。

参数如下

• media:​​URL​​​ 字符串、​​base64​​​ 字符串或​​File​​​、​​Blob​​​、​​Buffer​​ 对象。

(async () => {
  const data = await fetchFile('https://github.com/ffmpegwasm/testdata/raw/master/video-3s.avi');
  /*
   * data will be in Uint8Array format
   */

补充

设置 corePath

​​corePath​​​ 支持引入 ​​cdn​​

const ffmpeg = createFFmpeg({
  corePath: 'https://unpkg.com/@ffmpeg/core@0.8.5/dist/ffmpeg-core.js',
})

但是业务需要部署在内网，访问不了 ​​cdn​​​，幸好 ​​corePath​​ 也支持加载本地文件。

这里应该是支持绝对路径，默认会去访问 ​​public​​ 下面的文件。

const ffmpeg = createFFmpeg({
  corePath: 'ffmpeg-core.js',
})

把 ​​node_modules\@ffmpeg\core\dist​​​ 下面的三个文件拷贝到 ​​public​​ 中。

设置日志

在创建实例的时候，通过传入 ​​log: true​​，开启日志。

const ffmpeg = createFFmpeg({
  log: true,
})

也可以通过 ​​ffmpeg.setLogger​​ 自定义日志格式，比如

ffmpeg.setLogger(({ type, message }) => {
  console.log('🚀🚀 ~ message', message);
  console.log('🚀🚀 ~ type', type);
});

还可以直接在创建实例的时候传入 ​​logger​​​ 属性，效果是一样的，建议把 ​​log​​​ 属性改为 ​​false​​，不然日志会重复。

const ffmpeg = createFFmpeg({
  corePath: 'ffmpeg-core.js',
  log: false,
  logger: ({ type, message }) => {
    console.log('🚀🚀 ~ message', message);
    console.log('🚀🚀 ~ type', type);
  }
})

获取进度

如何获取上传文件的进度呢，可以通过 ​​ffmpeg.setProgress​​

ffmpeg.setProgress(({ ratio }) => {
  console.log('🚀🚀 ~ ratio', ratio);
});

也可以直接在创建实例的时候传入 ​​progress​​ 属性，效果是一样的。

const ffmpeg = createFFmpeg({
  corePath: 'ffmpeg-core.js',
  log: false,
  progress: ({ ratio }) => {
    console.log('🚀🚀 ~ ratio', ratio);
  }
})

解决错误

如果产生下面这个错误

本地开发的时候需要在 ​​vue.config.js​​ 中添加

devServer: {
    headers: {
      "Cross-Origin-Opener-Policy": "same-origin",
      "Cross-Origin-Embedder-Policy": "require-corp",
    },
}

如果是 ​​vite​​​ 的项目这样修改 ​​vite.config.ts​​

plugins: [
      vue(),
      vueJsx(),
      {
        name: 'configure-response-headers',
        configureServer: server {
          server.app.use('/node_modules/',(_req, res, next) => {
            res.setHeader('Cross-Origin-Embedder-Policy', 'require-corp');
            res.setHeader('Cross-Origin-Opener-Policy', 'same-origin');
            next();
          });
        }
      }
    ],

部署的时候需要配置 ​​nginx​​ 或者在后端配置。

add_header Cross-Origin-Opener-Policy same-origin;
add_header Cross-Origin-Embedder-Policy require-corp;

本地上传视频

上传文件功能我们用 ​​IView​​ 组件库的上传组件，组件库基本都有上传组件，道理是一样的。

页面组件 ​​main.vue​​

<template>
  <div style="width:100%; height:100%; background-color: #DAE4E4;padding:50px">
    <upload-btn @before-upload="beforeUpload"></upload-btn>
    <video-ref :video-file-url="videoFileUrl"></video-ref>
  </div>
</template>

<script>import { createFFmpeg, fetchFile } from '@ffmpeg/ffmpeg'
import videoRef from '../../components/video/Video.vue'
import UploadBtn from '../../components/video/UploadBtn.vue'

export default {
  data() {
    return {
      ffmpeg: {},
      videoFileUrl: "",
    }
  },
  components: {
    videoRef,
    UploadBtn
  },
  computed: {},
  methods: {
    // 页面初始化逻辑
    async init() {
      await this.initFfmpeg()
    },
    // 初始化 ffmpeg 功能
    async initFfmpeg() {
      this.ffmpeg = createFFmpeg({
        corePath: 'ffmpeg-core.js',
        log: true,
      })
    },
    // 上传文件前的钩子
    async beforeUpload(file) {
      console.log('🚀🚀 beforeUpload ~ file', file);
      await this.ffmpeg.load();
      await this.getVideoFileUrl(file)
    },
    async getVideoFileUrl(file) {
      // 获取资源文件
      const result = await fetchFile(file)
      console.log('🚀🚀 ~ result', result);
      // 对于 ffmpeg.wasm 的输入/输出文件，需要先将它们保存到 MEMFS 以便 ffmpeg.wasm 能够使用它们
      this.ffmpeg.FS('writeFile', `${file.name}`, result);
      await this.ffmpeg.run('-i', `${file.name}`, '-acodec', 'aac', '-vcodec', 'libx264', '-y', `${file.name.split('.')[0]}.mp4`);
      // 在内存中读取文件
      const data = this.ffmpeg.FS('readFile', `${file.name.split('.')[0]}.mp4`);
      // 获取内存中的播放地址
      this.videoFileUrl = URL.createObjectURL(new Blob([data.buffer], { type: 'video/mp4' }))
      console.log('🚀🚀 ~  this.videoFileUrl', this.videoFileUrl);
    }
  },
  async mounted() {
    // 页面初始化逻辑
    await this.init()
  }
}
</script>

子组件上传按钮 ​​UploadBtn.vue​​

<template>
  <div class="upload-btn">
    <i-upload :before-upload="beforeUpload"
               :show-upload-list="false"
               action=""
               name="file"
               accept="video/*">
      <i-button>点击上传视频</i-button>
      <br>
      <br>
    </i-upload>
  </div>
</template>

<script>export default {
  methods: {
    // 上传文件前的钩子
    async beforeUpload(file) {
      this.$emit("before-upload", file)
    },
  }
}
</script>

子组件视频播放器 ​​Video.vue​​

// 播放视频我们采用 `HTML5` 原生标签 `video`。
<template>
  <div class="video-box">
    <video id="videoRef"
           ref="videoRef"
           v-if="videoFileUrl"
           class="videoRef"
           controls>
      <source :src="videoFileUrl"
              type="video/mp4"
    </video>
  </div>
</template>

<script>export default {
  props: {
    videoFileUrl: {
      default: () => (''),
    },
  },
}
</script>