HTML5:使用Canvas实时处理Video

2015/09/11 · HTML5 ·
Canvas

本文由 伯乐在线
cucr
翻译,唐尤华
校稿。未经许可,禁止转载!
英文出处:mozilla。欢迎加入翻译组

结合HTML5下的videocanvas的功能,你可以实时处理视频数据,为正在播放的视频添加各种各样的视觉效果。本教程演示如何使用JavaScript代码实现chroma-keying特效(也被称为“绿色屏幕效应”)。

请看这个实例.

/*****************************************
Struct: CodecCtx
Description: FFMpeg编解码器上下文
****************************************bet36365注册送奖金,*/
typedef struct
{
AVCodec *codec; //指向编解码器实例
AVFrame *frame; //保存解码之后/编码之前的像素数据
AVCodecContext *c; //编解码器上下文,保存编解码器的一些参数设置
AVPacket pkt; //码流包结构,包含编码码流数据
} CodecCtx;
2、FFMpeg编码的主要步骤:

关于作者:cucr

bet36365注册送奖金 1

新浪微博:@hop_ping
个人主页
·
我的文章
·
17

bet36365注册送奖金 2

int avcodec_open2(AVCodecContext *avctx, const AVCodec *codec,
AVDictionary **options);
该函数的前两个参数是我们刚刚建立的两个对象,第三个参数为一个字典类型对象,用于保存函数执行过程总未能识别的AVCodecContext和另外一些私有设置选项。函数的返回值表示编码器是否打开成功,若成功返回0,失败返回一个负数。调用方式为:

文档内容

本文使用的XHTML文档如下所示。

XHTML

<!DOCTYPE html PUBLIC “-//W3C//DTD XHTML 1.0 Transitional//EN”
http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd"&gt; <html
xmlns=”http://www.w3.org/1999/xhtml"&gt; <head> <style> body
{ background: black; color:#CCCCCC; } #c2 { background-image:
url(foo.png); background-repeat: no-repeat; } div { float: left; border
:1px solid #444444; padding:10px; margin: 10px; background:#3B3B3B; }
</style> <script type=”text/javascript;version=1.8″
src=”main.js”></script> </head> <body
onload=”processor.doLoad()”> <div> <video id=”video”
src=”video.ogv” controls=”true”/> </div> <div> <canvas
id=”c1″ width=”160″ height=”96″/> <canvas id=”c2″ width=”160″
height=”96″/> </div> </body> </html>

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN"
        "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd">
<html xmlns="http://www.w3.org/1999/xhtml">
  <head>
    <style>
      body {
        background: black;
        color:#CCCCCC;
      }
      #c2 {
        background-image: url(foo.png);
        background-repeat: no-repeat;
      }
      div {
        float: left;
        border :1px solid #444444;
        padding:10px;
        margin: 10px;
        background:#3B3B3B;
      }
    </style>
    <script type="text/javascript;version=1.8" src="main.js"></script>
  </head>
 
  <body onload="processor.doLoad()">
    <div>
      <video id="video" src="video.ogv" controls="true"/>
    </div>
    <div>
      <canvas id="c1" width="160" height="96"/>
      <canvas id="c2" width="160" height="96"/>
    </div>
  </body>
</html>

以上代码关键部分如下:

1.创建了两个canvas元素,ID分别为c1和c2。c1用于显示当前帧的原始视频,c2是用来显示执行chroma-keying特效后的视频;c2预加载了一张静态图片,将用来取代视频中的背景色部分。
2.JavaScript代码从main.js文件导入;这段脚本使用JavaScript
1.8的特性,所以在导入脚本时,第22行中指定了版本。
3.当网页加载时,main.js中的processor.doLoad()方法会运行。

avcodec_register_all();
编解码器注册完成之后,根据指定的CODEC_ID查找指定的codec实例。CODEC_ID通常指定了编解码器的格式,在这里我们使用当前应用最为广泛的H.264格式为例。查找codec调用的函数为avcodec_find_encoder,其声明格式为:

处理视频帧数据

computeFrame()方法,如下所示,实际上负责抓取每一帧的数据和执行chroma-keying特效。

JavaScript

computeFrame: function() { this.ctx1.drawImage(this.video, 0, 0,
this.width, this.height); let frame = this.ctx1.getImageData(0, 0,
this.width, this.height); let l = frame.data.length / 4; for (let i = 0;
i < l; i++) { let r = frame.data[i * 4 + 0]; let g = frame.data[i
* 4 + 1]; let b = frame.data[i * 4 + 2]; if (g > 100 && r >
100 && b < 43) frame.data[i * 4 + 3] = 0; }
this.ctx2.putImageData(frame, 0, 0); return; }

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
computeFrame: function() {
    this.ctx1.drawImage(this.video, 0, 0, this.width, this.height);
    let frame = this.ctx1.getImageData(0, 0, this.width, this.height);
    let l = frame.data.length / 4;
 
    for (let i = 0; i < l; i++) {
      let r = frame.data[i * 4 + 0];
      let g = frame.data[i * 4 + 1];
      let b = frame.data[i * 4 + 2];
      if (g > 100 && r > 100 && b < 43)
        frame.data[i * 4 + 3] = 0;
    }
    this.ctx2.putImageData(frame, 0, 0);
    return;
  }

当它被调用后,video元素将显示最近的视频帧数据,如下所示:

bet36365注册送奖金 3

在第2行,视频帧被复制到第一个canvas
ctx1的图形上下文中,高度和宽度值指定为我们之前保存的帧大小的一半。注意,您可以通过传递video元素到绘图上下文的drawImage()方法来绘制当前视频帧。其结果是:

bet36365注册送奖金 4

第3行代码通过调用第一个canvas上下文的getImageData()方法,来获取原始图像数据当前视频帧的一个副本。它提供了原始的32位像素图像数据,这样我们就能够进行操作。第4行代码通过将帧图像数据的总长度除以4,来计算图像的总像素数。

第6行代码循环扫描所有像素,获取每个像素的红、绿、蓝值,同时和预定义的背景色进行比较,这些背景色将用foo.png中导入的背景图像替换。

被检测成背景的每一个像素,将它的alpha值替换为零,表明该像素是完全透明的。结果,最终的图像背景部分是100%透明的,这样在第13行代码,把它被绘制到目标的上下文中时,效果是内容叠加到静态背景上。

由此产生的图像看起来像这样:

bet36365注册送奖金 5

在视频播放时反复这样做,这样一帧接一帧处理,呈现出chroma-key的特效。

请看这个实例。

1 赞 1 收藏
评论

/* get the delayed frames */
for (got_output = 1; got_output; frameIdx++)
{
fflush(stdout);

JavaScript代码

main.js中的JS代码包含三个方法。

if (got_output)
{
//获得一个完整的编码帧
printf(“Write frame %3d (size=%5d)\n”, frameIdx, ctx.pkt.size);
fwrite(ctx.pkt.data, 1, ctx.pkt.size, io_param.pFout);
av_packet_unref(&(ctx.pkt));
}
因此,一个完整的编码循环提就可以使用下面的代码实现:

初始化chroma-key

doLoad()方法在XHTML文档初始加载时调用。这个方法的作用是为chroma-key处理代码准备所需的变量,设置一个事件侦听器,当用户开始播放视频时我们能检测到。

JavaScript

doLoad: function() { this.video = document.getElementById(“video”);
this.c1 = document.getElementById(“c1”); this.ctx1 =
this.c1.getContext(“2d”); this.c2 = document.getElementById(“c2”);
this.ctx2 = this.c2.getContext(“2d”); let self = this;
this.video.addEventListener(“play”, function() { self.width =
self.video.videoWidth / 2; self.height = self.video.videoHeight / 2;
self.timerCallback(); }, false); },

1
2
3
4
5
6
7
8
9
10
11
12
13
doLoad: function() {
    this.video = document.getElementById("video");
    this.c1 = document.getElementById("c1");
    this.ctx1 = this.c1.getContext("2d");
    this.c2 = document.getElementById("c2");
    this.ctx2 = this.c2.getContext("2d");
    let self = this;
    this.video.addEventListener("play", function() {
        self.width = self.video.videoWidth / 2;
        self.height = self.video.videoHeight / 2;
        self.timerCallback();
      }, false);
  },

这段代码获取XHTML文档中video元素和两个canvas元素的引用,还获取了两个canvas的图形上下文的引用。这些将在我们实现chroma-keying特效时使用。

addEventListener()监听video元素,当用户按下视频上的播放按钮时被调用。为了应对用户回放,这段代码获取视频的宽度和高度,并且减半(我们将在执行chroma-keying效果时将视频的大小减半),然后调用timerCallback()方法来启动视频捕捉和视觉效果计算。

/* encode 1 second of video */
for (frameIdx = 0; frameIdx < io_param.nTotalFrames; frameIdx++)
{
av_init_packet(&(ctx.pkt)); //初始化AVPacket实例
ctx.pkt.data = NULL; // packet data will be allocated by the encoder
ctx.pkt.size = 0;

定时器回调

定时器回调函数在视频开始播放时被调用(当“播放”事件发生时),然后负责自身周期调用,为每一帧视频实现keying特效。

JavaScript

timerCallback: function() { if (this.video.paused || this.video.ended) {
return; } this.computeFrame(); let self = this; setTimeout(function () {
self.timerCallback(); }, 0); },

1
2
3
4
5
6
7
8
9
10
timerCallback: function() {
    if (this.video.paused || this.video.ended) {
      return;
    }
    this.computeFrame();
    let self = this;
    setTimeout(function () {
        self.timerCallback();
      }, 0);
  },

回调函数首先检查视频是否正在播放;如果没有,回调函数不做任何事并立即返回。

然后调用computeFrame()方法,该方法对当前视频帧执行chroma-keying特效。

回调函数做的最后一件事就是调用setTimeout(),来让它自身尽快地被重新调用。在真实环境中,你可能会基于视频的帧率来设置调用频率。

while (numCoded < maxNumToCode)
{
read_yuv_data();
encode_video_frame();
write_out_h264();
}
其中,read_yuv_data部分直接使用fread语句读取即可,只需要知道的是,三个颜色分量Y/U/V的地址分别为AVframe::data[0]、AVframe::data[1]和AVframe::data[2],图像的宽度分别为AVframe::linesize[0]、AVframe::linesize[1]和AVframe::linesize[2]。需要注意的是,linesize中的值通常指的是stride而不是width,也就是说,像素保存区可能是带有一定宽度的无效边区的,在读取数据时需注意。

int av_image_alloc(uint8_t *pointers[4], int linesizes[4], int
w, int h, enum AVPixelFormat pix_fmt, int align);
该函数的四个参数分别表示AVFrame结构中的缓存指针、各个颜色分量的宽度、图像分辨率(宽、高)、像素格式和内存对其的大小。该函数会返回分配的内存的大小,如果失败则返回一个负值。具体调用方式如:

ret = avcodec_encode_video2(ctx.c, &(ctx.pkt), NULL, &got_output);      //输出编码器中剩余的码流
if (ret < 0)
{
    fprintf(stderr, "Error encoding frame\n");
    exit(1);
}

if (got_output) 
{
    printf("Write frame %3d (size=%5d)\n", frameIdx, ctx.pkt.size);
    fwrite(ctx.pkt.data, 1, ctx.pkt.size, io_param.pFout);
    av_packet_unref(&(ctx.pkt));
}

成功将原始的YUV像素值保存到了AVframe结构中之后,便可以调用avcodec_encode_video2函数进行实际的编码操作。该函数可谓是整个工程的核心所在,其声明方式为:

为了实现调用FFMpeg的API实现视频的编码,以下结构是必不可少的:

如果我们就此结束编码器的整个运行过程,我们会发现,编码完成之后的码流对比原来的数据少了一帧。这是因为我们是根据读取原始像素数据结束来判断循环结束的,这样最后一帧还保留在编码器中尚未输出。所以在关闭整个解码过程之前,我们必须继续执行编码的操作,直到将最后一帧输出为止。执行这项操作依然调用avcodec_encode_video2函数,只是表示AVFrame的参数设为NULL即可:

(1)、输入编码参数

AVCodec:AVCodec结构保存了一个编解码器的实例,实现实际的编码功能。通常我们在程序中定义一个指向AVCodec结构的指针指向该实例。
AVCodecContext:AVCodecContext表示AVCodec所代表的上下文信息,保存了AVCodec所需要的一些参数。对于实现编码功能,我们可以在这个结构中设置我们指定的编码参数。通常也是定义一个指针指向AVCodecContext。
AVFrame:AVFrame结构保存编码之前的像素数据,并作为编码器的输入数据。其在程序中也是一个指针的形式。
AVPacket:AVPacket表示码流包结构,包含编码之后的码流数据。该结构可以不定义指针,以一个对象的形式定义。
在我们的程序中,我们将这些结构整合在了一个结构体中:

avctx: AVCodecContext结构,指定了编码的一些参数;
avpkt: AVPacket对象的指针,用于保存输出码流;
frame:AVframe结构,用于传入原始的像素数据;
got_packet_ptr:输出参数,用于标识AVPacket中是否已经有了完整的一帧;
返回值:编码是否成功。成功返回0,失败则返回负的错误码
通过输出参数*got_packet_ptr,我们可以判断是否应有一帧完整的码流数据包输出,如果是,那么可以将AVpacket中的码流数据输出出来,其地址为AVPacket::data,大小为AVPacket::size。具体调用方式如下:

使用FFMpeg进行视频编码的主要流程如:

(2)、按照要求初始化需要的FFMpeg结构

} //for (got_output = 1; got_output; frameIdx++)
此后,我们就可以按计划关闭编码器的各个组件,结束整个编码的流程。编码器组件的释放流程可类比建立流程,需要关闭AVCocec、释放AVCodecContext、释放AVFrame中的图像缓存和对象本身:

AVCodecContext *avcodec_alloc_context3(const AVCodec *codec);
其特点同avcodec_find_encoder类似,返回一个指向AVCodecContext实例的指针。如果分配失败,会返回一个空指针。调用方式为:

发表评论

电子邮件地址不会被公开。 必填项已用*标注

网站地图xml地图