织梦CMS - 轻松建站从此开始!

罗索

mplayer音视频同步浅度学习 && VLC视频处理代码浅析

落鹤生 发布于 2011-11-11 09:52 点击:次 
对于音频数据,前面的过程跟视频类似 ,不同的是音频输出环节。视频播放处理是在一个线程内循环完成的,但音频播放的不同模块运行在不同的线程上。音视频的同步完全是按照demux后音视频各自的PTS进行的,原理上跟mplayer 的同步机制完全不同。
TAG:

mplayer播放时的大循环过程为:
while(!mpctx->eof){

fill_audio_out_buffers();//音频stream的读取,解码,播放
update_video(&blit_frame);//视频stream的读取,解码,过滤处理
sleep_until_update(&time_frame, &aq_sleep_time);//计算延迟时间并睡眠等待
mpctx->video_out->flip_page();//视频的播放
adjust_sync_and_print_status(frame_time_remaining, time_frame);//根据音视频的PTS做同步矫正处理
}

音视频同步方法为
1)音频播放playsize = mpctx->audio_out->play(sh_audio->a_out_buffer, playsize, playflags); 后,根据数据大小算出时间并累计
mpctx->delay += playback_speed*playsize/(double)ao_data.bps;
2)视频解码前,用累计延迟时间剪掉本祯视频的时间mpctx->delay -= frame_time;
3)计算声音延迟时间*time_frame = delay - mpctx->delay / playback_speed;
其中float delay = mpctx->audio_out->get_delay();为距当前声音OUTPUT BUF里数据被全部播放完为止所需的时间。
4)播放视频同步完成,所以视频的播放是完全根据声卡最后的数据输出来同步的。
5)计算出当前音视频PTS差double AV_delay = a_pts - audio_delay - v_pts;再算出矫正值x = (AV_delay + timing_error * playback_speed) * 0.1f;最后把矫正的时间加到延迟累计中mpctx->delay+=x;。

http://blog.chinaunix.net/u2/72365/showart_1220488.html

VLC视频处理代码浅析

 

一 序言

最近看了vlc代码(版本0.5.0)视频处理播放过程,写个总结把视频数据主要流程整理一下。Vlc视频处理及播放的过程主要是三个循环:demux , decoder, display.

二 视频处理播放过程介绍

     1,demux循环

     在src/input/input.c中__input_CreateThread()创建一个线程RunThread()。该线程中的while()循环,起到一个守护作用,例如对seek的处理等;其中的p_input->pf_demux( p_input )函数进行demux处理。该函数是在InitThread()时,由p_input->p_demux = module_Need( p_input, "demux",p_input->psz_demux );进行关联的。以TS流为例,demux/mpeg/ts.c 中的activate()会被激活,进而设置p_input->pf_demux = Demux; 所以,TS.C中的Demux()为执行demux的函数。其中的p_demux->mpeg.pf_read_ts和p_demux->mpeg.pf_demux_ts是在activate()时由p_demux->p_module = module_Need( p_input, "mpeg-system", NULL )关联到mpeg/system.c中的Readts()和Demuxts()。

     2,decoder循环

在Demux()函数执行时会调用PSI_CALLBACK宏,通过调用该宏最终会调用src/input/input_program.c中的input_SelectEs()函数。该函数会调用src/input/input_dec.c中的input_RunDecoder()。input_RunDecoder()中会创建Decoder线程RunDecoder( ) (见ffmpeg/ffmpeg.c) 。RunDecoder( )包含一个while( )循环,在循环中如果数据为VIDEO_ES,会调用codec/ffmpeg/video.c中的void E_( DecodeThread_Video )( vdec_thread_t *p_vdec )函数进行解码,该函数会调用ffmpeg_CreateVout()来创建视频输出线程。

     3,display循环

ffmpeg_CreateVout()函数会调用vout_request( )函数,进而通过vlc_thread_create( p_vout, "video output", RunThread,

VLC_THREAD_PRIORITY_OUTPUT, VLC_FALSE )创建线程RunThread()。该线程中的while( )中循环执行的函数的主要功能如下:1)找到最近的需要显示的图像,2)rendering 图像 ,3)睡眠到显示图像的时间,4)显示图像, 5)事件处理。其中p_vout->pf_render( )是由src/video_output/video_output.c文件__vout_create( )函数中module_Need()关联的。

三 其它

1,关于VLC的音视频同步

对于音频数据,前面的过程跟视频类似 ,不同的是音频输出环节。视频播放处理是在一个线程内循环完成的,但音频播放的不同模块运行在不同的线程上。音视频的同步完全是按照demux后音视频各自的PTS进行的,原理上跟mplayer 的同步机制完全不同。

2,   该文是本人的学习笔记,难免有错误之处,欢迎指正交流。

http://blog.chinaunix.net/u2/72365/showart_1404944.html

 

(jingxshi)
本站文章除注明转载外,均为本站原创或编译欢迎任何形式的转载,但请务必注明出处,尊重他人劳动,同学习共成长。转载请注明:文章转载自:罗索实验室 [http://www.rosoo.net/a/201111/15309.html]
本文出处:hi.baidu.com/jingxshi 作者:jingxshi
顶一下
(3)
100%
踩一下
(0)
0%
------分隔线----------------------------
发表评论
请自觉遵守互联网相关的政策法规,严禁发布色情、暴力、反动的言论。
评价:
表情:
用户名: 验证码:点击我更换图片
栏目列表
将本文分享到微信
织梦二维码生成器
推荐内容