|
请教一个音视频同步算法。
情况是这样的,我们同步网络把音频/视频分开传送到接收端,现在的问题关键问题的如果对这股流进行同步播放。
我现在的算法是这样的:
在发送方:
对于相同时刻的音频/视频帧,打上相同的时间戳(系统时间)
接收方:
保存两个队列,audio/video分别用来存放还未播放的音频和视频
1。当每接收到音频帧的时候,遍历此时的video队列,将此音频帧的时间戳跟每个视频帧的时间戳进行比较:
1)如果音频帧的时间在这个视频帧的前面,帧播放该音频
2)如果音频跟视频的时间戳相差在某个可以接受的误差内,则同时播放该音频/视频(并将视频帧从video队列中删除)
3)如果视频时间在前,则播放视频帧(并将视频帧从video队列中删除)
如果video队列中的最后一帧的时间都在这个audio帧之前,在此时会把整个video队列中的帧播放完,此时video队列将为空,那么将这个音频放入audio队列。
2.对接收到视频帧的时候,也做类似的处理。
现在我们在局域网内测试,没有任何的问题。
但是我自己发现这个算法还是有些问题:
1)音频和视频发送帧的频率不一样,假如audio的频率是video的3倍,那么播放时,会是3个3个音频帧地播放
2)如果网络比较差的话,只有一个通道是好的时,将不能正常播放。我现在采取的方法是设定一个时间,如果没有接收到帧的话,就认为该通道是断开的,然后就只管自己播放。这样可以解决一些问题,但是在这不判断这个流是断开的过程中,另外一个流的播放是停止的,这是个大问题。我看网络播放方面的软件都没有这个问题,它们的音频给视频似乎是各自独立的,除了在同步的时候。 |
|