社区导航

 
快捷导航
  • 首页
  • 论坛
  • 查看新帖
  • 最新回复
  • 社区活动
  • 联系管理员
  • 消灭零回复
  • E金币兑换
  • 干货
搜索
查看: 982|回复: 2

[原创] 图像处理能力评测之六-AVI视频播放优化

[复制链接]

161

TA的帖子

0

TA的资源

一粒金砂(中级)

Rank: 2

发表于 2017-1-10 21:12:55 | 显示全部楼层 |阅读模式
图像处理能力评测之六-AVI视频播放优化

    之前在第四次评测的时候,由于测试的视频都是比较短的,前几天在播放时间比较较长的视频的时候,发现音频和视频有时候会不同步,有时候会出现死机的状况,因此写了这篇作为前面测试的补充说明。这是之前写的帖子:http://bbs.eeworld.com.cn/thread-509522-1-1.html
    这次优化主要针对音频和视频不同步,并增加了在任意时间节点播放视屏的功能。首先先说明一下音频和视频不同步的原因,由于之前视频帧是通过计算帧率得出相邻两帧的间隔时间,再通过延时,来进行播放。但是音频帧播放的采样频率并不是绝对的,比如AVI文件提供的音频采样频率44100,而通过设置PLLI2S的时钟作为SAI的时钟源,这时会发现不能完全分配出44100的频率,只能约等于44100。这时会出现一个问题,播放完所有的音频帧所用的时间不是固定的,还有一个问题,每帧视频帧的图像的色彩丰富程度是不一样的,因此解码时间有长有短。举个例子,播放20帧的视频,相邻两帧的时间间隔为50ms,假如第一帧解码时间为40ms,只需要延时10ms,就可以播放第二帧了。如果第一帧解码时间为100ms,按照之前视频帧的算法,应该是不延时直接播放第二帧。但是这这种做法是错的,根据帧率,此刻应该是播放第三帧,这时出现了时间与帧编号的偏移。视频帧和音频帧时间尺度不相等,就会出现画面不同步的现象。
    针对这些问题做了如下的修改:
1.对于存在视频流和音频流的AVI文件,视频播放的总时间应该等于音频流播放的时间。对于没有音频流的AVI文件,视频播放的时间等于视频帧总数除以视频帧率。
2.对于存在视频流和音频流的AVI文件,要以音频流作为时间尺度,计算出音频和视频的交错时间比,当前视频帧号等于音频帧编号除以音频和视频的交错时间比。这样视频帧就会紧跟音频帧,而不至于出现画面不同步。对于没有音频流的AVI文件,要计算出相邻两帧的时间间隔t。计算每帧视频帧从解码到显示所用的时间t1,与时间间隔t进行比较。如果小于时间间隔,就延时t-t1,再播放下一帧,下一帧时间间隔依然为t;如果大于时间间隔t且小于2t,直接开始播放下一帧,计算下一帧时间间隔为2t-t1;如果大于2t,计算下一帧的编号等于t1除以t+当前视频帧编号,下一帧时间间隔依然为t。
    由于我在SDRAM中开辟两个512KB的缓存区,用来存放视频帧索引和音频帧索引,由于空间比较小,不能播放长时间的视频文件。如需播放,需要重新定义视频帧索引和音频帧索引空间的大小。具体的程序编写,参照附件中的程序。




此帖出自stm32/stm8论坛

Image_Test.zip

3.23 MB, 下载次数: 29

评分

2

查看全部评分



回复

使用道具 举报

2万

TA的帖子

74

TA的资源

管理员

Rank: 13Rank: 13Rank: 13Rank: 13

发表于 2017-1-11 09:20:04 | 显示全部楼层
很详细,图像处理也是坛子里一些朋友关注的问题,很赞
2017,加油!继续为中国电子行业做出小小的贡献吧!
QQ 1206973913


回复

使用道具 举报

1万

TA的帖子

33

TA的资源

版主

Rank: 6Rank: 6

发表于 2017-1-11 11:05:34 | 显示全部楼层
很棒!


回复

使用道具 举报

您需要登录后才可以回帖 登录 | 注册

本版积分规则

  • 论坛活动 E手掌握

    扫码关注
    EEWORLD 官方微信

  • EE福利  唾手可得

    扫码关注
    EE福利 唾手可得

小黑屋|手机版|Archiver|电子工程世界 ( 京ICP证 060456

GMT+8, 2018-2-18 12:43 , Processed in 0.099984 second(s), 17 queries , Redis On.

快速回复 返回顶部 返回列表