基于RM4系列MCU的大数据处理方法

sunyzz

基于RM4系列MCU的大数据处理方法 [复制链接]

前言：

近年，“云计算”的到来给人们的生活带来了方便、快捷以及前所未有的体验，然而“云计算”时代的到来也意味着“大数据”时代的到来，有资料表明，仅2011这一年就产生了大概4EB（2^60B）的数据量，而且在当前的数字化经济当中，每18个月数据量就会翻一番，面对如此庞大的数据量，数据存储必然成为一大难题。通常，缓解这一难题的一种有效办法是在数据存储前对数据进行压缩处理，这样在一定程度上节省了存储成本，同时由于压缩后的数据会发生很大变化，所以在一定程度上也保障了信息的安全性。

数据压缩算法可以简单分为有损压缩和无损压缩，有损压缩多用于视频、音频等领域，著名的有H.264算法，无损压缩的通用性较强，著名的有算术编码、Bzip2等。经过调研发现，算术编码可以让压缩率无限的接近数据的熵值，从而能获得极高的压缩率。

算术编码的原理：

算术编码将整个要编码的数据映射到一个位于[0,1)的实数区间中。并且输出一个小于1同时大于0的小数来表示全部数据。利用这种方法算术编码可以让压缩率无限的接近数据的熵值，从而获得理论上的最高压缩率。

算术编码进行编码时，从实数区间[0,1)开始。按照符号的频度将当前的区间分割成多个子区间。根据当前输入的符号选择对应的子区间，然后从选择的子区间中继续进行下一轮的分割。不断的进行这个过程，直到所有符号编码完毕。对于最后选择的一个子区间，输出属于该区间的一个小数。这个小数就是所有数据的编码。现在来举个例子。假设一份数据由“A”、“B”、“C”三个符号组成。现在要编码数据“BCCB”，编码过程如图1所示：

图1 “BCCB”的编码过程

观察图1可以发现算术编码的过程。首先，算术编码是从区间[0,1)开始的。这时三个符号的概率都是1 / 3，按照这个概率分割区间。第一个输入的符号是“B”，所以选择子区间[0.3333,0.6667)（小数点保留后4位）作为下一个区间。输入“B”后更新频度，根据新的概率对区间[0.3333,0.6667)进行分割。这时输入的符号是“C”，可以选择子区间[0.5834,0.6667)。继续更新频度、分割区间、选择子区间，直到符号全部编码完成。最后得到的区间是[0.6390,0.6501)。输出属于这个区间的一个小数，例如0.64。那么经过算术编码的压缩，数据“BCCB”最后输出的编码就是0.64。

实现方案：                     

从上面的过程可以看出，算术编码过程中会涉及大量的浮点运算，普通的MCU根本无法处理，必须选择合适的MCU才可能很好的实现该算法。TI公司Hercules RM4系列 的MCU基于锁步双ARM Coretex-R4F浮点核心，它的执行频率高达​​220 MHz，支援单、双精密度浮点数学，可执行复杂数学运算；能达到国际电工委员会(IEC) 61508 SIL-3安全标准的要求；高达3MB的快闪记忆体和256KB RAM。该芯片能够满足算术编码的复杂度，同时芯片自身的安全性很高，抗干扰性强，可以用于大型服务器系统中，能够很好的工作。

综上各方面因素，本创意选择Hercules RM4系列作为平台，给出如下的创意结构：
                              
                                           图 2 创意结构

高速数据接口满足实时处理大数据需求，数据输入与输出缓存可以保证压缩过程的连续性，RM4系列压缩对待压缩数据进行处理，具体过程可以描述为：数据输入缓存中的数据量达到某一阈值时，RM4系列压缩启动，对数据进行处理；数据输出缓存达到某一阈值时通知接口来读取数据。

以上是本人的一些想法，肯定有很多不足之处，还望不吝指教，大家共同学习。

sunyzz

这是我这段时间逛论坛的感受！

蓝雨夜

呵呵！算法要求太高了!呵呵

sunyzz

刚开始这样觉得，进入了之后感觉会好点