社区导航

 
查看: 1258|回复: 0

什么叫大数据,与云计算有何关系?

[复制链接]

9

TA的帖子

0

TA的资源

一粒金砂(中级)

Rank: 2

发表于 2016-8-31 16:56:20 | 显示全部楼层 |阅读模式
什么叫大数据,与云计算有何关系?
大数据(big data),或称巨量资料,指的是所涉及的资料量规模巨大到无法透过目前主流软件工具,在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。 大数据的4V特点:Volume、Velocity、Variety、Veracity。大的数据需要特殊的技术,以有效地处理大量的容忍经过时间内的数据。适用于大数据的技术,包括大规模并行处理(MPP)数据库,数据挖掘电网,分布式文件系统,分布式数据库,云计算平台,互联网,和可扩展的存储系统。

关于大数据和云计算的关系人们通常会有误解。而且也会把它们混起来说,分别做一句话直白解释就是:云计算就是硬件资源的虚拟化;大数据就是海量数据的高效处理。
虽然上面的一句话解释不是非常的贴切,但是可以帮助你简单的理解二者的区别。另外,如果做一个更形象的解释,云计算相当于我们的计算机和操作系统,将大量的硬件资源虚拟化之后再进行分配使用,在云计算领域目前的老大应该算是Amazon,可以说为云计算提供了商业化的标准,另外值得关注的还有VMware(其实从这一点可以帮助你理解云计算和虚拟化的关系),开源的云平台最有活力的就是Openstack了;
大数据相当于海量数据的“数据库”,而且通观大数据领域的发展也能看出,当前的大数据处理一直在向着近似于传统数据库体验的方向发展,Hadoop的产生使我们能够用普通机器建立稳定的处理TB级数据的集群,把传统而昂贵的并行计算等概念一下就拉到了我们的面前,但是其不适合数据分析人员使用(因为MapReduce开发复杂),所以PigLatin和Hive出现了(分别是Yahoo!和facebook发起的项目,说到这补充一下,在大数据领域Google、facebook、twitter等前沿的互联网公司作出了很积极和强大的贡献),为我们带来了类SQL的操作,到这里操作方式像SQL了,但是处理效率很慢,绝对和传统的数据库的处理效率有天壤之别,所以人们又在想怎样在大数据处理上不只是操作方式类SQL,而处理速度也能“类SQL”,Google为我们带来了Dremel/PowerDrill等技术,Cloudera(Hadoop商业化最强的公司,Hadoop之父cutting就在这里负责技术领导)的Impala也出现了。
整体来看,未来的趋势是,云计算作为计算资源的底层,支撑着上层的大数据处理,而大数据的发展趋势是,实时交互式的查询效率和分析能力,借用Google一篇技术论文中的话,“动一下鼠标就可以在秒级操作PB级别的数据”难道不让人兴奋吗?


VC709E 增强版 基于FMC接口的Xilinx Vertex-7 FPGA V7 XC7VX690T PCIeX8 接口卡
一、板卡概述
      本板卡基于Xilinx公司的FPGA XC7VX690T-FFG1761 芯片,支持PCIeX8、64bit DDR3容量2GByte,HPC的FMC连接器,板卡支持各种接口输入,软件支持windows。

二、功能和技术指标:
    1、标准PCI-E接口,支持PCI-E 8x,支持PCI-E 3.0。
    2、标准FMC-HPC接口,VADJ电平为1.8V。
    3、前面板引出1路SFP+光模块,最高设计速度10Gbps。
    4、板卡后面引出2路SFP+光模块,最高设计速度10Gbps。
    5、标准JTAG接口。
    6、支持两组64bit,2GB的DDR3。
    7、主频1GHz,支持1.2GHz
    8、持BPI模式快速加载。
    9、有器件支持商业级,工业级。
三、接口测试软件:
    1、 DDR3 IP测试,PCIe IP测试;
    2、万兆光纤网络开发
    3、 FMC上接高速ADC,DAC子卡,并可提供演示程序。
四、基于Virtex7的 PCI-E 3.0 万兆以太网产品 IP开发
    本板卡 基于Virtex7 XC7V690T-FFG1761,设计的PCIe 底板,板卡特点如下:
    1、标准PCI-E接口,支持PCI-E 8x,支持PCI-E 3.0。
    2、标准FMC-HPC接口,VADJ电平为1.8V。
    3、前面板引出1路SFP+光模块,最高设计速度10Gbps。
    4、板卡后面引出2路SFP+光模块,最高设计速度10Gbps。
    5、支持两组64bit,2GB的DDR3。
    6、标准JTAG接口。
    7、支持BPI模式快速加载。
基于赛灵思的V7 的FPGA开发的PCIe DMA IP
  • 支持8.0Gbps(Gen3)at x8,x4,x2和x1的硬核,包括Kintex-Ultrascale和Virtex-7 GTH类型的FPGA
  • 支持5.0Gbps(Gen2)at x8,x4,x2和x1的硬核,包括Kintex-Ultrascale,Virtex-7 GTH,Virtex-7 GTX,Kintex-7 GTX和Zynq-7045类型的FPGA
  • 支持5.0Gbps(Gen2)at x4,x2和x1的硬核,包括Artix-7和Zynq-7030类型的FPGA
  • 兼容PCIE3.0协议;最大有效载荷256 Byte;支持MSI和INT消息
AXI接口:
  • 可以通过AXI4-Lite Slave接口来进行桥配置
  • 可以通过AXI4-Lite Master接口来进行外部寄存器配置
  • 最多支持4个AXI4 Master接口
  • 最多支持4个AXI4 Slave接口
  • 最多支持4个AXI4 Stream input 和Stream output接口
  • AXI4 Master,Slave和Stream 接口支持64bit,128bit和256bit的数据
  • AXI4 Master和Slave接口可配置成AXI3接口
配置:
  • 通过PCIE和(或)AXI4-Lite Slave接口可操作桥配置空间
  • 具有4KBytes的桥内部寄存器
  • 具有4KBytes的PCIe配置空间
  • 8KBytes用户定义的外部寄存器空间
DMA引擎:
  • 支持最多8个完全独立的DMA引擎
  • 支持最多4GBytes或无限长的传输长度
  • 支持最多16个outstanding读请求和写请求
  • 支持Completion重排序
  • 可重配置源和目的,能在PCIe接口,AXI4 Master接口和Stream input和output接口之间进行转变
  • 灵活的Scatter-Gather DMA模式,包括每个描述符可动态DMA控制
  • 可选的DMA状态报告给描述符,方便软件管理设计
  • 提供离散DMA功能、直接DMA功能和DMA通道管理
赛灵思V7 系列的FPGA开发的TCPIP 的IP core
  特点:
    1.支持多种的10G MAC
    2.每个tcp硬核堆栈支持8个逻辑接口。每个接口可以有唯一的IP,物理地址,VLAN ID,网关,子网掩码。
    3.支持9K字节超长包
    4.支持VLANs
    5.内嵌ARP
    6.用XGMII高速接口连接10G PMA-PCS PHY
    7.一个工作在156.25MHz的64bit的axi4—stream接口让用户调试使用
    8.可通过一个32bit的axi4-Lite从机协议去配置ip核
    9.用户接口为工作在156.25MHz的128bit的axi4-stream
    10.多达128个并发客户机或服务器的TCP会话模式。每个会话都可以连接到任何逻辑接口
    11.为每个会话打开特定的流控功能
    12.用户可配置的TCP选项:MSS,时间戳, VLAN PCP , VLAN DEI
    13.如果数据包的长度大于从用户应用程序接口远程配置(MSS)中的值则负载自动分割。
    14.可配置TCP重操作记忆:宽度、深度、内部或外部
      本设计方案 支持硬件板卡销售、IP销售 两种模式。也可以委托设计成品。 另外IP除了支持Virtex7系列,也可以支持更高等级芯片的开发 如Ultrascale系列。
五 应用领域
      软件无线电处理平台
    图形图像硬件加速器
      Net FPGA
北京太速科技有限公司
在线客服:QQ:448468544
公司网站:www.orihard.com
联系电话:15084122580
欢迎关注微信公众号 啊智能时代



标签: FMC接口, XC7VX690T, 大数据, 云计算, 海量数据



此帖出自信息发布论坛


回复

使用道具 举报

您需要登录后才可以回帖 登录 | 注册

本版积分规则

  • 论坛活动 E手掌握

    扫码关注
    EEWORLD 官方微信

  • EE福利  唾手可得

    扫码关注
    EE福利 唾手可得

小黑屋|手机版|Archiver|电子工程世界 ( 京ICP证 060456 )

GMT+8, 2018-10-17 13:45 , Processed in 2.953248 second(s), 16 queries , Gzip On, MemCache On.

快速回复 返回顶部 返回列表