随着云时代的来临,大数据(Big data)也吸引了越来越多的关注。《著云台》的分析师团队认为,大数据(Big data)通常用来形容一个公司创造的大量非结构化和半结构化数据,这些数据在下载到关系型数据库用于分析时会花费过多时间和金钱。大数据分析常和云计算联系到一起,因为实时的大型数据集分析需要像MapReduce一样的框架来向数十、数百或甚至数千的电脑分配工作。如何应用大数据对我们的生产,经济发挥重大作用就成为一个非常重要的课题。

大数据定义

大数据已经出现,因为我们生活在一个社会中有更多的东西。有46亿全球移动电话用户有1亿美元和20亿人访问互联网。基本上,人们比以往任何时候都与数据或信息交互。 1990年至2005年,全球超过1亿人进入中产阶级,这意味着越来越多的人,谁收益的这笔钱将成为反过来导致更多的识字信息的增长。思科公司预计,到2013年,在互联网上流动的交通量将达到每年667艾字节。

简言之,从各种各样类型的数据中,快速获得有价值信息的能力,就是大数据技术。明白这一点至关重要,也正是这一点促使该技术具备走向众多企业的潜力。

大数据的4个"V",或者说特点有四个层面:第一,数据体量巨大。从TB级别,跃升到PB级别;第二,数据类型繁多。前文提到的网络日志、视频、图片、地理位置信息等等。第三,价值密度低。以视频为例,连续不间断监控过程中,可能有用的数据仅仅有一两秒。第四,处理速度快。1秒定律。最后这一点也是和传统的数据挖掘技术有着本质的不同。业界将其归纳为4个"V"--Volume,Variety,Value,Velocity。

物联网、云计算、移动互联网、车联网、手机、平板电脑、PC以及遍布地球各个角落的各种各样的传感器,无一不是数据来源或者承载的方式。

大数据研究意义

"数据"是什么?数据就是资源,它像空气和水、石油和煤炭一样,就在你的周围自然而然的存在着,你每一次点击鼠标,每一次刷卡消费,其实就已经参与到了数据的生成,可以说,每一个人既是数字的生产者,也是数据的消费者。数据一直存在,随着技术手段的发展,当前的技术手段为"大数据"的收集和分析提供了保障。在这个大数据时代,第一次有了如此精细的观测手段,我们可以非常精细的知道一个人或者一辆车每时每刻在什么地方出现,然后就可以产生非常精细化的数据,可以用来描述各种物体、社会和整个环境的行为,有了这些数据,大大减少了减少社会的复杂度。

谁拥有了数据以及对数据的发掘能力,谁就将占领下一个十年全球经济发展的制高点。但是目前,我国大数据应用刚刚起步,基于大数据的商业模式还在萌芽阶段,从需求来看,很多产业对大数据的使用还没有意识,而供给一方,由于技术和人才储备上的落后,也缺乏深厚的数据分析手段来支撑需求。

从商业价值来看,大数据究竟能往哪些方面挖掘出巨大的商业价值呢?根据IDC和麦肯锡的大数据研究结果的总结,大数据主要能在以下4个方面挖掘出巨大的商业价值:对顾客群体细分,然后对每个群体量体裁衣般的采取独特的行动;运用大数据模拟实境,发掘新的需求和提高投入的回报率;提高大数据成果在各相关部门的分享程度,提高整个管理链条和产业链条的投入回报率;进行商业模式、产品和服务的创新。

大数据研究技术

Big Data是近来的一个技术热点,是一个相对概念。历史上,数据库、数据仓库、数据集市等信息管理领域的技术,很大程度上也是为了解决大规模数据的问题。然而,Big Data作为一个专有名词成为热点,主要应归功于近年来互联网、云计算、移动和物联网的迅猛发展。无所不在的移动设备、RFID、无线传感器每分每秒都在产生数据,数以亿计用户的互联网服务时时刻刻在产生巨量的交互……要处理的数据量实在是太大、增长太快了,而业务需求和竞争压力对数据处理的实时性、有效性又提出了更高要求,传统的常规技术手段根本无法应付。