当前位置:行业资讯 >> 技术前瞻 >>
挖掘大数据里蕴藏的宝藏
  2013-11  
字号:


这个世界上什么最值钱?钻石、黄金、土地?数据,这个世界上最值钱的是数据,确切的说是数据背后所隐藏的丰富信息。管理好数据,分析出其背后的信息至关重要。
新互联网时代下,各种数据源和数据量爆炸性增加,大数据的概念也应运而生。大数据是“由数量巨大、结构复杂、类型众多数据构成的数据集合”,现今的数据里,80%是传统、结构化的数据,另外20%的数据包括视频数据、图片数据、音频数据、邮件数据、社交类数据(如微博、微信、Facebook、Twitter等所产生的数据)等非结构化数据。

大数据所引发的新问题

大数据首先所带来的就是“量”上的问题,如此海量的数据,需要加大、加快硬件底层的运算能力,需要能够对各类新形态数据进行处理。虚拟化在解决大数据“量”的问题方面起到了很好的作用。虚拟化一个最直接的好处是可以节省成本,虚拟化技术的广泛采用,充分利用了服务器里的硬件资源,将原本20-30%的服务器CPU利用率提升到80-90%。这使得海量数据可以更高效、快速的存储在服务器里。另外通过加大内存、优化内存算法都可以应对大数据对于存储所带来的新问题。

把海量数据存储好就万事大吉了么?现在戴尔软件事业部任大中华区售前及售后支持技术总监的高国辉认为单纯谈数据没有价值,数据背后所蕴藏的信息才是价值所在。“在大数据的处理过程中,除了加大、加快硬件底层运算能力,让处理形态更加丰富外,另外的重点是怎样把它从一个数据变成一个信息。”高国辉举了一个例子:星巴克所关心的不仅仅是每天来了多少人、卖了多少咖啡这些数据,它所更关注的是通过这些数据所分析出的每天都来了哪些人群、购买了哪种咖啡、搭配购买了哪些东西。

挖掘大数据里的宝藏

大数据时代,企业希望从大数据里挖掘出更具价值的信息。如果不能发现数据里所蕴藏的信息,就需要不断在存储设备与网络设备上增加投入,此时数据就会从公司资产变成公司“负债”。那么如何才能做到对大数据的有效分析挖掘?

要想对数据进行分析,那么首先就需要将数据进行整合,这就需要借助类似Toad这类的软件把不同的数据库连接起来,实现数据库开发和管理自动化。进一步可以借助Boomi确保数据的准确性、完整性和集成性。通过Foglight这类产品能够对数据的效能进行分析,利用SharePlex强大的复制和集成功能可以确保数据库的高可用性,而戴尔的B.I.套件则能实现对不同类型数据的访问、分析、集成和同步,将数据拉进来进行处理,进行展示。

大数据里蕴藏着丰富的宝藏,但由于数据的复杂多样性,需要将所有数据有效的整合起来。但仅仅这样还不够,如果大数据里参杂了过多“混淆视线”的无效数据,那么分析所得的结果很可能会南辕北辙。要想保证对数据的有效分析,就需要保证数据的质量,保证数据没有丢失、数据本身没有冗余。只有这样才能实现有效的数据整理、分析,挖掘出用户所需要的信息。

另外,将企业数据从业务系统抽取出来,单独进行分析处理,这需要有一套独立的IT架构进行支撑,同时要保证数据复制传输的及时性。

变革IT架构应对大数据

大数据正在给传统IT架构带来新的压力,IT架构需要进行适当的调整、变革才能适应大数据。应对大数据需要看企业的考虑重点在哪里:是数据在软件架构上的调整,还是整体硬件的效能。如果希望提升硬件效能,就要考虑虚拟化的问题,比如存储虚拟化、网络虚拟化、服务器虚拟化、应用虚拟化。如果需要实时分析传输数据,就需要及时拓展网络带宽。如果想要将数据开放给更多人访问,就需要考虑将数据迁移到云端,甚至要考虑移动办公的问题。这需要对数据进行很好的优化,这样才能够有利于数据迁移到云端,方便用户对数据的访问。

缩短数据的生命周期是现在应该考虑的问题,这需要透过虚拟化实现对系统的精简,从硬件层面实现“优化”。最后需要考虑数据的安全问题,比如身份识别及访问管理,数据的备份及恢复等等。

TOP
主办单位:上海安全防范报警协会
shanghai security defense & alarm association
地址:上海市普陀区云岭东路235号3号楼404室   电话:021-54732822   传真:021-54732822
协会标准咨询邮箱:sdaasc2015@126.com 协会工程咨询邮箱:sdaapc2015@126.com 协会申诉咨询邮箱:sdaaqc2015@126.com
ICP备案号: 沪ICP备14004542号-2

沪公网安备 31011202001934号


技术支持 : 爱建网
建议使用最新版浏览器,以获得最佳浏览效果。