大数据时代数据管理技术研究综述论文

时间:2024-10-12 03:39:21 作者:dick98 综合材料 收藏本文 下载本文

【导语】“dick98”通过精心收集,向本站投稿了6篇大数据时代数据管理技术研究综述论文,以下是小编精心整理后的大数据时代数据管理技术研究综述论文,仅供参考,希望能够帮助到大家。

篇1:大数据时代数据管理技术研究综述论文

大数据时代数据管理技术研究综述论文

随着计算机技术和网络的快速发展,半结构化和非结构化等类型数据成几何倍增长,学习和使用大数据管理技术顺应时代发展潮流。本文从数据管理技术的发展进程出发,介绍了人工管理方式、文件系统管理方式、数据库管理方式三种阶段的管理方式。然后详细介绍了关系数据库和NoSQL非关系数据库,并且将两者从三种角度进行了对比。最后对未来大数据时代信息管理方式作出了展望。

引言

随着计算机和网络技术的快速发展,移动互联、社交网络、电子商务、云计算等各种新兴服务的兴起,极大拓展了互联网的疆界和应用领域,随之产生的是海量的数据,这些数据不仅来源的渠道多样,并且数据规模和数据种类也是快速的增长,大数据时代已经来临。大数据时代,无法将海量数据存储和管理在一台或者有限数目的服务器内,更无法借助有限的计算机去处理和管理大数据。因此,如何利用现有的资源应对当前数据量的快速增长,实现对大数据的有效、便捷、安全的管理,是当前国内外关于数据管理和数据分析亟需解决的问题。

1数据管理技术的发展

数据管理是指对各种类型的数据进行采集、存储、分类、计算、加工、检索和传输的过程。随着计算机和网络技术的不断发展和改进,数据库管理技术也在不断的更新换代。到目前阶段为止,数据管理技术主要发展历程经历了以下阶段:人工数据管理方式、文件系统管理方式和数据库系统管理方式。

1.1 人工数据管理方式

20世纪50年代中期,计算机初期被应用于科学计算方面,因此,早期的数据处理都是手工完成的。数据存储只有磁带、卡片和纸带等低速存储设备。既没有操作系统,也没有管理数据的专门软件,此阶段管理的数据,不能进行共享,且没有独立性,数据纯粹面向应用,服务于应用。

1.2 文件系统管理方式

20世纪60年代中期,随着计算机进一步的发展,不仅用于科学计算,而且更多地用于信息处理。对于数据存储,有了磁盘、磁鼓等存储设备。操作系统和高级语言的出现为文件系统管理提供了可能。此阶段的文件系统,是按照相应的规则将数据组织成一个独立的命名文件。这一时期的数据特点是:数据可以长期存储在磁盘上、有专门的软件进行管理维护、数据不再独立存在,数据不止服务于应用,在一定程度上,数据的共享性得到了提高。

1.3 数据库系统管理方式

20世纪60年代后期,数据库系统管理方式逐渐形成并具有一定的规模。由于磁盘技术的不断进步和发展,低成本、高速的硬盘占领了市场,为新的数据管理技术提供了产生的必要条件。对应的软件技术也有一定的发展。数据库系统是由计算机的软硬件资源共同组成,实现了数据的动态、有规则、独立存储。如图1所示。

2 大数据管理技术

大数据是指无法在可承受的时间范围内用常规软件工具进行捕捉、管理和处理的数据集合。归结为四个特点就是四“V”,即大量(Volume)、高速(Velocity)和多样性(Variety)和价值(Value)。大数据首先体现在数据量上:全球著名咨询机构IDC(国际文献资料中心)在估计全世界产生的数据量是0.18ZB(1ZB=100万PB),而截至这个数字已经提升了一个数量级,达到1.8ZB。这种数据产生的速度仍在增长,预计将达到8ZB。随着数据量的增长,得到庞大的数据源和样本数据后,人们并不能容忍对于这些庞大的数据处理响应时间。因此,大数据需要在数据量提高的前提下,数据的处理和响应能力进行提高,从而确保数据延迟可以在人们的接受范围之内。因此数据处理要得到有效的保证,那如何存储和组织管理这些海量数据,值得我们去探索和研究。

2.1 关系型数据库(RDBMS)

2.1.1 关系数据库的提出

20世纪70年代初,IBM工程师Codd发表了一篇论文“A Relational Model of Large Shared DataBanks”,随之关系数据库时代宣告到来。关系数据库管理系统(Relational Database ManagementSystem,简称RDBMS)就是基于上述的论文而被设计出来的。在关系数据库之前的系统主要有基于层次模型的层次数据库、基于网状模型的网状数据库等。以上几种数据库的主要不足是数据模型是很难被用户所理解,并且编写的软件与数据模式依赖性比较高。Codd提出的关系数据模型是基于表格、行、列、属性等基本概念,将现实世界中的各类实体及其关系映射到表格上,并且还为关系模型建立了关系代数运算。

2.1.2 关系数据库的应用

关系数据库系统最初主要是应用于事务处理领域。随着数据的不断积累增长,人们需要对数据进行分析操作,提取出有用的信息以支持决策等等。这些分析操作主要包括简单汇总、联机分析处理(online analytical processing,简称OLAP,主要是多维分析)、统计分析、数据挖掘等。有些分析处理需要对数据集进行多次的扫描,分析查询执行的时间以分钟或者小时计。与普通行存储模式不同,一些学者提出了列存储模式(columnar storage model)。列存储模型有行存储没有的优势特征,当查询只涉及关系的某些数据列时,不会造成无关数据的提取,减少I/O操作,提高了查询的效率。围绕RDBMS,形成了一个完整的生态体系(厂家、技术、产品、服务等),提供了包括数据采集、数据管理、数据查询与分析、数据展现(即可视化)等技术和产品,创造了巨大的数据库产业,为社会发展做出了巨大贡献。

2.1.3 关系数据库的不足

大数据时代的到来,关系型数据库并未做好全面的准备,出现了诸多问题,主要问题有以下几个方面:

(1)关系模型不容易组织和管理所有类型多样的数据,例如在关系数据库里,管理大规模的高维时空数据、大规模的图像数据等都显得力不从心。

(2)如何才能通过大量节点的并行操作实现大规模数据的高速处理,仍然值得我们去探索。在关系数据库上进行大规模的事物处理,不但需要解决查询的性能问题,更需要解决修改操作的性能问题,大量的事物处理,需要高效完成,才能保证数据的持久性和可靠性。

(3)在关系数据库上进行数据的复杂分析,能够使用的是统计分析和数据挖掘软件包;现有的统计分析、数据挖掘软件包能够处理的数据量受限于内存开销,并行化程度不高。从数据库中提取数据,注入到分析软件中进行分析,在大数据时代,这样的数据移动以及不合适了。通过数据的划分和并行计算,实现高性能的数据分析成为必然选择。

从中可以得出,现如今的数据管理已经不是简单的关系型数据库可以解决的,关系型数据库在一定程度上只能解决初期的大数据管理。

2.2 NoSQL数据库管理技术

随着时代的发展,传统的关系型数据库已经无法满足人们对于更高的并发读写、海量数据的高效存储和访问以及高扩展性和可用性等需求,出现了NoSQL数据技术。

对于NoSQL技术,学术界有两种对其的解释:(1)“Non-Relational”,也就是非关系型数据库;(2)“Not Only SQL”,即数据库不仅仅是SQL。当前第二种解释比较流行。NoSQL数据库是指数据模型定义不明确的非关系型数据库。NoSQL数据库具有灵活的数据模型、高可扩展性和美好的发展前景。下面主要介绍NoSQL的几种管理技术。

NoSQL数据库普遍采用的数据管理方式有四种:Key-Value存储方式、BigTable存储方式、Document存储方式以及Graph存储方式。Rick Cattell对各种典型NoSQL系统从各个方面做了比较系统的分析。

2.2.1 基于Key-Value存储的NoSQL技术

Key-Value是NoSQL系统比较常用的数据存储方式,每个Key值对应每一个任意类的数据值,对应的对象可以是结构化数据,也可以是文档。Key-Value存储的思想是将抽取唯一可以确定数据的特征属性,作为key,并将作为value对象。基于Key-Value模型组织数据,需要将数据按照Key-Value形式存储,而后可以通过对Key-Value进行序列化排序操作继而存储、将Key-Value存储为字符串或者字节数据,并且对key建立索引以便进行快速查询。Key-Value存储方式的NoSQL系统有的采用的DISK方式存储实现同步数据复制(例如Membase等),有的采用RAM存储数据实现异步数据复制(例如Redis等)。

Jing Han等人基于Key-Value存储提出了CDSA(Cloud Data Storage Architecture),体系结构可以较好优化云计算过程中的数据查询,同时也保证了海量数据的存储。CSDA包括三层:DCL(DataCache Layer)、MDL(Memory Database Layer)、DDL(Disk Database Layer)。

2.2.2 基于BigTable存储的NoSQL技术

BigTable管理方式是Google提出来并广泛采用的存储方式,而且也被HBase、HyperTabley以及Cassandra等系统借鉴使用。在BigTable存储中,同样是通过Key-Value基础模型对数据进行建模,不一样的是Value具有了比较精巧的结构,即一个Value包含多个列,这些列还能进行分组(column family),表现出了多层嵌套映射的数据结构特点。HBase是受BigTable启发而开发的基于Column Family存储的NoSQL技术。Hbase提供系统的SQL查询接口,用户可以轻松的对数据进行管理工作。Cassandra技术也是受到BigTable的启发,只不过Cassandra做了大幅度的修改。Cassandra在Column Family下加入了超级列(super column)概念层次的映射关系,方便对数据进行建模。Cassandra还可以将多个Column Family在磁盘存储在一起,这样就可以在同时访问时提高效率。

2.2.3 基于Document存储的NoSQL技术

基于Document(文档)存储的技术以及发展很久了,例如IBM的Lotus Notes。这里所说的基于Document存储的NoSQL技术是基于传统文档存储技术的新发展、新技术。基于Document存储技术仍是以Key-Value存储模型为基本模型,此模型可以对文档的历史版本进行追踪,单个文档又是一个Key-Value的列表,形成循环嵌套的结构,对于某些特定的查询方式来说,Document存储的效率更高。因为其数据的循环嵌套的结构特点,应用程序可能会越来越复杂并且难以维护和理解。主要的技术和产品有CouchDB, MongoDB和Dynamo。

2.2.4 基于Graph存储的NoSQL技术

基于Graph存储的系统包括Ne04J, InfoGrid,Hyper Graph DB等。有些图数据库是基于面向对象数据库创建的,例如Infnite Graph,在节点的遍历等图数据的操作中,展现出了高效的性能。Graph存储方式是将整个数据集建模成一个大型的网络结构,之后再采用一系列图操作实现对数据的操作。由于图由结点和边构成,对于海量数据不能完全装入内存,因此,Graph存储方式一般是基于DISK的,NoSQL系统实现图索引,完成图的调入调出。

从数据管理的角度来看,使用非结构化Key-Value存储管理结构化大数据仍然是顺应应用需求的。因为基于Key-Value存储的Hadoop数据仓库实现技术尚处于起步阶段,需要其他数据库技术来加速器发展进程。

2.2.5 NoSQL的'不足

与传统的关系型数据库相比,NoSQL非关系型数据库在并行处理方面有一定优势,但也是存在一些问题,主要体现在:

( 1) NoSQL很难实现数据的完整性

由于NoSQL项目中很难实现数据的完整性,而在企业中数据完整性又是必不可少的。因此,在企业中,NoSQL的应用还不是很广泛。

(2)成熟度不高

大部分的NoSQL数据库都是开源项目,没有世界级的数据库厂商提供完整的服务,出现问题,都是自己解决,风险较大。

(3)关系数据库比NoSQL在设计时更能够体现实际,而NoSQL数据库缺乏这种关系,难以体现业务的实际情况,对于数据库的设计与维护都增加了难度。

2.3 关系数据库和NoSQL数据库的区别

传统的关系数据库与NoSQL数据库在数据管理系统发展不同的时间段里都体现出了自己的可用性和实用性,能够解决的一定的问题。表格l将两者进行了对比。

3 数据管理方式的展望

通过上述研究分析可以看出,关系数据库已经无法满足现阶段即大数据时代人们对于数据存储和管理的需求,更高的存储效率和更快的查询速度等一系列高要求,促使数据管理方式不断向前发展。NoSQL技术在一定程度上解决了大数据时代的数据管理需求,但仍需采用新技术提高数据库的一致性和可用性。关系数据库主要优点表现在其属性值之间可以通过SQL操作进行关联操作,体现出了数据的完整性,NoSQL数据库将数据进行分布式存储,为之后的大数据处理作铺垫。关系数据库的ACID强调数据一致性通常指的是关联数据之间的逻辑关系是否正确和完整,而对于很多互联网应用来说,对一致性和隔离性的要求可以降低,而可用性的要求则更为明显。关系数据库和NoSQL数据库并不是对立的矛盾体,而是可以相互补充的,可以根据不同的需求使用不同的技术,各取所需,甚至可以共同存在,互不影响。

目前大数据的应用领域还是主要以民用为主,以电信通信为例,客户之间通信传输过程中产生海量数据,将这些海量数据进行实时存储,再利用大数据方法提取有效信息,形成整套的数据管理与分析的流程。在电信.气象、企业等领域大数据管理与分析已经有比较成熟的思路和解决方法。在航天试验领域,空间飞行器执行任务可以产生海量数据,包括飞行器自身载荷数据,以及试验任务数据,这些数据的类型多样、数据量大,随着试验任务的频率和在轨航天器数量的增大,数据管理问题日益凸显,采用大数据管理的思维解决航天试验任务中数据管理问题,是未来航天试验任务数据存储和分析的必然趋势。

4 结论

大数据时代已经向我们走来,数据管理技术已经进入了新的阶段。本文研究分析了数据管理技术的发展进程,分析了关系数据库和NoSQL数据库,并且进行了对比区分。最后,对大数据未来的管理方式作出了展望。关系数据库和NoSQL数据库系统是随着人们对于数据管理的需求产生和发展的,在不同的数据管理发展阶段,根据需要对其进行分析的数据特点,选择适当的数据管理方式,帮助人们解决了一定的问题和需求。

篇2:大数据时代的大数据管理研究论文

信息技术作为时代不断发展的象征,不管是在我国行业的发展中,还是在人们的日常生活,都起到了重要作用。同时,在信息技术不断发展的过程中,大数据时代的应用范围也在不断的扩大,其来源渠道也非常多,数量也在不断增加。在这种情况下,大数据时代的大数据信息管理就显的尤为重要。由于大数据的数量不断增加,现有的管理形式已经无法满足大数据时代的发展,并且在利用计算机对大数据进行全面分析和处理的过程中,也受到了严重的影响,因此,要想有效的对大数据进行充分利用,就要对大数据管理形式给予高度重视,采取有效的措施,不断加强大数据的管理形式,最终实现有效、便捷、安全等管理性能,这也为对我国信息技术提供了重要的发展方向。

篇3:大数据时代的大数据管理研究论文

数据库管理形式是大数据管理不断发展的重要成果,也是到目前为止最后的一个阶段。在计算机技术不断发展的过程中,计算机内部的容量得到了很大程度的提高,并且大数据的管理和维护成本也相应的有所下降。同时,在大数据管理形式不断发展的过程中,对其系统管理内存不足等现象,进行了全面的提高,有效的实现了资源共享,也在最大程度上保证了大数据的安全、稳定等性能。另外,在大数据时代的大数据库管理的过程中,不在近几年只是固定在某一个计算技术应用体系,而是面向整个管理体系,以此在最大程度上提高了大数据共享的性能,使大数据与大数据形成一个独立的个体,对其大数据进行了全面、有效的、统一的管理,为我国信息技术的发展提供了重要方向。

篇4:大数据时代的大数据管理研究论文

在大数据时代的大数据管理的人员管理形式,不断发展和改革的过程中,计算机的软件和硬件都得到了有效的提高,磁盘、磁鼓等储存软件,得到了全面的普及和发展。同时,在在不断发展的过程中,计算机将大数据的组成形式,叫做大数据文件,并且在大数据文件上就可以直接的取名字,直接的进行查看,这对大数据的管理,无疑不是一个新的发展的起点。在大数据时代的大数据文件管理的过程中,由于大数据长期的保存在外面的,这样在对的大数据处理、分析、查找、删除、修改等操作的过程中,提供了极大程度上的'便利,其对其操作的程序,也具有特点的要求。但是,在文件管理的过程中,由于共享性能较大,数据与数据之间缺乏一定的独立性,对其管理和维护的费用和时间较大,这样往往工作效率提高,不能被广泛的使用。

篇5:大数据时代的大数据管理研究论文

在大数据时代的大数据管理形式不断发展过程中,给企业发展带来冲击非常巨大。因此,企业要根据我国信息技术不断发展的形式,对大数据管理框架进行全面的设计和创新,如图1所示。在大数据的处理的过程中,主要是围绕着数据资产进行管理的,同时对大数据时代的大数据管理制度,进行全面的规划行、设计、创新,这样对其它信息技术管理领域,提供了便利的条件。其实,大数据时代的大数据管理最主要的目的,就是将大数据的价值进行充分的展现。另外,在大数据时代的大数据管理框架不断创新的过程中,有效的实现了大数据共享等性能,不断扩大了大数据时代的大数据管理的内容,对我国现代化信息技术的发展,起到了重要的作用和意义。

2。2 开发与内容的管理形式

在不断提高大数据时代的大数据管理形式的过程中,可以从两个方面进行,一是大数据开发管理,二是内容管理。其中大数据开发管理注重于大数据管理的定义,和管理解决策略,对其大数据的存在价值,进行有效的开发。换句话说,其实也就是在大数据时代的大数据管理的过程中,对其管理形式的开发,对大数据的功能和价值,进行充分的理解。

大数据时代的大数据管理中的内容管理是指:企业对大数据进行不断的获取、使用、存储、维护等工作活动。因此,传统的大数据时代的大数据管理形式,已经无法满足对这个时代发展需求。因此,在时代快速发发展的推动下,要对开发管理和内容管理,进行全面的创新和设计,对需要专门设定的管理形式,要给予高度的重视,可以利用的集合型的保存形式,进行全面的保存。

其实,大数据时代的大数据管理主要是为企业提供重要的发展方向,为企业提供重要的价值信息。大数据时代的大数据管理在数据应用和开发的过程中,起到了重要的衔接作用,也为我国信息技术的发展,打下了坚实的基础。

2。3 对大数据架构进行全面的管理

在大数据时代的大数据管理的过程中,数据框架管理起到了重要的作用,并且与大数据开发的过程中,有很多相似的地方。在传统的大数据时代的大数据管理的过程中,对其数据的开发、处理、保存等形式,都受到了一定程度上的限制。因此,在对大数据时代的大数据架构管理的过程中,对其操作形式,进行了全面的管理创新,避免受到范围的限制。另外,随着大数据不断的增加,大数据构架管理可以根据大数据的用途,质量良好的应用形态。例如:社交网络等形式。

与此同时,在最近几年的发展中,大数据时代的大数据管理形式,也面临着新的挑战基机遇。以此,只有对大数据时代的大数据管理形式,对个人信息、隐私等进行全面的管理,避免个人信息、隐私等发生泄露、不对称等现象的发生,这样不仅仅企业在发展的过程中,提供了最大程度上的安全保障,也为大数据时代的发展,带来了新的发展篇章。

3 结语

综上所述,大数据时代是信息技术时代不断发展的产物,不管对我国经济的发展,还是人们在日常工作、生活的过程中,都起到了重要的作用和意义。因此,本文对大数据时代的大数据管理发展的历程进行了简要的分析,并对大数据时代的大数据管理形式,提出了一些可参考性的建议,只有对大数据时代的大数据管理形式,进行不断的创新,对大数据时代的大数据管理框架,进行不断的构建,也只有这样的才能在最大程度上促进了我国信息技术的发展,也为我国各行各业的发展,提供了重要的发展方向,对我国经济的发展,也起到了推动性的作用。

篇6:云计算与云数据管理技术研究的论文

云计算与云数据管理技术研究的论文

【摘要】文章通过分析云计算的定义特点及云数据的管理技术,以促进云计算和云数据管理技术的发展和提高。

【关键词】云计算;云数据;管理技术

作者简介:初鲁京(1987-),男,山东烟台人,中国人民大学在职研究生,研究方向:企业管理

近年来随着科技水平的不断提高,信息数据量不断增大,并且具有快速的增长速度,用户对于计算机的存储能力提出了更高的要求。而“三网融合”、“物联网”、“智能电网”等应用的快速发展对于计算和数据管理也带来了新的挑战。云计算作为一种正在兴起中的新型技术,可以改变普通用户操作计算机的模式,可以根据用户的需要来提高计算能力和存储能力,使用户像使用水电一样的方便快捷的使用计算机,降低用户的软件和硬件采购成本。云计算是基于分布式系统和网络计算上提出的新型概念,核心功能的提供海量的数据和存储,并且提供高效率的计算能力,由于开发更多的应用形式。而云计算并不仅仅是做计算,还需要融合更多的技术成果,提出云数据的管理概念。本文通过分析云计算和云数据的管理技术,促进云计算和云数据管理技术的发展和提高,方便今后工作的开展。

一、云计算的概念

(一)云计算的定义

云计算是一种近年来兴起的新型计算模型,是在互联网技术快速发展的基础上发展起来的。由于目前对于云计算还没有统一的标准定义,所以出现了很多云计算的定义版本。而通过对于云计算的分析研究,总体的定义方向都是一致的。具体来说,云计算实际上是一种对于虚拟化技术、网络技术和WebService等几种不同的新型信息技术的综合应用。云计算所运用的技术几乎包括了所有的互联网和信息技术。可以说云计算是网络计算的必然发展,虚拟化技术又是云计算得以发展的基础和前提,WebService信心技术为云计算提供了互联网环境的技术支持。随着互联网的发展,计算机用户也越来越专业化,它们对于数据信息的.了解和使用越来越熟练,对于数据信息的要求也发生了变化,提出了各种不同的信息数据需求,云计算正是满足了这类用户的需要,也得到了进一步的使用和发展。

(二)云计算的工作原理

云计算在工作环境下不需要使用本地的计算机,通过互联网联接来进行数据的分布和处理,并且优化数据,然后经过互联网的连接来实现分享数据的目的。这种工作模式可以使企业方便的进行资源利用,并且有效的切换有效资源,根据实际工作的具体要求来访问计算机和存储系统,获得相关的信息和数据。云计算作为一项新型的实用性技术,一定程度上提高了计算能力的商业性,通过网络传播和售卖实现了降低售卖成本的目的,同时还充分发挥了实用性,使企业的相关工作得以全面落实。

(三)云计算的体系结构

云计算的体系结构非常庞大,并且具有很强的复杂性,一般以“云”网络为核心,联接到其他网络和服务器,发送出相关的数据信息。同时通过虚拟技术的支持扩展相关服务器的功能,在云计算的平台上实现各种信息资源的整合,达到为用户提供更多更有效数据的目的,提升了计算能力和储存能力。完善的云计算体系结构应包括云端用户、部署工具、服务目录、管理系统这主要的四个部分。

二、云数据管理技术的主要特点

(一)规模大,海量性

随着近年来互联网技术应用的发展和普及,一些互联网技术是通过传感器来进行数据信息的采集来完成相关的工作。而随着应用技术的发展和推广,数据量变得越来越大,并且还在快速的增长。云计算中的“云”具有规模大的特性,以云计算为基础而构建的信息服务或设备也具有大规模的特点,并且应用于处理海量性的信息数据。另外云计算还可以无限扩展,同时处理成百上千的信息节点。这种可以无限扩大和伸缩的特点满足了不同用户的不同需求,在云计算的数据管理技术中也要注重技术和方法的改进,提高信息数据的管理水平和处理水平,重视信息数据的整合、提取和推理,有助于工作决策的完成。

(二)安全可靠性

云计算的技术包括了虚拟化技术、互联网技术及分布式计算等比较成熟的技术手段,为云计算的可靠性提供了有效的保证。并且云计算在安全性方面也具有优势,云计算采用了不同服务器上的信息数据多副容错的方式,计算的信息节点采用了同构互换技术,这些都极大地提高了云数据管理的安全性。

(三)异构性

由于应用云计算技术的领域和行业的不同,云计算的数据采集设备和方式也各不相同,存在着一定的差异性。每个行业中云计算所获取的结构和数据形态也存在着不同的差别,需要根据具体的实际情况,来判断采取不同的传感器,例如二氧化碳浓度传感器、温度传感器和湿度传感器等。不同的传感器在应用的时候,传递信息和获取信息的形式也是不尽相同的,这些差别会带来数据分析、处理和访问等各个环节的差别,另外数据的多源性也会造成数据的类型各不相同,不同类型的数据信息也有不同的格式,从而会出现半结构化数据、非结构化数据和结构化数据同时存在的情况,使信息数据存在异构性的特点。

(四)不确定性

云计算的运行环境中数据信息具有一定的非确定性,主要表现为信息数据本身、数据语义匹配及数据信息的分析查询等方面具有不确定性。而为了达到保证信息数据准确客观的目的,用户在应用云计算时一定要明辨真伪,去其槽粕取其精华,反映真实的需求完成预期的工作目标。

(五)通用性、便捷性

云计算的使用平台在提供各项服务时,用户在使用中不会受到空间上的限制,也不会受到时间的约束。用户只要具有访问验证信息就可以自由的使用云计算平台,享受云计算的服务,不会受到系统和平台的限制,具有极大的通用性和便捷性。

三、云数据管理技术

用户通过云计算来分析处理大量的数据信息,云计算的数据管理技术必须要能够满足用户的需求,高效及时的管理分析海量的数据和信息。云计算分析处理的数据具有海量性、不确定性,这对云计算数据管理技术的开发和发展不断提出新的要求,需要积极的构造高效可用的信息数据管理系统。

(一)数据信息的组织管理

数据的组织管理可以采用分布式的系统来访问分析海量的分布式数据,例如GFS技术。这种技术可以在差别不大的各种普通硬件上运行,为用户提供了容错功能,并且为用户提供高效可靠的信息数据并行的存储和访问权限。

(二)数据信息的集合管理

数据信息具有海量性、动态性、不确定性等特点,需要采取分布式的数据信息处理技术来进行采集分析,例如BigTable技术可以用于对海量数据信息的处理,提供高效的服务。

(三)数据信息的分析管理

应用云计算的数据管理技术是为了分析和挖掘相关的数据来满足用户的需求。因此需要运用不同技术和布局来从海量的数据中提取挖掘有用的潜在数据,并且理解所挖掘的信息数据同时进行分析,为各种应用提供支持。

(四)数据信息的存储管理

以Dynamo技术为例,这是一个具有高可用度的存储系统,具有DHT和数据库的特征,为AWS提供了基础的技术支持,并不直接展示于外网。Dynamo技术设计的存储架构可以使信息数据在框架内均匀的存储,并且各个存储节点之间可以互通,根据数据的具体操作需求在框架内进行转发,具有较强的自主性,而由于有主控点来进行控制,单个节点之间一般不会出现故障。Dynamo技术在存储时还具有一些优点,可以通过提供N、R、W这三个参数结合实际情况去调整实例。N即表示副本的个数,R为可完成的数据信息的成功一致个数,W为完成写入的个数。Dynamo技术可以记录、处理不同版本的对象,将对象的不同版本来提供给技术应用,使应用可以对这些数据信息进行合理的整合和利用。在这一过程中并不要求将副本个数N全部的成功完成,只需要成功读取的个数R和成功写入的个数W两者相加,大于副本个数N,这样就可以保证数据的最终一致性。这种读取方式比写入一次进行多次读取的系统要麻烦一些,但是写入方式变得更简单,也充分满足了用户的需要。同时Dynamo技术也具有负载均衡的优势,由于所采用的DHT方式将需要的信息数据都均匀的存储到每个节点,导致每个节点的数据信息访问量和存储量都大致相同,比较均衡。

四、结语

当今社会处于高速发展的信息时代,各种数据信息在全球范围内传递交换,也就需要开发和利用高效可用的信息传播媒介来适应信息时代的发展,云计算和云数据管理技术正是为此而生。作为新型的信息技术,云计算具有广阔的发展空间也面临着不同的挑战。网络互联网技术的快速发展使云计算和云数据管理技术有了更好的机会和支持,也导致了新型应用系统的开发和应用,因此云计算和云数据管理技术要充分把握机会面对挑战,利用本身的优势和时代的发展来实现进一步的提高,解决应用过程中的技术难题,得到长远发展。

参考文献

[1]刘正伟,文中领,张海涛,等.云计算和云数据管理技术[J].计算机研究与发展,2012,49(z1):26-31.

[2]罗亚东.云计算和云数据管理技术的思考[J].电子制作,2015,(1):155-156.

大数据时代读后感

论文综述范文

论文综述

《大数据时代》读书心得体会

大数据时代心得体会总结

网络云计算技术研究现状综述

论文综述范文文学类

论文文献综述范文

法学论文综述范文

大数据时代电子商务企业预算管理研究论文

大数据时代数据管理技术研究综述论文(共6篇)

欢迎下载DOC格式的大数据时代数据管理技术研究综述论文,但愿能给您带来参考作用!
推荐度: 推荐 推荐 推荐 推荐 推荐
点击下载文档 文档为doc格式
点击下载本文文档