大数据时代特点范文

时间:2023-12-29 17:07:34

大数据时代特点

大数据时代特点篇1

随着我国互联网的发展,云计算、物联网已成为耳熟能详的词汇;但是对大多数人只是听过这些词汇但是却不能理解他们的含义。大数据时代已成为一个不可阻挡的趋势,对于图书馆服务行业来说是一种机遇也是一种挑战,图书馆行业的发展应该主动面对这一现状,应该主动面对大数据时代所带来的挑战,积极应对。我们都知道现阶段数据的发展以幂指数方程的趋势发展,大数据时代将成为图书馆行业发展的核心,因为它支撑着图书馆在新时期下的发展。但是面对这一大数字时代带来挑战,应如何积极的面对,成为图书馆发展行业首要考虑的问题。本文主要针对这一问题进行讨论,望能够找到有效的解决方案,促进图书馆行业的发展。

1 什么是大数据时代

1.1 大数据时代的概念

对于很多人来说,大数据时代这一词汇是很熟悉的,但是对于它的含义确是很陌生的。大数据时代其实很难用一个完整的定义,我们通常可解释为:大数据(Big data)通常用来形容一个公司创造的大量非结构化和半结构化数据,这些数据在下载到关系型数据库用于分析时会花费过多时间和金钱。大数据分析常和云计算联系到一起,因为实时的大型数据集分析需要像MapReduce一样的框架来向数十、数百或甚至数千的电脑分配工作。从这大数据时代的解析我们能够看到,大数据时代不是单单的一种技术,但是各种信息的综合体,是一个巨型的资料库。

最早提出“大数据”这一词汇的是一个全球知名咨询公司麦肯锡,他表示到:数据已渗透到各个领域,成为促进社会发展的重要因素。面对这样的形式,人们加以合理的利用海量的数据资源,将会把世界的发展推向一个新纪元。

1.2 大数据时代的特点

我们由大数据的概念很容易的了解到,它是一个多种数据库的聚合体。有些人就根据大数据的概念将其特点归结为一下三点:量大、多样、实时,有人直接将这三点简单的成为3V特征(三个特征的首字母都是V开头,简称为3V)。但是我认为大数据时代的特点除了这三点外还其他的,诸如数据价值密度高、处理数据快的特点。因此大数据时代特点我们可以总结为:①数据量大,也就是说数据的体量大,对于体量的衡量我们已经不能用传统的衡量方式了。②种类的多样性,大数据库的种类包含众多的行业,多个领域,而且具有文本、图像、影视等多种样式,这一特点尤其适用于图书馆的发展;③更新速度快,也就是我们说的实时性,大数据的更新每时每刻都在发生,保证了数据的实时性。④数据的价值密度高,涉及到传输、决策、感知、控制开放式循环的大数据,大量的不相关信息对未来发展模式和趋势的可预测性分析起着至关重要的作用。⑤处理速度快,数据持续到达,数据分析要求实时处理而非批量式分析。

2 大数据时代下图书馆面临的机遇与挑战

我们由大数据时代的特点可知,随着大数据时代的发展,处理速度和更新速度使得其利用价值在不断地上升,在大时代数据对图书馆行业的发展有着很大的影响。

2.1 大数据时代下图书馆面临着挑战

在新的时代下要求图书馆服务行业要对其图书馆内部资料有一个充分的了解,而且这种了解要紧紧跟随着图书馆内部资料的更新不断改变。传统的图书馆服务行业的特点就是人工管理占很大一部分,数据更新速度差,管理效率低下,比较浪费时间;由于人们对知识的渴望,图书馆的作用越来越大;图书馆场地的局限也是一个重要的问题;大数据时代的高效性、实时性是传统的图书馆服务行业所不能比拟的,如何在大数据时代下更好的发展图书馆服务行业成为一个重要的问题。

2.2 大数据时代下图书馆面临着机遇

其实在大数据时代下图书馆的发展,机遇与挑战而言,机遇所占的比例不少于挑战的比例。大数据时代下数据形式有多样化、信息更新的实时性、快速的处理速度,大数据这些特点都将会促进者图书馆服务行业的发展,未来会成为图书馆服务行业发展的核心部分。

3 图书馆行业应该如何应对大数据时代下的影响

面对大数据时代下的机遇与挑战,图书馆服务不能坐以待毙,应该积极的面对挑战,勇于创先,实现机遇利用率的最大化。

3.1 创新图书馆管理方式,提高图书馆的智能化管理水平

传统图书馆管理模式已不能适应快速发展的社会,对于图书馆的管理,我们应该做到与时俱进。创新图书馆的管理方式是适应社会发展的必然趋势。我们可以充分利用大数据时代量大、快速、实时的特点,提高图书馆的智能化管理水平。数字化时代,文献资源等进行数字化、语义化处理是图书馆进行数据处理的主要模式,在此基础上借助网络服务,实现数据共享,从而最大程度满足用户需要。

大数据时代的到来可以快速的提升图书馆的服务水平,大数据可以以最快的速度更新图书馆的资源,并对资源进行分类,让人们根据自己的喜好可以快速的筛选出所需要的种类,节约借书人时间的同时也减少了图书馆行业的压力。

3.2 高度关注图书馆用户数据和信息

为了迎接大数据时代下挑战,要提升图书馆服务质量;我们首先要注重的就是用户的需求。我们都知道大数据内的资料很多,但不一定都是客户们需要的资源。因此我们要做到尽可能的满足用户们的需求。

做好用户们的需求我们就要做好以下几点:①根据用户们的网页访问数量,统计、整理出哪些资源是比较受欢迎的,对其M行大量的收集。②了解用户的爱好和价值取向,根据其不同的喜好可以向不同的人群进行资料的推荐。

4 总结

在大数据时代下,虽然图书馆服务行业受到了很多的挑战,但是同时也遇到了很多的机遇,我们要相信,随着图书馆服务行业的不断发展和创新,一定能跟随时代的潮流,为我们提供更优质的服务。

参考文献

[1]韩翠峰.大数据时代图书馆的服务创新与发展[J].图书馆.2013(01)

[2]杨海燕.大数据时代的图书馆服务浅析[J].图书与情报.2012(04)

大数据时代特点篇2

关键词:数理统计;大数据;企业管理

随着科技的发展和信息传播速度的增加,人们处于信息爆炸的时代。与传统的数据相比,在大数据时代,数据具有哪些变化?传统的数理统计方法将会发生怎样的变革?数据处理方式的变化以及数据传播速度的增快将会对企业管理产生怎样的影响?本文重点分析了数理统计方法在大数据时代下企业管理中的运用,从而促进企业不断适应变化,实现长远发展。

一、数理统计的概念与特点

运用数理统计的方法分析生活中的各种数据逐渐成为科学研究的一种趋势,在相关数据的基础之上,通过运用数理统计的方法,可以判断事物发展的趋势,从而归纳出一些客观规律来指导我们的生活,提高生活质量。所谓的数理统计是指运用定量描述的方法分析随机变量之间的关系,通过有限次的观察实验得到数据,发现数据之间的内在规律,并判断整体的数据规律性。基本特点是以实验观察为基本出发点,以概率论作为基础,选择数学模型并进行验证。正确运用充数理统计的方法的前提是掌握数理统计的基本概念和基本思想,而总体和样本是数理统计的基本概念,总体是研究对象的全体,样本是研究对象的一部分。通过样本的信息对总体进行推断是数理统计的基本思想。

二、大数据的概念与特点

目前,学者们对于大数据没有达成统一的定义。一般来说,大数据是指数据资料非常庞大,无法运用目前的软件在短时间内进行数据的分析与处理。它是对大规模数据管理和技术平台的泛称,与传统的大规模数据不同,它除了数据的爆炸性增长之外,还包括对于数据的分析、处理和应用,最终实现挖掘大数据潜在价值的目的。大数据具有数据庞大、种类较多、价值性、处理速度快的特点。与传统的数据不同,在大数据时代,我们分析的数据总量巨大,并不再仅仅依靠传统的随机抽样的方法,除外,由于数据总量庞大,有着多样性和丰富性的特点,使得我们无法确定数据的使用目的。在大数据时代,仅仅依靠传统的几种工具无法实现对于数据的处理和分析,而是运用强大的云计算能力进行数据的处理与分析。

三、大数据时代对于数理统计的影响

统计学是一门具有三百多年历史的学科,在长期的发展过程中,不断吸纳各家之长,使得统计学的发展充满生机与活力。大数据时代的到来,为统计学的发展带来发展机遇的同时又带来巨大的挑战。具体如下:

1.大数据对于样本和总体的影响

众所周知,数理统计是通过具有代表性的样本推断总体的基本情况,从而对于社会经济发展的总体趋势做出判断。而具有代表性的样本是通过抽样的方式实现的,然而,在大数据时代,虽然信息量庞大,数据类型多样,但是大数据也存在着样本缺乏代表性、噪声等问题,因此,通过抽样的方法对于数据进行分析可能会存在一定的偏差。传统的数理统计方法收集到的数据具有结构化的特点,然而,在大数据时代,数据类型多种多样,容量超大,因此,样本数据与大数据存在很大的不同。样本数据有着特定的研究目的,运用抽样的方法获得数据,具有数据有限的特点。基于样本数据的特点,它的应用空间十分有限,通常无法满足多层次、多样化的需求特点,在抽样过程中出现偏离方案的现象时,抽样便无法进行,因此,样本数据分析的方法无法得到广泛推广。而大数据不仅包含的信息量巨大,而且不受各种限制即可以接纳各种各样的数据类型。与样本数据相比,大数据的优点是数据选择空间巨大,可进行多角度、多方面的数据分析。更为重要的是由于样本数据有限,可能无法判断出数据的某些规律,而通过大数据,某些规律可能会十分清晰。样本数据中无法发现的弱小信息,在大数据中可以找到。在样本数据中被认为是异常的值,在大数据中可能会被接受。因此,在大数据时代背景下,我们认识事物的能力大大提高,充分发掘有用的信息,抓住很多决策分析的机会,促进对于各种社会现象的理解和认识。综上所述,在大数据时代背景下,既可以作为总体也可以作为样本。随着社会的进步、互联网技术的发展,人们处理各种复杂信息的能力大大加强,从多样化的数据中获取有价值的信息越来越多,社会迅速进入大数据时代。在大数据时代,不仅人们的生产方式和生活方式发生巨大变化,企业管理也面临着新的机遇和挑战。

2.相关分析发生变化

大数据时代的到来使得相关分析发生变化,弥补了传统数据分析中的不足。首先,大数据时代的相关分析必须满足“通用性”和“均等性”的准则,并且结果不受变量间形式的影响。近年来,随着大数据的影响力逐渐增加,国外诸多专家和学者充分认识到大数据的相关分析的重要意义,并且对于改进大数据的相关分析进行了深入的研究。以Reshef(2011)等代表的学者提出了最大信息系数的研究方法,从而有效识别变量间的非函数相关关系。在此基础之上,一些学者提出了随机相关系数和最大相关分析的研究方法1。总之,新的相关分析方法涌现说明国内外学者发现传统的相关分析中存在的缺陷,无法满足大数据时代数据分析的要求,与此同时,他们也认识到大数据时代相关分析的重要性。

四、数理统计方法在大数据时代下企业管理中的运用

1.大数据推动企业变革

大数据对于企业管理方式产生十分深远甚至是颠覆式的影响,例如:营销方式的变化,商业模式的改变等等。在大数据时代,一个核心问题是数据的预测,大数据意味着一切以数据化的形式存在,也就意味着透明化。除外,数据也不再像过去那样被认为是陈旧的和静止的,在相关数据收集收集完毕后便不再具有价值。大数据时代,通过对原来的数据进行挖掘,可能会发现有用的信息。而对于企业来说,大数据时代要做到运用数理统计的方法做到决策的数据化,实现由过去依靠感觉进行决策向利用数据进行决策的转变。即使过去部分企业认识到数据的重要性也仅仅关注过去的、已经发生的数据,而这些数据存在着滞后的缺陷,管理者依靠主观经验进行决策,那么决策的风险较大。而在大数据时代,管理者充分运用数理统计的方法分析过去、正在发生的全部数据,充分挖掘各种有用的信息,以制定科学合理的决策,从而促进企业的发展。

2.进一步提升企业的人力资源价值

众所周知,人力资源在企业的成长和发展过程中发挥着至关重要的作用。大数据具有及时性、高处理速度的特点,充分保证数据的真实性和有效性,有利于企业进行科学决策,发现适合企业发展的优秀人才。传统的企业人才招聘方式为结合企业的战略目标、岗位分析等设定相关标准,然后依据这些标准对简历进行筛选,那么与企业战略目标和岗位分析标准契合度较高的候选者即为企业需要的人才。然而,首先各类标准的制定可能是片面的,因此,招聘到的人才可能不符合企业的要求。除外,面试是一个依靠情商和智商综合判断的过程,及时设定了各种硬性指标,在实际的面试中,HR可能受多种综合因素的影响,难以做出正确的决策。而在大数据时代背景下,可以减少这种不确定性的影响。通过数理统计的方法,对于收集到的各种数据进行收集、处理和综合分析,发现求职者的各种素质和企业招聘人才之间的关联性,找到真正适合企业发展的人才。并且随着企业收集到的信息越来越多,发现适合企业的优秀人才的概率会越来越大。通过这种招聘方式,不仅可以大幅度降低招聘成本,而且能够拓宽企业招聘渠道,丰富企业招聘形式,提高企业招聘的精确度,促进企业的长远发展。随着数据处理方式的不断改进,人们对于大数据挖掘到的信息必将越来越丰富,这有利于提高企业决策的科学性,推动企业的长远发展。

作者:江雯 单位:四川大学商学院

参考文献:

[1]程鑫,石洪波.大数据时代传统相关分析的局限性与拓展[J].统计与决策,2015,05,;73-74.

[2]邱东.大数据时代对统计学的挑战[J].统计研究,2014,31(1):16-17.

大数据时代特点篇3

论文关键词 大数据 大数据时代 社会生活 管理重构

一、大数据与大数据时代

随着科学技术的迅猛发展,特别是信息网络技术的普及,使大数据的应用日益广泛,全世界数据总量增长迅猛,就最近两年产生的数据总量来说,已经相当于人类此前的数据量总和。大数据的发展预示着人类社会生活的各个面面都将发生本质的转变,世界能够通过数字和数字得到解释,大数据不同于数字化时代,不仅量上,而且在质上也不同,大数字时代可以对一切进行数据化,是一个“镜像化”世界,人们可以用数据化数据来模拟真实生存,拟真世界。

数据体量巨大(Volume);动态的数据体系和快速的数据流转(Velocity);数据的类型繁多(Variety);精确性或数据价值(Veracity Or Value)等是大数据的特点。传统数据通常相对静止,类型固定,数据来源是相对可靠的;而大数据背景下的数据是动态产生的,类型多种多样,数据来源不可信,数据具有不确定性。大数据其实不仅可以作为一种工具,更是一种战略、世界观和文化,它与钱学森老先生倡导的“大成智慧学”的要义很相近,强调“必集大成,才能得智慧”。也就是,有了数据和信息并不等于有智慧,出智慧的关键在“集”,其中的逻辑是:数据——信息——知识——智慧。大数据的价值密度低,大数据量大而杂,由不同来源数据交叉形成,不容易发现数据之间的逻辑,需要人们去挖掘其中的巨大价值,这也就需要新的思维方式。

二、大数据时代社会生活的管理特征

随着大数据时代来临,社会生活的各领域发生了重大变化,面对大数据爆炸性的增长速度,数据对生活产生巨大影响,并成为一种重要手段,这已经不仅仅是技术问题,并逐步成为人们生活的课题,随着一切被符码化,人们开始进入了符码时代,大数据时代社会生活的诸多变化也将给人们社会生活的管理活动带来新的课题。

(一) 不确定性与非线性因果观

大数据时代,数据来源具有不可信和不确定性,与拥有更少、更标准的小数据时代相比,虽然我们能够使用的数据大大增加了,但同时,由于大数据内容丰富,使得我们今天所处的时代是一个动态的,时刻处于变化的环境,数据的高复杂性和不完备性导致不确定性,同时打破了以往的线性因果关系,可计算和不确定性的存在打破了管理的机械性。大数据时代的非因果的关联对传统管理所依靠的因果关系提出了调战,使得人们社会生活的管理活动不能仅仅依靠对以往的科学原则和方法的极度崇拜。大数据时代下允许对真理进行怀疑和理性考察,认识论并不是永远合理的,科学的秩序不需要真理来提供,社会普遍的创新精神需要得到张扬,社会生活的管理实践也逐渐呈现出尽可能少的受到必然性干扰的趋势。

(二)多元价值与差异性

大数据背景下的数据类型多种多样,从大量的数据来源中挖掘出的信息具有很大的差异性,可以说,大数据时代对普世主义造成了冲击,人们的个性被极大的凸显。传统社会生活组织系统中的人在管理活动中被要求时刻保持“价值中立”,排除情感等因素,作为理性的“工具人”而存在,这就满足了“机械性”管理的要求。大数据时代丰富多彩的数据网络系统使得人们的差异性和独立性日益被强化,这要求社会生活管理活动要抛弃以往对人的束缚。大数据时代下人们的个人自由和主体性的自我意识不断被强化,对个性解放的追求的结果就是人的差异性以及需求的多样化,由于组织中人的这种价值多元化和差异性的日益凸显,为社会生活的管理带来了新的课题。

(三) 管理活动承载实体的动态性

传统数据相对静止,大数据时代背景下的数据是动态产生的,2000年全球企业新产生的数据量为1EB到2EB,到2010年全球企业新产生的数据量就超过了7EB,面对这个时代数据的高速可变性,组织中的个体的任务、职能或功能也具有可变性,同时使得组织中的人具有主观能动性。大数据时代,组织是朝着有序方向演化的一种过程性的动态系统,其事物沿着空间、时间或功能的组织结构方向演化,在这个演化过程中,外界以特定的方式作用于这个组织体系,其结构和功能也是外界不断加给组织系统的。大数据时代下,组织是一个不断与外部环境发生作用的动态系统,组织的管理活动会受到来自外部的特定干预,组织环境的不稳定性和高速变化性必然带来组织管理活动承载实体的动态性。

三、 大数据时代社会生活管理重构的路径分析

大数据时代为我们带来了崭新的社会结构,这需要有新的管理模式与之相适应,新的制度结构必须是支持网络社会结构的制度模式,它需要充分重视每一个人作为网络数据结构中的独立节点的价值。

(一)构建非线性因果的思维方式

大数据时代的人们认为一切社会问题及其解决方案都可以通过数据而得到认识和发现。正如法兰克福学派的思想家们所指出的那样,科学活动中所包含着的那种相信必然性,相信规律的信念是属于意识形态范畴的东西。“它可以被认为是科学为之奋斗的一种理想,但是,它即不能被认为是肯定正确的,也不能被认为是肯定错误的,除非是根据某个先验的理由这么说”在小数据那种复杂性较低的社会中,这种理想是必要的,它反映了低度复杂条件下的挑战性和现实性的统一,可以说,仅在复杂性较低的情况下,这种理想可以反映出本身的价值。

大数据时代的高复杂性以及各要素之间非线性、非重复性的反馈系统,决定了管理在以追求效率为目标之一而一味地追求统一性的同时,也要关注非预测性的存在,要尊重多元性,给管理中差异性留有席位。由于大数据时代环境的偶然性与不确定性的存在,社会生活的管理活动必须把关注点更多地集中在具体实践对象的特殊性上,尽可能少的受到必然性、普遍性的干扰。社会发展是一种自然的演化过程,而不是现代科学依照机械因果关系进行理性建构的过程,大数据时代社会生活的管理不能只依靠传统机械的线性因果律来指导管理实践,也要有辩证的因果观,构建一种非线性因果的思维方式,注重对偶然性和不确定性的关注,否则,局限于“合理性的狭隘形式”,可能将社会生活的管理引入歧途。

(二)重塑多元价值的介入和伦理考量

大数据时代来临后,环境的复杂性和不确定性使人们的信仰、情绪变得异常不稳定,盲目而不确定性的凸显,加之,管理者本身固有的某些思想渊源、文化背景和价值观念对于管理实践活动的影响不容忽视,管理活动不可能也很难做到“价值无涉”。因此,重塑多元的价值观,发现被管理实践活动祛除的伦理、信念等价值因素是大数据时代社会生活管理的基本诉求。

大数据时代,社会的多元色彩变得越来越浓重了,“社会同质性及其统一性、稳定的文化系统解体了,其中只有极少一部分得到承认或被认为是理所当然的,”面对多元化的价值观念,社会生活的管理仅仅作出科学的把握是不够的,在探索管理领域科学建构的同时,还应该对其进行伦理考量。大数据时代,社会生活的管理面对的是复杂巨系统,这种特殊的复杂巨系统的内在异质性显著,会产生一些虽然属于局部细节、但影响全局的异常现象,大数据浪潮这种对形式合理性造成的冲击,更加要求多元价值因素介入到管理领域中。总之,规模庞大,异质性,非线性,不确定性,开放性,动态性,复杂巨系统的这些特征反映到科学描述的数据基础中,造就了数据的规模巨大和混杂性明显两大特征,这一切要求多元的价值介入与伦理考量将成为社会活动管理实践不可缺少的部分。

(三)构造新型的组织范式

大数据时代下,无论是泰勒和韦伯的被人们喻为机器式的组织,还是人际关系学派的网络组织,或者社会系统学派的被喻为有机体的组织形式都已经不合时宜,这些组织实现效率的同时都不可避免牺牲组织中人的个性,原有组织所面临的环境不确定性增强,组织模式开始耗尽其能量,组织结构的缺陷充分暴露出来,这都对社会管理活动承载的实体——组织——提出新的构造形式的要求。大数据时代,组织是具有复杂性、非线性、不可预测性和动态性的系统结构,管理是要求事务通过自行创生、自我组织、自发演化而走向有序化或组织化的过程,这将对传统的组织范式带来新的挑战。

大数据时代下的信息网络以及其特性要求构造新型的组织范式,其主要特点是组织层级少,组织内部的个体更自治、自律,这样更容易适应随时变化的环境。大数据时代的前提是能过微电子设备作出的可能选择,因此大数据时代的工作是非差别性、无界线、多技术的, 雇用关系更复杂, 表现出碎片式的形式,这就要求要构造具有无边界、复杂性、动态性、反应性、敏捷性、适应性的新型组织。大数据时代组织信息的共享性可以使员工的决策能力得以加强,员工是相对独立的、自由的个体,同时由于围绕业务工作的需要来展开工作,新型的组织不强调专业化分工, 重视员工的技能多样化,组织的员工应是自律的, 不是分等级的、惩罚性的, 人们接受选择和培训成自主行动、自我激励和自我管理的组织成员。

(四)超越整体主义与个体主义的制度设计

大数据时代下,作为网络数据结构中每一个节点的人,即不是整体意义上的,也不是个体意义上的人。就其作为一个“节”是属于网络系统而言,需要从整体上去把握,但其在整体中又是一个有着充分自主性和独立性的个体;就作为网络数据结构中的一个“节点”而言,他又是一个实在的人,但他与个人主义所理解的个体的人有根本性不同,社会制度设计也决不能仅从他作为个体的存在意义上出发。作为价值主体,从事社会实践活动的人即不能被简单地理解为社会生活整体,也不能被归结为个人存在,而需要从社会生活管理活动的制度、体制的整体意义上加以把握。

大数据时代特点篇4

关键词:大数据平台;Hadoop; Spark;比较研究

中图分类号:TP301

文献标识码:A

文章编号:16727800(2017)004021202

1大数据处理平台

1.1大数据特点

目前,大数据还没有一个标准定义,但是把握大数据的特征,有助于加深对大数据内涵的理解。数据具有的3V特征,即规模大(Volume)、种类多(Variety)、速度快(Velocity)。规模大,意味着数据量不断扩张,数据量级从现在的GB、TB增长到PB、EB甚至ZB级;种类多,指数据类型有结构化、半结构化和非结构化,其中文字、图片、音频、视频等非结构化数据占很大比例;速度快,表示大数据有强时效性,数据快速产生,需要及时处理及分析才能实现大数据的经济价值。 大数据的处理过程为数据抽取与集成、数据分析以及数据解释 [1]。巨量的数据往往也意味着噪声较多,这给数据清洗工作造成困难。传统的关系型数据库处理对象单位通常为MB,适合处理存储结构化数据,而面向大数据的数据库技术能够解决海量的非结构数据存储问题。传统的数据分析方法以算法的准确率作为重要的衡量指标,而大数据的高速性要求算法必须牺牲一部分准确性以更高效地处理数据。

1.2大数据处理平台

为从规模巨大、种类繁多、生成快速的数据集中挖掘价值[2],针对大数据的技术和方法应运而生。GFS、NoSQL、ITHbase、MapReduce等云计算技术发展,使大数据有效存储、管理和分析成为可能。但从众多复杂的大数据技术中进行选择,并搭建完备的大数据处理框架难度很高,不利于挖掘大数据中的经济价值。大数据平台能在用户不了解架构底层细节的情况下,开发大数据应用程序。全球领先的科技巨头纷纷提出了建设与应用大数据处理平台:IBM公司推出了云端版InfoSphere BigInsights[3];HP推出了HP Vertica6.1分析平台[4];Google提出的GFS、MapReduce等云计算技术催生了大数据处理平台的事实标准Hadoop。目前,Google使用的是自己开发的Caffeine[2];Facebook结合自身需求实现了Corona、Prism。完备、高效的大数据处理平台为大数据应用提供一站式基础服务,支持应用系统从清洗、集成、分析到结果可视化展现全过程建设,降低了用户技术门槛[5]。

2大数据处理平台比较

Hadoop的支撑技术(MapReduce等)成熟,实现了海量数据分布式存储和批量处理,应用广泛,成为大数据处理平台的事实标准。Spark以其近乎实时的性能和相对灵活易用而受到欢迎,它同Hadoop一样都是Apache旗下的开源集群系统,是目前发展最快的大数据处理平台之一。

2.1Hadoop与Spark比较

2.1.1Hadoop及特c Hadoop是由Apache开发的开源云计算平台,实现在大量计算机组成的集群中进行分布式存储和计算。Hadoop框架最核心的技术是HDFS和MapReduce。HDFS是可部署在廉价机器上的分布式文件系统,采用主/从结构,将大文件分割后形成大小相等的block复制3份,分别存储在不同节点上,实现了海量数据存储。MapReduce编程模型实现大数据处理,它的核心是“分而治之”[1]。Map任务区将输入数据源分块后,分散给不同的节点,通过用户自定义的Map函数,得到中间key/Value集合,存储到HDFS上。Reduce任务区从硬盘上读取中间结果,把相同K值数据组织在一起,再经过用户自定义的Reduce函数处理,得到并输出结果;将巨量资料的处理并行运行在集群上,实现对大数据的有效处理。 Hadoop具有如下优点[69]: (1)高扩展性。Hadoop的横向扩展性能很好,海量数据能横跨几百甚至上千台服务器,而用户使用时感觉只是面对一个。大量计算机并行工作,对大数据的处理能在合理时间内完成并得以应用,这是传统单机模式无法实现的。 (2)高容错性。从HDFS的设计可以看出它通过提供数据冗余的方式提供高可靠性。当某个数据块损坏或丢失,NameNode就会将其它DataNode上的副本进行复制,保证每块都有3份。所以,在数据处理过程中,当集群中机器出现故障时计算不会停止。 (3)节约成本。首先,Hadoop本身是开源软件,完全免费;其次,它可以部署在廉价的PC机上;“把计算推送给数据”的设计理念,节省了数据传输中的通信开销。而传统的关系型数据库将所有数据存储起来,成本高昂,这不利于大数据产业发展。 (4)高效性。Hadoop以简单直观的方式解决了大数据处理中的储存和分析问题。数据规模越大,相较于单机处理Hadoop的集群并行处理优势越明显。 (5)基础性。对于技术优势企业,可以根据基础的Hadoop结合应用场景进行二次开发,使其更适合工作环境。比如,Facebook从自身应用需求出发,构建了实时Hadoop系统。 Hadoop系统局限性 [1011]:①不适合迭代运算。MapReduce要求每个运算结果都输出到HDFS,每次初始化都要从HDFS读入数据。在迭代运算中,每次运算的中间结果都要写入磁盘,Hadoop在执行每一次功能相同的迭代任务时都要反复操作I/O,计算代价很大。而对于常见的图计算和数据挖掘等,迭代计算又是必要的;②实时性差。Hadoop平台由于频繁的磁盘I/O操作,大大增加了时间延迟,不能胜任快速处理任务;③易用性差。Hadoop只是一个基础框架,精细程度有所欠缺,如果要实现具体业务还需进一步开发。MapReduce特定的编程模型增加了Hadoop的技术复杂性。

2.1.2Spark及特点 Spark的整个生态系统称为BDAS(伯克利数据分析栈),包括Tachyon、Spark Streaming、Spark Core、MLlib等。其核心框架Spark是为了实现大数据的快速处理而设计的,可以用来构建低延迟应用。Spark以RDD(弹性分布数据集)为基础,实现了基于内存的大数据计算。RDD是对数据的基本抽象,实现了对分布式内存的抽象使用。由于RDD能缓存到内存中,因此避免了过多的磁盘I/O操作,大大降低了时延。Tachyon是分布式内存文件系统,类似于内存中的HDFS,基于它可以实现RDD或文件在计算机集群中共享。Spark没有自己的文件系统,通过支持Hadoop HDFS、HBase等进行数据存储。Spark更专注于计算性能,其特点如下[1113]: (1)高速性。Spark通过内存计算减少磁盘I/O开销,极大缩小了时间延迟,能处理Hadoop无法应对的迭代运算,在进行图计算等工作时表现更好。高速数据处理能力使得Spark更能满足大数据分析中实时分析的要求。 (2)灵活性。较之仅支持map函数和reduce函数的Hadoop,Spark支持map、reduce、filter、join、count等近80多种操作类型。Spark的交互模式使用户在进行操作时能及时获得反馈,这是Hadoop不具备的。Spark SQL能直接用标准SQL语句在Spark上进行大数据查询,简单易学。尽管在Hadoop中有Hive,可以不用Java来编写复杂的MapReduce程序,但是Hive在MapReduce上的运行速度却达不到期望程度。

2.1.3Hadoop与Spark特点比较分析 Hadoop具有高扩展性、高容错性、成本低、高效性、不适合迭代运算、实时性差、易用性差等特点,与之相比,Spark最突出的特点是高速性和灵活性,基于这些特点分析总结如下:Hadoop更注重存储性能,而Spark更专注于计算,可以形象地将二者的处理方式比作“大砍刀”和“剔骨刀”,前者可以胜任更加繁重的任务,但难免粗糙,后者则胜在快速、灵巧上。

2.2Hadoop与Spark应用场景比较

2.2.1Hadoop应用场景 Hadoop的高扩展性、高容错性、基础性等优点,决定了其适用于庞大数据集控制、数据密集型计算和离线分析等场景。针对Hadoop的局限性,为提高Hadoop性能,各种工具应运而生,已经发展成为包括Hive、Pig、HBase、Cassandra、YARN等在内的完整生态系统。HBase新型NoSQL数据库便于数据管理,Hive提供类似SQL的操作方式进行数据分析,Pig是用来处理大规模数据的高级脚本语言……这些功能模块在一定程度上弥补了Hadoop的不足,降低了用户使用难度,扩展了应用场景。

2.2.2Spark应用场景 与Hadoop不同,Spark高速、灵活的特点,决定了它适用于迭代计算、交互式查询、实时分析等场景,比如,淘宝使用Spark来实现基于用户的图计算应用[11]。但是,其RDD特点使其不适合异步细粒度更新状态的应用[1],比如,增量的Web抓取和索引。RDD的特点之一是“不可变”,即只读不可写,如果要对RDD中的数据进行更新,就要遍历整个RDD并生成一个新RDD,频繁更新代价很大。

2.2.3Hadoop与Spark的互补竞争关系 Hadoop与Spark同榇笫据处理平台,必然在市场中存在一定的竞争替代关系,二者在功能上有较强的互补性。Hadoop解决了如何将大数据储存起来的问题,Spark在此基础上考虑的是更快速、易用地实现大数据分析,这点从Spark仍采用HDFS作为文件系统就可看出。它们适用于不同的应用场景,有时协同工作会达到更理想的效果,在Spark和Hadoop的许多发行版(如CDH、MapR、InfoSphere BigInsights)中,它们都已经互相支持实现。

3结语

本文分析了大数据的3V特点,论述了大数据处理与传统数据处理的不同,指出了传统处理方式在大数据环境下的局限性。通过分析常用的大数据处理平台,并分析Hadoop和Spark的核心技术,对其优缺点进行了归纳。Hadoop实现了海量异构数据的存储和处理,虽然在处理速度和易用性方面存在缺陷,但由于它的基础性还是得到广泛应用,企业可根据自身应用特点进行改进。虽然Spark不适合异步细粒度更新状态的应用,但在处理性能和易用程度上较Hadoop优势显著,发展也十分迅速。通过比较两者的优缺点,可以发现它们在功能上有较强的互补性,协同使用可以带来效益优化。目前Spark和很多Hadoop发行版都已经互相支持。期望本文对大数据处理平台的选择、利用和研发有所启发。

参考文献:

[1]孟小峰.大数据管理:概念、技术与挑战[J].计算机研究与发展,2013,50(1):146169.

[2]张引.大数据应用现状与展望[J].计算机研究与发展,2013,50(S2):216233.

[3]IBM.积极推进“大数据”时代革新[J].硅谷,2011(22):116117.

[4]于翔.HP Vertica 6.1快速连接Hadoop[N].网络世界报,20130204(034).

[5]王强.大数据分析平台建设与应用综述[J].集成技术,2016,5(2):218.

[6]黄素萍.Hadoop平台在大数据处理中的应用研究[J].现代计算机,2013(29):1215.

[7]任仁.Hadoop在大数据处理中的应用优势分析[J].电子技术与软件工程,2014(15):194195.

[8]戴中华.基于Hadoop平台的大数据分析与处理[J].通讯世界,2015(6):5960.

[9]张臻.大数据处理平台分析[J].电信,2014(6):79.

[10]张岩峰.云环境下大数据迭代计算研究[D].沈阳:东北大学,2012.

大数据时代特点篇5

[关键词]大数据 高校 档案 转变

[中图分类号]G271 [文献标识码]A [文章编号]1009-5349(2016)22-0100-02

“大数据”是现代科学技术发展的产物,被快速地应用于诸多行业,并且得到人们的普遍认同,它推动了大数据时代的快速到来。高校档案管理工作必须适应大数据时代的要求,根据大数据时代高校档案工作的新特点,采取有效措施,实现高校档案工作的新转变,以更好地发挥高校档案信息资源价值。

一、大数据及其特点概述

(一)大数据提出及发展

2011年麦肯锡首次提出大数据的概念,在《大数据:创新、竞争和生产力下的一个前沿领域》一文中并提出了自己对大数据的认识,他认为大数据已经实现了多个领域的渗透,并对各个领域产生了深刻的影响。此后,在美国政府的推动下,《大数据研究和发展倡议》一文出现在公众面前,掀起大数据热潮,人们对大数据的认识逐步深入化、普及化。

(二)大数据特点

随着大数据概念的提出,人们对大数据的特点进行了广泛的研究,综合人们既有的研究成果,大数据主要表现为以下几个特点:信息量极其丰富,从大数据时代的信息单位可以看出,从TB到P再到ZB级,这种增长趋势并没有出现停滞的迹象;信息资源类别多样化,大数据时代,信息资源类别从传统的相对单一的图文类型向多样化转变,涵盖音视频、网页资源信息、位置信息等,几乎涵盖了所有的类型;信息资源整合大,随着信息资源的日益丰富,人们获取信息的难度增大,但通过整合获取的信息价值得到大幅度提升;处理速度得到快速提升,处理速度得到了秒级时效。

二、高校档案信息服务提升必要性

(一)高校档案信息服务提升是顺应大数据时代必然需求

大数据时代,数据信息量庞大,数据信息类型丰富,数据信息的密度却相对偏低,信息处理速度快。大数据时代的这些特点,迫切需要高校档案信息服务做出相应的调整,采取有效的措施实现自身的新发展与提升,否则就难以顺应大数据时代的发展要求,难以发挥高校档案信息资源的价值。

(二)高校档案信息服务提升是数据信息服务的时代需求

大数据时代,人们的信息获取观念产生了重大转变,社会需要信息供体转变信息供给方式,树立“数据为主”的信息服务观念。高校传统的档案信息服务显然已经难以适应社会以“数据为主”信息服务理念,必须基于社会档案信息服务需要,建立新型的档案信息服务模式,顺应信息时代的需求。

(三)高校档案信息服务提升是促进自我发展的内在要求

大数据时代,信息量巨大,资源类型丰富,高校档案信息服务面临着新的发展形势。高校档案信息传统服务已经表现出一定的滞后性,服务面不广,服务缺乏灵活性、便捷性,大大制约了大数据时代高校档案事业的进一步发展。高校档案管理工作只有进一步提升档案信息服务水平,才能实现由内而外的发展,提升档案管理工作影响力。

三、大数据背景下高校档案工作存在的问题

(一)档案工作理念滞后

大数据是一个全新的概念,大数据时代背景下,高校档案管理工作首先面临着一个思想理念滞后的问题。高校档案管理工作的传统思想理念已经难以适应时展需要,必须从传统思想中转变出来,基于大数据时代高校档案管理工作的新特点,摆脱惯性思维的影响与束缚,实现高校档案管理工作理念的新发展与新突破,以适应大数据时代高校档案管理工作需要。

(二)档案信息供给力弱

大数据时代一个显著的特点是信息数据资源丰富,这就要求高校档案管理工作能够具有较强的信息供给能力。目前高校档案信息管理系统存储与分析能力明显不足,突出地表现在检索效率低,高校档案信息不仅查全率效率不高,查准率也明显不高;信息分析能力也是一个突出问题,档案利用形式传统,基于信息分析与加工的新型信息供给能力有待提升。高校档案工作迫切需要进一步提升供给与服务能力,才能满足大数据时代的要求。

(三)档案服务方式单一

高校传统档案服务方式比较单一,主要以封闭式服务为主,服务消极现象严重,缺乏主动性。服务方式的单一化使高校档案工作陷入了“重视信息保管、淡化信息利用”的模式,高校档案管理内容单一,主要以文书的形式存在,造成馆藏资源的单调化,服务对象狭隘,主要服务于高校党政行政机关;档案资源的获取,需要实地借阅,而且审批程序复杂。高校档案服务方式的单一化,大大制约了档案工作效能提升,成榇笫据时代制约高校档案工作的重要因素之一。

(四)档案信息安全隐患

大数据对高校档案提出了新的要求,要求构建开放性的资源服务模式,推动档案资源的共享。在档案信息资源开放与共享的同时,带来一个突出的问题,那就是档案信息资源的安全性问题。目前基于档案信息安全措施难以提供有效保障,尽管高校相继开展档案信息化建设,但是缺乏宏观设计,导致建设标准不统一,信息化程度不高,相应的法律法规也相对滞后,明显滞后于大数据时代高校档案工作安全需求。

四、“大数据”背景下高校档案工作的转变

(一)转变档案工作理念,提升信息服务意识

大数据背景下,高校档案管理工作要进一步解放思想,树立服务理念,以更好地发挥高校档案管理资源价值。

1.树立开放型服务理念

大数据时代要求实现信息资源的共享,这就需要高校档案管理工作,根据高校档案工作定位,做好档案信息资源的归类与整理,树立开放理念,走出传统的思想束缚,使档案工作更好地服务于师生,推动高校之间档案资源的共享与互动,实现高校档案信息资源最大化效能。

2.树立个性化服务思想

大数据时代背景下,信息资源以爆炸的方式喷涌,这就需要高校档案工作树立个性化服务思想,进一步提升服务意识。大数据时代,信息数量巨大,提升了用户信息获取的难度,高校要通过个细化服务,进一步提升高校档案资源供给的针对性,满足用户个性化信息需求。

(二)加强档案信息整合,提升信息收集能力

高校档案工作的一个重点是提升信息收集能力,这是发挥档案信息资源价值的前提与基础。大数据背景下,高校必须将信息整合作为一项重要工作,不能优化与提升档案信息收集能力。

1.既有信息资源建设

高校档案工作要进一步强化既有档案信息资源的归档,根据大数据时代要求,推动档案资源建设的信息化水平,完成传统纸质档案资源的电子化归档。电子归档过程中必须强化标准意识,质量意识,从而能够有效实现档案资源的共享,同时要确保档案数据信息的信度,确保电子档案的真实性。

2.新型信息资源整合

高校的快速发展,也产生了大量的新型档案信息资源。高校要加强新型信息资源收集,提升信息资源采集的广度与深度,尤其是要突破档案资源以“行政档案资源”为主的档案资源采集思路,融入人物、文化、科研、历史等丰富的档案信息资源,还要关注媒体档案信息资源建设,以更好地提升档案信息收集能力。

(三)借助现代技术支撑,强化信息服务能力

大数据时代是技术滋生下的产物,因此高校档案工作要强化信息服务能力,必须借助现代技术手段为支撑,实现档案信息资源的增值与服务能力升级。

1.规范的数字化处理

大数据背景下,高校档案工作必须借助现代科学技术手段,实现规范的档案资源数字化处理。新时期,高校档案工作必须将档案信息资源的数字化处理作为首要任务,对所有档案完成数字化加工,提升档案资源数字化加工的技术含量,为档案信息资源共享奠定坚实基础。

2.升级信息管理系统

高校档案信息资源的价值提升需要一套与之相适应的信息管理系统,高校必须基于大数据时代的要求,对既有的信息管理系统进行优化升级,构建基于大数据时代的档案管理系统,确保信息系统的存储、分析能力,并且是信息管理系统具有相对的可扩展性,以确保高校档案工作的可持续发展。

(四)优化安全措施,加强信息安全管理

安全是高校n案工作要解决的一个重要问题,高校必须优化安全措施,加强档案信息安全管理。

1.提升安全技术

高校要发挥技术优势,用先进的技术构筑起第一道安全防线。高校要充分利用先进的信息安全技术,以安全及时为支撑,提升信息系统的安全防控能力,通过先进的监控技术、密码技术、信息过滤技术等,从技术层面严防安全漏洞。

2.强化制度建设

高校档案第二道安全保障是安全制度,高校要基于大数据时代安全问题,加快安全制度建设,力求全方位地规范人们的行为,将因人为因素造成的安全危害降低到最低程度,确保高校档案工作能够做到有章可循,有制度可依。

总之,高校档案工作转变不仅是大数据时代的要求,也是自身发展的必然要求。高校档案工作必须基于大数据时代特点与要求,进一步提升工作主动性,使档案工作更好地发挥自身价值,促进高校更好、更好发展。

【参考文献】

[1]姜萍,姜叶飞.大数据背景下高校档案管理模式变革研究[J].兰台世界,2015(11):30-31.

[2]傅笑然.大数据背景下高校教学档案管理探析[J].高教学刊,2015(19):128-129.

[3]王涛.大数据时代背景下的高校档案资源共享研究[J].兰台世界,2016(04):75-76.

[4]王书伟.大数据时代政府部门间信息资源共享策略研究[D].吉林大学,2013.

[5]松姗.综合档案馆政务微博应用研究[D].西北农林科技大学,2013.

[6]石洁.面向公众的国家综合档案馆特色馆藏体系建设研究[D].山东大学,2010.

[7]资蕙.信息公平与档案服务体系建设研究[D].安徽大学,2007.

[8]Timothy R.Huerta,Mark A. Thompson,Eric W. Ford,William F. Ford. Electronic health record implementation and hospitals’ total factor productivity[J].Decision Support Systems.2013(02).

[9]Cheng Ziyu,An Haining.The Building of Digital Archives Personalized Service Website based on Web 2.0[J].Physics Procedia,2012.

大数据时代特点篇6

关键词:信息技术 大数据时代 高职外语教学

一、前言

信息技术的飞速发展,使人类社会来到了大数据的时代。大数据对人类社会产生了极大的影响。然而,大数据技术的意义不在于掌握这些海量的数据信息,而在于怎么合理地应用这些相关的技术。在外语教学中,我们可以合理地将相关的技术应用到教学活动中,作为教学工具、教学手段、教学内容,将大数据技术渗透到教学中,这必将对给我们的外语教学带来新的生机。

在未来的教学中,课堂将不再是学生获取知识的唯一途径,越来越多的网络学习途径将会出现,大数据技术将渗透到我们的教育领域,它对我们的教学产生了重要的影响。在大数据的时代背景下,我们传统的教学必将遭到挑战,作为高职院校的教师,基于高职教育的特殊性,我们该如何开展高职外语教学,如何合理地应用出现的新技术呢?这需要广大教师与相关人员不断地进行探索。

二、大数据的时代特征

人类步入21世纪,随着信息技术的不断发展,信息开始超速繁殖,数字化的信息迅速狂增。信息技术在不断地发展着,如今它已渗透到各行各业、各个领域。它的广泛应用促使社会出现了很多新技术,移动互联网、云计算、物联网,等等。人们在使用这些相关的软件设备时产生了大量的数据,全球的数据量正在快速地增长,大数据的时代已真正到来。在信息化的时代洪流中,“大数据”(big data)这一概念迅速蔓延,成为了各行业的热门话题。大数据具有Volume(大量)、Velocity(高速)、Variety(多样)、Value(价值)这四个特点。“大数据”是对疯狂增长的信息的生动描述。互联网开启的大数据时代对人类社会的影响是深远的。

三、大数据对高职外语教学的影响

信息时代的到来,势必给我们的教学带来了很多益处。手机的便捷,让我们的学生随时可以通过网络查阅相关的内容,微信、微博、QQ这些,也为我们的学生提过了大量的信息。这些便捷的渠道,已使学生们习惯于利用网络信息。

在大数据的时代背景下,互联网的快速发展促使很多新型的教学模式出现,如今的微课、慕课、翻转课堂都是面向数字化时代的大学英语教学改革,具有大数据的时代特征。微课是以视频为载体,将某个知识点或者教学环节以微课程的形式出现。这种短小、精致、便捷的微课程,使学生在任何时候、任何地点都可以进行远程自主学习。这种学习,将远程学习方式带到了学生的生活中。慕课是一种网络开放课程,它让我们的教学来到了“在线”时代。一系列的在线网络课程已经形成,这种在信息网络时代下的在线学习,给学生提供了大量的在线课程资源,方便了他们的学习。翻转课堂是指学生先在课前通过网络课程学习平台或是视频等相关资料进行学习,老师不再占用课堂时间讲授知识信息,他们只是在课堂上解答学生学习的疑难点。这种颠覆传统的教学方式主要是为了提高学生的自主学习能力,让他们更真实地去体验获得知识的过程。互联网掀起的数字革命正改变着我们传统的教学方式。微课、慕课、翻转课堂等新型的教学模式,正是大数据时代的历史变革。信息时代下的全新教学模式带给了我们新的理念、新的教学方法。

大数据时代下的互联网为我们的学生提供了丰富的学习资源,灵活、便捷的学习方式,使我们的学生有了更多的自主选择机会。对于外语学习,我们的高职学生可以通过网络获取更多有趣、有意义的视听说等教学资源。不同的学生可以根据自身的情况选择适合自己的内容,根据自身的特性,学生可以有效控制学习的时间和进度。高职学生的外语水平参差不齐,每个人的学习差异较大,他们可以根据自身的情况进行自主学习,因此,这些新时代的教学模式非常适合他们。然而传统的教学模式很难考虑到每个学生的特性,它针对的是全体学生。在大数据时代,传统的教学方式改变了,教师的角色也改变了。这些新出现的教学模式,让我们的教师从传统意义上的传授者变成了引导者。教学的主体不仅仅是教师,学生也是教学的主体。在课堂教学活动中,学生将会更多的融入课堂。高职教育重视的是学生实践能力的培养,大数据时代背景下的新型教学模式,可以更好地培养高职学生的动手能力、自主学习能力、实践能力,这与高职教育的特征是相符合的。

四、如何应对新时代的挑战

的确,在信息化、数据化的社会大环境下,网络教育模式、在线教育模式在教学活动中越来越流行。新时代的这些教学模式在我们的高职教学中越来越流行,他们已渗透到各个学科。然而,信息化的教学似乎只改变了传统的教学方式,它并没有改变教学质量。因此它还有许多不足之处需要我们去改进。要想将这种教育模式作为未来的主流模式,我们需要抓住传统的教学方式的核心,而不是摒弃传统教学的重要理念,将数据化、信息化的东西与高职学生的特性结合起来,创建适合他们的外语课堂教学模式。

大量的知识信息通过网络的形式呈现给学生,会使学生慢慢摈弃传统的课堂教学,忽略课堂教学的重要性,从而开始抵触传统的课堂,而过分依赖网络,学习上产生一种惰性。

新时代下的教学模式使学生也成了教学的主体,对学生的自主学习能力有了更高的挑战。只有具有较高自主学习能力的学生才能够达到一定的学生效果。然而高职学生的特殊性,他们能否真正意义上地达到自主学习?在大数据的时代背景下,为了达到更好的教学效果,外语教师应运用新的教学策略,设计合理的教学活动来促进学生的学习,从而真正提高教学质量,真正意义上地培养学生的外语能力。

总之,大数据时代的到来,为我们的教育教学带来了新的生机,新的教学模式、教学理念让我们的高职教育来到了一个新时代。在未来的教育发展中,大数据必将对高职教学改革产生一定的影响。作为高职院校的外语教师,我们如何应对新时代的挑战,如何将新技术与教学合理地应用,这些需要我们长期的探索与研究。

参考文献:

[1]张静.网络时代的教育与教师角色的转变[J].贵州师范大学学报,2003,(03).

[2]杨晓丽.高校网络英语教学:问题、特点及教师角色[J].外语电化教学,2005,(01).

[3]张渝江.翻转课堂变革[J].中国信息技术教育,2012,(10).

大数据时代特点篇7

大数据时代的到来,给与之密切相关的统计学专业带来了前所未有的机遇与挑战。本文针对统计学专业的自身特点,分析了专业中存在的问题,并从人才培养目标的定位,课程的调整与设置,教学手段创新和完善教学评估体系等几个方面提出了一些合理化的建议。

关键词:

大数据;统计学;教学改革

一、引言

最早提出“大数据”时代到来的是全球知名咨询公司麦肯锡,现在的社会是一个高速发展的社会,科技发达,信息流通,人们之间的交流越来越密切,生活也越来越方便,大数据就是这个高科技时代的产物。大数据具有以下的鲜明特点:第一个特征是数据量大。第二个特征是数据类型繁多,多类型的数据对数据的处理能力提出了更高的要求。第三个特征是数据价值密度相对较低,如何通过强大的机器算法更迅速地完成数据的价值“提纯”,是大数据时代亟待解决的难题。第四个特征是处理速度快,时效性要求高,这是大数据区分于传统数据挖掘最显著的特征。统计学专业是与数据分析处理联系最为紧密的学科之一。大数据时代的到来不仅为统计学专业的发展带来的前所未有的机遇,同时也带来了巨大挑战。传统的统计学专业已不再适应大数据时代的信息爆发式增长的要求,这就要求我们应该对统计学专业进行重新定位,并在此基础上调整相关课程,改革传统的教学手段以及完善教学评价体系,以适应大数据时代的到来。

二、统计学专业改革的建议

(一)人才培养目标的重新定位如果说以往的统计学专业是以培养简单的“应用型”人才为目标,那么随着大数据时代的到来,社会不仅仅需要会应用基础统计知识处理相关领域的问题的单一的应用型人才,而是对人才提出了更高的要求:大数据时代下的统计学专业的人才除了应该具备基础的数据收集,处理和分析的能力之外,还应该了解相关应用领域的背景知识,而且应具备很强的自我学习能力,以适应大数据时代数据量大,总类繁多,时效性高等发展特点。因此,统计学人才培养目标应该重新作出调整,应该以培养全新的“复合型”统计人才为新的目标。

(二)课程设置的调整随着人才培养目标的重新定位,随之而来的就是应该对不再适应时展要求的课程进行必要的调整。首先,大数据的分析和处理与以往的经典分析方法有很大不同,以往的统计分析方法主要是建立在抽样基础之上,而大数据时代信息处理迅速,信息获得途径广泛,而且信息价值密度低,这就要求数据处理时,可以以全体作为样本,而不是进行抽样;分析时必须考虑所有数据而不是剔除所谓的异常数据。因此,以往的经典统计分析方法已不再适应大数据的处理和分析,必须适当的调整经典分析方法的课程设置,增加新的适用于大数据分析的课程。其次,随着数据量的爆发式增长,所有的统计工作对计算机的依赖程度越来越高,这就要求统计学专业的学生不仅掌握统计学专业的基础知识,同时应该熟练掌握计算机专业知识相关知识,因此,在课程安排时,应注意计算机相关课程的适当增加。基于上述原因,可以考虑增加如下课程:机器学习,模拟算法,数据挖掘,R语言软件分析等课程,同时适当降低传统分析方法课程的学时比重。此外,为了使学生能够对相关应用领域的背景知识有所了解,可适当增设与应用领域相关的通识课程。

(三)教学模式与手段的创新以往的教学模式,通常是以课堂教学,掌握书本经典理论为主。虽然,传统教学手段有着学生理论基础扎实等诸多优点,但是同时也存才学生过于偏重理论知识的掌握,动手能力不足,理论与实践脱节等缺点。随着社会的发展,尤其统计学专业自身具有鲜明的应用专业特点。只采用传统的教学模式和手段显然不再适合大数据时代的需要;同时,随着大数据时代的到来,多媒体手段日益丰富多彩,为传统教学的创新提供了必要的支持。因此,为了适应大数据时代人才的要求,必须改革传统的教学手段和模式,在传统教学基础上,加大实验教学的比重,在传统教学外,增加社会实践环节,引入微课慕课,翻转课堂等全新教学模式,以提高学生的学习兴趣,锻炼学生理论应用于实践的能力,从而为以后使用大数据时代的工作打下坚实的基础。

(四)教学评价体系的完善传统的教学评价体系,通常是采用书面考核的方式对学生的学习进行评价,随着时代的发着,单纯的笔试评价不足以衡量学生的全面能力,最后导致出现高分低能的情况的出现。为了适应大数据时代对人才多方面能力的需求,必须对传统的考核评价体系做出适当的调整,以评价学生的多方面能力,尤其是动手能力,学习能力和应用相关理论处理实际问题的能力。具体可以采用多种考核方法相结合的方式。如:增加平时的考核力度,增加实践项目的考核,通过布置适当的项目论文,采用答辩的形式,以锻炼学生适应以后工作,独立分析解决问题的能力。此外,传统教学评价体系通常是单方面的,只有对学生成绩的评价,为了适应大数据时代的到来,全面提高教学质量,可采取双向教学评价体系,如:增加学生对教学环节的评价体系。以及教师间同行间的评价体系等。

三、启示

通过以上分析表明,为适应大数据时代数据分析处理的要求,对统计学专业必然要进行必要的全面的改革,如:需要重新对专业惊醒合理的定位,重新制定人才培养目标,调整专业课程设置,改革传统的教学模式和手段等等。但是,统计学专业改革是循序渐进的过程,不可能一蹴而就,不是一朝一夕就能实现的,因此,必须制定长期改革方案,以及有效的检验机制,避免在改革项目太多而适得其反。可以采用先试点,再推广的方式,或者先局部进行改革试验,再进行多方面的改革。例如可以先重新制定合理的人才培养方案,只进行适当的课程调整。稳定后,在进行考核方式,评价体系等其他方面的改革。

大数据时代特点篇8

关键词 大数据 生物学 案例教学 策略变革

中图分类号 G633.91 文献标志码 A

1912年4月15日,载有1 500人的豪华巨轮“泰坦尼克号”沉没,而这艘巨轮曾号称“永不沉没”和“梦幻之船”。船长在没有分析恶劣天气、检修游轮的状况下,只凭借多年经验和对巨轮情况的盲目臆断,就贸然在黑夜下的冰山之间穿行,最终导致悲剧的发生。可见,没有对隐性数据进行建模以及分析便进行决策,就有可能导致灾难性的结果。大数据时代之前的教育就是在这样一种可怕的情形下进行的。传统的教育往往是,教师凭借以往的经验,便将那些自己隐约觉得能够提高课堂效率和学生成绩的教学策略引进课堂,然后通过一次次地实践,验证自己的猜想。但是,这些教学策略是通过改变哪些条件来影响课堂教学的呢?这些教学策略真的很重要吗?教师却是不得而知。在大数据时代,教育信息的获取不再是依靠经验或者是结果性的评价,而是依赖于过程数据的深度挖掘以及学习的分析。这无疑将引起教育的重大变革。笔者旨在从案例教学的视角出发,尝试阐述大数据引起的案例教学开发策略之变革,从而使其更好地应用于课堂教学实践之中。

1 大数据时代的变革

何为“大数据”?《上海推进大数据研究与发展行动计划》对大数据的概念做了较全面的概括:大数据有三层内涵:① 数据量巨大、来源多样和类型多样的数据集;② 新型的数据处理和分析技术;③ 运用数据分析形成价值。从这三层内涵的角度来看,大数据分别引起了三方面的变革:能力变革、方式变革和思维变革。能力变革是指在数据量巨大,真假数据杂糅的大数据时代背景下发展出辨别数据的好坏真伪、制定正确决策的能力;方式变革是指从事工作和学习的方式从以往的“靠经验”“凭想象”转变为“靠数据”;思维变革是指思维形式变为通过数据分析挖掘价值而不是挖掘结果,再将价值应用于其他相关方面,“不是因果性,而是相关性”。

1.1 大数据时代引起的能力变革之一:对比分析、辨别真伪

对于大数据时代教育的变革,印度教育科学家苏伽特・米特拉是一个里程碑式的人物。他提出:教育是一种自组织行为,孩子们可以无师自通。基于这种自组织行为,苏伽特分析,“只有三种最基本的东西在今后的大数据时代是学生要用到的和必须学习的:第一是阅读,第二是搜索,第三是辨别真伪。”在大数据时代,各行各业都面对着信息量的爆发式增长,数据成了唾手可得的东西,但同时数据好坏、真伪性的辨别也成为令人头疼的一个问题。面对形形的原始数据以及各种别出心裁的数据“包装”,如何透过现象看到本质,把握大数据的大方向,便成为大数据时代人们追求的“大能力”。

1.2 大数据时代引起的方式变革之一:用数据说话

维克托・迈尔・舍恩伯格曾大胆预测:“在不久的将来,世界许多现在单纯依靠人类判断力的领域都会被计算机系统所改变甚至取代。”用数据说话成为大数据时代的标志。即便像教育这种依靠经验进行的活动,在大数据时代也将变得准确化和清晰化。大数据时代的云技术以及网络平全可以在学习过程中,通过记录每个学生点击、重复的次数以及阅读时间的长短来收集数据,然后再聚合、分析全体学生的行为数据,从而了解全体学生的思维状况,由此让学生的思维由“模糊”变“透明”。美国教育部在2012年10月的《通过教育数据挖掘和学习分析促进教与学》报告就是旨在通过网络平台进行数据的深度挖掘和学习分析。大数据时代给我们呈现的将是越来越清晰的世界以及越来越透明的自己。

1.3 大数据时代引起的思维变革之一:相关性

维克托・迈尔・舍恩伯格是最早洞见大数据时展趋势的数据科学家之一,他前瞻性地指出,大数据将改变我们的工作、生活、学习以及理解世界的思维方式,它将开启一次重大的时代转型。在大数据时代,我们将进行三种思维变革:“首先,不是随机样本,而是全体数据;其次,不是精确性,而是混杂性;最后,不是因果性,而是相关性。”所谓相关性,大体上就是指,在大数据时代,人们不是再走通过样本分析得出结论,再运用结论进行评价或者决策的老路子,而是走推陈出新,通过分析全体数据直接进行决策的新路子。举个例子来说,人们在浏览淘宝网页时,网站有时会根据以前购买过的产品或者经常浏览的店铺,而推荐类似的产品,这便是大数据相关性的运用。

2 案例教学概述

2.1 案例及案例教学

“所谓案例就是为了一定的教学目的,围绕选定的一个或几个问题,以事实为素材,而编写成的对某一实际情境的客观描述。”一般说来,案例具有以下几大特点:(1) 真实性。案例必须取材于实际生活或工作实践,不能凭空杜撰。(2) 完整性。案例的叙述要有头有尾,构成一个完整的情节。最好带有戏剧性的冲突。(3) 典型性。挑选的案例要能代表某一类现象或事物的本质特征。(4) 启发性。案例说到底,还是为教学服务的。因此,案例中问题的设置要带有一定的启发性,拓宽学生思路。(5) 时空性。案例在编写时要说明事件发生的时间和地点等。

“所谓案例教学既是以案例为载体,是基于一定的教学目标,选择一定的案例从事教学的一种教学法;它以学生的积极参与为特征,强调师生对案例素材共同进行探讨,并写出有关案例报告;它与案例为本的课程的关系更多地体现为一种内容和形式的关系。”案例教学具有以下几大特点:(1) 明确的目的性。案例教学是为实现教学目标,围绕一定的教学内容而进行的。(2) 客观真实性。这里主要指的是案例的客观真实性。(3) 结果多元性。“案例教学主要是培养学生在一定的情境和条件下,分析问题、思考问题和解决问题的能力,进而提高他们的决策水平。”在分析以及解决问题的过程中可能呈现多个答案,这也是案例教学的特色之处。(4) 突出的实践性。案例教学强调学生自主分析,自主思考,自主决策。(5) 学生的主体性。学生才是案例教学的主体,教师主要负责编写案例,组织讨论,调整气氛以及最后的总结。(6) 较强的综合性。案例教学不仅内涵丰富,分析、解决问题的过程复杂,并且需要学生在课堂上发挥多种能力,如审时度势、权衡应变、果断决策等。(7) 深刻的启发性。案例教学的目的就是通过启发学生积极思考,从而培养学生分析问题、解决问题的能力。(8) 过程的动态性。案例教学与传统课堂最大的区别就是过程的动态性,在案例教学的课堂上,互动成为常态,师生互动、生生互动、小组合作随处可见。

2.2 传统案例教学模式的意义及缺陷

案例教学起初源于法律专业和MBA专业,对于学科教学来说,案例教学的应用算是教学的一大突破。相对于传统的讲授式教学,案例教学法有着不可比拟的优越性。它能够提高学生学习的积极性,提高学生的自学能力以及合作交流的能力;它打破了学科之间的界限,注重学科之间以及学校与社会之间的联系性。通过教师的启发引导,案例教学也能够起到提高学生分析问题、解决问题能力的作用。然而,在大数据时代,面对纷繁复杂的数据和尖端的网络技术平台,仅仅具有这些优越性还是远远不够的。因此,在大数据理论指导下,探寻出新的有效的案例教学开发策略,进而培养出符合时代特征的优秀人才,成为当下摆在教师面前最值得深思和关注的问题。

3 大数据变革在生物学案例教学开发策略上的应用

3.1 基于大数据量,开发猜想型案例,培养学生对比分析、辨别真伪的能力

在大数据时代,人们生活在一个被数据信息包围的世界。数据量呈指数形式增长,量大类多,并且各种数据信息的质量也是良莠不齐,真假难辨。如何快速检索、分拣出所需要的信息,如何辨别信息的好坏真伪,成为人们高质量生活和学习的必要条件。因此,提高学生对比分析、辨别信息真伪的能力,也变得格外重要。

什么是猜想型案例呢?猜想型案例并不是指教师依据教材的相关知识,凭空臆造的案例。因为案例具有真实性的特点,随意杜撰的“案例”便不能称为案例,只能算是教学例子。由于现有技术尚不完善,某些微观物体或现象还不能够被完全展示或者解答,专家、学者便依据实验现象或结论构想出新的模型,解释其原理,与此同时,他们的言论也得到了一部分人的认可。猜想型案例便是依据专家、学者猜想出的新模型或言论而编写的。传统教学强调答案的唯一性,猜想型案例因为理论尚不完善、结论多元化,并且饱受争议,一直以来是一线生物教师教学中的“雷区”,许多教师在教授这方面内容时,经常是一笔带过。而在大数据时代,猜想型案例却有着传统案例不可比拟的优点。在课堂教学中,猜想型案例可以将不同科学家的猜想(包括已经被科学验证为错误的猜想)罗列,接着进行对比分析,甚至优化,从而提高学生比较分析、对比优化、辨别真伪的能力。而这些能力正恰恰是大数据时代所更加需要培养的。

例如高中生物学必修一第二章第二节“细胞膜和细胞壁”中,介绍了目前被大多数学者接受的细胞膜模型――流动镶嵌模型。流动镶嵌模型到目前为止还是在大量实验结果基础上的比较符合科学依据的猜想。在探索细胞膜结构的过程中,科学家们还提出了许多其他猜想,诸如三明治模型、单位膜模型、晶格模型、板块镶嵌模型、脂筏模型等,其中有些已经被证实为错误的猜想。教师在讲授这节课的时候,完全可以将几种模型的作用机制编写成案例材料,简单提供一些背景知识,让学生对几种模型是否符合科学依据的情况进行对比分析,引导学生自主判断哪种模型是优势模型。即使最后学生不认可流动镶嵌模型,而认可其他模型也没有关系,关键是在这过程中培养学生的能力。

3.2 基于现代化的网络技术,开发主题型案例,实现学生的个性化培养

由于大数据时代云技术以及网络平台的发展,教师完全可以根据网络课程中学生的点击次数、时间长短、浏览次数、停顿、内容正误甚至表情变化等内容来判别学生的学习情况,有针对性地讲解内容,将学生的综合水平与全体学生进行对比,制定个性化的培养方案。个性化培养是大数据时代的整体趋势。

研究发现,案例教学效果的好与坏,主要取决于案例题材的选择是否恰当。学生对于案例题材的偏好是由案例题材的科学性、知识性、新颖性、兴奋性四个特点组成。案例题材的科学性以及知识性是必备条件,一般案例都具有这两个特点。在常规的课堂教学中,一个班的学生运用同一个案例,而每个学生个体知识广度不同,兴趣视角也不同,这就使得案例题材新颖性以及兴奋性的特点很难得以实现。在大数据时代,网络平台可以很好地解决这个问题。现在,许多网络平台可以根据个人平时的浏览足迹发现个人的爱好点,进而推选出相关的内容供其浏览。同样的,网络学习平台也可以通过这种方式发现学生的个人爱好点。教师需要做的是开发符合不同学生口味的不同主题案例,并将它们运用到网络教学当中,供网络学习平台推选,从而满足案例的新颖性、兴奋性特点,调动学生的积极性,达到最优的教学效果,实现学生的个性化培养。

3.3 基于相关性原理,开发相关性案例,培养学生知识迁移的能力

在传统的案例教学中,教师也追求运用知识迁移的方法来达到预设的教学效果,但这种知识迁移是基于结果上的迁移,不利于学生的认知发展。传统的案例教学遵循着“提出案例――设置问题――讨论解决――得出结论――拓展升华”的步骤,在得出结论之后,将结论或者原理迁移到其他的案例之中,便算是实现了知识的相关迁移,学生们习惯了先得出结论或者答案,再将结论应用到其他案例中。这种方式与其说是知识的迁移,不如说成知识的运用。然而在大数据时代,依据相关性原理,我们需要的是基于案例自身的迁移,基于案例产生的价值而导致的迁移。这就需要教师从案例自身寻找价值的相关性,在不得出结论的前提下实现知识的真正迁移。

为更好地阐述观点,笔者在这里举一个运用相关性原理进行迁移的例子。高中生物学必修二的第一章主要讲述了孟德尔的两个遗传定律:基因的分离定律和基因的自由组合定律。大多数教师在教授“基因的分离定律”这一节时,会通过生物学史内容进行案例教学:运用资料提出问题,重现孟德尔的实验结果,针对实验结果提出假说,通过测交法验证假说,最后得出结论。再运用同样的方法进行“基因的自由组合定律”的教学。其实这两个定律之间存在着极大的相关性,维系它们的就是假说演绎法。也就是说孟德尔在研究这两个定律时,运用了同样的实验方法。这对生物教师有什么启示呢?生物教师在进行课堂教学时,完全可以在学生了解了第一个定律的实验过程之后,在不讲解实验方法、不得出结论的情况下,紧接着抛出第二个定律的实验问题,让学生依据两个实验之间的相关性,自主设计实验过程,提出假说,提出测交方法,真正实现以案例为依据而进行的知识迁移。需要注意的是,传统案例教学的课堂组织方式尚不完善,更何况基于大数据理论的案例教学,广大一线教师在尝试的过程中要注意引导,积极启发,耐得住性子才能得出成果。

4 结语

基础教育课程改革已经进入深水区。大数据时代的到来无疑会给改革注入了一股新的力量,也会为改革提供一个新的思路和方向。但是新的未必是好的,我们要牢记鲁迅的警告,对一切理论,不能再走同意――解释――宣传――做戏的老路,教那些连自己也不相信的知识。取其精华,去其糟粕,才是改革的王道。在接受大数据理论的同时,教师也应该寻找理论中适用于教育的内容,依据这些内容做出相应的变革,从而构建教学的新生态系统。

参考文献:

[1] 陆Z.大数据及其在教育中的应用[J].上海教育科研, 2013,(09):5-8.

[2] 魏忠,何立友.大数据:开启面向未来的教育革命[J].中小学信息技术教育,2013,(10):15-17.

[3] 维克托・迈尔・舍恩伯格,肯尼思・库克著,盛扬燕,周涛译.大数据时代――生活、工作与思维的大变革[M].杭州:浙江人民出版社,2013.

上一篇:市场体系的特点范文 下一篇:发育生物学研究方向范文