数据分析解决方案范文

时间:2023-03-15 12:38:13

数据分析解决方案

数据分析解决方案范文第1篇

关键词:电气设备;配电变压器;重过载;负荷预测

中图分类号:F407.6电 文献标识码:A 文章编号:

1引言

当受电器因机械故障、因瞬间电流变化或超铭牌使用设备等的原因使电源、变压器等承受接近或超过其正常的负载时,称为重载、过载。电气设备发生重载、过载故障(不包括短路事故)是允许有一定持续时间的,若超过这个时间,将因热效应等导致绝缘受损,设备损耗增加等情况,进而引发短路,烧损设备,或产生其他严重后果。因此怎么用去分析重载过载情况,从而解决电气设备的重过载问题成为现时供电所的必须解决的问题之一。

2电气设备重过载的类型

(1)变压器的重过载。指的是配电变压器在使用中,因正常周期使用,设备故障或用户设备启动等情况下,引起配电变压器超过其铭牌80%或超过100%使用的情况。

(2)中低压线路网的重过载。电流通过导线会发热,导线在不超过65C时,能够通过而不使导线过热的电流量,称导线的安全载流量,接近安全载流量的80%或超过100%时,称配电线路的重载、过载。

(3)其他设备的重过载。如盘柜、电容器等。

以上几项主要的配电网设备都根据配电变压器的容量而进行配置,因而在配电变压器不重载运行的情况下,其配套设备也不在重过载运行,因此我们在这里着重分析重过载配变的运行数据及解决方案。

3配电变压器的重过载

3.1 变压器的过载及耐受过载电流的时间

(1)据有关文献介绍,按GB1094标准生产的油浸式变压器,其允许的过载负荷倍数及持续时间如表1所示。

表1 油浸式变压器允许过负荷倍数及持续时间

(2)油浸式自然循环冷却变压器允许的过负荷运行及持续时间。当过负荷与额定负荷之比为1-3时,允许的过负荷时间分别是24 h(环境温度为0℃)、lOh(环境温度为10~C)、5 h(环境温度为20~C)、3 h(环境温度为30~C)和1 h30min(环境温度40~C)

(3)不明标准(其他)的变压器允许过载倍数及持续时间如表2所示。

表2 不明标准(其他)变压器允许过载倍数及持续时间

(4)各类干式变压器的允许过载倍数及持续时间与油浸式变压器差不多。由以上可知,当变压器事故负荷与其额定负荷之比为1-3时,其允许过负荷的时间为2 h,油浸式自然循环冷却,在环境温度为30~40℃时(我国平均最高气温),也是在1-3倍,持续2 h左右,即在允许过负荷的时间内,保护电器可以不动作。

4配电变压器的重过载运行的危害

4.1长期重过载的影响和危害

(1) 绕组、线夹、引线、绝缘及油的温度将会升高,且有可能达到不可接受的程度,如配电设备火灾;

(2) 配电变压器绝缘将会受到损害,增加内部故障的风险,减少设备的使用寿命;

(3) 套管、分接开关、电缆终端接线装置和电流互感器等也将受到较高的热应力,从而使其结构和使用安全裕度受到影响。

(4) 使得配套设备如电力电缆、中低压导线等也进入重过载运行。从而增加配网网的运行风险。

4.2 短期过负荷的影响和危害

短期增加负载将会使运行条件中的故障风险增加。短期过负载会使导体热点温度上升,可能使绝缘强度呈暂时性的降低。但是,接受这种短时过载条件可能比失去供电更好些。这类过负载预计是很少发生的,然而,一旦出现时,应在短时间内迅速降低负载或切除变压器,以免发生故障。这种负载允许时间小于整个变压器的热时间常数,并且它也与过负载前的运行温度有关。一般来说,它小于半小时。

5配电变压器的重过载分析及解决方案

5.1 数据分析来源

(1)计量自动化系统的负载曲线。

(2)现场实测的各路支线负载情况。根据计量自动化系统规定相应的时段进行测量。

5.2 预防性的分析解决方案

在配网运行中,采取配电变压器的负荷预测对设备的负载情况进行预防性监控,根据预测的结果进行分析处理。在这里采用的是配电变压器与气温的负荷特性进行预测,得出的结果再根据现场实测的数据进行对0.4KV线路的负荷情况进行预测。司前所某台区的分析见表3:

表3 2010年新建旧乡府台区各项负荷数值如下

因气温与负荷的数学模型较为复杂,此分析采取分段方法,粗略计算单位温度下的负荷升降变化。以下先分析各项负荷与气温的曲线关系,见图1图2图3。

图1负荷最大值与平均气温的温升曲线

负荷最大值的明显变化集中在27-29C区间范围变化,其他温度变化较为平稳,由此看出在29C以上温度对该台区影响更为严重。

月平均负荷平均值与平均气温的曲线:

图2月平均负荷平均值与平均气温的曲线

(一)曲线与最大负荷类似。

每月日最大平均负荷与平均温度曲线:

图3每月日最大平均负荷与平均温度曲线

由以上图表可以看出,该台区在27C-29C间的温升降差速度最为明显,计算分析后得出下表4:

表427C-29C间的温升降差速度的计算

按照2011年气温上升预测(气象局预测数据),上升0.7-0.9C,取值0.9C,计算得2011年最高有功负荷为378W,最高负荷达78%,出现在7月中下旬(极端温度时间区域)。

(二)各路支线负荷情况预测。

(1)台区用户成分构成

新建旧乡府用电比例如下:

住宅及商业用电占用电的4%,普通工业占96%,见图4。同样温升对占普通工业为主的台区有类似影响,负荷增加原因为对设备降温投入及生活用电的降温需求。

图4住宅及商业和普通工业的用电占比

(2)出线负荷比例

以本月的随机日负荷曲线为依据见图5,进行参考点取点:

图5月随机日负荷曲线图

以上看出去11时、15时测量各路支线的高峰电流作采取相似时间段进行实测。当日数据采集表见表5.

表5 日数据采集表

根据用电及实测得出甲乙出线负荷比例见表6。

表6 甲乙出线负荷比例

(3)计算预测2011年线路低压线路主线负载情况

负荷按照预测78%的平均出现比例,计算出每路支线2011年出现的负荷见表7。因实地测量的时间差,可能造成最后预计的电压有所差别,但差别影响较少。

表72011年甲乙出线负荷的计算结果

出线名称 实地测量(或从系统中导出)的电压、负荷数据 预测2011年最大负荷时的数据 结论

该回低压线路首端电流I(A) 该回低压线路首端电流Im(A) 支线主线型号 额定电流

从以上的几项预防性分析数据中,根据数据情况结合现场,可以制定更换配变、更换导线等相关措施应付未来的设备重过载情况。

5.3 现时存在的重过载情况分析及处理

5.3.1 现存变压器重过载的几个类型

(1)小工业私增容;

(2)大型机械的启动电流;

(3)居民用电的增加。

5.3.2 解决方案

(1)针对小工业私增容情况,我所采取的方法如下:安装限流装置。首先,营销线从电量数据中分析出每月电量增加比率异常的工业二级用户,对其进行用电检查。如发现出现私增容情况,则要求安装限流装置。如加装限流装置都不能降低配电变压器的负载,则采取综合台区错峰用电的办法,按时段进行用电。我所计划下半年对此类型较多的台区进行安装限流装置。

(2)针对大型机械的启动电流方案。启动电流是指电气设备(感性负载)在刚启动时的冲击电流,是电机或感性负载通电的瞬间到运行平稳的短暂的时间内的电流的变化量,这个电流一般是额定电流的4-7倍,国家规定,为了线路的运行安全及其它电气设备的正常运行,大功率的发动机必须加装启动设备,以降低启动电流。冲击电流是指输入电压按规定时间间隔接通或断开时,输入电流达到稳定状态前所通过的最大瞬间电流。常见的交流电机的启动方法有直接启动,串电阻启动,自藕变压器启动,星三角减压启动及变频器启动的方法来减小对电网的影响。供电所根据实际情况,通知用户进行就地的整改。

(3)针对居民用电增加无法满足用电需求的,建议采取新增电源点进行解决。

6建议

(1)投入更多资金进行增加电源点,减少配变重过载情况。

(2)多利用信息化系统进行数据的掌握通知,如利用计量自动化系统进行负荷的实时报警通知相关人员等手段,可以对配网的其他设备进行更多的运行情况掌握。

(3)加强重过载设备的巡视。

7结束语

解决配变的重过载情况,可以解决配套的盘柜、开关、导线等的负载情况,但以上的分析解决方案,只针对整套设备的配置方案,在实际中,还要通过设备的巡视,对每个单独的设备进行掌握。以上分析根据“一点数据,多点延伸”的原则进行,如有特殊情况应单独进行分析。

参考文献:

[1] 孙振,路洋.电力系统负荷预测方式综述[J]. 黑龙江电力.2005.

[2] DL/T 572-1995.电力变压器运行规程[S].1995.

数据分析解决方案范文第2篇

大数据市场确实存在。Gartner预测,到2015年,70%的信息基础架构扩展与投资的主要驱动因素是业务分析需求。以前,人们把精力主要放在如何存储好海量的数据上,而没有想到深入挖掘数据的内在价值。随着数据与业务之间的关系越来越紧密,以及一些大数据分析工具不断涌现,数据分析成了企业决策的前提。

大数据不一定是复杂的分析

许多人一提到大数据,首先想到的是复杂的数据分析。这让有些希望采用大数据分析工具的用户产生了畏难情绪,也让有些用户产生了误解,认为大数据分析只是那些拥有复杂业务流程和海量数据的大企业的事。市场研究机构麦肯锡的研究人员表示:“要创造新的重大价值,并不一定要采用复杂的大数据分析方法,有时只要能保证数据的可用性或对数据应用进行基本的分析,就能获得所需的重要价值。”

不同的企业或一个企业内部不同的部门对数据分析和数据价值的理解都不相同。企业处于不同的信息化发展阶段,也会设定不同的数据分析目标,采用不同的数据分析工具。正是基于此,戴尔率先提出了大数据成熟度模型。戴尔公司全球企业级解决方案副总裁Cheryl Cook表示:“这一模型已经得到了业内许多分析机构的认可。所有行业以及所有数据应用都适用于此模型。”

如下图所示,大数据成熟度模型分成五个阶段。第一个阶段,数据处于混乱状态,数据存储无章可循,数据难以访问,企业的信息系统处于高风险状态。第二个阶段,实现数据的保留。在这个阶段,企业被动地对数据进行存储。数据虽然经过一定的处理,但还不具有高质量,数据的访问也会受到一定限制。第三个阶段,实现存储的优化。在这个阶段,通过对存储系统的进一步优化以及基于策略的控制与管理,用户可以逐步发现数据的价值。第四个阶段,实现简单的分析。在存储优化的基础上,用户可以进行数据建模和简单的数据分析,对归档数据进行搜索等。第五个阶段,实现复杂的分析。在这个阶段,大数据分析工具将得到充分应用,用户可以进行比较复杂的建模、分析和决策。经过上述五个阶段,曾经杂乱无章的数据也将经历从数据到信息再到知识的转变过程,最终成为企业决策的重要依据。

这个大数据成熟度模型可以解答人们对于大数据应用的几个疑惑。第一,用户使用大数据分析工具,并不意味着一定要进行复杂的分析。举例来说,处于存储优化阶段的用户就可以实现无障碍的数据访问,并能获得所需的数据价值。第二,大数据的应用要经历一个逐步完善的过程,必须循序渐进,先做好数据存储和优化,然后再进行数据分析。第三,大数据解决方案通常包括两个部分:一是大数据保留解决方案,二是大数据分析解决方案。将两类解决方案有机地结合在一起,才能有效降低大数据分析应用的成本,更好地挖掘数据的价值。Cheryl Cook表示,戴尔可以提供上述两种解决方案。一方面,戴尔可以提供针对结构化和非结构化数据的大数据保留解决方案,主要包括存储虚拟化与整合、应用程序优化、数据保护、灾难恢复以及数据保留与管理解决方案;另一方面,戴尔还能提供支持Hadoop、Cloudera等开源软件的大数据分析解决方案。

记者曾与包括大庆油田、太平洋保险公司等在内的一些用户进行过交流。它们目前都没有计划部署大数据应用。“从全球范围来看,大数据应用还处于起步阶段。”戴尔亚太及日本地区商用事业部企业解决方案副总裁Philip A. Davis表示,“与云计算兴起时一样,可能要经过两三年的市场培育,用户才能逐渐接受大数据应用。”

中国东方航空股份有限公司信息部总经理严振红介绍说:“在大数据的概念出现以前,我们就在做客户数据、经营数据的分析工作。但是客户数据库、经营数据库等都是相互独立的,数据不能共享。现在,我们要做的是将这些系统的数据整合起来,统一进行分析。”

Hadoop不是万能的

简单来说,Hadoop是一个能够对大量数据进行分布式处理的软件框架。Hadoop最独特的优势在于为用户提供了一个分布式的、高容错的文件系统和加速数据处理的办法。随着Web 2.0、社交网站的大规模兴起,人们需要一个高效的处理非结构化数据的平台。Hadoop正好可以满足人们的需求。有些人甚至在Hadoop和大数据之间划上了等号。Hadoop能够解决大数据应用的所有难题吗?

“Hadoop是一个复杂的工具套件。如果没有厂商或专业技术人员的帮助,用户自己部署Hadoop是一件十分困难的事。目前,Hadoop的应用并不普及。互联网用户是最早采用Hadoop平台的。”Philip A.Davis表示,“如果想让大数据解决方案充分发挥其作用,就必须搭建一个高效的信息基础架构,实现信息基础架构的自动化、智能化,同时提高其可管理性。”

Hadoop的应用是有一定技术门槛的。如今,许多IT厂商都推出了基于Hadoop的解决方案包,其目的是帮助用户简化Hadoop的部署与应用。Philip A.Davis表示:“戴尔提供的基于Hadoop的大数据分析方案可以将Hadoop的部署周期从原来的两个月缩短至两天。”

VMware全球高级副总裁范承工也认为,由于缺少精通Hadoop技术的专业人才,Hadoop的部署对于用户来说是一件费时费力的事。如今,VMware可以将Hadoop部署在虚拟化架构之上,将部署工作从半自动化变为全自动化,从而减少了人工干预,使得Hadoop的部署变得更加简单,也不容易出错。

“很多中国企业的CIO认为,大数据解决方案是有价值的,但实施起来确实有许多困难。”戴尔全球副总裁、中国区大型企业及公共事业部总经理容永康举例说,“国内懂得在Hadoop上进行开发的专业技术人员非常少。一些金融行业的用户很想现在就部署大数据解决方案,但是苦于找不到既懂Hadoop技术,又懂得金融业务的专业人才。”

Informatica首席技术官James Markarian表示:“在IT环境中,Hadoop不可能作为一个孤岛存在。为了让Hadoop跨越不同平台,用户需要将Hadoop作为其IT大环境中的一部分来管理,并通过Hadoop重复使用他们的开发技巧、资产及数据,同时还要统筹管理全部数据。”

在美国市场上,70%的大数据应用处理的还是结构化的数据。从技术的角度看,虽然Hadoop也能处理结构化的数据,但是目前基于Hadoop的大数据分析解决方案主要还是用于处理非结构化的数据。因此,用户处理结构化数据和非结构化数据通常是用两套不同的分析工具。这种混合的大数据处理模式是一种普遍现象。

从未来的发展看,非结构化数据的快速增长是大数据分析的主要驱动因素。从这个角度讲,Hadoop的应用前景还是十分广阔的。

大数据不仅仅是一个解决方案

Cheryl Cook强调说:“用户千万不能认为,只要购买了一个大数据的解决方案,就能解决所有的问题。许多中国用户还没有充分意识到数据能够带来多大的价值。戴尔收购佩罗系统公司,增强了自身的顾问咨询能力,可以帮助客户分析数据能够带来什么样的价值。这为用户日后正确部署大数据解决方案奠定了基础。”

数据分析解决方案范文第3篇

Power传承既有优势

“x86+Hadoop”被认为是承载大数据应用的主流平台,其开发和应用生态系统已经得到了市场的验证,但这并不意味着大数据基础平台会呈现一种架构“通吃”的局面。

在IBM看来,Power平台是构建大数据应用的一把“利器”。“大数据是一个跨行业的需求,不仅在互联网公司,传统企业客户,像金融、政府、电信等行业也有非常多的有关大数据的应用。” IBM大中华区副总裁及系统与科技部Power Systems总经理侯淼表示,“Power平台所具有的大内存、大Cache、多线程等技术特征,使之非常符合大数据的应用需求。”

数据仓库、数据挖掘、业务数据库,这些都是Power平台传统的优势领域。在IBM系统与科技部大中华区Power Systems产品总监李红看来,这些既有优势为Power平台在大数据领域的应用奠定了基础。

“首先,大数据应用需要与既有系统进行平滑、无缝的连接和交互。在此基础上,Power平台可以拓展新的需求,例如开源的非结构化数据、流数据的分析等,都可以集成到新的需求中去。在这个过程中,传统方案需要和新方案实现很好的整合,Power平台的价值进一步得到体现。此外,软件生态系统至关重要,对软件以及并发处理等场景的广泛支持(包括DB2、GPFS等)使基于Power的解决方案具备更多优势。”李红告诉记者。

面向数据类型的解决方案

多样性是大数据的一个典型特征,在IBM看来,面向不同大数据类型,大数据应用可分为静态批量大数据处理、实时大数据处理、数据仓库整合、数据集市构建四类,IBM面向这四类应用都有专门的解决方案。“以数据仓库应用为基础,发展出了新的大数据应用场景和需求,例如静态数据的批处理、流数据的实时分析等。 IBM的思路是提供整合的解决方案,帮助用户最终获得完整的数据价值。”李红表示。

在静态大数据解决方案中,Power可支持Open Hadoop、 BigInsights、 Symphony 等大数据解决方案,并能够与传统数据仓库系统无缝集成。李红解释说:“Symphony专门面向计算密集型大数据应用,BigInsight在Hadoop框架上增加了安全管理、工作流等特性,并融入了IBM独特的数据分析、机器学习和文本数据分析挖掘等技术。”

在GPS、医疗检测分析、天气预报、金融交易等应用场景中,实时数据分析不可或缺。在这方面,Power支持IBM Infosphere Streams和开源的Storm构建流计算解决方案。“PowerLinux+GPFS-FPO+Streams”的组合能够提供强大的实时数据处理功能和性能。“大内存、大网络带宽的硬件特性在实时数据分析场景中可以大显身手。”李红表示。

作为最传统的数据应用类型,数据仓库在企业级应用中的核心地位仍是不可动摇的。 Power系统支持集中式架构,具有强大的向上扩展能力,为OLTP和OLAP应用提供了性能保障。DB2 pureScale可实现对Power集中式架构的进一步增强。

数据分析解决方案范文第4篇

“随着大数据2.0时代的到来,越来越多的企业将拥有从海量数据中获取数据价值的能力。尤其在数据体量巨大的中国市场,除了传统的金融、电信、政府等行业以外,零售、医疗、中型电商等都会从大数据分析中获益。”Actian公司CEO Steve Shine如是说。

根据Gartner的预测,如果能实现对企业范围内全部未开发数据的充分利用,将带来150亿美元的潜在商业机会。但目前除了极少数企业可以利用大数据分析开展业务、辅助商业决策外,大多数企业还在大数据的门外徘徊。阻碍这些企业应用数据分析的原因是获取有价值数据的成本过高。

是否有降低成本的方法呢?Actian中国区总经理程小龙告诉记者,帮助企业以简单的方法连接数据、增强分析平台的可扩展能力是解决这一问题的关键。“企业要找到一种简单的方式连接不同的数据系统,而不必关注数据是否来自云或其他地方。在连接上数据系统之后,企业还要有处理和分析越来越多数据的能力。分析平台只有具备横向和纵向弹性扩展的能力,才能保证实现秒级的快速分析和查询,才能提升企业应用大数据分析的成本效益。”程小龙指出。

大数据2.0的目标是打破大数据分析转换为价值的技术壁垒。Actian破局的方法是:通过对底层技术架构的改进,使数据更容易获取、使用和实施。首先,Actian的分析平台可以高速连接任何数据源,整合、转换和分析数据,还能在不断扩展的数据集上按需进行预测分析。即使企业的数据分析平台并未架构在Hadoop之上,整合、转换、分析数据的能力也不会受到影响。其次,Actian提供的是一种高性能的引擎,可以对并行执行的分析过程的每一步进行细致设计,并随企业业务发展的需求变化。这意味着各种规模的企业都可以利用数据来驱动业务创新。

在选择大数据解决方案时,Actian认为企业应该以一种新的视角看待大数据,才能实现以数据驱动商业价值的目标。程小龙建议企业应关注三点:第一,企业必须考虑解决方案是否能帮助他们将不同数据源集成在一起,并判别数据的质量和清洁度;第二,解决方案要在数据量不断增加的情况下依然保证高速、易用;第三,也是最重要的一点,即该解决方案能否让企业获得商业洞察力,获得大数据的商业价值。

国内在大数据应用领域走得比较快的金融、电信等行业用户目前也遇到了瓶颈。比目云公司总经理吴昊告诉记者,传统数据仓库在中国已经发展了很多年,但很多客户在构建新型的大数据平台,深化大数据应用的时候,依旧面临很多困难,主要体现在以下几方面:原系统和新系统并行时,数据来源复杂化;深化数据分析应用,需要面向多个数据源抽取数据;应用并行计算平台如何保证实时性;大数据平台和底层Hadoop平台的实施,以及它们和上层某些分析应用对接时存在不少问题。借助Actian的方案,上述问题都可以得到解决。

数据分析解决方案范文第5篇

大数据在2012年备受关注,主要是由需求和技术两方面因素所决定的。在需求方面,一方面是因为企业在经过一段时期的信息化建设后,积累了大量的数据资产,迫切需要让这些数据产生价值。另一个方面,海量非结构化数据随着社交网络、移动应用的普及而产生,如何分析这些非结构化数据并使其产生价值,成为企业所面临的新的挑战。

在技术方面,内存计算技术的成熟,使得企业实时分析海量数据成为可能。Hadoop技术的完善,为非结构化数据分析提供了可能。

在大数据解决方案方面,不能不提软硬件一体机。这两年,具有简化IT、降低IT运维成本优势的软硬件一体机越来越受到供应商和用户的青睐。值得一提的是,当前的软硬件一体机中,很多都是大数据解决方案:最早推出软硬件一体机的甲骨文公司的第一款软硬件一体机产品Exadata数据库一体机就与大数据相关,甲骨文后来推出的Exalytics商业智能一体机和大数据一体机都是用于数据分析的;被SAP视为革命性的产品SAP HANA属于内存计算一体机,其最大的优势在于可实现海量数据的实时分析;IBM今年推出的PureSystem系列一体机中,就有PureData;微软与惠普联合推出的BI一体机,也是用于数据分析的……

尽管市场已经非常火热,但是当前大数据市场应该尚属于启动阶段,因为大部分用户对大数据仅仅有想法而没有真正的行动,而他们对于大数据分析的需求是显而易见的。相关的解决方案也有待完善,特别是针对非结构化数据分析的解决方案。

IBM PureData

作为IBM PureSystems专家集成系统家族的新成员,PureData能够帮助企业在几分钟内完成对PB数量级大数据的管理和分析,高效获取洞察力,从而实现企业市场、销售等各部门业务目标的快速推进,并帮助各行各业的企业解决几大难题:如何利用更简便、经济的方式分析业务数据,了解客户购买行为,减少客户流失,开展需要大量数据支持的市场推广活动以及实时发现欺诈行为。

不同于其他数据系统,PureData能够将系统安装和配置的时间从24天减至24小时,将复杂的分析时间从数小时骤降至数分钟,并实现在单个系统上管理100多个数据库的卓越性能。通过PureData系统,企业得以在传统IT环境或云环境中为业务用户提供高性能的数据服务,在不到10天的时间里完成Web应用的部署,而同样的任务过去至少需要6个月才能完成。

针对特定工作负载,PureData共有三个型号,分别是PureData System for Transactions(PureData事务系统或PureData交易系统)、PureData System for Analytics(PureData分析系统)和PureData System for Operational Analytics(PureData运营分析系统)。

目前,60多家ISV(独立软件供应商)已经表示将全力支持PureData。PureData将为这种开放的合作模式提供新的平台,激励更多合作伙伴开发适用于PureData的解决方案。同时,IBM还将在这些解决方案和应用的基础上推出数种新模式,涵盖社交业务、资产管理和业务流程管理,全面简化软硬件资源的配置和管理,为20多个行业应用领域提供支持。

IBM大数据平台

IBM充分发挥其整合的优势,结合信息管理、业务分析等领先的软件提出了“大数据平台”架构,为各行业企业选择和构建大数据解决方案提供了全面的技术支持。IBM大数据平台突破了传统数据仓库和数据管理理念,能够为企业组织提供实时分析信息流和因特网范围信息源的能力,让这些企业实现更为经济、高效的大数据管理,并为在此之上的业务分析奠定坚实的基础。

IBM大数据平台的四大核心能力包括Hadoop系统、流计算、数据仓库和信息整合与治理:

·IBM在Hadoop系统领域的代表产品是InfoSphere BigInsights。IBM将其在数据管理上的丰富经验与Hadoop开源平台高效整合,使得BigInsights相比普通的Hadoop开源工具的可用性、可管理性、安全性得以大大提高,成为最主要的静态大数据分析工具和平台;

·IBM在流计算领域的代表产品是InfoSphere Streams,它是目前业界独有的流数据处理技术。InfoSphere Streams能够在诸如气象信息、通信信息、金融交易数据的管理中动态捕捉信息,进行实时分析,为静态数据的处理提供有效补充。

·IBM在数据仓库领域的代表产品是在线交易型数据仓库InfoSphere Warehouse和分析型数据仓库Netezza。Netezza可将大量数据整合到统一平台上,计算能力高达TB级。

·信息整合与治理是IBM在业界独有的方法论和技术,其代表产品是Optim和Guardium。近期推出的Guardium 9能够将如DB2这样的传统关系型数据仓库和基于Hadoop的分布式存储系统进行统一管理,并提供完整的数据生命周期管控。

微软SQL Server 2012

微软SQL Server 在市场上有着良好的口碑,是全球使用较为广泛的数据库与商业智能产品。微软SQL Server提供了对混合IT环境的支持,全面支持私有云和公有云,并可实现平滑迁移,满足企业实现数据库以及应用扩展的需要。

作为云就绪信息平台,SQL Server能够满足企业关键业务应用环境所提出的高稳定性、高性能、高安全和易管理等需求,同时提供全面的商业智能及数据仓库解决方案,帮助企业更好地挖掘数据背后的知识,提供强大的工具实现并展现数据分析结果,且能根据企业需要实施个性化的云以及大数据解决方案。

作为微软的信息平台产品,SQL Server在数据处理与分析市场一直处于领导地位。SQL Server是全面的数据库、数据仓库、商业智能解决方案。它不仅提供全面的满足OLTP处理的功能,而且提供多种组件以满足不同规模客户的多种需求。它是第一个带有商业智能全套组件的数据库产品,在数据分析,特别是OLAP领域有着极好的口碑。

针对大数据,SQL Server具有自己本地以及云端解决方案,与微软强大的商业智能组件以及前端展现方式相结合。

国泰君安证券股份有限公司已经借助微软SQL Server 2012提升了数据分析能力,实现了对用户的精准服务与趋势跟踪。国泰君安是目前国内规模最大、营业范围最宽、机构分布最广的证券公司之一。基于以往使用 SQL Server 产品的良好经验,以及客户数据建模、多维分析与钻取、动态报表分析与展现等领域的应用需求,国泰君安选用微软 SQL Server 2012来搭建新一代的零售客户BI分析系统。国泰君安充分利用新一代 SQL Server提供的对大数据量的数据分析及计算能力,结合Power View及PowerPivot 的易用性,更高效、更自主地发现业务数据的变化及趋势,提高针对零售客户的业务洞察力,优化以客户为中心的证券服务。

SAP实时数据平台

SAP实时数据平台是一套紧密集成并优化,专为应对当今企业数据管理的最新挑战的领先技术平台。

凭借革命性的创新产品SAP HANA与业界领先的Sybase数据管理产品,SAP实时数据平台这套全方位集成、实时处理的平台,在包括数据交易、迁移、存储、处理和分析等在内的信息生命周期的不同阶段,不仅能够帮助企业用户管理海量数据存储,即时处理高速流量数据,实现智能数据流动,数据可视化消费,而且还可以帮助用户大大降低基础架构的复杂性,在满足应用基本的设计和蓝图管理需求的同时,为下一代大数据应用和分析提供卓越性能,持续保证对云计算和移动应用的平台支持,从而有效降低成本。

值得一提的是,所有这些平台功能的交付,都将在尽可能不影响客户现有应用的前提下进行。

作为SAP实时数据平台的核心,SAP HANA独具创新性,并已得到市场的充分验证。SAP HANA不仅能帮助客户以快10万倍的速度获取和传递信息,还将为企业信息系统提供强劲动力,通过技术创新促进业务发展,最终帮助企业以全新的思路拓展业务,达成卓越绩效。

Teradata Aster大数据综合分析平台

Teradata Aster大数据综合分析平台是业内首款集成Teradata Aster以及Apache Hadoop的大数据解决方案,整合了MapReduce和Hadoop的技术优势。

作为卓越的企业级平台,Teradata Aster大数据综合分析平台使用了业内独有的SQL-MapReduce接口语言,以及全面的MapReduce 分析功能库。该分析库内嵌50多项预建的MapReduce功能,提供开箱即用的图形、文本、行为、营销分析,以及更多分析功能。

作为一个真正采用混合架构的平台,Teradata Aster大数据综合分析平台包含Aster Database、Aster SQL-MapReduce和Apache Hadoop。由于深度集成了Aster与Apache Hadoop平台,用户无需接受复杂的培训即可通过SQL-H连接器和SQL-MapReduce使用标准SQL访问Aster和Hadoop数据进行分析平台。

与市场上其他典型平台相比,该平台的数据吞吐量及分析速度可分别提高19倍及35倍。

Oracle Exadata X3 Database In-Memory Machine

Oracle Exadata X3 Database In-Memory Machine是Oracle Exadata数据库云服务器的最新升级产品。

Oracle Exadata X3 Database In-Memory Machine是甲骨文云平台的关键组件。Oracle Exadata X3-2和X3-8 Database In-Memory Machine均可在闪存和随机存储器(RAM)中存储多达数百TB的压缩用户数据,几乎可以消除由磁盘驱动器减速而产生的读\写功能运维费用,从而使Exadata X3系统成为应对云计算中不同类型和不断变化的工作负载的理想数据库平台。

为了以最低成本实现最高性能,Oracle Exadata X3 Database In-Memory Machine采用了多个存储层次,可自动将所有活动数据转移到闪存和随机存储器中,同时将活动性较低的数据保留在低成本的磁盘上。

Oracle Exadata X3-2 Database In-Memory Machine提供了新的1/8机架配置,为较小的工作负载、测试、开发和灾难恢复系统提供经济实惠的入门级选择。此外,该服务器是一个完全冗余系统,可与任务关键型应用共同使用。

数据分析解决方案范文第6篇

亿赞普公司总裁罗峰表示,F2C有两层含义:第一,Fast to Consumer,表明F2C平台可以大大提升营销的效率,让企业的产品更快送达消费者;第二,Factory to Consumer,表示亿赞普公司可以通过F2C平台让企业与消费者直接对接,减少中间的流通环节,从而降低成本和营销风险。

工厂直达用户

亿赞普的崛起得益于大数据市场的兴起。基于自主研发的大数据智能分类处理平台,亿赞普正在全球互联网上部署一个跨区域、跨语言的互联网云媒体和电子商务平台。在以“进化的力量”为主题的亿赞普数据营销战略研讨会上,罗峰介绍说:“我们已与欧洲、拉美以及亚太的19家电信运营商以及数十万个网站展开了合作,业务覆盖96个国家的8亿互联网用户。”

亿赞普通过与电信运营商和互联网企业合作,不断扩展其大数据分析平台的覆盖范围,并将从网络上采集到的各类数据进行存储和建模,然后再进行分析,最终为企业和广告主提供数字营销平台及服务。与日渐流行的IaaS、PaaS和SaaS不同,亿赞普提出了知识即服务(Knowledge as a Service,KaaS)的新理念,并在此基础上推出了KaaS智能云媒体平台。罗峰介绍说:“KaaS智能云媒体平台以海量并行计算和存储系统为基础,通过数据挖掘和人工智能算法对海量互联网用户、内容和相关行为进行分析,从而挖掘出互联网中蕴含的商业价值。基于KaaS,我们可以为不同用户提供个性化的服务。”

基于KaaS理念,亿赞普开发出了针对企业营销和电子商务的多种解决方案以及各类数据广告产品、广告应用工具、商业智能服务产品和运营平台等。举例来说,i-Reach是一款品牌和效果兼顾的富媒体展示广告产品。它基于KaaS平台,可以通过对互联网上的海量数据进行数据挖掘,为企业提供更多的广告方案组合,从而实现有针对性的精准化的营销。再比如,Infoweb网络收视监测工具可以对网络上广告和视频的人群到达情况进行统计和流量分析,并将分析结果反馈给广告主,方便他们选择适合的媒介。

亿赞普公司就像是架在企业与消费者之间的一座桥梁。它通过从电信运营商和互联网上获得的数据,对消费者的消费行为和习惯进行分析。企业可以根据分析的结果制定数字广告营销方案或电子商务策略。亿赞普公司在大数据分析的基础上为企业量身订制的数字营销方案可以拉近企业与消费者之间的距离,使得商品从工厂出来后可以直接送达用户手中,这也是F2C方案的精髓所在。

IP网络上的数据全能分析

“我们的职责是在合适的时候将合适的信息传递给合适的人。”亿赞普公司CTO糜万军表示,“我们做大数据分析的目的是帮助企业实现精准营销。”

数据挖掘和数据分析是许多互联网公司的强项。亿赞普公司在大数据分析方面有什么独特的优势呢?“在大数据分析方面确实有许多新技术。数据量的增加、数据类型的多样化都对数据分析提出了更高的要求。对于我们来说,最重要的是如何将这些新技术整合在一起,对海量数据进行高效的分析。”糜万军举例说,“当一个新的网页出现时,谷歌通过其分析技术找到并完成对这个网页的分析可能要3个小时,而我们只用3分钟。”

亿赞普KaaS智能云媒体平台的最底层是iMOS互联网媒体操作系统。iMOS基于全IP架构,采用冗余设计,具有很高的扩展性和可用性,能够满足大数据处理和挖掘的需求。糜万军介绍说:“iMOS基于我们自主研发的高性能算法,可对海量数据进行实时处理。由于采用了创新的NGA架构,iMOS可以实现广告承载与广告调度的分离。”罗峰补充说:“iMOS的独特之处在于,可以获取全数据。只要是经由IP网络传输的数据,iMOS都可以轻松获取。”

数据分析解决方案范文第7篇

在大数据方面,Alpine与EMC、IBM、Oracle等厂商在交通、金融、电信、零售等领域保持着密切的合作关系。EMC虽然是Alpine的股东之一,不过也鼓励Alpine与EMC之外的其他大数据厂商合作,以中立的第三方的姿态为客户和广泛的合作伙伴提供大数据方面的支持和服务。

荣之联在云计算方面拥有比较多的成功经验,尤其是在生物云、动漫云等方面已经是国内的佼佼者。

举例来说,荣之联帮助华大基因构建了生物云,存储容量达到20PB,计算能力达到200万亿次。由于生物学方面的数据量非常庞大,而且大多数是非结构化的数据,在过去一年中,荣之联一直探索如何在生物领域提高数据处理和分析的性能,降低复杂度。在选择与Alpine合作之前,荣之联曾经对Alpine进行了大约一年的考察。荣之联的高层也亲赴美国Alpine总部参观,同时走访了很多Alpine在美国的用户。荣之联总经理张彤表示:“与Alpine合作,荣之联可以更好地在生物学领域深耕大数据市场。双方的合作是战略性的,对于扩大双方在中国大数据市场上的份额十分有益。”

Alpine首席执行官Anderson Wong表示:“荣之联一直专注于数据中心市场,拥有良好的技术基础和客户基础,并在全国拥有近20个分支机构。这有利于Alpine迅速打开中国市场,为客户提供良好的本地化服务。”

IDC的报告显示,全球信息总量每两年就会翻一番,到2020年,全球信息总量将达到25ZB。处理复杂的海量数据需要有与之对应的创新性的解决方案。

Anderson Wong介绍说:“在美国,目前有大约150万名IT经理需要直接使用大数据分析的结果。”与已经存在了30多年的传统商业智能(BI)解决方案相比,Alpine的大数据分析解决方案是一个涉及整个数据处理流程的智能化的解决方案,可以对不断变化的信息进行实时分析,从而为商业决策提供更好的支持。

在大数据领域,一体机的理念越来越流行。Anderson Wong对大数据一体机方案表示认可。他表示:“提高大数据应用的计算能力、存储能力,还是要依靠优化的集成化硬件。在大数据领域,一体机的应用是未来的一个趋势。举例来说,Oracle公司10%的数据库用户已将应用平台转到了Exadata一体机上。”

Anderson Wong表示:“Alpine与荣之联合作,一方面,可以拓展在中国的业务市场,另一方面也可以把荣之联在生物云、动漫云等云计算方面的技术和成功经验带到美国去,可谓一举两得。”

在美国,许多大型零售商、银行等在使用传统的数据仓库产品的基础上,同时还选择了Alpine的大数据产品。这是因为用户现在越来越需要能够对数据进行实时处理的、界面友好且方便使用的数据分析产品。

大数据分析对于IT的重要性如同显微镜对于生物和医学发展的重要性一样。显微镜让生物和医学研究达到了细胞级别,而大数据分析可以让DNA测序变得易如翻掌。熟练掌握了大数据应用,企业的商业分析、决策和审批就可以变得可预期,同时还可以促进客户销售。

数据分析解决方案范文第8篇

保持中立

大数据主要包括大交易数据、大交互数据和大数据处理。数据集成的功能是收集数据、探查数据和集中管理数据,从而进一步提高数据的质量。Informatica的数据集成软件可以辨别哪些数据是合规的,并提取出来,实施统一管理和统一复制。Informatica公司高级副总裁兼首席信息官托尼·杨(Tony Young)表示,针对Hadoop大数据处理平台,Informatica的数据集成软件主要负责做好以下几件事:解析和准备数据,探查和发现数据,转换和清洗数据,监控Hadoop平台中的数据。随着云计算应用的逐渐普及,数据碎片日益增加,而移动计算、社交计算的快速发展也增加了数据访问和管理的复杂性。在这种情况下,保证数据的合规性、一致性和准确性就显得尤为重要。数据集成不仅可以轻松实现上述目标,而且可以在数据整个生命周期的管理中起到监督和调整的作用。

在数据管理产品趋向融合的今天,数据集成软件会不会也被集成到一些综合性的管理解决方案中呢?

托尼·杨表示:“Informatica之所以能够保持快速成长,一个关键的因素就是始终保持中立的地位。我们的数据集成软件可以与其他所有应用和管理软件平台相集成,比如微软、SAP等厂商的产品。”

大数据促进业务增长

“数据分析是今后企业在竞争中保持优势的一个主要手段。如果你现在不认真对待大数据,那么竞争对手就有可能超过你,并取代你。”托尼·杨表示,“大数据与SOA(面向服务的体系结构)不同。SOA不能直接给企业带来商业价值,而大数据与企业的业务绩效直接相关。企业的CIO必须重视大数据的处理与应用。”

托尼·杨介绍了一个利用Informatica数据集成解决方案促进企业销售的成功案例。由于销售额急剧下降,美国一家化妆品零售商求助于Informatica。Informatica利用其数据集成解决方案,创建了数据的单一视图,将来自销售柜台的客户信息以及社交网络上的客户需求进行匹配、集成和处理。该化妆品零售商利用Informatica提供的数据分析结果,调整了销售方式,使得化妆品的销售额得到了大幅提升。托尼·杨表示:“大数据分析不仅可以应用于消费品市场,交通、气象、金融等很多行业也可以应用大数据分析工具促进业务的增长或提升服务质量。”

Informatica不仅可以帮助客户实现数据集成与分析,而且它自己就是一个大数据分析的受益者。Informatica已经建成了一个拥有6个集群、包括30个节点的大数据平台,客户数据、销售数据等都在这个平台上进行集中处理和分析。

数据分析解决方案范文第9篇

那么相较于E5,E7 V2产品家族有何亮点?在E7 V2系列产品会上,英特尔方面介绍,E7 V2增加了很多内核,极大地提升了计算性能,在一些实测中甚至超过了2倍。E7 V2产品扩大了存储量和I/O,使更多的数据可以被存储集中,并使数据能够快速进出,效率提升达148倍。从功耗和成本方面来看,也会给用户带来额外的收益。

至强E7 V2处理器(如图)的推出,给行业应用带来很多解决方案。在海外,已经有针对零售商的解决方案,即针对消费者个人的定制化方案,比如消费者在什么时间,去哪儿购物,买了哪些商品,如何支付?这些海量的数据,都可以利用至强E7 V2强大的存储和处理能力,进行收集和及时处理,从而帮助零售商进行业务分析和决策。海外某电信公司,基于至强E7 V2处理器平台,几百万条运行的Hadoop数据,在几分钟内就将其转化为价值。

戴尔是英特尔合作伙伴之一,在E7 V2产品家族会上,戴尔大中华区企业级解决方案部市场总监彭宇恒透露,英特尔处理器每次更新,戴尔服务器产品也会进行更新。“2年前E5的问世,使得戴尔在7个季度的时间里,每个季度在中国区X86服务器的份额一直排名居首”。

而此次英特尔E7 V2的,戴尔所配合的是R920四路服务器。R920有较好的扩展性,服务器内存达6TB,可以支持24个本地存储驱动器,这些能够帮助客户实现更好的IT响应速度。同时也用到了Compellent全闪存阵列、Fluid Cache for SAN技术,它以帮助客户实现在不同的计算节点上的PCIe SSD上的数据,形成数据池。还可以和后台存储系统进行数据交换,这极大地提升了系统处理的性能,同时还能保证数据的安全,因为PCIe SSD和内存相比不怕断电,如果数据出现一些问题,还有SAN数据做备份。

针对行业客户的不同需求,戴尔提供了多种不同的解决方案。以城市交通实时管理系统为例,对某一城市的交通进行实时分析,大概共有100亿条数据,数据总量为40TB,这在以前需要几个小时才能实现,而现在,数据读取是实时的,数据分析的图形也是动态的、变化的,可以逐步细化到每个小时、每辆车的实时数据,能够对城市的交通管理给出及时的决策。

再比如车辆的运价补贴,根据投入和成本比,或者劳动强度进行可选性分析。如把收入成本设为可调,其他参数给定的话,平均收入结构就可以实时展现出来,运价补贴随之变化,这样,通过一系列参数的调整,可得出在多大范围内运价补贴是合理的,这对运载车的运价补贴能够提供有效的解决方案。

除了智慧城市的建设和管理,戴尔也有针对金融、教育、医疗、电信、互联网、制造业等不同行业的解决方案,如对互联网行业,戴尔推出了整个机架类型的服务器。

数据分析解决方案范文第10篇

【关键词】大数据 体系架构 国产化 自主可控

1 前言

在全球已经全面进入信息时代的今天,数据已经成为与水、石油、天然气同等重要的国家战略资源。IDC报告指出,截止2011年底,全球的数据量已达到了1.8万亿GB,未来十年还将增长50倍,迅速积累的海量数据蕴含着重大的商业价值和社会价值。作为云计算领域的重要延伸,大数据在行业内的热度在不断升温。2012年我国大数据市场规模为4.5亿元,同比增长40.6%。IDC预计,全球大数据2016年将达238亿美元,中国市场规模未来5年将增长近7倍。

大数据技术最近几年在迅速发展,国内外的厂商和组织已经推出了多种大数据解决方案。在金融领域,已经利用大数据技术解决诈骗检验、IT风险管理和自助服务等问题,未来大数据技术将会起到越来越重要的作用。目前国内外很多金融机构如摩根大通、花旗银行,以及风电、太阳能发电、石化企业等制造业企业也开始采用大数据的解决方案进行设备监控、优化和故障预防[1]。

由于国内外针对商业机构系统频频发生的安全事件,国内各行业的信息化目前正在向基于国产软硬件和自主可控方向发展,大数据也是目前国内各行业重点关注的技术。很多厂商和企业纷纷进行技术研究、方案准备和内部测试,并逐步开始在历史数据查询、分析,非结构化数据检索等方向上开始使用[2]。从最近几年的趋势来看,安全、自主可控的大数据解决方案在大数据的行业领域有非常大的市场需求。

国内的很多关键行业应用,如金融信息系统的许多关键设备都没有采用国产产品,导致无法准确判断其安全隐患,这使得我国信息化建设的安全底数不清。迫切需要国内IT企业和行业共同研发自主可控、自主知识产权的信息系统、信息环境和信息安全产品。针对这种状况国家银监会提出了“自主可控,持续发展,科技创新”的三大战略[3],国产的信息化产品,在金融领域的应用已经开始了破冰之旅,事实也已经开始证明,自主可控的软硬件产品,在关键行业领域的应用是可行的,但是缺乏完整的经过验证的整体解决方案和实际案例,无法复制和推广。

本文基于国产软硬件产品进行自主可控的大数据体系架构研究要打破国外技术依赖,掌握技术命脉。针对现有行业关键系统多数是直接引用国外成熟技术,关键、复杂、核心的应用系统大多是建立在非自主产品上,形成了对国外的技术严重依赖的现状,本文的研究将可以在大数据领域打破国外技术的垄断,形成有竞争力的国产解决方案。

2 主要研究内容

本文主要研究面向行业应用、基于自主可控基础软硬件产品的大数据体系架构,研究内容主要包括:

2.1 行业大数据应用的需求分析

2.1.1 面向多源异构业务数据的采集和管理需求

在客户信息为例,行业内的集团企业经常会面临急需解决的数据集成问题,企业存在大分散的客户信息资源,并由各系统自主采集和维护,没有良好的共享体系,客户信息、订单信息等异构的存在不同数据源中,没有横跨多个业务领域的客户信息的统一管理和分发体系。因此,要求统一建设行业信息大数据管理系统,是一套为所有在线业务服务的、整合的行业信息大数据管理与分析系统,并具有行业先进水平的大数据管理和分析能力,以满足企业形成市场竞争优势的要求。

2.1.2 针对海量异构大数据的高性能存储需求

通过调研发现很多大型企业的信息系统已经积累了大量的业务数据,而且随着业务拓展的需求,大数据分析的数据源已经不仅局限于企业内部,如对客户流失分析或者产品销售趋势预测,就还需要互联网社交网络或者电商消费信息等。这些多源、异构、海量的数据对于大数据平台的存储提出了极高的要求。以某大型企业集团的客户和生产经营信息为例,数据规模已经达到上百TB容量,且相关数据量,特别是生产线的传感器数据和用户行为等数据还在持续大幅增长。

2.1.3 多样性大数据分析和处理需求

大数据分析系统不但集成了多个系统的数据源,未来大数据分析应用系统也会被多个部门,多个业务中使用,而且不同的部门和不同业务对大数据分析处理 的响应时间、数据量、结果准确程度以及具体的分析算法都会有很大差异。因此需要完整的对这些分析和处理需求进行分析,以便于设计满足当前和潜在需求的大数据分析处理架构。

2.1.4 行业大数据的安全监控和隐私保护需求

面向行业和企业的大数据平台都将集成来自于不同数据源的数据,其中有很多数据会涉及商业秘密和个人隐私等安全问题,所以这些数据在大数据平台中应该被合理的授权使用,并有完善的安全监控和隐私保护措施,以避免引起数据泄密或者隐私纠纷。

2.1.5 行业大数据平台的业务应用和可视化展现的需求

大数据分析的结果是更好的支持业务推广和运营决策,所以企业大数据分析还是要和现有的业务应用紧密结合,并且以简单友好的操作,以及可视化的方式直观的展现分析结果,这样才能被各部门和各级别的人员使用好大数据系统。

2.2 基于自主可控服务器的大数据基础架构研究

上一篇:数据中心解决方案范文 下一篇:数据中心存储方案范文