数据监测范文
时间：2023-03-06 23:31:27
数据监测范文第1篇
一、利用统计特性分析监测数据
无线电监测工作正面临着探索面向任务的工作模式向面向数据的工作模式转变，而面向数据的监测工作模式就是要在海量的日常监测数据中，统计分析出有意义的无线信道特征指标。对于无线电管理和监测工作有意义的无线信道特征指标包括：信道噪声电平、信道上的信号数量、信道上的信号电平以及信道占用度等。离线监测数据由监测接收机执行频谱扫描任务采集而来，其基本的数据格式如表1所示。其中，每个频点就是一个无线信道，该无线信道的频谱带宽由接收机扫描任务中设置的中频带宽决定。根据排序，可以得到在扫描时间内每个信道的电平值序列，从而对这个序列进行结合无线通信原理的统计分析研究。这些统计分析的方法，可以包括均值、方差这些二阶矩分析，也可以有概率密度分布和高阶矩分析等内容。
图1所示为2014年1月14日下午六分钟内监测到的160.65MHz中心频点上接收信号的电平值。从图1中电平的变化可以明显看到，在不同时刻频信道被无线随机信号所占用。我们可以通过提取有效的信号片段，对其统计特征进行分析，从而达到准确分辨信号性质、建立针对多个信号及其传播环境和场景的定性定量特征描述的目的。图2、图3、图4分别显示了基于图1信号中的有效片段样本内信号电平均值、电平方差、以及片段时长的统计特征。从图2可以看到，信号电平均值呈现出单一的m-Nakagami分布，图3中的电平方差以及图4中的片段时长则均呈现出多个分布相叠加的状态。通过对统计特征中分布组合的形式，以及独立分布的参数特征，就能够对信道及其占用信号进行合理的分析。
二、开展研究工作思考
根据目前无线电监测工作的实际情况，利用无线信道的统计特性来分析监测数据库，需要切合实际工作分步骤、分阶段地开展研究，才能最终形成一套可以推广使用的分析工具和监测数据库标准之一。因此可以针对性地开展如下研究工作：对无线信道特征分析的理论研究。面对海量的无线电监测数据，需要在理论层面对这些离线数据进行统计分析的研究，并要确保采用的统计分析方法具有可靠性和自动化实施成熟度，为进一步进行自动算法的研究和软件开发打好理论基础。对信道特征参数进行研究。最基本和重要的无线信道特征参数包括：信道噪声、信道占用度和最大电平值。但也需要探索在对离线数据进行统计分析时，能否发掘和得到更多有价值的信道特征参数，用以实现有价值的监测分析和支持无线频谱管理工作。对无线信道特征分析模型的自动算法进行研究。
有了合适的统计分析方法，明确了可以获得的信道特征参数，需要对这种统计分析进行自动化实施。自动算法的研究和实现，关系到研究成果转化的效率和可靠性，这是本课题研究的一个重点。开发基于监测数据的无线信道特征分析处理软件。首先可以根据算法，开发无线信道特征分析软件的简单原型，使之能够针对相应格式的无线电监测数据文件进行信道特征分析，且能支持输入通用的数据文件格式，如：Excel、Txt和Mdb等。并且使计算出的信道特征参数能够呈现和自动生成相应简单报表。
此外，进行实际发射实验的测试验证。验证和评估在不同类型监测接收机和不同发射信号类型情况下，算法的准确性和适用性。同时通过测试验证，充分总结现有方法的优缺点，对于下一阶段的研究工作的重点提出展望和路径介绍。对无线信道监测数据的深度挖掘，可以有效地掌握频率使用情况，有助于清理和回收长期不用的频点和非法频率，对频率和台站数据库起到有利的支撑作用。同时建立样本数据库对不明信号进行标注比对，对无线电发射的参数进行测量，对可疑信号进行监听，才能主动发现和查处非法使用的无线电台，减少无线电干扰和非法设台现象的发生。
数据监测范文第2篇
关键词：ADO；数据格式；SPLIT函数
中图分类号：D922.3 文献标识码： A
1 引言
沉降监测中，对一般性的高层建（构）筑物，采用二等水准测量的观测方法就能满足要求，仪器多采用精密的电子水准仪，本文以天宝DINI03为例，全面阐述一下其数据的导入和处理过程。
2 数据导入的设计
本程序是利用VB语言读取电子水准仪的输出文件，然后利用Microsoft ActivX Data Object 2.6 Library ADO对象库的引用，把数据导入到access数据库中。例如，天宝DINI03电子水准仪输出的数据如1-1图，其第一行是文件名，第二行是开始观测行，因为是第一站（奇数站）所以用后、前、前、后方式观测，第三行是水准起点，第四行到第七行是前、后视高，前、后视距，第八行是第一站高程，第十九行到三十四行是无用的数据（铟钢尺没有扶正等原因造成的）第四十一、四十二行是间视点，每行分六个字段。因而首先用VB的函数SPLIT ：S=SPLIT((textline1, "|")，把每行分成六个数组进行处理，然后用INSTR以及MID函数：InStr(1, s(3), QSHiSHiGaoZIDuan)，作为条件，剔除无用的数据，把视距，视高等有用的数据导进access数据库，以备下一步进行数据处理。数据导入的部分代码如下：
adodblianjie1
rs1.Source = "select * from 水准表 "
rs1.ActiveConnection = conn1
rs1.Open
Do While Not EOF(1)
'For i = 1 To 45
Line Input #1, textline1
s = Split(textline1, "|")
If InStr(11, s(2), "#") Or InStr(11, s(2), WeiJianMing) Or InStr(1, s(2), KaiSHiHang) Or InStr(1, s(2), CHongFuCeZHan) Or InStr(1, s(2), KaiSHiJianSHiDian) Or InStr(1, s(2), JieSHUJianSHiDian) Or InStr(1, s(2), JieSHuHang) Or InStr(1, s(3), SHiJuCHa) Or InStr(1, s(3), QianSHiJuHe) Then
Else
rs1.AddNew
QHdianMing = Trim(Mid(s(2), 4, 15))
rs1.Fields("测量时间") = Calendar1.Value
If InStr(1, s(3), QSHiSHiGaoZIDuan) Then
ChangDu = Len(s(3))
QianSHiSHiGao = Val(Trim(Mid(s(3), 3, ChangDu - 5)))
SJChangDu = Len(s(4))
QianSHiJu = Val(Trim(Mid(s(4), 3, SJChangDu - 5)))
If Rf Then
rs1.Fields("前视视高1") = QianSHiSHiGao
rs1.Fields("前视视距1") = QianSHiJu
rs1.Fields("测站点") = "前" & QHdianMing
Else
rs1.Fields("前视视高2") = QianSHiSHiGao
rs1.Fields("前视视距2") = QianSHiJu
rs1.Fields("测站点") = "前" & QHdianMing
End If
Rf = Not Rf
End If
If InStr(1, s(3), HSHiSHiGaoZiDuan) Then
ChangDu = Len(s(3))
HouSHiSHiGao = Val(Trim(Mid(s(3), 3, ChangDu - 5)))
SJChangDu = Len(s(4))
HouSHiJu = Val(Trim(Mid(s(4), 3, SJChangDu - 5)))
If Rb Then
rs1.Fields("后视视高1") = HouSHiSHiGao
rs1.Fields("后视视距1") = HouSHiJu
rs1.Fields("测站点") = "后" & QHdianMing
Else
rs1.Fields("后视视高2") = HouSHiSHiGao
rs1.Fields("后视视距2") = HouSHiJu
rs1.Fields("测站点") = "后" & QHdianMing
End If
Rb = Not Rb
End If
If InStr(1, s(3), JianSHiSHiGaoZiDuan) Then '间视点
ChangDu = Len(s(3))
JianShiSHiGao = Val(Trim(Mid(s(3), 3, ChangDu - 5)))
SJChangDu = Len(s(4))
JianSHiju = Val(Trim(Mid(s(4), 3, SJChangDu - 5)))
SJChangDu = Len(s(5))
JianSHiDianGaoCHeng = Val(Trim(Mid(s(5), 2, SJChangDu - 5)))
rs1.Fields("间视点视高") = JianShiSHiGao
rs1.Fields("间视点视距") = JianSHiju
rs1.Fields("间视点高程") = JianSHiDianGaoCHeng
rs1.Fields("测站点") = QHdianMing
End If
If Trim(s(3)) = "" And Trim(s(4)) = "" Then
ChangDu = Len(s(5))
QianSHiDianGaoCHeng = Val(Trim(Mid(s(5), 3, ChangDu - 5)))
'QHdianMing = Trim(Mid(s(2), 4, 15))
rs1.Fields("前视点高程") = QianSHiDianGaoCHeng
rs1.Fields("测站点") = "高程" & QHdianMing
End If
rs1.Update
End If
Loop
rs1.Close
conn1.Close
Close
MsgBox "导入成功！"
1-1
3 数据的处理
数据进入access数据库后，充分利用ADO对象模型的数据访问策略 ，可以任意输出成多种格式，例如输出成EXCEL的格式。首先充分利用了microsoft office 11.0 object library进行EXCEL对象的定义：
Dim SHuiZHunexcel1 As Object '定义Excel对象
Dim SHuiZHunbook1As Object '定义工作簿对象
Dim SHuiZHunsheet1 As Object '定义工作表对象
Set SHuiZHunexcel1 = CreateObject("excel.application") '创建Excel应用程序对象
Set SHuiZHunbook1 = SHuiZHunexcel1.Workbooks.Add '添加工作簿
Set SHuiZHunsheet1 = SHuiZHunbook1.Worksheets(1) '操作的工作表1
然后利用Microsoft ActivX Data Object 2.6 Library ADO进行数据库的连接：
adodblianjie1
rs1.Source = "select * from 水准表 "
rs1.ActiveConnection = conn1
rs1.Open
最后输出成EXCEL格式的文件：
For i = 0 To rs1.Fields.Count - 1
SHuiZHunsheet1.Cells(1, i + 1) = rs1.Fields(i).Name
Next
If rs1.RecordCount > 0 Then
rs1.MoveFirst
For i = 1 To rs1.RecordCount
SHuiZHunsheet1.Cells(i + 1, 1).Value = rs1.Fields("测站点")
SHuiZHunsheet1.Cells(i + 1, 2).Value = rs1.Fields("前视视高1")
SHuiZHunsheet1.Cells(i + 1, 3).Value = rs1.Fields("前视视高2")
SHuiZHunsheet1.Cells(i + 1, 4).Value = rs1.Fields("前视视距1")
SHuiZHunsheet1.Cells(i + 1, 5).Value = rs1.Fields("前视视距2")
SHuiZHunsheet1.Cells(i + 1, 6).Value = rs1.Fields("后视视高1")
SHuiZHunsheet1.Cells(i + 1, 7).Value = rs1.Fields("后视视高2")
SHuiZHunsheet1.Cells(i + 1, 8).Value = rs1.Fields("后视视距1")
SHuiZHunsheet1.Cells(i + 1, 9).Value = rs1.Fields("后视视距2")
SHuiZHunsheet1.Cells(i + 1, 10).Value = rs1.Fields("前视点高程")
SHuiZHunsheet1.Cells(i + 1, 11).Value = rs1.Fields("间视点视高")
SHuiZHunsheet1.Cells(i + 1, 12).Value = rs1.Fields("间视点视距")
SHuiZHunsheet1.Cells(i + 1, 13).Value = rs1.Fields("间视点高程")
rs1.MoveNext
Next
End If
SHuiZHunexcel1.Visible = True '决定excel是否可见
4 使用效果及结论
沉降监测是一项精密的工程测量，由于工作多，任务重，时间要求紧，如果利用常规方法，保质保量按时完成任务，难度很大。限于此因，我做了这个与沉降监测工作配套的程序，极大提高了工作效率。此软件已在工作中使用很长时间了，迄今为止运行稳定，性能、效果良好。由于篇幅所限只能列举天宝DINI03的仪器数据，把数据导入，部分数据处理与同行分享，以此共勉。
参考文献Visual Basic函数参考大全 人民邮电出版社赛奎春 李俊民编著
ISBN 978-7-115-15387-6 2007.4
测量学（第四版）同济大学出版社顾孝烈等编著
ISBN 978-7-5608-4458-8 2012.2
变形监测数据处理武汉大学出版社黄声享等编著
数据监测范文第3篇
【关键词】 数据挖掘技术 频谱数据分析
前言：在对频谱监测数据分析中，简单统计分析已经无法满足频谱监测数据实际需求，需要对数据深入研究，探索配频谱监测数据潜在关联，寻找到异常信号，有效提升频谱监测精确性，起到辅作用。数据挖掘技术在应用过程中，能够挖掘海量数据内价值，有关监督设备可以对数据进行扫描，深入分析有关数据。
一、数据挖掘技术简介
1.1数据挖掘的概念
在上世纪90年代内，研究人员提出了数据挖掘，主要目的就是希望能够将所采集到的应用数据内所具有的潜在价值信息挖掘，获取价值信息。数据挖掘内包含较多学科内容，例如人工智能、统计、可视化技术、数据库等。数据挖掘在对数据分析研究过程中，主要采取分类及聚类进行监测，对有关知识进行演变。数据挖掘常见模式主要分为四种，分别为频繁模式、分类模式、聚类模式与异常模式[1]。
1.2数据挖掘的过程
1、数据准备。数据准备阶段主要包含两方面工作，分别为数据获取和数据预处理。数据挖掘应用点在确定之后，能够有效对有关数据进行收集，同时对数据背景进行掌握，对挖掘模式进行确定。有关数据在收集之后，需要对数据内所包含的冗余数据及空缺数据进行预处理，为计算机分析奠定坚实基础。
2、数据挖掘。数据娃聚主要是在数量及挖掘目标确定之后，选择合适的数据挖掘方法及技术，对数据进行计算分析，构建针对性数据。
3、挖掘结果展示。数据挖掘技术所得到的数据结果，十分抽象，除了数据挖掘技术行业工作人员无法对数据挖掘结果进行了解，所以需要对数据挖掘结果进行转化，通过图形及图像的方式，将挖掘结果在屏幕内显示出来，直观将挖掘结果展示出来，用户能够对挖掘结果深入理解。
4、挖掘结果应用分析。按照挖掘背景及目的，对数据挖掘结果进行系统性分析研究，进而找到海量数据内具有价值的信息，同时这些信息技有关生产，对数据挖掘结果正确性进行判断，对数据挖掘有关知识进行修正、完善[2]。
二、数据挖掘技术在频谱监测数据分析中的应用
2.1认知无线电中频谱资源预测应用
认知无线在频谱监测数据内应用，能够有效提高频谱监测数据质量，同时非授权用户也可以对频谱资源进行利用。授权用户在对频谱监测数应用过程中，非授权用户能够直接将频谱监测数据资源让出来，非授权用户就需要充分构建频谱途径，构建通信连接。非授权用户要是没有直接将频谱资源让出来，授权用户与非授权用户之间就会产生矛盾，进而造成通信中断，这样情况所将的损失将是无法预计的。所以，非授权用户及授权用户要是都能够对频谱资源精确划分，能够有效对资源矛盾事件防止，在这种情况下频谱监测资源利用效率也就显著提升。
正式由于认识无线电技术在实际应用内所具有的优势，在对认知无线电技术分析研究过程中，需要将重点放在授权用户应用规律上面，对授权用户占据频谱监测数据空余时间进行预测，帮助非授权用户能够在授权用户空余时间内寻找利用有关资源，这种预测性分析研究主要是通过数据挖掘技术内的频发模式实现。
2.2异常无线电信号监测应用
无线电监测站在常规监测过程中，最为主要的一项工作就是对异常无线电信号进行监测，严禁非法占用情况出现，有效提高无线电通信安全性能。
按照无线电监测所产生的数据可知，频谱设备属于常规性运行，一旦出现异常运行情况，所输出的信号就与常规状态下信号存在一定差异。所以，想要了解频谱设备出现异常情况，只需要将将信号进行分析比较，数据挖掘技术能够有效对海量信号内特点进行提取，在海量信号内寻找到异常信号。数据挖掘技术在无线电监测内应用，首先是通过无线电监测历史数据构建数据模型，模型在具有自我学习能力之后，能够应对无线电瞬息变化环境，对数据模型与历史数据模型相似点进行计算，在发现无线电设备出现异常运行情况之后，数据模型就会发出警告。
结论：数据挖掘技术在频谱监测数据分析内应用，能够有效对l谱监测数据分析流程进行简化，在大量数据信息内高效率的找到针对性数据信息，提高信息挖掘质量，进而为管理人员提供针对性意见。正式由于数据挖掘技术在频谱监测数据分析内所具有的作用，所以对数据挖掘技术进行分析研究，能够有效推动频谱监测数据发展。
参 考 文 献
[1]谢湘宁.浅谈数据挖掘技术在专利信息分析中的应用[J].中国发明与专利，2015，01：59-62.
数据监测范文第4篇
关键词：数据监测，数据采集，碳排放
低碳经济是一种新的经济模式，是以低能耗、低排放、低污染为基础的。哥本哈根会议已经过去，但是低碳经济的时代没有过去。各国都重视低碳经济的发展，在减少碳足迹的同时也应当注意与经济之间的平衡。
一、碳排放交易市场的现状
国家的经济现状决定了碳减排的主要走向，国家处在经济发展的上升期，处在财富积累阶段，主要的目标是完成经济上的跨越，同时兼顾好环境的保护。
尽管《京都议定书》没有将中国列入强制减排的行列，但是中国自愿减排的行为并没有停止，2007年中国清洁发展机制项目产生的核证减排量的成交量已占世界总成交量得73%，2008年更是惊人占到84%。尽管中国对碳排放的贡献巨大，但是在碳排放的交易上还处于低端阶段。
但是中国南北资源分布不均，贫富悬殊，企业经济力量及现代化设备分布不均衡，对国家分配的减排任务的完成程度不同。这时碳排放的交易市场的萌芽因为企业处理能力的高低应运而生。但是，由于众多问题的存在，我国尚不能形成一个完整和完善的交易市场和碳排放交易标准，只能依靠国外的一些标准规范我们的碳交易市场。这样就使我们在碳排放交易市场中间丧失了定价权和话语权。
二、存在的问题
1、适合我国自愿碳减排市场标准还不健全，全球有十几个自愿碳减排标准，而我国大多采用美国的VCS标准进行注册碳减排项目。2、政府、企业和个人对自愿碳减排的认识不足，就目前碳自愿减排市场达成的交易仅仅是一些处于责任、环保意识买家，缺少自愿碳减排市场还需要有看中碳投资价值的投资者，另一方面，交易的中间者基本上都是交易所在组织，政府几乎没有参与自愿碳减排权交易。3、自愿碳减排市场缺乏相应的政策法规，需要法律来明确产自愿减排量产权归属问题，是归国家所有还是企业所有，还包括交易程序、行为的合法性以及监管等方面的内容。4、第三方认证核准核查体系不完善，主要体现在被联合国批准的第三方核准核查机构数量少，目前国内就两家。
为了我们不像大豆和黄金一样在国际上失去定价权和话语权，迫切地需要一个标准，标准的制定需要大量数据作为支撑，这样数据的监测和数据的采集成为建立标准的必经之路。
三、数据监测和数据的采集的作用
对于数据监测，国内外已经有了比较成熟的网络化信息平台和自动化的处理、监测系统。能够适时地对企业在生产过程中的生产信息数据化，规范化，并形成规范的报表上报。同时，监测系统的技术已经产业化，厂家能够根据需求进行订单生产。这样就能根据企业自身的特点对系统的开发做出规划与设计。
如深圳的思利敏电力自动化公司，其产品的涵盖不仅仅是在电力行业，触角伸展广泛。其产品在监测上不仅有数据处理、事件记录、历史记录、打印管理、监控界面等，而且拥有数据统计、数据计算、事故追忆、保护设备管理、扩展组件管理、操作票管理、数据转换、数据转发等高级功能模块，这些都是根据用户的需求进行开发的。还有很多公司的产品能够对环境变化、空气质量、工程项目、油田井下作业等众多方面进行监测。这样一来，数据源头的信息我们能够进行自动化地或是半自动化的收集。这些对日后的国家信息的编制通报方面极为方便。能够为国家提供监测来的主要的数据，使国家为各个行业的碳排放提供恰当的减排指标。
数据的采集很大一部分要通过数据的监测来收集，数据采集进一步对检测得到的数据进行过滤和规范化，进一步对数据的质量进行控制。数据的采集系统也比较多，且同样是产业化的生产。如嘉兆科技公司产品种类繁多，设计面广，能够为油田数据的监测和采集提供自动化的手段。同时也能够为船舶及电机相关的数据进行采集。
数据监测和采集是对源头数据的收集和规范的过程，其目的是为决策提供依据。只有以大量的数据作为支撑，才能够为碳排放交易市场的标准的制定提供依据。
四、保障数据监测和数据采集的实行
应当对全国的耗能单位进行摸底排查，了解企业的经济基础和营运状况，掌握企业碳排放的基本情况，掌握企业的排污情况，建立企业的基本档案。
数据监测和数据采集在单位实施的前提是企业的资金到位，有一定的资本去购买自动化的数据监测和采集的设备和大型的数据库，因为自动化采集和监测的特点是数据量大，且更新周期短，需要强大的数据库作为支撑。对经济薄弱的企业进行专项补助，保证企业能够顺利完成自动话设备的安装和人员的培训工作。对采集和监测到的数据分类入库管理，做好各项的数据挖掘工作。为以后制定单项指标提供依据。
数据监测和采集的普及应该是涵盖全社会的，包括产品的生产、流通、区域间的流入流出，服务行业的消费、能耗。这些都要纳入数据的监测和采集的范围之内。制定有效率的统计指标体系和调查体系。
五、后期数据上报的自动化管理
从数据监测和采集到数据的入库，到数据库的上报，是数据规范化，报表话，条理化的一个过程。完善网上直报系统，对统计数据批量规范化上传。这减小了国家相关服务器和数据库的负担，也减小相关部门分析统计监测数据的工作量。
六、指标任务量的分配
对数据各项指标进行分析和统计之后，能够基本的把握全国能耗企业的碳排放量和排污状况，有针对性的为各企业单位分配任务量，同时公布数据的监测，以示公正。
对于经济基础薄弱的企业，根据一定的比例给予资金的帮助和技术上的转让，确定自动化的数据采集和监测系统能够在企业顺利的实行。
七、相关问题的对策
问题的解决也会带来新一个问题的产生。怎样保证企业的监测数据原始，不经过人工的非法处理？怎样衡量企业的在人力资源上的实力？依据怎样的比例对企业进行资金支持和技术转让？这些都是需要解决的问题。
（1）完善网上直报系统，将企业的数据监测和采集系统的借口直接与网上直报系统相连，尽量减少企业单独对监测数据的操作，缩短数据流路线。
（2）国家相关部门调查企业人力资源状况，进行摸底排查，确定人员的能力层次。做好监督工作
（3）对企业的资产状况进行衡量，确定企业的注册资金，流动资金，营业收入等，编制企业档案。
（4）教育培训。使企业领导和员工都掌握数据监测和采集的重要性和战略意义。
保障数据采集和监测的正确性和科学性，离不开技术和管理。
八、结论
数据采集和监测的目的是为了碳排放交易市场的完善，碳排放的交易会随着人们环保意识的增强而逐渐成为交易市场的重要一部分。特别是我们的经济在高速发展的阶段，加上企业经济实力的不均衡，碳排放的交易会越来越频繁，数量也会越来越大。这个市场的存在是不容忽视的。有了基层的数据作支撑，保证交易市场的稳定和交易规则的有序合理。
参考文献：
[1] 陈会强，李新.四个方面完善碳排放交易市场[J].中国科技投资，2009，7：42―44.
[2] 庄贵阳. 中国发展低碳经济的困难与障碍分析[J]. 江西社会科学，2009，7：20.
[3] 丁浩，张鹏程，霍国辉.自愿减排对构建国内碳排放交易市场的作用和对策[J].科技进步与对策，2010（22）：150-151. 通讯地址：山东省青岛经济技术开发区长江西路66号中国石油大学经济管理学院
数据监测范文第5篇
【关键词】 大数据 HDFS MapReduce CIMS
一、研究背景
工业化和计算机技术的发展，使制造系统每天产生的数据量不断增加，整个制造业产生的数据量远高于其他行业[1]。面对日益复杂的制造业生产系统，通过保存其运行过程中的中间数据，并对数据进行研究，能够解决当前的系统建模手段无法解决的问题。传统的数据分析方案一般先将数据保存到关系型数据库中，然后借助联机分析、处理等手段为决策提供支持[2]。
当面对制造业的海量数据时，可能会有如下缺陷[3]：
（1）数据来自不同地区的工作站、传感器等，而且数据格式不统一，既有结构化数据，也有非结构化数据，不利于处理；
（2）联机分析处理过程中会有大量的数据移动操作，当数据量达到PB级时，大量数据移动造成的开销变得难以接受。
因此，有必要研究并实现一个能够合并存储异构数据、并且可以完成基于大数据的CIMS数据分析处理的平台。本文将Hadoop大数据技术引入到CIMS海量工业数据的监测和分析中。
二、研究现状
范剑青[4]阐述了大数据独有的特点，说明大数据提供的海量数据给统计、处理以及统计估算和检验带来的问题。Jiang 等人[5]对电子商务网站的大量商品数据进行分析处理，提出了基于Hadoop的协同过滤算法。
Duke能源公司模拟大数据解决方案，使维护专家远程观看设备和记录异常指数，甚至可以及时采取纠正操作，但还不能真正实现大数据分析和处理平台。通用电气（GE）于2013年推出其大数据分析平台，用以将云平台中的工业机器产生的海量数据转化为实时信息，此平台可以认为是第一个能够真正管理工业海量数据的平台，但是难以处理来自多个数据源的数据。美国国家仪器公司和IBM联手推出InfoSphereStreams大数据解决方案，能够以很高的数据吞吐率分析来自多个数据源的信息，但其处理带有一定的数据延时，实时性不佳。
为解决海量数据处理时的实时性问题，本文拟采用开源的Storm流处理技术，并借助类SQL和Piglatin等过程化语言扩展，以实时监控整个大数据平台。
三、大数据技术在CIMS监测与分析平台中的设计
工业应用数据在数据量上远超普通应用，其海量数据存储的要求超过了传统的关系型数据库的存储能力。另外，工业应用数据也由传统的结构化数据扩展到结构化、半结构化以及非结构化数据并存，对这些数据格式以及数据类型都存在不同的工业数据进行采集、分析和处理的方式有别于传统方式，因此需要对监测和分析平台进行设计，从软件结构、通信方式以及数据存储方式等各个方面进行分析。
3.1 CIMS海量数据监测与分析平台的设计
在将大数据技术应用于CIMS海量数据的监测与分析时，海量的工业数据不再存放在传统的关系型数据库，而是存放到HDFS分布式文件系统上。因此，软件结构设计要与Hadoop的HDFS文件系统相对应。
3.1.1 软件结构
本文设计的CIMS海量工业数据监测和分析平台（以下简称“平台”）采用Master-slave主从架构，Hadoop集群的NameNode节点作为监测和分析平台的管理节点，完成数据采集、数据分析等各功能的功能模块是工作节点。管理节点管理整个集群的相关信息，并维护包括节点的主机名、IP地址等机器状态。工作节点可以根据工业应用的需求进行灵活的配置，也可以动态增加或减少。
平台主要分为如下部分[6]：客户端、消息中间件、数据查询模块、数据分析模块、数据采集模块以及Hadoop集群。客户端接收用户请求，向平台发出任务请求；数据采集模块、数据查询模块以及数据分析模块是平台的功能组件，分别提供工业大数据分析流程中的对应功能[7]：数据采集模块对外提供数据的访问接口，其功能是从不同的数据源获取数据，并将这些数据存储到Hadoop的HDFS文件系统上。
数据查询模块从HDFS文件系统中查询数据的存储索引，并返回给数据分析模块；数据分析模块中实现不同的数据分析配置方法，并交由MapReduce框架分布式地实现数据分析任务。
3.1.2 系统功能模块
平台中监测和分析的数据一般都是离散数据，所以选择消息中间件作为通信管理模块，消息中间件实现平台中各个模块间的通信。
以功能节点上线为例，由于管理节点存储了所有节点的状态信息，所以为保证整个集群信息的一致性，功能节点上线时需要先向管理节点注册其信息，管理节点会向消息中间件订阅“注册”这一主题，消息中间件接收到订阅请求后会创建相应的队列，并持续监听此队列的消息情况。消息队列中的消息是以文本格式存在的，本文的消息传递方式采用XML。平台中的操作请求都会发送给任务管理模块，由其解析后，再发送给相应的功能模块执行。
数据采集模块从基于HDFS文件系统的Hbase数据库中获取来自客户端的数据，由于工业数据的采集并发量可能比较大，因此要在采集端部署大量数据库；除此之外，ETL工具负责将异构数据源的数据抽取处理进行数据清洗。Hadoop上的数据分析模块能够完成多维分析，由于MapReduce的具备很强的并行处理能力，因此分析维度的增加并不会使数据分析的开销显著增加，这无疑是传统的数据分析平台所无可比拟的。
3.1.3 数据存储方式
传统的关系型数据库不能很好的支持结构化和半结构化的数据，HDFS分布式文件系统克服了这一缺陷，将非结构化数据和结构化数据都以文件形式存放，实现了廉价而又可靠数据存储。
工业数据可能来自多个不同的数据源，平台借助中间件屏蔽了它们之间的异构性，然后将这些原本异构的数据存储到HDFS文件系统中。这种异构数据存储方式不需要昂贵的存储设备，廉价的服务器即可组成可靠的存储集群；另外，存储集群节点同时还是Hadoop集群的工作节点，提高了数据存储节点的利用率[8]。
四、大数据技术在CIMS监测与分析平台的性能优化
软件工程思想中，不能只设计软件的结构，同时要对软件进行不断优化。平台集中了多个数据来源的数据，因此平台间的数据传递吞吐量比较大；另外，平台各个组件间的网络依赖关系比较复杂，合理分配网络资源对提升平台性能有重要的影响。
系统动力学研究复杂系统的结构、功能以及动态行为模式，可以利用系统动力学的相关原理和方法，对本文设计的平台进行模拟仿真研究。
在进行实际的大数据平台仿真分析时，为搭建Hadoop集群本文配置4台服务器，其中一台作为NameNode，其他服务器作为DataNode。具体的配置信息如表1所示：
系统动力学分析软件系统的基本思路是把与系统相关的网络变量转换为因果图及流图，因果图表征了变量间的相互影响关系，流图说明了变量的反馈积累；然后利用DYNAMO方程描述变量间的关系。因果图反应了平台中的反馈回路的正负极性，表示出系统元素间基本的相互影响关系。
基于以上分析，对本文设计的平台进行系统动力学分析如下：由于平台是一个非线性时变系统，影响其性能的因素不仅包括管理节点、消息中间件、Hadoop集群等，还包含网络带宽、服务器配置等客观因素。根据系统建模目的，可以知道系统边界应该包括如下因素：用户请求数目、数据采集模块采集到的输入数据、消息中间件队列中的消息数量、消息中间件路由消息的延迟、Hadoop集群的性能等。
平台的系统边界确定后，接下来需要分析系统边界内的元素间的影响关系，以及它们之间是否有因果关系。经分析可知，用户请求的增加会导致消息中间件队列中的消息增加，而消息中间件路由消息的延迟降低会降低系统中消息传递的整体时延。
消息中间件的工作性能和系统各个模块的工作时延组成正反馈回路，说明消息中间件和系统模块是正相关的，所以平台整体性能的提升依赖于消息中间件和系统模块的合理资源配置。
消息中间件的各种配置参数，比如响应速度、吞吐量等参数对提升平台的分析性能影响很大，在优化消息中间件的各种参数后，比较本文设计的基于大数据的数据分析平台和传统的工业数据平台的性能，在同时对PB级别的工业数据进行分析时，当CPU数目相同时，响应速度的结果如表2所示：
对于不同的数据级别，两种大数据平台的处理效果如表3所示：
由结果可知，在处理相同的数据量时，在响应速度的性能上，本文设计的工业数据分析平台要优于传统的数据分析平台。
当处理不同的数据量时，随着数据量的增加，传统的大数据处理平台的处理时间也呈现显著增加，而本文设计的大数据处理平台处理时间是线性的，明显优于传统大数据处理平台。
五、总结与展望
本文首先介绍了Hadoop大数据技术，分析了其HDFS文件系统和MapReduce计算框架；
接下来对基于大数据技术的CIMS海量工业数据监测和分析平台进行设计，从软件结构、通信方式以及数据存储方式等各个方面进行了分析。最后利用系统动力学的原理，对影响平台性能的因素进行了研究。
与Duke能源公司模拟的大数据解决方案相比，本文设计的平台已经能够采集、分析并处理海量数据，真正意义上在工业领域引入了大数据技术；而且此平台还能够处理来自多个数据源的数据，比通用电气的大数据分析平台具备一定的优势。
参 考 文 献
[1] 韩燕波，赵卓峰.面向大规模感知数据的实时数据流处理方法及关键技术[J].计算机集成制造系统.2013，19（3）：641-653.
[2] 邓华锋，刘云生，肖迎元. 分布式数据流处理系统的动态负载平衡技术[J]. 计算机科学. 2007（07）
[3] 胡茂胜.基于数据中心模式的分布式异构空间数据无缝集成技术研究[D].武汉：中国地质大学，2012.
[4] 杨林青，李湛，牟雁超等.面向大规模数据集的并行化Top-k Skyline查询算法[J].计算机科学与探索.2014， 12（26）.
[5] J.Jiang， J. Lu， G. Zhang， and G. Long. Scaling-up item-based collaborative filtering recommendation algorithm based on hadoop. SERVICES， pp. 490 -497， 2011.
[6] 王黎维，黄泽谦，罗敏，彭智勇. 集成对象数据库的科学工作流服务框架中的数据跟踪[J]. 计算机学报. 2008（05）
[7] 多雪松，张晶，高强. 基于Hadoop的海量数据管理系统[J]. 微计算机信息. 2010（13）
数据监测范文第6篇
关键词：环境水质分析；监测技术；数据处理
近些年我国已经初步实现由农业型国家向工业型国家的转型，在这个过程中工业用水量巨大，每年都会有大量的工业废水排出，对我国水资源造成了巨大的污染，同时我国人口数量众多，水资源紧缺问题不断加剧。因此，我国政府必须要加强对水资源环境的改善，要加强对工业生产的整顿，杜绝工业废水的排出，还要加强对环境水质分析监测技术的研发，要提高水质监测数据的处理能力。
1环境水质监测概述
通常所说的环境水质监测主要是对水体中的污染物种类和污染浓度进行检测，并对种类和浓度变化进行实时监测，将结果进行对比，从而得知水体是否符合监测标准。由于我国水体分布范围广泛，这也就使得环境水质监测范围也较广，主要包括江、河、湖、泊、地下水、城市用水、工业污水等。环境水质监测的内容主要分为两类，一类是水质状况综合指标，另一类是有毒物质的监测，两者所采用的监测方法有所差异。在对环境水质进行监测时，需要考虑的因素较多，要根据水体监测对象的不同，合理选择监测方法和监测评价指标。例如，江河水流速较快，工作人员不仅要对水质中的物理元素和化学元素进行检验，还要考虑江河的水流速度和流量，要将所有因素综合到一起。通常较为常用的环境水质监测方法有气相色谱法、化学法、等离子发射光谱法、离子色谱法等，工作人员也要根据水体的不同用途适当调整监测方法和标准。
2环境水质监测技术及方法分析
在对环境水质进行监测时需要经过三个阶段，分别是采样、测试、数据处理。采样主要是指工作人员要对需要监测的水体进行收集，在收集时要根据周边环境进行分析，例如，在对地下水进行采样时，要考虑到周边的环境和工业布局情况；在对工业废水进行采样时，就需要定期进行采集，观察水质的指标是否发生变化。在对采样水体进行测试时，就要采样一些技术手段，对水质进行监测，并要记录相关监测数据。而数据处理就是要将所监测到的水体数据进行比对，分析监测水体是否符合国家相关标准。无论采样哪种水质监测方法，都要确保水质监测数据的准确性和稳定性。通常比较常用的主要有仪器法、重量法、滴定法等集中水质监测方法。
2.1仪器法
所谓的仪器法就是采用现代化监测设备对水体进行监测，操作程序简单，监测速度较快，监测数据比较准确，最为常见的就是色谱法和等离子体发射光谱法。
2.2重量法
所谓的重量法主要是将监测水体中的成分进行分离，然后将未被污染的水体进行对比，主要是通过天平进行成分的测量，从而计算出该成分在水体中的比例。这种监测方法在操作方面较为简便，但是对于天平规格和精度的要求较高，否则将容易出现较大测量误差。
2.3滴定法
在滴定法中主要应用了化学原理，将监测水体提取试液，然后添加已知精度较高的标准溶液，让标准溶液与试液发生化学反应，然后对溶液中的待测物质进行计算。这种方法容易受到外界环境因素的干扰，只有在符合条件的实验室中进行才可以确保监测结果的准确性。
3环境水质监测数据的处理方法分析
3.1时间序列分析法
时间序列分析法是较为常用的一种处理方法，实行数据的动态管理。因为环境水质的监测需要一个过程，如果监测时间较短或较长，都无法保证水质监测数据的准确性。因此，工作人员需要设定一个监测周期，定期对水质进行监测，然后对数据进行动态管理，观察水质监测数据的变化情况，可以有效提高环境水质监测的稳定性。
3.2数据反复验证法
在对环境水质进行监测时，容易受到外界环境因素的干扰，导致水质监测数据的差异较大。因此，工作人员可以采取数据反复验证法，对同一地点的水质进行多次采样，然后分别监测不同组类的水质数据，经过反复的实验验证数据的真实性。
3.3有效数据规整法
在对不同环境下的水质进行监测时，工作人员就需要采取有效数据规整法，要对水质监测数据进行分类，将有参考价值的数据保存下来，然后在后续监测过程中加以比对，从而确保环境水质监测数据的准确性。
3.4无效数据消除法
环境水质监测过程较为漫长，在整个水质监测过程中，有些数据时间较长后就会失去准确性，工作人员就要及时对这些数据进行消除，避免这些数据对整个监测数据的影响。
4结语
综上所述，随着水资源污染问题的加剧，必须要加强对环境水质监测技术的研发，要不断创新新工艺、新方法，加强对水质监测数据的处理，有效改善我国水资源环境。
参考文献：
[1]李锐.论加强环境现场监测水质分析的质量控制[J].资源节约与环保，2014(01).
[2]王磊.论紫外分光光度法在水质分析中的应用研究[J].科技创新导报，2012(11).
[3]陈思宇.质量控制在水质分析化验中的应用——吉林省集安市环保局[J].化工管理，2013(20).
数据监测范文第7篇
关键词：环境监测 ， 数据审核，准确可靠
Abstract: this article is the focus of environmental monitoring data audit, discusses the main from five aspects analyzes the key points of the monitoring data of audit and problems should be paid attention to, and sums up some experience in the practical work.
Keywords: environmental monitoring, data audit, accurate and reliable
中图分类号：B845.61文献标识码：A 文章编号：
监测数据是环境监测工作质量最直接的反映，出具科学、准确的监测数据是环境监测者的责任和立身之本。环境监测数据的审核，是质量保证工作的重要环节，实行三级审核机制，是保证监测数据质量的必要手段。只有确保监测数据在获取过程中得到有效控制，把监测数据差错率消除在监测过程的各个环节，才能保证监测数据准确性和公正性。
一、环境监测数据审核任务
由于分析方法的局限性、分析人员技术水平、监测因子的变异性以及各种干扰因素的影响，监测数据失真现象时有发生。如果环境监测数据不够准确，将直接影响环境执法、环境管理、污染纠纷仲裁的合理性和准确性，而且对环境评价、环境污染治理，也不可能得到准确结论。从大量环境监测数据中剔除异常数据，是环境监测数据审核工作的主要任务。
二、环境监测数据审核重点
发现和判别异常数据，对其进行合理分析是监测数据审核的重要内容。环境监测工作要求监测数据应达到的质量指标是：监测数据具有代表性．准确性，精密性，可比性（合理性），完整性， 并且监测分析的误差控制在允许范围内。
研究表明，一般在进行监测数据审核时，应围绕“五性”对监测过程中前后制约的各个环节进行审核，才能保证监测数据的准确，可靠。
1．环境监测数据代表性审核
监测数据代表性表现在”时空”代表性上。审核人员应重点审核监测样品的采佯原始记录是否完整 、采样人员是否严格按照规范认真作好记录、采样点位有无其它偶然和人为因素影响的记录等，特别是采用的监测分析方法与标准规范、评价方法是否现行有效、方法的检出限、仪器设备的测试精度是否符合监测对象的要求。例如在验收监测中，应特别注意采样时工况，各环境要素监测点位的布设是否合理，采样位置和取样方法等方面是否存在问题等，以便及时发现异常数据，确保监测数据具有代表性。
2．环境监测数据精密性和准确性审核
为了取得满足质量要求的监测结果，必须在分析过程中实施各项质量保证和质量控制措施。例如，应按照技术规范的要求进行10%样品平行双样分析，必要时进行密码样分析和加标回收试验等。由质控人员详细审查分析人员在分析全过程的精密性和准确性，并填写相关的质控记录。特别要注意监测数据的精密性是否达到给定的室内标准偏差的要求，同时也应重视数据精密性核查。尤其是在当待测组分含量为痕量分析范畴，且常与空白实验处于同一数量级时，空白值的大小和分散程度直接影响其精密度。总之，只有全面审核实验室内质量控制内容，才能保证监测数据的精密性和准确性。
3．环境监测数据可比性(合理性)审核
监测数据的可比性审核的范围很广，且专业性很强，不仅要运用环境监测技术规范和围家颁布分析标准，还要考虑各污染物之间相互关系及其在不同环境中的迁移转化规律和浓度变化范围等知识，才能对比各种物质间的关系，对异常值进行合理分析。
一般来说，待测样品的各监测指标之间客观上具有一定的规律性。例如，在地表水监测中，CODcr>BOD5，同一水样的BOD5浓度高，则CODcr浓度必然高，但反过来CODcr浓度高，BOD5浓度未必高，CODcr浓度高，水中溶解氧必然低，反过来溶解氧浓度高，CODcr浓度未必低，TN>NO3-N、NH3-N、NO2-N三者之和等，反之为异常；目前， CODCr和BOD5、TSP与PM10指标之间的相关性分析在数据审核中得到较广泛应用,对于其它环境指标，如水环境指标中的电导率和溶解性总固体、锅炉大气污染物排放监测环境指标中的实测烟尘排放浓度和烟气黑度(级数)等环境指标间相关性关注者不多。
在监测数据审核过程中,应从水、气、声等环境要素中各环境指标之间的相关性分析出发,按照各指标间的相关关系,检查各指标间的数值有无矛盾之处,检验各指标间的相互联系(一致性),对上报的监测数据进行分析、比较、验证,找出异常数据及其产生原因,审核其合理性。
4．环境监测数据完整性审核
环境监测按监测目的不同可分为环境质量现状监测、污染源监督监测、环评监测以及建设项目竣工验收监测等，不同的监测目的有不同的监测方法、规范要求，与其对应的监测项目，分析方法，监测频次及监测数据所要求的质量目标也各不相同。故在审核监测数据完整性时，应着重审核不同监测对象的采样频次、采样时间、监测项目设置是否达到监测技术规范的要求，分析方法，检出限，测试精度、评价标准是否符合监测目的的要求，若方法不当就会发生偏差或不准确。
作为数据审核人员，应不断学习业务知识，熟悉环境监测技术规范、分析方法标准和各种污染物在不同环境中分布规律和特点，以科学态度对待每一个环节的监测数据，才能保证其准确可靠，更好地为环境规划，管理服务。
参考文献
（1）黄鹏飞.环境监测数据的审核.北方环境.2011,7.
（2）杨驰宇，陈艳杰.浅论环境指标的相关性分析在监测数据审核中的应用.中国环境监测,2009,3.
作者简介
数据监测范文第8篇
简单来说，网格化监测网具有以下几个特点：一是网格化监测网是基于智能化管控系统平台的；二是网格化监测网是以监测数据库为核心，以任务管理为中心的；三是网格化监测网基于多重叠覆盖原则细分监测区域，联网构成一个分布于各区域的网格化监测系统；四是网格化监测系统具有与无线电管理紧密相关的明显特点和丰富的应用功能，其中涉及时差测量技术、网格化配置技术、信号分类与比对技术、联合定位技术等。
网格监测数据库系统的概念和特点
监测数据库是监测网系统中的核心部分，所有后期的数据分析和应用扩展都是基于监测数据库来进行的。如何使频段占用度统计数据更接近于真实情况？如何开展电磁环境自动监测和评估分析工作？这些都是需要深入探讨的现实课题,而这些工作除了具备良好的监测模式外，还必须依托准确和全面的监测数据库。目前主流监测测向系统虽都具有了数据的采集和简单的分析处理功能，但没有形成完善的监测数据库，在监测数据的加工和再利用方面存在严重的缺失。很多监测任务形成监测报告或存档就结束了，没有对监测数据进行更深入的挖掘和利用。而本文所阐述的网格监测数据库系统基于地理信息系统，以实时采集节点数据为依据，按照网络计算架构设计，通过对海量的多维数据进行过滤、比对、相关性分析，通过数据挖掘整合成为动态数据库集合，其具有分布、异构、动态和自主等相关特性，是网格化无线电监测网的核心。
网格监测数据库的建立及运行流程
网格监测数据库包括实时节点监测数据库、动态监测样本库、信号模型特征库、历史统计分析结果库、台站管理数据库、频率规划数据库等。所有监测数据都应该提供采集的时间和地点信息，以便于与地理信息系统相结合。网格监测数据库的建立是一个动态的长期积累和完善过程，主要包括以下3个流程环节。
这是整个监测数据库建立的最基本要素和基础性工作，必须掌握以下采集原则：数据采集要确保一致性和准确性,尽量避免虚假信号和不确定性信号的产生；针对不同的业务频段，制定相应的监测数据采集工作规范，保证监测数据库的有效性；测量参数集和数据采集策略，根据监测地点、时间、内容（业务种类）,选择恰当的测量参数(智能化匹配)。在这个环节，按照数据采集规范和数据采集策略，收集到原始数据并按规范数据格式存储。生成实时节点监测数据库并对异常和可疑信号进行实时快照标注。
采集数据的预处理系统。这是网格监测数据库建立和正常运转的重要保证。预处理系统必须具有很强的兼容性，能够支持各种数据格式；必须能够对原始数据进行筛选和过滤，去除无效、异常数据，避免垃圾数据的产生，考虑到数据的预处理是自动运行的，因此，数据的筛选过滤策略的研究和设置是非常必要的；系统要对数据进行整合，以达到统计分析的使用目的，整合的方法要依据不同的使用目的，制定不同的整合策略；数据预处理必须支持分布式的数据处理和汇总，以处理各种远程的监测站所采集的数据，同时，数据预处理必须选择合适的处理算法，提高数据处理速度，实现整个监测网络大量数据的快速处理。在这个环节里，主要生成各类数据库表（当月监测频率表单、频段占用度统计报表、业务频谱图谱、数据库数据更新表等）。
基于前面的工作，这一步主要实现以下三项功能：形成网格动态监测数据库：要提高频率管理的科学性、预见性和前瞻性，实现频率资源的实时、动态监管，并最终实现频率资源的充分、合理利用，建立网格动态监测数据库应该算是重要的一个方面。其工作流程简述如下。根据任务要求，制定或选择匹配适当的数据采集规范和数据采集策略，保证数据采集的准确性和可靠性。对采集的原始频率数据要依照一定的数据筛选过滤策略（如按照信号平均电平+频率占用度二维组合过滤标准）进行初步筛选，生成当月监测频率表单。将当月监测频率表单与业务已指配频率数据库（作为原始监测频率样本库）进行比对和频率属性标注（即标示该频率的状态：合法、非法、不明、互调、杂散、信号特征等不同属性），生成并更新监测频率样本库。为了实现监测数据库的实时动态更新，需要制定相关的数据整合策略，即按什么标准添加新数据，剔除旧数据（在实践中，可采用2～3个月的数据循环比对方式来对数据库进行更新，数据库结构由动态频率样本库和月频率表单两部分组成）。通过此系统，监测人员可以动态掌握无线电频率资源的使用情况，为清查非法（未登记）台站提供技术支持，为打击非法设台提供科学的依据；另外，还可实现对监测网覆盖范围（覆盖效率）的评估和校正，为管理工作赢得宝贵的时间和主动权。
建立新信号模型特征档案：随着无线应用领域的发展，越来越多的新技术、新设备不断出现，给不明信号查找和干扰查处带来了一定的困难。通过对不同无线电业务发射信号进行频域分析，我们发现它们各自具有独特的特征属性，就像指纹一样，各不相同。这为我们识别和分析不同业务的信号提供了依据。通过提取相关的信号特征（信号谱图、音频特性、占用带宽、调制方式、寻址方式等），并对其信号特征及相关参数进行标注和描述，就能够方便地建立一个信号频谱特征样本库。为今后类似信号的识别提供方便，同时为监测人员提供了一个认知和提高的平台。
数据监测范文第9篇
关键字：基坑监测数据处理剔除粗差
中图分类号：TV551.4文献标识码： A 文章编号：
0引言
近些年来, 随着我国经济的发展和城镇化建设的加快，修建了许多大型建筑,如高铁、轻轨、地铁、地下商场、大型桥梁工程等。这些工程项目中除了前期要做许多详细的勘查测量和结构设计之外,由于岩土工程项目的不确定性和复杂性,因此,在施工过程中要进行周密的监测,即对周边环境即房屋沉降、房屋倾斜及裂缝、地面沉降、顶部垂直及水平位移、土移、地下水位动态变化信息进行监测。而监测得到的数据需要进行处理来反应该工程项目对周边环境的影响，从而采取相应的措施。本文主要讲述基坑监测数据的处理方法。
1、数据前处理
由于受工作环境如温度、湿度、气压等因素的影响，测量仪器常常会伴随系统误差，并且由于测量仪器的精度和偶然因素的影响,实际量测到的数据是带有随机误差的离散型数据。假如对收集来的监测数据直接用于分析处理和计算则具有一定的局限和缺陷,因为,在获取监测数据的时侯,受着许多非确定因素的影响和干扰,因此影响着我们收集到的数据的精确性,从而影响预测预报及其他工作的可靠性。于是，我们必须要把监测得到的数据进行处理检验，消除系统误差，剔除观测粗差，才能进行进一步的处理。常用的预处理方法有：
1.1VBA技术
该算法是运用计算机VBA编写程序对报表中的监控量测数据进行直接处理，先浏览所有的工作报表，查找出并属于同一监测项目的工作报表，然后对这些工作报表中的指定数据进行进一步计算和处理，最后统计出我们需要的各种最大变化量[1]，以反映工程施工过程中各个方面的的变化。工作流程图：监测数据查找显示结果筛选汇总登成果表。
1.2小波分解技术
小波理论是多学科交叉的结晶，它在被广为研讨和应用于科学研究和工程项目中[2]。小波技术是建立在Fourier分析、泛函分析、样条分析以及调和分析基础之上的新的分析处理工具,在时域和频域都具有良好的局部化特征,经常被称为信息分析的“数学显微镜”。工程施工过程中经常有噪音，无论是其本身施工过程中产生或者外部环境产生的，或多或少都会印象到监测数据的可靠性，这些因素使监测到的数据呈离散型分布，利用小波分解的多分辨技术,可以去除这些噪声干扰信号，也就是无用的信号,最终显示出有用信号。因为随着尺度的增加,时间分辨率会降低,噪声影响会变小,因此信号的发展趋势会被表现得更为明显。
1.3异常检测技术
异常检测它是数据挖掘的任务之一,就是识别特征显著不同于其它数据的观测值(这样的观测值被称为异常点)异常检测的目标是发现真正的异常点, 并且同时避免错误地将那些正常对象标注为异常点[3]。
最常用的异常检测的方法有三种:第一，基于模型的技术。也就是要构造一个数学模型。当监测数据量大的时候，此方法很有效果;但对于其他方面,这个方法的效果将会减弱很多;第二，基于密度的技术。被测对象的密度可以很直接计算得到,当各个区域之间的密度相差不大的时候，也可以很好的利用此方法;第三，基于邻近度的监测。异常对象主要是那些跟大部分对象不一样的对象,该检测技术是基于距离的离群点,参数较难选择。不过该方法最容易,但是同时计算量也大。
异常检测的关键是确定异常点数n和测量误差点数k。主要原则是结合工程施工安排,确定出可能出现较大变化值的次数,接着将其他可能引起监测数据波动的因素考虑进去,并且适当放大得到参数n和k。该过程具有一定的经验性。
2、各种监测数据处理所采用的具体方法
2.1沉降监测
沉降监测数据处理一般分两步，第一步是进行线性回归模型分析，通过分析此线性回归可以进行沉降监测的变形预测，预报建筑物未来的安全。第二步利用灰色等时距模型进行分析预测。灰色动态等时距模型是以灰色生成函数概念为基础，同时以微分拟合为核心的建模方法。并且利用监测到的数据与拟合的数据进行比较，用来检验拟合的准确性。
2.2变形监测
变形监测数据处理通常通常先采用数据探测法来处理粗差，就是进行粗差的探测、定位，以及最终去除。先利用单个的或者多维的粗差检验方法，检验出粗差的位置。接着进行粗差处理，粗差处理是指在粗差不能避免的情况下，选择合适的估计方法，使所估计的参数尽可能减小粗差的影响，得到常模式下最佳的或者最接近最佳的估值。
2.3水平位移监测
现场数据采集到一起后，利用控制点两次观测到的数据检查一遍数据，确认观测的数据准确无误后进行坐标转换从而求得坐标转换参数，并且需要对转换的结果进行误差评定，去除误差过大的点，误差过大的原因往往是由于控制点自身产生的位移，去除粗差点后再重新计算坐标转换的参数。利用计算求得的坐标转换参数，将所有观测点的坐标转换到统一的控制点的坐标系中，再与以往的数据进行比较，即可得到观测点的水平位移变化量。
3、基坑监测数据反馈
基坑工程的施工它是一个动态的过程．除了支护结构体施工外，基坑内的岩土一般分段、分层、分区开挖的，伴着施工的进展，一方面支撑结构的变形和体力不断增加，岩土体的变形和坑底隆起也增大，同时作用在支撑结构体上的水平侧应力也随着结构变形增加而变化。所以，在每一周期量测后，需要对每个量测面上各个监测点要进行数据处理与分析。通过分析可预测最终的位移的变化规律。 从而判定基坑的稳定性。同时利用所得到的位移数据进行反馈计算和分析，从而提供支护结构体和周边建筑物的状态，预测它们的发展趋势以便采取一定的措施。还可以验证设计参数及施工方法，以指导施工，为工程项目的安全施工提供保障。
结语
基坑监测的数据处理是一个比较复杂的过程，它首先要将观测到的数据进行预处理，剔除误差较大的点，然后再利用各种数据模型进行分析处理，得到建筑物变形情况以及预测变形程度。总之，为了使基坑工程施工能、高效、高质量地进行，要对监测数据进行处理和分析，以保证基坑工程施工顺利进行，达到安全和稳定的目标，避免事故的发生。
参考文献
[1]张开伟 VBA技术在基坑监测数据分析处理方面的应用[J].山西建筑2011(9):74-75.
[2]赵燕容.小波分解技术在深基坑监测数据处理中的应用[J]江苏建筑2007（3）：50-53.
数据监测范文第10篇
Abstract: This paper describes several commonly used in environmental monitoring data analysis method of monitoring data, the comprehensive analysis is very important.
关键词：环境监测；质量浓度；数据；分析；方法
Key words: environmental monitoring; mass concentration; data analysis; method;
中图分类号：X83文献标识码：A 文章编号：2095-2104（2012）
一、监测数据综合分析的目的和作用
环境监测是科学性很强的工作，它的直接产品就是监测数据。监测质量好坏集中反映在数据上，准确、可靠、可比的环境监测数据是环境科学研究工作的基础，是环境管理的依据。一个环境监测站每年可提供成千上万的监测数据，但这些数据本身是孤立的、离散的，必须从不同的目的和作用出发，把环境监测所获得的资料、数据，通过不同的途径和方法分类、统计、转化、汇总，找出其本质的东西，获取环境管理所要求的各种综合数据。环境监测数据综合分析的目的是完成监测数据、信息资料向环境质量定性和定量结论的转变，通过监测数据、信息资料的深加工与自然环境、社会经济发展等诸因素的综合分析，实现为污染防治决策和环境建设决策的转变。环境监测数据综合分析是环境监测过程中环节的重要环节，也是最终环节。一般来说，环境监测综合分析技术的水平高低，代表着监测站技术水平的高低，也决定着监测站在环境管理中的地位和作用。
二、监测数据综合分析的方法
在对环境质量进行综合评价或对区域环境污染状况进行评价时，都是以一定数量的监测数据和资料为依据的。这些数据和资料包括环境要素的监测数据、环境条件数据、污染源调查监测数据、现场调查数据和实测数据等等。环境监测综合分析采用的方法很多，并在不断完善和发展，通常采用的分析方法有统计规律分析、合理性分析、效益分析等。
2.1 统计规律分析
统计规律分析中包括了对环境要素进行质量评价的各种数学模式评价方法，也就是应用数理统计方法，模糊数学方法和适用于不同环境要素的数学、物理方程等方法，对监测数据资料进行剖析，解释，做出规律性的分析和评价。该分析方法主要应用于环境调查、环境规划或课题、环评等比较大的工作中。
2.2 合理性分析
由于影响环境要素变化的因素十分复杂，而用于综合分析的监测数据资料有限，所以需要结合环境要素的各项条件和污染源参数，理论结合实际分析其合理性。应考虑到环境要素之间的相互影响，监测项目之间的相关和对比关系，全面分析其合理性，这样才能提供准确、可靠、合理的监测数据。如何合理的分析数据，可以从以下几个方面判断：
2.2.1 通过项目之间的相关性来分析
监测项目多种多样，有机的、无机的都有，但是物质本身具有相互关系，两个或两个以上的项目监测数据往往存在一种固定关系，这就为我们分析单个已实行质量控制措施的监测数据正确与否提供了依据，对一些例行监测数据，可做出直观的判定。例如，氟含量与硬度之间的关系。F与Ca、Mg形成沉淀物容积度较小，因此，在中性、弱碱性水溶液中，如氟含量在(mg/L)级，则其氟含量与Ca、Mg含量呈明显负相关，即与硬度值呈负相关，所以高氟区内的水质监测结果中硬度监测值一般较低。如果氟含量较高，同样硬度监测值也很高，数据就要重新分析。再如CO、BOD5和高锰酸盐指数之间的关系。根据COD、BOD5和高锰酸盐指数的概念，COD是指用强氧化剂，在酸性条件下，将有机物氧化成CO2 与H2O所消耗的氧量平；BOD5是指在水温为20℃的条件下，微生物氧化有机物所消耗的氧量；高锰酸盐指数是在一定条件下，用高锰酸钾氧化水样中的某些有机物及无机物还原性物质，由消耗的高锰酸钾量计算相当的氧量；结合其实际的测定过程，对于同一份水样三者的监测结果，应存在以下规律：COD＞BOD5，COD＞CODMn。三氮与溶解氧也存在一定的关系。环境中氮的存在形式根据环境条件的变化而发生变化，尤其受水体中溶解氧的质量浓度影响，一般溶解氧高的水体硝酸盐氮的质量浓度高于氨氮质量浓度，反之氨氮质量浓度高于硝酸盐氮质量浓度，亚硝酸盐氮质量浓度与之无明显关系。二氧化硫与氮氧化物之间的关系：对于以煤为主要燃料的煤烟型污染区域，其大气环境中二氧化硫体积质量大于氮氧化物，一般为氮氧化物的2～6倍。在以汽油、柴油为燃料的区域内，如马路边，交通繁忙而居民少的区域，氮氧化物体积质量则大于二氧化硫。综上所述，物质之间存在的相互关联性对综合分析监测数据的合理性起着至关重要的作用，它直观的体现出数据在分析过程是否存在分析误差，可以在第一时间分析出数据是否合理，为进一步综合分析数据提供了准确依据。
2.2.2 通过掌握的资料对监测值进行判定
对现有的数据进行综合分析，首先要了解采样地点的本底值范围，特别是例行监测或者是年度监测计划。这种工作一般情况下都是连续性的，一年或是几年，数据可比性比较好，对同一点位的数据，如个别项目变化较大，可以先将该值列为可疑数值，然后进行合理性分析。进行合理性分析，首先要了解是否有新的污染源介入，其次是采样全过程有无异常，包括水质的颜色，气味、流量的大小等。与以往数据进行比对，采样是否规范，采样的容器是否达到可用标准等。再次是实验室分析，如查找显示剂保存时间是否过期，标准曲线是否及时绘制，分光光度计是否调零等等。对于气体来说，还要考虑采样时的风向，采样仪器是否校准等。对于可疑值，在分析过程中已经知道数据是可疑的应将可疑值舍去；对复查结果时已经找出出现可疑值原因的，也应将可疑值舍去；对找不出可疑值出现原因的，不应随意舍去或保留，要对留样重新进行实验室分析或根据数理统计原则来处理。
2.2.3 通过监测项目的性质对监测值判定
在同一水样中有许多项目根据其性质可以判定相关的监测值是否正确。如总氮，是指可溶性及悬浮颗粒中的含氮量，如果同一水样监测结果出现总氮与氨氮、亚硝酸盐氮、硝酸盐氮数据倒挂，就表明监测结果是不正确的，需要重新分析找出原因；同样，还有总磷与可溶性磷以及无机磷之间数据的倒挂；大气中，氮氧化物与一氧化氮、二氧化氮，总悬浮颗粒物与可吸入颗粒物之间数据的倒挂等，都是不合理现象。同样，在噪声监测中，理论上监测数据L10 一定大于L50、L90、Leq，在实际监测中如果出现Leq 大于L10，如果不是监测数据或仪器出现问题，就是由于瞬时之间噪音值的突然增大，应当修正数据使用。以上只是列出部分项目之间的关系，还有许多项目关系需要我们在日常生活中不断总结和发现，运用到日常的环境监测综合分析中，更好地服务于环境管理。
2.2.4 通过了解污染源对监测值进行判定
监测数据是多种多样的，不仅仅包括环境空气、地表水、地下水等等，也包括点源，如我们常说的工业污染源。工业污染源多种多样，不同的行业有不同的污染物产生，多数行业都有自己的特殊污染物产生，化学需氧量和氨氮只是多数工业污染源的共性污染物。因此，要在日常工作中对辖区内的污染源或者是重点污染源有所了解，根据行业的不同，选择有针对性的监测项目来监督污染企业。如国家最新颁布执行的制药行业六项标准，就是根据制药行业不同工业生产工艺和污染治理技术的特点，分别制定了《发酵类制药工业水污染物排放标准》、《提取类制药工业水污染物排放标准》、《化学合成类制药工业水污染物排放标准》、《中药类制药工业水污染物排放标准》、《生物工程类制药工业水污染物排放标准》、《混装制剂类制药工业水污染物排放标准》。国家对这些行业制定了最多25项污染物监测分析排放标准，最少11项污染物监测分析排放标准，其中有共性的污染物，也有特殊的污染物，根据特殊的污染物是否存在，就可以判定是哪类制药行业。又如对化工行业来说，有机物含量种类较多，重金属比较少；对于重金属行业来说，有机物含量较少；造纸行业主要是有机污染等。如果在一个生产有机化工的企业，废水监测出高质量浓度的重金属，则监测数据应重新考虑，需按照综合分析方法分析其原因。
2.3 效益分析
环境监测数据有例行监测、环评监测、验收监测、监督监测等等。对于监督监测来说，分析数据相对较少，数据合理性比较好判断；而对于数据较多的例行监测、环评监测来说，在较短时间内判断数据是否准确、合理、可靠，上述综合分析方法提供了简单、明了的依据，在实际工作中能够及时为环境管理提供准确的监测信息，减少企业不必要的重复工作，在有效的时间内提供更优质的服务。
三、结束语