列存储数据库关键技术分析

摘 要：列存储数据库具有广泛的应用价值，不仅能够进行数据的批量处理，还能够进行即时查询。由于列存储数据库能够满足人们对海量数据的存储要求，使数据在线分析变得得心应手，因此，研究列存储数据库关键技术十分重要。通过列存储数据库发展现状、概述、特点以及应用等知识内容的研究，能够促进列存储数据库关键技术的发展。

关键词：列存储 数据库 关键技术 分析

中图分类号：TP311 文献标识码：A 文章编号：1674-098X（2016）12（c）-0106-02

当前，互联网技术发展迅速，我们已经进入了大数据时代，同时对列存储数据库提出了更高的要求，推动了数据存储技术的发展，使其满足企业和政府对数据的需求，同时，提供数据技术支持，加大对列存储数据库的技术研究，使其发挥出了重要的作用。该文的主要任务是对列存储数据库的相关内容进行整理，通过简单介绍列存储数据库的原理、概念、现状、特点等内容，为列存储数据库的发展提供重要依据。

1 列存储数据库概述

列存储数据库的数据储存方式是以列存储架构为主，用户能够根据自己的需求，灵活地选择查询条件，进行批量存储与处理，提高工作效率，方便查询。不仅如此，还能够根据查询条件，自动形成统计报表，满足不同用户的需求[1]。列存储思想在20世纪70年代中期被提出，到20世纪80年代开始展开研究，经过近些年的研究发展，列存储数据库技术日益成熟，在大数据时挥了重要的作用。列存储数据库关键技术主要包括3种，分别是物化数据技术、数据压缩技术以及成组迭代技术，通过此3种技术的研究发展，促进了列存储数据库的进步，使其被广泛应用于数据存储。列存储数据库能够存储不同文件，并经过压缩算法，压缩文件数据，减少磁盘的占用与开销，尽可能在有效空间内存储更多文件，实现大量的、有效的数据存储，创造出更多的价值，使其符合用户日益增长的物质要求，为数据存储与处理打下良好的基础，实现数据存储的不断进步发展。

2 列存储数据库的特点

列存储数据库在企业智能商务、数据仓库等领域应用越来越广泛，主要由于其具有显著的优势，符合时展潮流，能够满足用户需求，由此可见，列存储数据库具有不可比拟的优势，其特点主要体现在以下几个方面，下面进行详细的阐述。第一，列存储数据库设置了不可见索引，取消了传统索引方式，不可见索引是一种有效的索引方式，能够以列为单位按照选择性进行排序，将数据的特征字段作为索引，设置个性化自定义索引设置，满足用户的不同索引要求[2]。第二，压缩算法，压缩算法是列存储数据库的显著特点，通过压缩算法，能够实现数据文件的合理压缩，节约磁盘存储空间，实现数据的大批量存储。由于列存储数据库中每一列数据都是分开存储的，因而，根据数据特性，可以采用不同的压缩算法来提高压缩效率，提高核跣Ч，使列存储数据库发挥出重要的作用。第三，数据迭代，通过数据迭代调用，可以有效利用多核处理器提高运行效果，有效处理数据，提高数据处理的执行效率。第四，延迟物化，列存储数据库在执行过程中不需要解压数据，只是采用指针形式处理数据，保证数据的完整输出，在数据输出之后，再进行数据解压，降低数据处理的复杂度，保证数据处理的方便、快捷，提高数据处理效率[3]。第五，存储空间利用效率较高，列存储数据库与其他数据库相比而言，数据完全是密集存储的，具有较高的压缩率，具有特定的压缩算法，不需要为数据的更新预留空间，能够实现存储空间的高效利用。总之，列存储数据库具有显著的特点与优势，通过研究列存储数据库关键技术，能够提高列存储数据库的存储能力。

3 列存储数据库的优势

列存储数据库具有较好的应用前景，其发展较为乐观，当前的发展现状较好，具有显著的技术优势和数据管理方法的优势，其技术优势主要体现在以下几点：第一，列存储数据库作为一种关系型数据库，用户的操作处理都是一个一个的表以及记录，存储技术新颖，通过压缩算法技术的应用能够降低存储成本，创造巨大的价值。第二，列存储数据库在查询方面具有显著技术优势，能够将数据压缩在一起，以便在读取时获得更多数据，提高数据处理速度，提高工作效率，实现快速查询，不仅如此，还能够方便、快捷地修改、添加记录，提高列存储数据库的存储效果。数据管理方面的优势则主要体现在以下几点：第一，列存储数据库能够解决存储空间占用大、数据更新需要空间等问题，采取稀疏索引，通过将连续记录分成组的方式建立索引项，便于管理与查询，提高管理效果[4]。第二，列存储数据库的索引所占用的存储空间小，维护费用低，建立索引的代价小，还便于存储查询，解决了数据库管理员繁重的管理工作，提高数据库管理员的工作效率，以便有效进行管理。

4 列存储数据库关键技术分析

4.1 成组迭代

对数据进行逐条，对每一个数据进行记录，抽取数据的对应属性，是一种较为传统的迭代方式，数据处理效率较低、复杂、繁琐，无法有效进行数据处理，为解决此问题，提出了成组迭代方式，即运用函数方式进行迭代处理，一次性将数据全部进行处理，抽取出其对应属性放入缓存区，如此一来，不仅可以提高数据处理效率，还实现了资源的节约，方便存储，因而，成组迭代是一种有效的处理方式，合理利用成组迭代十分重要[5]。成组迭代技术应用的关键主要体现在以下几点：第一，在数据库中列被设置为固定的宽度，以保证数值相对应，将数据以数组进行操作，实现单记录处理代价的最小化，提高CPU的吞吐量，成组迭代具有重要的作用，在未来具有广阔的发展空间。第二，列存储压缩性较高，能够对数据进行有效压缩，通过64个字节进行高速缓存，实现成组迭代，有效压缩。成组迭代作为一种关键技术，在列存储数据库应用发展中发挥了重要的作用，是不可缺少的关键技术之一。

4.2 数据压缩技术

数据压缩技术是列存储数据库中的核心技术，在数据系统中，合理利用数据压缩算法，减少CPU开销以及数据存储空间，节约成本，增加命中率，很显然，数据压缩技术是一个关键技术，能够在较大程度上实现系统性能优化，增加压缩优越性，使其适合于数据压缩。列存储数据库中每一个存储块存在同一属性数值，且这些属性数值具有一定相似性，针对相似性进行有针对性的压缩，具有较好的数据压缩效果，使数据查询方便，利用率较高，提高列存储数据库的存储能力。数据压缩技术的压缩方式主要有以下几种：第一，空值压缩，空值压缩方法较多，版本较多，但是其核心思想是一致的，其核心思想是通过特殊符号、NULL次数以及连续出现的零替换null数据，一般情况下，此算法在null次数频繁出现的情况下，能够达到理想的效果。例如，在社区网站系统中，有许多没有评论、没有被引用的文章，与这些引用评论相对应的就被视为null，null就是空值，这些空值虽然没有字节，但是同样会占用存储空间，占据系统存储资源，影响系统查询功能，以此方式实现系统的高度运行。第二，游程编码，游程编码是一种轻量级的压缩算法，能够将多个连续的数据通过同一个单元表示，此算法适用于有序数据流，使数据流的重复率较高。游程编码的原理较为简单，对压缩数据依赖性较强，只适用于一般数据库的一般情况，不能进行通用，使得数据中存在数据属性的干扰，影响数据连续性概率。第三，字典编码，字典编码是一种应用最为广泛的无损编码，是一种常用的编码方式，通过采用简短的编码，替换压缩数据中常出现的字符串，在此基础上压缩数据，能够有效进行编码。字典编码的原理如下，首先，输入字符及字符串，使输入的数据与字典中的字符串相匹配，此时，压缩器会输出相应的匹配位置标识，出现相对应的代码，在此之后，系统会对匹配位置中的编码字数较小的输入流位数进行对应，以达到压缩效果。

4.3 物化技术

物化技术也是列存储数据库的关键技术之一，通过应用物化技术，可以将信息按照列存储到不同方位，并进行相对应的存储，提高存储能力，有效进行管理。在列存储数据库系统中，可以同时读取多个列表，有效进行数据查询。有效应用物化技术需要做到以下几点：第一，选择列重构成行的方式进行查询数据操作，以便在实际操作中读取到多个属性列表，同时，将实际访问数据库的属性设置为单位，有效进行操作，提高列存储数据库的存储、查询能力。第二，加大科研力度，增加资金投入，对物化技术展开进一步的研究，物化技术的有效应用离不开物化技术的发展，促进物化技术发展，是实现物化技术有效应用的基本前提，通过加大技术投入与资金投入，能够为物化技术的发展创造有利的条件。

5 结语

综上所述，列存储数据库是一个大容量、方便、快捷的数据库类型，不仅便于查询，还能够批量处理数据信息，满足人们的高层次需求，与其他数据库类型相比，具有不可比拟的优势，值得应用推广，因此，加大对列存储数据库技术的研究力度，解决传统数据库存在的问题具有重要意义。

参考文献

[1] 于利胜，张延松，王珊，等.基于行存储模型的模拟列存储策略研究[J].计算机研究与发展，2010（5）：878-885.

[2] 王振玺，乐嘉锦，王梅，等.列存储数据区级压缩模式与压缩策略选择方法[J].计算机学报，2010（8）：1523-1530.

[3] 叶飞，宋光鹏，马发勇，等.调度自动化系统监视与管理的研究与实现[J].中国电力教育，2011（9）：90-91.

[4] 严秋玲，孙莉，王梅，等.列存储数据仓库中启发式查询优化机制[J].计算机学报，2011（10）：2018-2026.

[5] 林子雨，杨冬青，王腾蛟，等.基于关系数据库的关键词查询[J].软件学报，2010（10）：2454-2476.