消费市场的数据研究

一、关于大数据

2009年开始，“大数据”日益成为互联网行业的热门词汇。百度搜索“大数据”这一关键词，截至2013年9月2日，能够搜索到相关结果共33，800，000个。同一时间，在谷歌的搜索结果是379，000，000条。同样，在中国知网上文献范围内全文范围搜索“大数据”这一词汇，能够搜到的结果有135，849条。所谓大数据，是与传统意义下通过市场调研、田野作业等方法所获得的规模和容量都非常有限的传统数据(相对于大数据而言，我们可以将传统数据称为小数据)相对而言的。百度百科将大数据界定为:“大数据(bigdata)，或称巨量资料，指的是所涉及的资料量规模巨大到无法透过目前主流软件工具在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。”［1］，《中国电子科学研究院学报》用多样化、海量、快速、灵活和复杂的“4V+1C”概括了大数据［2］。从两个层面对大数据进行了界定和描述:从数量层面，所谓的“大数据”，是指包含着巨量信息的数据，就其容量而言，通常情况下，能够被称为大数据的一般应该以TB(太字节)和PB(拍字节)为度量单位的数据。大数据的另一层面是指它的分析方法的复杂性和分析结果应用的复杂性。大数据的来源复杂，大多属于非结构性数据，原有的数据分析工具很难解决对大数据的有效分析;即使为了方便应用，截取其中一部分数据用传统分析方法分析，得到的结论和结果也很难具有从局部到整体的可推断性。大数据承载着各种各样的信息，涉及社会生产和生活的方方面面。从整个大数据的情况来看，目前中国的大数据市场主要来自政府的部署、互联网行业、电信行业和金融。据预测，2012年到2016年，中国的大数据会迎来一个飞速的发展时期。2012年大数据产值已达到4.7亿，2013年的增长是138.3%，2016年一定会超过百亿［3］。

二、大数据的研究现状

目前对于大数据的关注不仅是数量上的，关注和研究视角也是非常丰富的。从目前现有的研究来看，对于大数据的关注视角主要有四个方面。其一是对大数据本身的讨论;其二是从大数据的研究方法上来关注大数据;其三是从各自领域来关注大数据对其领域的影响;其四则是从数据安全角度关注大数据。对大数据本身的讨论，如《中国电子科学研究院学报》编辑部在其学报上发表的文章《大数据时代》［2］，李国杰、程学旗的《大数据研究:未来科技及经济社会发展的重大战略领域———大数据的研究现状与科学思考》［4］等;从研究方法角度来关注大数据，这方面的研究包括覃雄派等人的《大数据分析———RDBMS与MapReduce的竞争与共生》［5］，成静静、喻朝新的《基于云计算的大数据统一分析平台研究与设计》［6］等;从所在领域角度关注大数据，这方面的研究包括陈云海、黄兰秋的《大数据处理对电子商务的影响研究》［7］，张涛甫的《大数据时代的出版困局及其突破》［8］等;从数据安全角度的研究包括郭三强、郭燕锦的《大数据环境下的数据安全研究》［9］，冯伟的《大数据时代面临的信息安全机遇和挑战》［10］等。

三、大数据对消费市场的影响

大数据带来的挑战不仅仅限于国家安全和社会发展等宏观层面，实际上对于消费市场研究所产生的影响和带来的挑战也是显而易见的。这种背景下，消费市场原有的研究技术和研究方法等都面临着严峻的挑战。这种挑战，一方面是大数据背景下如何应用小数据的问题;另一方面是颠覆性地改变了消费市场分析的数据来源和消费者的身份和地位;还有一个层面是大数据对分析技术和方法的挑战。(一)大数据下消费者的“复活”传统调查方法的方法论，将消费市场的消费群体视为被动行动者，在那里，消费者如同木乃伊一般，其行动信息和行动关系只能依靠调查者在调查过程中筛选并在数据分析过程和所得结论中基于自己的价值判断和分析需要予以建构。在传统的调查中来看，不是消费者，而是调查者和研究者将消费者的行动和关系予以生动的、个性的展现，不管这种展现和建构距离消费者的真实意向和行动选择距离有多远。调查者和研究者作为主动行动者，成为了企业深度了解消费市场的重要桥梁和纽带。通过市场调查，深入分析消费者的文化诉求、生活方式、价值倾向等，来为企业的产品开发、品牌形象的建立和保持等提供策划和创意依据。但是，在大数据下，这种被研究者视为“被动的”消费者消失了，消费者的主动性得以“复活”。借助互联网和各种移动智能终端，他们积极地展开行动，到处留下他们活动的痕迹。对于消费者而言，电子商务和物流网的发展为他们的消费提供了更多选择。淘宝网、京东商城、当当网等电子商务网站每时每刻都能为他们提供丰富的商品选择，他们选择和购买的足迹遍及各个角落。每个电子商务网站上，每时每刻都在产生着大量的产品比较和选择购买的数据。消费者完成购物之后，网站的积分鼓励策略还会让他们积极主动地晒购物和购买使用的心得体会，为后续的购买者提供参考。消费者除了积极地在各个电商网站上留下自己各种行动的痕迹之外，他们还会通过选择各种便利的交通工具，通过导航不断扩大自己的消费范围，每时每刻，通过智能设备，回传大量的活动信息。在技术支持下，消费群体创造了消费市场的大数据，同时，他们也在大数据下，改变了传统的对消费者的认识和界定。在这里，消费者成为有意识的有个性的人，而不只是被动的、被贴着统一标签的研究对象。他们创造着数据，也享受着数据，再不是简单的数据本身。他们的行动轨迹和行动个性通过自己展现出来。消费者的能动性在大数据中被“复活”。(二)大数据改变了市场研究的数据来源传统的消费市场研究，无论是定性研究还是定量研究，都离不开实地调查。要么以问卷调查的方式，通过抽样技术来选择合适的消费者，按照问卷的问题来获得消费者的答案;要么就是通过访谈、座谈会等方式来获得消费者的认知和评价等主观态度和主观评价。即使是后来有了电话调查系统和借助互联网进行的网络调查技术，由于这两种方式的匿名性和随意性太强，在实际操作中依然会离不开通过实地调查来核实所搜集数据的真实性。另外，借助网络和电话调查系统进行的调查，虽然从形式上它们比传统调查更加先进，但是它的方法论的依据和具体方法的应用并没有产生实质的变化，它们依然是传统调查方法的延续。但是，大数据的出现改变了这种相对单一的数据来源现状。大数据下，不再仅仅通过调查者创造数据，消费者、产品销售者等也通过自己个性化的、不间断的行动在创造着数据。企业和卖方借助互联网、移动终端等可以很容易发现消费者的消费行动轨迹，并借此洞察和了解消费者，以及他们所属群体的消费偏好。在这里，卖者和买者之间无须借助市场研究者来沟通双方，他们可以直接沟通和交流。同时，他们之间沟通和交流的行动轨迹又成为大数据中的组成部分。因此，在大数据背景下，依靠传统的市场调查而获得消费者数据的来源被改变，消费者以自己的行动创造了大量数据，而不是由调查者和研究者来生产消费市场的数据。(三)大数据颠覆了小数据的统治地位和作用美国互联网数据中心指出，互联网上的数据每年将增长50%，每两年便将翻一番，而目前世界上90%以上的数据是最近几年才产生的［3］。这种海量信息的规模远远超过了依靠调查方式获得的小数据。大数据带给市场研究者的是无休无止的各种数据和信息，在以往的市场研究中，研究者经常担心不能获得数据，或者是所得到的数据不足以支撑自己的研究，这种担心在大数据时代已经彻底改变。现在摆在面前的问题是面对海量的数据，怎样处理它?怎样利用它?尽管大数据为我们带来庞大的信息，但是，由于它更多的是一种非结构化和标准化的数据形式，能够为我们提供的市场分析的有用信息需要花费大量时间和更复杂的分析软件来应对。尤其是对于市场研究而言，小数据在对消费市场的结构化研究以及对消费者的消费心理研究还是非常重要的。因此，在这种意义下，小数据分析对于消费市场研究而言，不会被彻底替代，它的作用还是不能被忽视。(四)大数据改变了市场研究的分析工具和方法传统的通过实地调查所获得的信息，别管是数量庞大的普查，还是小范围的抽样调查，所获得的资料尽管看起来庞大，但是他们大多都是经过设计而获得的结构化数据，借助常用的统计分析软件如SPSS、UCNET等基本上都能解决，即使是结构化不太强的有些零散的通过访谈得到的数据，由于其规模较小，而且主要用于定性研究，对于研究者来说也能够在传统的分析方法和框架内克服困难并解决问题。但是，大数据的出现给传统的市场研究工具和方法都带来了难题。因为它本身涵盖着各种各样的信息，庞大又庞杂，传统的数据分析工具和方法很难应对这样的挑战。覃雄派等人的研究指出:“传统的关系数据管理技术(并行数据库)经过了将近40年的发展，在扩展性方面遇到了巨大的障碍，无法胜任大数据分析的任务。”［5］为此，以往的将问题简单化、结构化的分析工具和方法显然不足以应对这种海量的庞杂信息的挑战了。一方面，大数据的出现，需要我们有高效率的数据筛选工具，另外，还要有能够分析这种庞杂数据的软件工具的开发和发展。在研究方法上，定性研究和定量研究曾经分离的状态在这里得到统一。对大数据的分析，一定是定量分析和定性分析的有效结合和有机结合，偏离任何一种，都不足以应对大数据的分析要求。

四、大数据背景下如何展开消费市场研究

大数据为传统的消费市场研究带来了巨大的挑战，同时，也为新型的消费市场研究提出了要求。在这种背景下，我们如何有效地进行消费市场的研究呢?笔者认为，可以通过以下努力，来适应大数据，并让大数据为我们服务。(一)传统的小数据主要用于消费者深度分析和研究传统的消费市场研究中通过调查获得的小数据的无所不能的现状，在大数据背景下，我们研究策略必须调整和改变。大范围的消费市场及消费者研究，以后会逐渐借助大数据的分析来完成，而小数据存在的价值和意义则是深度研究消费者的心理与行为等议题，为大数据分析消费者的行动轨迹时，来提供为什么会这样的假说和依据。(二)针对大数据需要开发有效的分析工具如前所言，大数据的庞杂和复杂使得传统的数据分析方法已经不足以应对它的需求，必须开发新的有效的分析工具，来更高效率地使用大数据，使大数据真正为我们服务，而不是成为数据垃圾和负担。针对大数据的分析工具与方法，不同学者已经从各自的研究领域提出了各种构想和可能性。如覃雄派等人提出:“MapReduce为代表的非关系数据管理技术阵营，从关系数据管理技术所积累的宝贵财富中挖掘可以借鉴的技术和方法，不断解决其性能问题。面向大数据的深度分析需求，新的架构模式正在涌现。”［5］成静静、喻朝新在其研究中对基于云计算的大数据统一分析平台进行了详尽的研究与设计，分析了基于云计算的大数据统一分析平台方案的竞争优势，基于云计算的大数据统一分析平台将更有效支撑未来电信运营商业务的发展［6］。(三)引入人类学等多学科研究方法传统的消费市场研究，大多借鉴的是社会学调查的方法来搜集资料，并借助数据分析软件来分析这些数据，从而得出建议性的或者描述性和预测性的研究报告。这种研究方法主要是小数据时代产生的，是应对小数据的产物。在大数据时代，仅仅采用传统的数据搜集方法和分析方法显然不够了。因此必须引入能够应对大数据特征的分析方法，包括人类学的整体论、相对论和跨文化比较研究等视角。这一点和大数据的表现特征密切相关。因为大数据来自于互联网、各种移动终端等，这种数据记录和展示的是消费者的行动轨迹和行动过程，这种过程性的数据如果再仅仅采用传统的分析方法，已经明显不够了。为此，有必要引入人类学的研究方法，通过描述和展示消费者的行动过程和轨迹，来揭示消费者消费行动的特征、趋向等方面。这种过程性分析是以往分析所欠缺的，在新的技术下，过程性数据会越来越普遍。传统的片段性的，有的甚至是断点式的分析显然不再适合对大数据的分析。因此，以过程分析而见长的人类学方法有必要引入大数据分析的应用中来。同时，社会学学科中的同期群研究、截面研究等研究视角也需要引入到大数据的分析中来。只有这样，才能有效利用大数据来为消费市场研究提供必要的数据支持和方法支持。同时，互联网在某种程度上跨越了国界，文化的因素分析在应对跨国界的大数据分析时是一个不能忽视的现实问题。(四)定性研究与定量研究有效结合在传统的截面式或者片段式的数据背景下，我们可以采用定性研究或者定量研究的某一种完成数据分析，并提交研究报告。复杂些的数据或者当我们希望能够从多个角度来研究某个问题时，我们也会交叉使用定量研究和定性研究方法。但是在实际使用过程中，研究者往往会偏向于某一种研究方法或视角，这种偏向在传统的小数据背景下是可以解决问题的。因此，我们看到在美国，充斥着大量的定量研究，而在我国，占主导地位的则是定性研究。尽管在国内的传统学科中定量研究也成为在核心期刊上发文章的硬性条件和要求，但是，大数据的出现，将改变这种导向，它要求必须将定量分析和定性分析有机结合，离开哪一个视野关怀，都将无法实现对大数据的有效分析和利用。(五)还原数据复杂的社会关系属性和社会情境属性如果说小数据下，我们可以将数据简单看为某个或某些片段，对其分析往往是脱离具体的情境和社会关系而展开分析，虽然在研究结论的呈现中，研究者会依据自己的经验和想象而予以情境的还原，但是，这种还原更多的是一种想象和想当然。这种对数据社会关系和情境的处理方式，在大数据下，必须予以改变。在大数据下，消费数据反映的是消费者的无时无刻的购买行动轨迹，而行动轨迹虽然复杂，但是往往会嵌入在某种或某些社会关系中。如果脱离了这种关系，而单纯分析数据，很难得出有效的真实的结论。需要指出的是，这里对大数据关系和情境的关注，与已有的对传统数据并行性分析中所谓的“关系”是不一样的。在那里，关系被界定为数据分析过程中的依赖性，而这里的“关系”和“情境”更多关注的是它的社会背景。大数据下，这种数据的情境属性和社会关系属性将更加重要。因此，我们在进行消费市场研究时，更应该关注和重视大数据所呈现出的庞大的和复杂的“关系”。

作者：王云蔚 单位：北京印刷学院 新闻出版学院