数据关联、数据废气和黑暗数据

吕富本

数据主要不作因果判断，主要适用于关联分析。很多关联分析并不需要复杂的模型，只需要具有大数据的意识。比如，通过对发薪日、体育项目、降雨天气和假日等变量和犯罪率进行关联分析，从而优化警力配置，有效地防止犯罪。宾夕法尼亚州政府分析全州感冒药品的销量、对比系统保存的历史数据，分析儿童就诊率，以确定可能发生的大面积流感。

很多机构都有数据废气（Data Exhaust），数据不是用完就是被舍弃，它的再利用价值也许你现在不清楚，但在未来的某一刻，它会迸发出来，可以化废为宝。比如，按照工作性质和绩效表现对员工进行更加精细区分，通过合理的编组，既能提高员工满意度有能提高劳动生产力。

黑暗数据(dark data)就是那些针对单一目标而收集的数据，通常用过之后就被归档闲置，其真正价值未能被充分挖掘。如果黑暗数据用在恰当的地方，也能公司的事业变得光明。

35 数据关联分析

某公司团队曾经使用来自手机的位置数据，来推测美国圣诞节购物季开始那一天有多少人在梅西百货公司（Mact’s）的停车场停车，进而可以预测其当天的销售额，这远早于梅西百货自己统计出的销售记录。无论是华尔街的分析师或者传统产业的高管，都会因这种敏锐的洞察力获得极大的竞争优势。

对于税务部门来说，税务欺骗正在日益的被关注，这时大数据可以用于增加政府识别诈骗的流程。在隐私允许的地方，政府部门可以综合各个方面的数据比如车辆的登记，海外旅游的数据来发现个人的花费模式，使税务贡献不被叠加。同时一个可疑的问题出现了，这并没有直接的证据指向诈骗，这些结论并不能用来去控告个人。但是他可以帮助政府部门去明确他们的审计和其他的审核以及一些流程。

36 数据废气（Data Exhaust）

物流公司的数据原来只服务于运营需要（例如内部车队的优化调度），但一经再利用，物流公司就华丽转身为金融公司，数据用以评估客户的信用，提供无抵押贷款，或者拿运送途中的货品作为抵押提供贷款；物流公司甚至可以转变为金融信息服务公司来判断各个细分经济领域的运行和走势。

有公司已经在大数据中有接近“上帝俯视”的感觉，美国洛杉矶的一家企业宣称，他们将全球夜景的历史数据建立模型，在过滤掉波动之后，做出了投资房地产和消费的研究报告。麦当劳则通过外送服务，在售卖汉堡的同时获得了用户的精准地址，这些地址数据汇集之后，就变成了一份绝妙的房地产业的内部数据。

37 黑暗数据(Dark Data)

在特定情况下，黑暗数据可以用作其他用途。Infinity Property & Casualty公司用累积的理赔师报告来分析欺诈案例，通过算法挽回了1200万美元的代位追偿金额。一家电气销售公司，通过积累10年ERP销售数据分析，按照电气设备的生命周期，给5年前的老客户逐一拜访，获得了1000万元以上电气设备维修订单，顺利地进入MRO市场。

38 客户流失分析

美国运通 (American Express，AmEx)以前只能实现事后诸葛亮式的报告和滞后的预测，传统的BI已经无法满足其业务发展的需要。于是，AmEx开始构建真正能够预测客户忠诚度的模型，基于历史交易数据，用115个变量来进行分析预测。该公司表示，对于澳大利亚将于之后4个月中流失的客户，已经能够识别出其中的24%。这样的客户流失分析，当然可以用于挽留客户。酒店业可以为消费者定制相应的独特的个性房间，甚至可以在墙纸上放上消费者的微博的旅游心情等等。旅游业可以根据大数据为消费者提供其可能会喜好的本地特色产品、活动、小而美的小众景点等等来挽回游客的心。

39 快餐业的视频分析

快餐业的公司可以通过视频分析等候队列的长度，然后自动变化电子菜单显示的内容。如果队列较长，则显示可以快速供给的食物;如果队列较短，则显示那些利润较高但准备时间相对长的食品。

40 大数据竞选

2012年，参与竞选的奥巴马团队确定了三个最根本的目标：让更多的人掏更多的钱，让更多的选民投票给奥巴马，让更多的人参与进来! 这需要“微观”层面的认知：每个选民最有可能被什么因素说服?每个选民在什么情况下最有可能掏腰包?什么样的广告投放渠道能够最高效获取目标选民? 如竞选总指挥吉姆•梅西纳(Jim Messina)所说，在整个竞选活中，没有数据做支撑的假设不能存在。

为了筹到 10 亿美元的竞选款，奥巴马的数据挖掘团队在过去两年搜集、存储和分析了大量数据。他们注意到，影星乔治•克鲁尼(George Clooney)对美国西海岸40岁至49岁的女性具有非常大的吸引力：她们无疑是最有可能为了在好莱坞与克鲁尼和奥巴马共进晚餐而不惜自掏腰包的一个群体。克鲁尼在自家豪宅举办的筹款宴会上，为奥巴马筹集到数百万美元的竞选资金。此后，当奥巴马团队决定在东海岸物色一位对于这个女性群体具有相同号召力的影星时，数据团队发现莎拉•杰西卡•帕克(Sarah Jessica Parker，《欲望都市》的女主角)的粉丝们也同样喜欢竞赛、小型宴会和名人。“克鲁尼效应”被成功地复制到了东海岸。

在整个的竞选中，奥巴马团队的广告费用花了不到3亿美元，而罗姆尼团队则花了近 4 亿美元却落败，其中一个重要的原因在于，奥巴马的数据团队对于广告购买的决策，是经过缜密的数据分析之后才制定的。一项民调显示，80%的美国选民认为奥巴马比罗姆尼让他们感觉更加重视自己。结果是，奥巴马团队筹得的第一个1亿美元中，98%来自于小于250美元的小额捐款，而罗姆尼团队在筹得相同数额捐款的情况下，这一比例仅为31%。

41 监控非法改建

“私搭乱建”在哪个国家都是一件闹心的事，而且容易引起火灾。 非法在屋内打隔断的建筑物着火的可能性比其他建筑物高很多。纽约市每年接到2.5万宗有关房屋住得过于拥挤的投诉，但市里只有200名处理投诉的巡视员。市长办公室一个分析专家小组觉得大数据可以帮助解决这一需求与资源的落差。该小组建立了一个市内全部90万座建筑物的数据库，并在其中加入市里19个部门所收集到的数据：欠税扣押记录、水电使用异常、缴费拖欠、服务切断、救护车使用、当地犯罪率、鼠患投诉等等。接下来，他们将这一数据库与过去5年中按严重程度排列的建筑物着火记录进行比较，希望找出相关性。果然，建筑物类型和建造年份是与火灾相关的因素。不过，一个没怎么预料到的结果是，获得外砖墙施工许可的建筑物与较低的严重火灾发生率之间存在相关性。

利用所有这些数据，该小组建立了一个可以帮助他们确定哪些住房拥挤投诉需要紧急处理的系统。他们所记录的建筑物的各种特征数据都不是导致火灾的原因，但这些数据与火灾隐患的增加或降低存在相关性。这种知识被证明是极具价值的：过去房屋巡视员出现场时签发房屋腾空令的比例只有13%，在采用新办法之后，这个比例上升到了70%。

42 榨菜指数

负责起草《全国促进城镇化健康发展规划(2011-2020年)》(以下简称“城镇化规划”)的国家发改委规划司官员需要精确知道人口的流动，怎么统计出这些流动人口成为难题。

榨菜，属于低质易耗品，收入增长对于榨菜的消费几乎没有影响。一般情况下，城市常住人口对于方便面和榨菜等方便食品的消费量，基本上是恒定的。销量的变化，主要由流动人口造成。

据国家发改委官员的说法，涪陵榨菜这几年在全国各地区销售份额变化，能够反映人口流动趋势，一个被称为“榨菜指数”的宏观经济指标就诞生了。国家发改委规划司官员发现，涪陵榨菜在华南地区销售份额由2007年的49%、2008年的48%、2009年的47.58%、2010年的38.50%下滑到2011年的29.99%。这个数据表明，华南地区人口流出速度非常快。他们依据“榨菜指标”，将全国分为人口流入区和人口流出区两部分，针对两个区的不同人口结构，在政策制定上将会有所不同。

43 天气账单

常言道，“天有不测之风云”，遇到过出门旅游、重要户外路演、举办婚礼等重要时刻却被糟糕的天气弄坏心情甚至造成经济损失的情况吗？全球第一家气象保险（放心保）公司“天气账单”能为用户提供各类气候担保。客户登录“天气账单”公司网站，然后给出在某个特定时间段里不希望遇到的温度或雨量范围。“天气账单”网站会在100毫秒内查询出客户指定地区的天气预报，以及美国国家气象局记载的该地区以往30 年的天气数据。通过计算分析天气数据，网站会以承保人的身份给出保单的价格。这项服务不仅个人用户需要，一些公司，比如旅行社也很乐意参与。

一家全球性饮料企业将外部合作伙伴的每日天气预报信息集成，录入其需求和存货规划流程。通过分析特定日子的温度、降水和日照时间等3个数据点，该公司减少了在欧洲一个关键市场的存货量，同时使预测准确度提高了大约5%。

44 历史情景再现

微软和以色列理工学院的研究人员已开发出一款软件，能根据过去20年《纽约时报》的文章以及其他在线数据预测传染病或者其他社会问题可能会于何时何地爆发。

在利用历史数据进行测试时，该系统的表现十分惊人。例如，根据2006年对安哥拉干旱的报道，该系统预测安哥拉很可能发生霍乱。这是由于，通过此前发生的多起事件，该系统了解到在干旱出现的几年后霍乱爆发的可能性将上升。此外，该系统根据对2007年初非洲大型飓风的报道，再次对安哥拉发生霍乱做出预警。而在不到一周之后，报道显示安哥拉确实发生了霍乱。在其他测试，例如对疾病、暴力事件及伤亡人数的预测中，该系统的准确率达到70%至90%。

该系统的信息来自过去22年中《纽约时报》的报道存档，具体时间为1986年至2007年。不过，该系统也利用了网络上的其他一些数据，了解什么样的事件会带来特定的社会问题。这些信息来源提供了不存在于新闻文章但却有价值的内容，有助于确定不同事件之间的因果关系或前后关系。例如，该系统能够推断卢旺达和安哥拉城市之间所发生事件的关系，因为这两个国家都位于非洲，有着类似的GDP，其他一些因素也很相似。根据这种方法，该系统认为，在预测霍乱爆发方面，应当考虑国家或城市的位置，国土面积有多少是水域，人口密度和GDP是多少，以及近几年是否发生过干旱。

负责此项研发工作的Horvitz表示，近几十年来，世界的许多方面都发生了改变，不过人类的本性和环境的许多方面仍然未变，因此软件可以从以往的数据中了解事情发生的模式，从而预测未来会发生什么。他表示：“对于回溯更久之前的数据，我个人很感兴趣。”

此类预测工具的市场正在形成。例如，一家名为Recorded Future的创业公司根据网上的前瞻性报道和其他信息来源预测未来事件，该公司的客户包括政府情报部门。该公司CEO Christopher Ahlberg表示，利用“硬数据”来进行预测是可行的，但从原型系统到商用产品还有很长的路要走。

45 Nike+传感鞋

耐克凭借一种名为Nike+的新产品变身为大数据营销的创新公司。所谓Nike+，是一种以“Nike跑鞋或腕带+传感器”的产品，只要运动者穿着Nike+的跑鞋运动，iPod就可以存储并显示运动日期，时间、距离、热量消耗值等数据。用户上传数据到耐克社区，就能和同好分享讨论。耐克和Facebook达成协议，用户上传的跑步状态会实时更新到账户里，朋友可以评论并点击一个“鼓掌”按钮——神奇的是，这样你在跑步的时候便能够在音乐中听到朋友们的鼓掌声。随着跑步者不断上传自己的跑步路线，耐克由此掌握了主要城市里最佳跑步路线的数据库。有了Nike+，耐克组织的城市跑步活动效果更好。参赛者在规定时间内将自己的跑步数据上传，看哪个城市累积的距离长。凭借运动者上传的数据，耐克公司已经成功建立了全球最大的运动网上社区，超过500万活跃的用户，每天不停地上传数据，耐克借此与消费者建立前所未有的牢固关系。海量的数据对于耐克了解用户习惯、改进产品、精准投放和精准营销又起到了不可替代的作用。

46 沃尔沃的工业互联网

在沃尔沃集团，通过在卡车产品中安装传感器和嵌入式CPU，从刹车到中央门锁系统等形形色色的车辆使用信息，正源源不断地传输到沃尔沃集团总部。“对这些数据进行分析，不仅可以帮助我们制造更好的汽车，还可以帮助客户们获取更好体验。”沃尔沃集团CIO Rich Strader说。这些数据正在被用来优化生产流程，以提升客户体验和提升安全性。将来自不同客户的使用数据进行分析，可以让产品部门提早发现产品潜在的问题，并在这些问题发生之前提前向客户预警。“产品设计方面的缺陷，此前可能需要有50万台销量的时候才能暴露出来，而现在只需要1000台，我们就能发现潜在的缺陷。”

47 McKesson的动态供应链

在美国最大的医药贸易商McKesson公司，对大数据的应用也已经远远领先于大多数企业，将先进的分析能力融合到每天处理200万个订单的供应链业务中，并且监督超过80亿美元的存货。对于在途存货的管理，McKesson开发了一种供应链模型，它根据产品线、运输费用甚至碳排放量而提供了极为准确的维护成本视图。这些详细信息使公司能够更加真实地了解任意时间点的运营情况。McKesson利用先进分析技术的另一个领域是对配送中心内的物理存货配置进行模拟和自动化处理。评估政策和供应链变化的能力帮助公司增强了对客户的响应能力，同时减少了流动资金。总体来讲，McKesson的供应链转型使公司节省了超过1亿美元的流动资金。

48 纸牌屋与电影业

《纸牌屋》最大的特点在于，与以往电视剧的制作流程不同，这是一部“网络剧”。简而言之，不仅传播渠道是互联网观看，这部剧从诞生之初就是一部根据“大数据”，即互联网观众欣赏口味来设计的产品。Netflix成功之处在于其强大的推荐系统Cinematch，该系统基于用户视频点播的基础数据如评分、播放、快进、时间、地点、终端等，储存在数据库后通过数据分析，计算出用户可能喜爱的影片，并为他提供定制化的推荐。 为此他们开设了年Netflix大奖（点击查看获奖算法），用百万美元悬赏，奖励能够将其电影推荐算法准确性提高至少10%的人。

未来的电影制作成本将大幅降低，一千粉丝足以使电影成功。还是像《技术元素》里说：“目光聚集的地方，金钱必将追随。”

49 点评与餐饮业

美国很多州政府在与餐饮点评网lep展开合作，监督餐饮行业的卫生情况，效果非常好。人们不再像以前那样从窗口去看餐馆里的情况，而是从手机APP里的评论！在中国的本地化O2O点评比如大众点评、番茄点等等，消费者可以对任何商家进行评判，同时商家也可以通过这些评判来提升自己的服务能力，在环节上进行更大力度的效率优化。

未来的餐饮行业将会由互联网和社会化媒体上所产生和承载的数据彻底带动起来，会有越来越多的人加入点评中，餐馆优胜劣汰的速度将会大幅加快。

（来源：《IT经理世界》）