对于大数据的一些理解

引言

时下有个很热门的概念,叫做大数据,那么,何谓大数据呢?这个问题一直深深的困扰着我,刚好趁着这个机会,我可以沉下心来仔细的理理我脑海里的大数据。

现阶段,和大数据相关的企业有三种。一种是工具类公司,他们宣传得最卖力,并且把大数据吹出了泡沫,原因是它们希望把自己的产品卖给企业;一种是依托于大数据从事咨询服务类的企业;还有一种就是实实在拥有大数据的公司,它们和我们休戚相关,也就是下面的小故事所要阐述的内容。

第一个故事 百货公司知道女孩怀孕 :

美国的Target百货公司上线了一套客户分析工具,可以对顾客的购买记录进行分析,并向顾客进行产品推荐。一次,他们根据一个女孩在Target连锁店中的购物记录,推断出这一女孩怀孕,然后开始通过购物手册的形式向女孩推荐一系列孕妇产品。这一作法让女孩的家长勃然大怒,事实真相是女孩隐瞒了怀孕消息。

看似杂乱无章的购买清单,经过对比发现其中的规律和不符合常规的数据,往往能够得出一些真实的结论。这就是大数据的应用。

第二个故事 搜狗热词里的商机 :

王建锋是某综合类网站的编辑,基于访问量的考核是这个编辑每天都要面对的事情。但在每年的评比中,他都号称是PV王。原来他的秘密就是只做热点新闻。王建锋养成了看百度搜索风云榜和搜狗热搜榜的习惯,所以,他会优先挑选热情榜上的新闻事件来编辑整理,关注的人自然多。

搜狗拥有输入法,搜索引擎,那些在输入法和搜索引擎上反复出现的热词,就是搜狗热搜榜的来源。通过对海量词汇的对比,找出哪些是网民关注的。这就是大数据的应用。

第三个故事 阿里云知道谁需要贷款

这是阿里人讲述的一个故事。每天,海量的交易和数据在阿里的平台上跑着,阿里通过对商户最近100天的数据分析,就能知道哪些商户可能存在资金问题,此时的阿里贷款平台就有可能出马,同潜在的贷款对象进行沟通。

通常来说,数据比文字更真实,更能反映一个公司的正常运营情况。通过海量的分析得出企业的经营情况,这就是大数据的应用。

因此总的来说,我们可以得到以下结论:

我们很多不经意之间的所作所为所留下的一些看似没有用的,豪乱无张,外加乱七八糟的的数据,其实如果被别有用心的人或者公司收集,就会变成一笔宝贵的财富。或者别有用心的一把凶刀。

关于大数据的定义,业界(IBM 最早定义)将大数据的特征归纳为4个“V”(量Volume,多样Variety,价值Value,速度Velocity),或者说特点有四个层面:第一,数据体量巨大。大数据的起始计量单位至少是P(1000个T)、E(100万个T)或Z(10亿个T);第二,数据类型繁多。比如,网络日志、视频、图片、地理位置信息等等。第三,价值密度低,商业价值高。第四,处理速度快。最后这一点也是和传统的数据挖掘技术有着本质的不同。

古语云:三分技术,七分数据,得数据者得天下。先不论谁说的,但是这句话的正确性已经不用去论证了。维克托·迈尔-舍恩伯格在《大数据时代》一书中举了百般例证,都是为了说明一个道理:在大数据时代已经到来的时候要用大数据思维去发掘大数据的潜在价值。书中,作者提及最多的是Google如何利用人们的搜索记录挖掘数据二次利用价值,比如预测某地流感爆发的趋势;Amazon如何利用用户的购买和浏览历史数据进行有针对性的书籍购买推荐,以此有效提升销售量;Farecast如何利用过去十年所有的航线机票价格打折数据,来预测用户购买机票的时机是否合适。

大数据的作用,不仅仅应用在商业领域,而且在政治领域也有着很广泛的应用。

最典型的就是2012年美国总统选举时期的巴拉克奥巴马。

尽管奥巴马在2008年的竞选中对技术的应用赢得了不少赞扬,竞选活动中数据库过多的弱点却无法被忽视。当时,在竞选团队中不同的部门之间从不分项数据。这一回,竞选团队在最初的一年半时间里把各种数据合到一起,制作了一个包含各类信息的大数据库。

新的大数据库并不会直接告诉竞选团队如何寻找选民,但是数据挖掘团队却能利用这个数据库来进行分析,针对不同类型的选民测试不同的宣传策略。竞选办公室的电话表上列出的不仅是电话号码,还有他们被说服的可能性,这对于竞选团队而言是最宝贵的信息。数据挖掘支持下的决策为奥巴马的连任立下了汗马功劳,并将成为研究2012年总统大选的重要元素。这意味着华盛顿的竞选专家的作用极具下降,能够分析大数据的量化分析专家和程序员的地位却大幅提升。

不仅仅是政治和商业领域,就连军事领域也没法摆脱大数据的影响。下面的新闻就给了一个很好的说明。

可望改变未来战争

美国战略之页网站1月5日报道,自2009年以来,美国海军一直在研发和测试一系列微型机器人潜艇。这些潜艇在水下自动运行,收集盐分与温度数据,每隔1 小时左右短暂浮出水面,并通过卫星回传数据。这些数据将提高友军使用声呐系统的有效性,更易于侦察和跟踪敌军潜艇。这正是大数据在军事领域应用的一个范 例。

从计算机到因特网,军事领域一直都是人类最先进科技的“孵化器”和“实验床”。大数据也享受了这一“待遇”。美国政府在财政非常紧张的情形下,依然慷慨地 向国防部下属的各项大数据研究计划投入数亿美元巨资来加强研究。可以预见,美军大数据的应用,很可能在军事领域带来一场新的变革,甚至改变未来战争的面 貌。

首先,大数据将使情报侦察和决策能力产生质的飞跃。以美国为例,美军明确提出,要通过大数据将其情报分析能力提高100倍以上。如果这一目标实现,那在这 一领域其他国家与美军的差距就不能以简单的代差来衡量。美军通过多年的发展,已拥有全球最先进的情报侦察系统,对海量情报数据的分析,一直是美军情报侦察 能力的短板,而大数据正好能够帮助美军突破这一瓶颈。

其次,大数据将促进各类新型武器装备加速产生。美军大数据研究的第一个重要目标,就是通过大数据创建真正能够自主决策和自主行动的无人系统。以无人机为 例,未来无人机有可能摆脱人的控制而实现完全的自主行动。美军2013年试飞的X-47B就是这一系统的代表,它已经可以在完全无人干预的情况下,自动在 航母上完成起降并执行作战任务。

第三,大数据将使体系作战能力大幅提升。从作战手段角度看,大数据及其支撑的新型武器装备的应用,将丰富美军的作战体系;从作战效能角度看,美军的“观察-判断-决策-执行”的作战行动循环,所耗时间将大为缩短,更符合“未来战争不是大吃小,而是快吃慢”的制胜规律。

第四,大数据可能推动战争形态的演变。美军一直追求从传感器到平台的实时打击能力,追求零伤亡。由大数据支撑的拥有自主能力的无人作战平台,将使得这些追 求成为可能。现今,美空军的无人机数量已经超过了有人驾驶的飞机,或许不久的将来,美军将向以自主无人系统为主的,对网络依赖度逐渐降低的“数据中心战” 迈进。基于大数据的实时、无人化作战,将彻底改变人类几千年来以有生力量为主的战争形态。

当然,大数据对军事的影响可能远远不止以上几个方面。作为“未来世界新石油”的大数据更是新一轮科技竞争的战略制高点,一个国家在网络空间的数据主权已经成为继陆权、海权、空权、天权之后,大国博弈的新焦点。

“胜利向那些能预见战争特性变化的人微笑,而不是向那些等待变化发生后才去适应的人微笑。”面对大数据,世界强国军队已相应做出了战略层面的研究和布局。 在2013年“大数据元年”之后,面对新的挑战,我们应抓紧形成共识、聚拢力量,从大数据这条新的起跑线,主动深化军事领域变革,加快推进军队信息化建设。

那么大数据如此强悍,如此强大,我们应该怎么入门呢?

首先你必须要了解以下五个基本方面

1.可视化分析

大数据分析的使用者有大数据分析专家,同时还有普通用户,但是他们二者对于大数据分析最基本的要求就是可视化分析,因为可视化分析能够直观的呈现大数据特点,同时能够非常容易被读者所接受,就如同看图说话一样简单明了。

2.数据挖掘算法

大数据分析的理论核心就是数据挖掘算法,各种数据挖掘的算法基于不同的数据类型和格式才能更加科学的呈现出数据本身具备的特点,也正是因为这些被全世界统计学家所公认的各种统计方法(可以称之为真理)才能深入数据内部,挖掘出公认的价值。另外一个方面也是因为有这些数据挖掘的算法才能更快速的处理大数据,如果一个算法得花上好几年才能得出结论,那大数据的价值也就无从说起了。

3.预测性分析能力

大数据分析最终要的应用领域之一就是预测性分析,从大数据中挖掘出特点,通过科学的建立模型,之后便可以通过模型带入新的数据,从而预测未来的数据。

4.语义引擎

大数据分析广泛应用于网络数据挖掘,可从用户的搜索关键词、标签关键词、或其他输入语义,分析,判断用户需求,从而实现更好的用户体验和广告匹配。

5.质量和数据管理

大数据分析离不开数据质量和数据管理,高质量的数据和有效的数据管理,无论是在学术研究还是在商业应用领域,都能够保证分析结果的真实和有价值。 大数据分析的基础就是以上五个方面,当然更加深入大数据分析的话,还有很多很多更加有特点的、更加深入的、更加专业的大数据分析方法。

总的来说,大数据要分析的数据类型主要有四大类:

交易数据(TRANSACTION DATA):大数据平台能够获取时间跨度更大、更海量的结构化交易数据,这样就可以对更广泛的交易数据类型进行分析,不仅仅包括POS或电子商务购物数据,还包括行为交易数据,例如Web服务器记录的互联网点击流数据日志。

人为数据(HUMAN-GENERATED DATA):非结构数据广泛存在于电子邮件、文档、图片、音频、视频,以及通过博客、维基,尤其是社交媒体产生的数据流。这些数据为使用文本分析功能进行分析提供了丰富的数据源泉。

移动数据(MOBILE DATA):能够上网的智能手机和平板越来越普遍。这些移动设备上的App都能够追踪和沟通无数事件,从App内的交易数据(如搜索产品的记录事件)到个人信息资料或状态报告事件(如地点变更即报告一个新的地理编码)。

机器和传感器数据(MACHINE AND SENSOR DATA):这包括功能设备创建或生成的数据,例如智能电表、智能温度控制器、工厂机器和连接互联网的家用电器。这些设备可以配置为与互联网络中的其他节点通信,还可以自动向中央服务器传输数据,这样就可以对数据进行分析。机器和传感器数据是来自新兴的物联网(IoT)所产生的主要例子。来自物联网的数据可以用于构建分析模型,连续监测预测性行为(如当传感器值表示有问题时进行识别),提供规定的指令(如警示技术人员在真正出问题之前检查设备)。

由此可见,数据分析的工具达到的要求有以下几点

1.能应用高级的分析算法和模型提供分析

2.以大数据平台为引擎,比如Hadoop或其他高性能分析系统

3.能够适用于多种数据源的结构化和非结构化数据

4.随着用于分析模型的数据的增加,能够实现扩展

5.分析模型可以,或者已经集成到数据可视化工具

6.能够和其他技术集成

而人们通过数据分析工具能了解什么?主要也有以下几点。

数据科学家们,他们想使用更复杂的数据类型实现更复杂的分析,熟知如何设计,如何应用基础模型来评估内在倾向性或偏差。

业务分析师,他们更像是随性的用户,想要用数据来实现主动数据发现,或者实现现有信息和部分预测分析的可视化。

企业经理,他们想要了解模型和结论。

IT开发人员,他们为以上所有类用户提供支持。

最后再来说一下数据分析工程师所做的工作,让我们共勉。

分析历史、预测未来、优化选择,这是大数据工程师在“玩数据”时最重要的三大任务。通过这三个工作方向,他们帮助企业做出更好的商业决策。大数据工程师一个很重要的工作,就是通过分析数据来找出过去事件的特征。比如,腾讯的数据团队正在搭建一个数据仓库,把公司所有网络平台上数量庞大、不规整的数据信息进行梳理,总结出可供查询的特征,来支持公司各类业务对数据的需求,包括广告投放、游戏开发、社交网络等。找出过去事件的特征,最大的作用是可以帮助企业更好地认识消费者。通过分析用户以往的行为轨迹,就能够了解这个人,并预测他的行为。通过引入关键因素,大数据工程师可以预测未来的消费趋势。在阿里妈妈的营销平台上,工程师正试图通过引入气象数据来帮助淘宝卖家做生意。比如今年夏天不热,很可能某些产品就没有去年畅销,除了空调、电扇,背心、游泳衣等都可能会受其影响。那么我们就会建立气象数据和销售数据之间的关系,找到与之相关的品类,提前警示卖家周转库存。根据不同企业的业务性质,大数据工程师可以通过数据分析来达到不同的目的。以腾讯来说,能反映大数据工程师工作的最简单直接的例子就是选项测试(AB Test),即帮助产品经理在A、B两个备选方案中做出选择。在过去,决策者只能依据经验进行判断,但如今大数据工程师可以通过大范围地实时测试—比如,在社交网络产品的例子中,让一半用户看到A界面,另一半使用B界面,观察统计一段时间内的点击率和转化率,以此帮助市场部做出最终选择。

所以,在某个或多个垂直行业的经历能为应聘者积累对行业的认知,对于之后成为大数据工程师有很大帮助,因此这也是应聘这个岗位时较有说服力的加分项。“他不能只是懂得数据,还要有商业头脑,不论对零售、医药、游戏还是旅游等行业,能就其中某些领域有一定的理解,最好还是与公司的业务方向一致的,”就此薛贵 荣还打了个比方,“过去我们说一些奢侈品店员势利,看人一眼就知道买得起买不起,但这群人恰恰是有敏锐度的,我们认为他们是这个行业的专家。又比如对医疗 行业了解的人,他在考虑医疗保险业务时,不仅会和人们医院看病的记录相关,也会考虑饮食数据,这些都是基于对该领域的了解。”

About the author: tangtao

1,644 comments to “对于大数据的一些理解”

You can leave a reply or Trackback this post.

  1. zganieltqlhjo - 2019年6月24日 at 16:49 Reply

    espiaqyjbeag viagra 100 [url=http://northwestpharmacyph.com/]viagra and alcohol[/url] purchase viagra online cialis from canadian online pharmacy
    tadalafil in canada

  2. habzAnoxy - 2019年6月24日 at 15:32 Reply

    [url=http://onlineviaqer.com/]viagra online[/url] buy generic viagra online viagra

  3. rgcfRuddy - 2019年6月24日 at 13:13 Reply

    [url=http://viagraocns.com/]viagra online[/url] buy viagra buy generic viagra

  4. koanielwsgrvp - 2019年6月24日 at 10:38 Reply

    oawplhqryaty natural substitute for viagra [url=http://northwestpharmacyph.com/]buy real viagra online[/url] cheap generic viagra canadian pharmacies/cialis
    how viagra works

  5. StevNath - 2019年6月23日 at 11:04 Reply

    Cialis Online Barcelona Cialis Brand Name Buy Online Cephalexin Monohydrate Dosages For Dogs [url=http://demalan.com]viagra[/url] Acheter Cialis En Ligne Kamagra En Ligne 100mg

  6. grxvslivA - 2019年6月23日 at 07:36 Reply

    [url=http://sexviagen.com/]buy viagra[/url] generic viagra online viagra

  7. vtghceami - 2019年6月23日 at 03:02 Reply

    [url=http://menedkkr.com/]viagra[/url] buy viagra cheap viagra

  8. mfanieliqzmac - 2019年6月23日 at 00:12 Reply

    pypjsfyskdcl viagra online canadian pharmacy [url=http://northwestpharmacyph.com/]buy viagra online[/url] 5mg cialis canadain cialis
    viagra pills for sale

  9. svanielrmacmz - 2019年6月22日 at 20:48 Reply

    sfeyfivmgnjq canadian pharmacy tadalafil [url=http://northwestpharmacyph.com/]canadian viagra[/url] real viagra canadian pharmacies viagra
    generic viagra review

  10. haanielxsburv - 2019年6月22日 at 11:33 Reply

    rqpdsedouzsi buy viagra uk [url=http://northwestpharmacyph.com/]cheapest viagra[/url] online pharmacies cialis canadian pharcharmy online tadalista generic cialis
    cialis low price

  11. lwanielvhabmf - 2019年6月22日 at 07:53 Reply

    dqkpsebhlpol viagra 50 mg [url=http://northwestpharmacyph.com/]generic viagra online pharmacy[/url] best price cialis cialis canada rx
    viagra india

  12. pzanielwbgozi - 2019年6月22日 at 03:41 Reply

    qcbgwctgdnsp no prescription viagra [url=http://northwestpharmacyph.com/]free sample of viagra[/url] buying cialis from canada buy cialis canada
    pharmacy cialis

  13. generic cialis - 2019年6月21日 at 12:56 Reply

    como tomar o tadalafil [url=http://cialisle.com]cialis online[/url] tadalafil tablets in india.

  14. fvrtRuddy - 2019年6月21日 at 02:34 Reply

    [url=http://aluixnetwork.com/]buy viagra online[/url] buy viagra online generic viagra

  15. cdgdAnoxy - 2019年6月21日 at 02:19 Reply

    [url=http://canadianpharmacyfda.com/]viagra price[/url] generic viagra generic viagra

  16. vdgxceami - 2019年6月19日 at 17:11 Reply

    [url=http://holidayrentallorgues.com/]viagra online[/url] viagra online where to buy viagra

  17. cdgdAnoxy - 2019年6月19日 at 04:14 Reply

    [url=http://canadianpharmacyfda.com/]generic viagra[/url] buy viagra viagra price

  18. vdsfRuddy - 2019年6月18日 at 12:56 Reply

    [url=http://medyvirgaraonline.com/]buy generic viagra online[/url] buy viagra online viagra 100mg

  19. tinyurl.com - 2019年6月18日 at 01:01 Reply

    Traders do pay direct and oblique costs.

  20. lovrslivA - 2019年6月17日 at 21:14 Reply

    [url=http://niqabsquad.com/]generic viagra[/url] viagra viagra 100mg

  21. hecxceami - 2019年6月17日 at 03:56 Reply

    [url=http://cheapviagriageneric.com/]where to buy viagra[/url] viagra 100mg viagra generic

  22. RobertTig - 2019年6月17日 at 01:27 Reply

    should u eat before taking viagra
    [url=http://viagrabs.com/]viagra[/url]
    viagra and jet lag
    viagra
    household substitute for viagra

  23. RobertTig - 2019年6月16日 at 20:38 Reply

    where to get real viagra
    [url=http://www.viagrabs.com/]buy generic viagra[/url]
    what are some over the counter viagra
    generic viagra online
    the rock viagra

  24. RobertTig - 2019年6月16日 at 17:46 Reply

    metformin with viagra
    [url=http://www.viagrabs.com/]viagra[/url]
    daily cialis and viagra combined
    generic viagra online
    whats better viagra cialis or levitra

  25. StevNath - 2019年6月16日 at 17:37 Reply

    Canadian Pharmacies That Sell Clomid Propecia Ahnlich [url=http://buylevi.com]why is levitra so expensive[/url] Achat Cialis Paiement Cheque Cialis Cost

  26. csfsAnoxy - 2019年6月16日 at 11:54 Reply

    [url=https://zvigariageneric.com/]generic viagra[/url] cheap viagra viagra generic

  27. hqanielfduosh - 2019年6月16日 at 11:39 Reply

    fjsxuwothcqr buy viagra now [url=http://canadaviagravccialis.com/]pharmacy online store cialis viagra[/url] viagra free trial cialis canadian pharmecy

  28. scanielwrdays - 2019年6月16日 at 04:53 Reply

    nhnmcagbftme viagra woman [url=http://healthviagracialisincanada.com/]viagra/cialis overseas pharmacies[/url] best canadian prescription prices cialis for canadian residents form india

  29. rganielsfuzdw - 2019年6月16日 at 04:53 Reply

    vstvmwgdbciv when will viagra go generic [url=http://canadaviagravqcialis.com/]canadian viagrav[/url] purchase viagra cialis online canada

  30. ydanielmvyzrq - 2019年6月16日 at 03:48 Reply

    roayvpxhmers viagra results [url=http://canadaviagravscialis.com/]cialis canada drug store[/url] canadian cialis viagra canada.com

Comment pages
1 31 32 33

Leave a Reply

Your email address will not be published.