数据分析方法论,流程和框架?

对于数据分析的方法论、流程和框架,我从一个十年大数据人的日常工作实践、可落地可实施纯实战的角度总结归纳分享给大家。(节选自小讲“数据分析师-从零入门到精通”)

第一部分:数据分析框架。

为了分析问题的聚焦,我们具体拿互联网电商来举例子说明,至于其他的比如互联网金融、教育、社交等等,可以依此借鉴。

(1)从互联网实体角度分析。我们可以从以下7个角度构建互联网数据分析体系。

买家:基本特征分析、交易行为分析、流量行为分析、售后满意分析等

卖家:基本特征分析、经营效果分析、流量曝光分析、售后满意分析、产品分析等

产品:基本特征分析、交易行为分析、流量曝光分析、售后满意分析等

行业:基本特征分析、经营分析、曝光分析、售后分析、产品分析、买卖家分析等

设备:移动端分析、PC端分析、访问对象分析、cookie分析、session分析等

日志:访问对象URL分析、cookie分析、session分析等

事件:登录、流量、点击、曝光、下单、交易、支付、物流、评价、纠纷、仲裁等分析

这个实体分析方法,可以称得上是万能的数据分析框架,适用于所有的互联网企业。我曾工作过的阿里巴巴、腾讯、随手记等企业,我个人都是按照这个套路去构建互联网的分析体系。

(2)从用户的关键路径进行分析。

关键路径分析方法是一个行之有效的常用分析方法,也是做数据化运营的常用工具。关键路径分析让我们聚焦于核心环节,排除杂音,定位出业务的核心问题,快速的加以解决。在应用关键路径分析时候,我们往往先把可能的结果、以及最关心的结果梳理出来,以结果为导向追溯行为的根本,当然,也可以从行为的初始出发,梳理出所有可能的行为路径,找出关键行为,导向我们最终设计好的结果中去。下面我们举例子说明下:

在电商网站中,我们假设我们运营目标是让用户购买网站上的商品(在这里,我要插说几句,我们的目标有时候不只是购买,在精细化运营中,往往会根据用户的生命周期,确定关键路径的目标,比如对于一个进入期的新买家,我们通常会发一些购物攻略加以指导,针对流失期的买家,关键路径的结果我们可能导向申领我们的优惠劵之类,等等。关于这一部分数据化精细化运营方面,在大数据应用系列的数据化运营小讲,我们会详细加以分享,敬请关注)。刚才谈到,我们假设我们运营目标是让用户购买网站上的商品,那么我们可以把关键路径,也即,用户的购买路径梳理出来:

a.用户登录/注册》搜索关键词》查看商品详情》加入购物车》点击下单》确认付款》确认收货

b.用户搜索关键词》类目和店铺》卖家交流》点击下单》确认付款》确认收货



通过这种关键路径,我们还常常进行漏斗分析,从而进行流量的转化分析,找出影响到达最终结果的关键环节。

(3)从KPI拆解角度分析。

KPI拆解分析方法也是比较常见的互联网分析方法。核心思想是先定一个总体目标,比如今年营收12亿,那么可以把这个指标拆解到各个业务线去,业务线再进行拆分,比如分解为12个月,每个月需要达成营收额,接着,就是达成该营收额,根据流量的转化情况,估算出需要多少的流量,目前平台已有多少流量,需要外拓引流多少流量才能达成目标,这就可以层层的拆解指标,最终或落地到产品团队或部分到运营团队去承担KPI任务。


第二部分:数据分析常用分析方法

常用的数据分析方法有:PEST分析方法、5W2H分析法、4P营销分析法、逻辑树分析法、指标拆分法、对比分析法、漏斗分析法、用户行为分析法、用户生命周期分析法、金字塔分析法等等,下面我们逐个的简单说明下

(1)PEST分析方法

这个方法主要应用于行业研究中。从政治(Political)、经济(Economic)、社会(Social)、技术(Technical),简称PEST角度对一个行业进行比较分析。下面我们举一个例子:我们小讲开始就谈到数据分析行业前景,那么我们在此利用PEST分析下大数据行业前景如何?


(2)5W2H分析法

这个方法主要应用于用户行为研究和专项问题分析,从时间、地点、人物、事情、原因、方式、价格等7个方面对一个问题进行刻画研究。请看如下案例二:



(3)4P营销理论

这个方法主要应用于公司整体经营状况分析,是比较经典的营销分析方法。该方法从产品、价格、渠道、促销等四方面对企业经营状况进行全面分析。请看如下案例三:



(4)逻辑树分析法

这个方法也称作问题树分析方法,主要应用于针对业务存在的问题进行专题分析,是数据分析方法中非常常见的一种分析方法。请看案例四:



(5)指标拆分法

这个方法也是经常适用的方法,特别是为了达成业务目标,我们往往都会先定一个总的目标,然后再初步的拆解指标。下面我们讲讲案例五:


(6)对比分析法

对比分析法是非常常用的基础分析方法,虽然方法特别简单,但几乎所有的分析报告中,都会采取对比分析方法。比如去年同期相比、上个月环比、目标和实际达成相比、各个部门和业务线相比、行业内竞品比较、营销效果对比,等等。这里需要注意的是我们不管是横向比较还是纵向比较,比较的双方一定要有可比性,并且在同一个维度、粒度上去比较,要不是毫无意义的。

(7)漏斗分析法

漏斗分析方法经常应用于产品的转化分析。举个电商的例子:用户登录网站1千万,浏览商品详情页200万,加入购物车80万,下单支付50万,支付成功40万。每一步都是转化率的问题。针对关键路径进行漏斗分析能够帮助我们快速的定位到问题所在。从而能够及时做出决策。

(8)用户行为理论

也称用户的活动周期理论。该分析方法,往往用于对用户的基础研究中。用户行为过程分为认知、熟悉、试用、使用和忠诚5个步骤。

(9)用户生命周期理论

该分析方法,也往往用于用户基础研究中,在互联网领域应用广泛。用户的生命周期分为进入期、成长期、成熟期、衰退期、流失期。每一个阶段用户的行为特征是不一样的,其价值是不一样的,需要精细化的运营。不可急功近利。

(10)金字塔理论

金字塔这个分析方法正好和漏斗分析方法相反,它是基数大,上层小。最初是英国历史学家、政治学家诺斯科特·帕金森(C.Northcote Parkinson)在《帕金森定律》(Parkinson's Law)一书中,论述在行政管理中,行政机构会像金字塔一样不断增多,行政人员不断膨胀,每个人都很忙,但组织效率越来越低下。这条定律又被称为“金字塔上升”现象。后来,人们将这一理论延伸应用,不再只限于本意。大凡是基数大,上层小,符合金字塔特征的研究分析都可以套用到该理论中。所以,金字塔这幅图也常常见于各分析报告中。比如,分析用户群体特征(马斯洛需求层次模型、用户价值模型等等)

综上所述种种数据分析方法,如果在一份分析报告中,能够把这些分析方法都灵活反复体现和应用,那么,这个分析报告一定会比较丰满的。


第三部分:数据分析的流程。

数据分析的流程主要分为六步骤,遵循这种方法,一个完整的数据分析项目就出来了。

(1)明确分析目的:我们接到一个分析任务,首先要弄清楚我们分析的对象是什么,要达成怎样的目的,不能陷于为了分析而分析。然后,要熟悉行业和业务,透彻的理解分析的目的,构建起分析的角度和体系。

(2)进行数据准备:我们有哪些数据,通过什么途径可以获取到需要的数据,往往涉及到内部数据和外部数据,内部数据常常是我们的业务库或者基础数据团队建立起来的数据仓库系统,外部数据方面,现在各行各业都有大数据交易源,还有大量的公开市场数据。

(3)进行数据加工处理:主要通过数据清洗工作,对重复值进行去重处理、对异常值错误值进行修正或剔除、对缺失值进行填充修正或删除。如果软件环境为支持大数据量情况下,还需要对数据进行抽样处理。经过这些预处理后,最重要的就是进行数据的计算统计、合并转换,让数据符合目标分析过程。

(4)进行数据分析挖掘:绝大部分的分析目标达成都可以刚才介绍的分析方法外加常见统计分析等达到。主要的分析:整体和组成分析、走势趋势分析、均值方差分析、排序TOP分析、同比环比纵横比较分析、频度频率分析、相关关系分析、数量和比例的双坐标分析、逻辑结构分析、金字塔分析、漏斗图分析、矩阵图分析、指标拆解分析、PEST分析、5W2H分析法、4P营销分析等等。还有一部分分析需要到更高级的数据分析方法才能得到结论,这一部分在第3章会详细介绍。

(5)进行数据结果图表展现:数据分析的目的就是要解决问题的,往往数据分析师不是需求的发起人,那么这就需要数据分析师把分析的数据和结论展现给需求方。最佳的方式就是通过图表,有理有据形象的重点突出且专业的表达出来。根据第(4)步骤的分析,我们可以选取恰当的图标。比如常用的有:折线图、柱形图、条形图、饼图、冒泡图、散点图、矩阵图、雷达图、双坐标图、瀑布图、帕累托图、金字塔图、漏斗图等等。

(6)写出分析报告:数据分析最终的结论全部体现在分析报告中,一个分析师水平如何,只要看他写过的一份分析报告就可以完全清楚了。综合灵活应用这么多的分析方法和各种各样的展示图表,分析报告一定会显得非常丰满。下面一个问题我们再详细和大家讨论数据分析报告的相关事情。


以上就是我在日常工作当中的实践总结,比较少理论性的东西,更多的是可落地的非常具体的经验总结。本文是节选于小讲“数据分析师-从零入门到精通”的 “第二章 数据分析师的基本能力素质模型”的第2小节“2.数据分析方法论,流程和框架?(基础篇),经过整理后的文章。

结尾附上完整的live( “数据分析师-从零入门到精通”)分享章节,整个分享的整体思路和框架如下:
在第一部分,谈谈数据分析的行业前景、数据分析的价值所在,以及数据分析师的日常岗位内容,目的其实就是传达一个信息给大家,数据分析这个职业前景非常的好,个人职业发展通道畅通,大量的就业岗位,工作内容想多浅就有多浅,想多深就有多深,正好适合于我们新入行者,从浅入手找到工作,在工作中进行深挖,逐步提升自己的数据分析技能。
在第二部分,我跟大家分享了数据分析师需要掌握哪些傍身技能,有技术上的,更有业务上的要求。目的就是让大家清楚,分析师要学习什么,要培养什么,行业中有哪些分析套路。帮助大家快速学习数据分析基本技能,培养数据分析思维,掌握数据分析的方法论和框架。
在第三部分,我跟大家分享了厉害的数据分析师的职业门槛在哪里,希望大家在日常的学习工作中,不断学习和追求,努力把自己提升到一个高度,建立起自己的职业壁垒和护城河。同时,我试图让大家了解到,真正厉害的数据分析师,一定是一个技术专家,更是一个业务专家,还同时也是一个战略家、谋略家。他是一个公司的神经中枢--大脑,是老板身边的参谋、智囊团。
在第四部分,主要跟大家分享数据分析师的个人成长、个人的职业规划,以及在选择公司和行业时候我们应该最关心哪些,而不仅仅是看薪资、看大机构,另外,也分享了一些应聘面试的技巧,让大家能够在招聘面试中,应付自如,战无不胜。同时,找到让自己薪资增长和职位晋升最快的方法途径,更重要的是让大家明白自己未来会成为怎样一个人,提前做好自己的职业生涯规划。


第一章 数据分析行业概况

1.什么是数据分析,其行业前景如何?转行做数据分析师值得吗?

2.数据分析岗位日常工作内容有哪些?为啥数据分析最适合女生、新入行者、初学者?

3.数据分析的价值在哪里?

第二章 数据分析师的基本能力素质模型

1.数据分析师需要具备哪些能力和基本素质?

2.数据分析方法论,流程和框架?(基础篇)

3.如何写出一份优秀的分析报告?如何解读分析报告中的数据?

4.案例应用:如何构建互联网数据分析体系?

第三章 数据分析师的进阶之道:走向巅峰

1.牛X的分析师和普通的分析师差别在哪里?如何让自己成为一个得到老板赏识的牛X的分析师?

2.数据分析方法论,流程和框架?(高阶篇)

3.牛X的分析师需要精通哪些模型和算法?精通掌握哪些常用领域?

4.牛X的分析师除了掌握技术和业务外,还需要具备哪些嗅觉?

5.成为大数据科学家?

第四章 数据分析师的职业生涯规划

1.数据分析师的职业发展通道是怎样的,如何做好自己的职业生涯规划?

2.如何有节奏的实现薪资的培增?

3.选择一个好的公司和行业,成为时代的弄潮儿?

4.做好简历,成为一个Offer收割机?

结语:赠送自学指南

在校生、初学者如何自学数据分析?


欢迎大家拍砖指正,欢迎大家关注我的知乎专栏“大数据实践与职业生涯”并留言,专栏会陆续的推出过往十多年的大数据工作经验总结和我的一些研究实践成果。如果你是大数据新人,或者想转行进入大数据领域,或者职业生涯上存在一些疑惑,都欢迎关注我的知乎live分享“大数据人的职业生涯规划” 和 “数据分析师-从零入门到精通”。

编辑于 2017-08-27

文章被以下专栏收录

    微信公众号:大数据人的职业手册。分享大数据领域的工作经验和心得体会,分享大数据人的职业生涯规划,分享大数据工程师的入门和进阶之道,分享大数据人的喜怒哀乐。更重要的是希望就如下话题(大数据价值变现 大数据运营体系 大数据系统落地 大数据与产业 大数据与创业投资 大数据与生活 大数据与互联网金融 大数据与商业模式)进行深入的探讨,以抛砖引玉

    让书籍、纪录片、旅行带我们看到一个更大更美的世界

    基于R和Python的数据科学笔记本