01 概述
本文聊聊我所观察到的Data-Driven和Data-Informed两种不同的数据观，仅一家之言，请勿对号入座。Data-Driven Business 和 Data-Informed Business两种不同数据观的主要差异是「 唯指标论 」还是「 数据只是决策的一种视角 」，这个问题可以讨论很久。唯指标论的见得比较多，常见的问题是「反正指标达成了」，「反正指标是这样」，指标可怜又可恶。可怜的是指标并不清楚有人在用它，可恶的是有人是真糊涂而有人是装糊涂。
02 Data-Driven 数据观
在数据大中台轰轰烈烈的浪潮中，Data-Driven即数据驱动的观点想必大家都耳熟能详了，提及数据价值，必然少不了数据驱动业务。数据驱动业务的方式很多，例如A/B实验、因果推断、科学建模等，但在实践中还是发现不少问题。这些问题主要是体现在唯指标论上，形式上有所不同。
1. 盲目的使用数据驱动。 数据驱动实际是指标驱动，业务决策只参考指标的趋势和表现，但是指标并不知道你在用它，它也不一定是客观和全面的。 数据是否客观对数据分析影响最大的环节，我认为是微观数据分析 。宏观数据分析（行业、竞品、宏观政策）依赖外部调研和第三方数据，有多种数据出处和对比口径，总体看相对趋势和相对变化。中观数据分析（产品战略、基本面）更多是自上而下的顶层决策，对数据的依赖没有那么强烈。但是微观数据分析（产品迭代、策略迭代）像是拿着一个放大镜 在观察产品的变化，是一线产品、策略同学最主要的数据分析方式，也是受「数据是否客观」影响较大的地方。一个细小的产品策略改动，往往统计上和业务上都不显著，原因可能是策略影响面小、数据量少，也可能是数据生产、加工、消费环节出现了漏洞，看不出来差异或者差异超过预期，前文非标准AB实验实践就是很好的案例，客观的数据依赖完善的数据基建和紧密的协作流程。
在复杂的业务场景下，数据驱动业务也依赖全面的指标。从需求、生产、销售角度看，SKU复杂和产品决策链路过长的产品往往很难依赖单一指标。例如在搜索场景下，用户发起搜索（需求），搜索引擎召回一系列资源（已被生产），最后通过推荐排序给用户（销售），在这个场景下，只关注搜索规模和搜索点击是不全面的，如此李x宏也不会被问候十八代了，搜索质量和用户反馈较难通过指标直接衡量，点击率高也不代表搜索质量好，例如搜索结果都给黄图，老色批爱点，但是长久以往的业务就很难持续了， 全面的指标一定是一个帕累托解集 ，有虚荣指标也有防御指标，综合评估才能做一个有较好的业务决策。因此盲目使用数据驱动，往往体现在对数据是否客观不细究、对指标是否全面不关注，唯指标论。
2. 把数据驱动当幌子。 过往数据驱动中遇到较多的反馈是指标trick问题。产品策略要上线，指标要满足上线硬性条件，例如CTR不降，规模需提升等。但是指标是可以trick的，常见的几种情况：
a. 实验中，指标显著立马停止实验，汇报结果。一般来说，为了得到平稳的P值曲线和相对稳定的指标差异，我们建议实验做一周甚至更长时间。但实践中，实验做三天五天的很多，长短完全根据指标表现而定。
b.实验后，根据实验指标表现确定要提升什么，怎么讲故事。严谨的实验流程是在实验设计阶段确定期望提升指标、样本量及实验周期，但是在实验规范和实验分析缺乏有效「把关」下，实验很容易沦为一个幌子，即做了实验看什么显著就讲什么故事。
通过规避有效实验时间、挑选有利指标、更改指标口径等trick行为，篡改实验的基本事实，也是数据驱动业务实践中常见问题。在【俞军产品方法论】中，作者也提到了类似的观点，唯指标论很容易缺乏业务主张，降低业务思考，数据本身不会讲一个故事亦或是告诉下一步应该怎么走。
03 Data-Informed 数据观
Data-Informed相比于Data-Driven更强调数据只是一种Input，也是一种视角，但不是业务决策的唯一标准。 要结合数据分析、业务sense、用户调研进行业务决策，而不单单是唯指标论。我在AirbnbData的技术博客上看到一个很典型的案例，Airbnb曾经做了一个改版实验，新版本看起来比老版本对用户更友好，视觉效果、用户交互都更流畅，用户调研反响也不错，但是A/B实验就是效果不明显。当数据表现与业务逻辑出现了方向不一致，应该怎么办？比较妥当的方式是不要急于下结论，差异可能来源于实验平台、数据基建、指标构成上。通过对上述原因进行分析，最后发现新版本在IE老版本浏览器上可能面临打不开的问题，影响了整体数据表现，但是BUG修复后数据表现的比较好。 这里的重点不是想介绍这个实验结果的分析思路，而是如何看待实验数据。 无论是实验数据好与坏，数据都是提供了一个视角，值得从数据中挖掘潜在的原因，后面我会介绍实验生效链路图怎么做，核心如何用实验数据的视角推导策略对业务带来的变化。
04 对比
Data-Driven ：通常在业务目标和量化指标明确，要对比选择的时候使用，例如A/B实验。
优点：
1. 所有的业务决策都有数可依，从而避免主观偏见和猜测，很大程度上降低了一线同学做决策犯错的概率。
2. 保障了业务决策局部最优，依赖单个指标可以满足局部最优，但是无法保障全局最优，这也是为什么对一个业务来说，上线了100个实验，每个收益都在1%以上，但是业务整体下降了5%。
3. 提供了一个业务发展趋势的定性参考。
缺点：
1. 盲目的依赖指标，会降低做出更有信息含量的决策。
2. 数据指标只显示了差异，没有进一步告诉业务应该怎么做，这是比较大的问题，讲了一些正确的废话。
Data-Informed ：通常在负责业务场景下，要综合考虑用户反馈、竞品数据、业务体验等多因素产品。
优点：
1. 决策维度更多，除了数据也有质量，能做出相对全局最优的决策。
2. 参考更多行业、竞品趋势，对需求变化和产品迭代有一定指导价值。
缺点：
1. 决策容易受到挑战，类似于专家决策。
2. 需要一定的业务经验和用户调研手段。
05 结尾
Data-Driven与Data-Informed主要还是取决于 使用场景 ，避免唯指标论，基于数据和业务逻辑进行业务决策说起来容易，实践起来真的很难。但是有没有一种很高效的数据决策策略呢？
1. 如果是宏观和中观分析，Data-Informed是值得推荐的，将数据作为一种视角，提供业务决策的输入，这里更多是依赖业务主张和业务经验。
2. 如果是微观分析，Data-Driven是值得推荐的，有明确的对比数据集和量化目标，可以较快的得到决策方向，前提是很好的保障了数据的客观性和全面性。
以上是我对两种观点的理解，仅一家之言，如果你也曾受到上述问题的困扰，点个赞或者在看吧~
关于我
互联网大厂高级数据产品，数据经验5年+，过往经历包含数据科学、数据分析、数据产品。 本号每周六上午8点定时更新 ，主要分享数据实战中的心得体会、生活与职场的随机漫谈，希望能帮助你少走弯路，同时渴望与志同道合的同学多多交流与探讨~
往期回顾
「干货」数据产品晋升技巧
「干货」数据产品晋升难题
「干货，被腾讯大讲堂官方转载」非标准AB实验实践
「干货」指标异常诊断
「干货」数据小白|浅谈如何快速构建数据体系
「干货」数据小白|十周入门数据分析
「干货」数据小白|浅谈数据上报
「干货」数据上报要如何做才高效
「漫谈」数据职业的危机感
「漫谈」高效时间管理
