01 概述
本文聊聊我所觀察到的Data-Driven和Data-Informed兩種不同的數據觀，僅一家之言，請勿對號入座。Data-Driven Business 和 Data-Informed Business兩種不同數據觀的主要差異是「 唯指標論 」還是「 數據只是決策的一種視角 」，這個問題可以討論很久。唯指標論的見得比較多，常見的問題是「反正指標達成了」，「反正指標是這樣」，指標可憐又可惡。可憐的是指標並不清楚有人在用它，可惡的是有人是真糊塗而有人是裝糊塗。
02 Data-Driven 數據觀
在數據大中台轟轟烈烈的浪潮中，Data-Driven即數據驅動的觀點想必大家都耳熟能詳了，提及數據價值，必然少不了數據驅動業務。數據驅動業務的方式很多，例如A/B實驗、因果推斷、科學建模等，但在實踐中還是發現不少問題。這些問題主要是體現在唯指標論上，形式上有所不同。
1. 盲目的使用數據驅動。 數據驅動實際是指標驅動，業務決策只參考指標的趨勢和表現，但是指標並不知道你在用它，它也不一定是客觀和全面的。 數據是否客觀對數據分析影響最大的環節，我認為是微觀數據分析 。宏觀數據分析（行業、競品、宏觀政策）依賴外部調研和第三方數據，有多種數據出處和對比口徑，總體看相對趨勢和相對變化。中觀數據分析（產品戰略、基本面）更多是自上而下的頂層決策，對數據的依賴沒有那麽強烈。但是微觀數據分析（產品叠代、策略叠代）像是拿著一個放大鏡 在觀察產品的變化，是一線產品、策略同學最主要的數據分析方式，也是受「數據是否客觀」影響較大的地方。一個細小的產品策略改動，往往統計上和業務上都不顯著，原因可能是策略影響面小、數據量少，也可能是數據生產、加工、消費環節出現了漏洞，看不出來差異或者差異超過預期，前文非標準AB實驗實踐就是很好的案例，客觀的數據依賴完善的數據基建和緊密的協作流程。
在復雜的業務場景下，數據驅動業務也依賴全面的指標。從需求、生產、銷售角度看，SKU復雜和產品決策鏈路過長的產品往往很難依賴單一指標。例如在搜尋場景下，使用者發起搜尋（需求），搜尋引擎召回一系列資源（已被生產），最後透過推薦排序給使用者（銷售），在這個場景下，只關註搜尋規模和搜尋點選是不全面的，如此李x宏也不會被問候十八代了，搜尋品質和使用者反饋較難透過指標直接衡量，點選率高也不代表搜尋品質好，例如搜尋結果都給黃圖，老色批愛點，但是長久以往的業務就很難持續了， 全面的指標一定是一個帕累托解集 ，有虛榮指標也有防禦指標，綜合評估才能做一個有較好的業務決策。因此盲目使用數據驅動，往往體現在對數據是否客觀不細究、對指標是否全面不關註，唯指標論。
2. 把數據驅動當幌子。 過往數據驅動中遇到較多的反饋是指標trick問題。產品策略要上線，指標要滿足上線硬性條件，例如CTR不降，規模需提升等。但是指標是可以trick的，常見的幾種情況：
a. 實驗中，指標顯著立馬停止實驗，匯報結果。一般來說，為了得到平穩的P值曲線和相對穩定的指標差異，我們建議實驗做一周甚至更長時間。但實踐中，實驗做三天五天的很多，長短完全根據指標表現而定。
b.實驗後，根據實驗指標表現確定要提升什麽，怎麽講故事。嚴謹的實驗流程是在實驗設計階段確定期望提升指標、樣本量及實驗周期，但是在實驗規範和實驗分析缺乏有效「把關」下，實驗很容易淪為一個幌子，即做了實驗看什麽顯著就講什麽故事。
透過規避有效實驗時間、挑選有利指標、更改指標口徑等trick行為，篡改實驗的基本事實，也是數據驅動業務實踐中常見問題。在【俞軍產品方法論】中，作者也提到了類似的觀點，唯指標論很容易缺乏業務主張，降低業務思考，數據本身不會講一個故事亦或是告訴下一步應該怎麽走。
03 Data-Informed 數據觀
Data-Informed相比於Data-Driven更強調數據只是一種Input，也是一種視角，但不是業務決策的唯一標準。 要結合數據分析、業務sense、使用者調研進行業務決策，而不單單是唯指標論。我在AirbnbData的技術部落格上看到一個很典型的案例，Airbnb曾經做了一個改版實驗，新版本看起來比老版本對使用者更友好，視覺效果、使用者互動都更流暢，使用者調研反響也不錯，但是A/B實驗就是效果不明顯。當數據表現與業務邏輯出現了方向不一致，應該怎麽辦？比較妥當的方式是不要急於下結論，差異可能來源於實驗平台、數據基建、指標構成上。透過對上述原因進行分析，最後發現新版本在IE老版本瀏覽器上可能面臨打不開的問題，影響了整體數據表現，但是BUG修復後數據表現的比較好。 這裏的重點不是想介紹這個實驗結果的分析思路，而是如何看待實驗數據。 無論是實驗數據好與壞，數據都是提供了一個視角，值得從數據中挖掘潛在的原因，後面我會介紹實驗生效鏈路圖怎麽做，核心如何用實驗數據的視角推導策略對業務帶來的變化。
04 對比
Data-Driven ：通常在業務目標和量化指標明確，要對比選擇的時候使用，例如A/B實驗。
優點：
1. 所有的業務決策都有數可依，從而避免主觀偏見和猜測，很大程度上降低了一線同學做決策犯錯的機率。
2. 保障了業務決策局部最優，依賴單個指標可以滿足局部最優，但是無法保障全域最優，這也是為什麽對一個業務來說，上線了100個實驗，每個收益都在1%以上，但是業務整體下降了5%。
3. 提供了一個業務發展趨勢的定性參考。
缺點：
1. 盲目的依賴指標，會降低做出更有資訊含量的決策。
2. 數據指標只顯示了差異，沒有進一步告訴業務應該怎麽做，這是比較大的問題，講了一些正確的廢話。
Data-Informed ：通常在負責業務場景下，要綜合考慮使用者反饋、競品數據、業務體驗等多因素產品。
優點：
1. 決策維度更多，除了數據也有品質，能做出相對全域最優的決策。
2. 參考更多行業、競品趨勢，對需求變化和產品叠代有一定指導價值。
缺點：
1. 決策容易受到挑戰，類似於專家決策。
2. 需要一定的業務經驗和使用者調研手段。
05 結尾
Data-Driven與Data-Informed主要還是取決於 使用場景 ，避免唯指標論，基於數據和業務邏輯進行業務決策說起來容易，實踐起來真的很難。但是有沒有一種很高效的數據決策策略呢？
1. 如果是宏觀和中觀分析，Data-Informed是值得推薦的，將數據作為一種視角，提供業務決策的輸入，這裏更多是依賴業務主張和業務經驗。
2. 如果是微觀分析，Data-Driven是值得推薦的，有明確的對比數據集和量化目標，可以較快的得到決策方向，前提是很好的保障了數據的客觀性和全面性。
以上是我對兩種觀點的理解，僅一家之言，如果你也曾受到上述問題的困擾，點個贊或者在看吧~
關於我
互聯網大廠高級數據產品，數據經驗5年+，過往經歷包含數據科學、數據分析、數據產品。 本號每周六上午8點定時更新 ，主要分享數據實戰中的心得體會、生活與職場的隨機漫談，希望能幫助你少走彎路，同時渴望與誌同道合的同學多多交流與探討~
往期回顧
「幹貨」數據產品晉升技巧
「幹貨」數據產品晉升難題
「幹貨，被騰訊大講堂官方轉載」非標準AB實驗實踐
「幹貨」指標異常診斷
「幹貨」數據小白|淺談如何快速構建數據體系
「幹貨」數據小白|十周入門數據分析
「幹貨」數據小白|淺談數據上報
「幹貨」數據上報要如何做才高效
「漫談」數據職業的危機感
「漫談」高效時間管理
