哈哈右邊是社群活動當初的海報，為了證明我不是大魔王特別在當天內心話放左邊。
謝謝 Taiwan product manager 社群邀請的產品小聚（讓我有機會跨出數據圈可以跟 PM 多接觸，當然），這場活動謝謝版主事前討論，我一直思考的是如何講一場 PM 們能夠有種在新年能夠提升數據力，又能實質幫助他們在工作中發揮，根據大家分享的題目。
這次我決定從大家的問題出發，我們來聊 PM 與數據分析合作的愛恨情仇（講的就是跨部門溝通），畢竟這個講座主題叫做數據大魔王來了XD！因此根據報名者在問卷上填寫的困難點大致分為以下四項（知己知彼，百戰百勝）：
缺乏數據分析資源
開發功能數據目標不明確
埋點與數據建置挑戰
數據建模與影響因子應用
A/B 測試是一個嚴謹且迭代的實驗過程，需從假設建立到結果分析，確保實驗的可靠性與業務價值。
因此，這場活動的設計，我會透過 產品經理較常的A/B測試帶入說明了設定關鍵指標 (OEC) 的重要性，以及如何避免統計顯著性與實際顯著性之間的落差，也聊了涵蓋A/B測試的步驟、實驗的可信度、指標的設定與類型（例如：北極星指標、驅動指標、護欄指標）。
以及在下一篇如何與產品經理和數據分析團隊有效合作。 在這場也分享了建立數據驅動型企業文化的策略，並提供數據需求範本和書籍推薦（主要就是我上次讀書會帶領大家唸的關鍵迭代）。最後，也鼓勵與會者在工作中多加應用A/B測試並提升數據分析能力。
在進入關鍵數據指標之前，我們先來幫助大家 Recap一下 A/B 測試的幾個基本步驟：
設定假設 (Set Hypothesis)
確立明確的研究假設，基於問題分析提出具體的解決方案。
例如，假設「在結帳頁面加入優惠券輸入框會降低營收」，後續實驗將圍繞此假設展開。
✅確認統計顯著性 (Determine Statistical Significance)
確保實驗結果的變化並非偶然，而是具有統計學上的顯著性。
但不應僅關注統計顯著性，還需評估結果對業務的實際影響。
✅設計實驗 (Design Experiment)
確定實驗變數、樣本大小、目標群體及實驗時長。
確保隨機化、可行性、不干擾性，並選擇適當的測試單位。
✅運行實驗並收集數據 (Run Experiment and Collect Data)
嚴格執行實驗計劃，確保數據準確性，避免干擾與誤差影響結果。
✅分析結果 (Analyze Results)
除了統計顯著性，還需評估結果對業務的實際貢獻，以確保決策有價值。
📢其他關鍵考量
OEC（整體評估標準）與關鍵指標：確保實驗與業務目標一致，評估結果價值。
避免偏差與干擾：關注可能影響實驗可靠性的因素，如初始效應、外部變因等。
因此，我們可以得知A/B 測試是一個迭代的過程，從假設建立到數據分析，每一步都需謹慎設計與執行。透過合理的指標設定、數據理解與偏差控制，才能確保結果真正有助於業務發展。
所以，在這個架構之下，我們可以來聊聊，為什麼要來談 OEC ?
OEC (整體評估標準) 與關鍵指標在 AB 測試中扮演著極為重要的角色，它們不僅影響實驗的進行方向，也決定了實驗結果的價值與應用。以下為它們重要性的詳細說明：
你可以想像成 OEC 可作為實驗方向的指引，黑暗中的燈塔（內心這樣形容），因此 OEC 作為一個綜合評估標準，能幫助團隊在進行 AB 測試時，明確實驗的目的以及想要觀察的重點。如果沒有事先定義 OEC，團隊可能會在實驗過程中迷失方向，導致時間與資源的浪費（最慘可能大概經過無數次會議，實驗都做完了，卻還沒有個方向）。
相關數據指標可以參考當日分享活動講義：
除了知道上面這些指標以外，制定完，然後呢？要注意的是...
👉確保實驗有始有終：設定 OEC 的主要目的是為了確保實驗在進行時，能有條理、有目標，並清楚知道目標數據為何。這可以避免實驗進行一段時間後，因為沒有明確的指標而導致大家遺忘實驗的初衷，使實驗失去意義。
👉關鍵指標的一致性與認同：在 AB 測試中，關鍵指標必須一致，且能被團隊成員認同。這表示團隊需要對要衡量的指標達成共識，避免因為指標定義不清，導致實驗結果產生誤解或爭議。
👉目標的明確性與可衡量性：設定的關鍵指標必須良好且具體，目標要明確且可衡量。例如，選擇短期內可以觀察到的指標，如點擊率，而不是長期的顧客終身價值，以便能夠靈敏地觀察實驗結果。
👉迭代增長與長期價值：關鍵指標對於整個 AB 測試來說，是透過累積與每次實驗的變動來達成疊代增長的。因此，在 AB 測試中，關鍵指標的設定非常重要，這讓每次實驗都能為長期目標做出貢獻。
👉避免資源浪費：如果沒有 OEC 和關鍵指標，AB 測試可能會變成一種資源浪費。因為缺乏明確的目標，實驗結果可能無法提供有意義的資訊，或者無法對實際業務產生影響。
👉衡量實際顯著性：除了統計顯著性，OEC 和關鍵指標也幫助團隊評估實驗結果的實際顯著性。這表示實驗結果不僅在統計上有意義，也應該在實際業務上產生有意義的影響。
👉多重指標的應用: 關鍵指標並非單一指標，可以透過加權或組合多個指標，更全面地評估實驗效果（鼓勵大家別被單一指標綁架，多根據目的去進行指標設計）。
總結來說，OEC 與關鍵指標在 AB 測試中，不僅能確保實驗的有效性與效率，還能讓實驗結果真正有助於產品的優化與業務目標的達成。它們就像實驗的指南針，引導著團隊朝著既定的方向前進，並幫助評估實驗結果的價值。沒有良好的指標，AB 測試就可能淪為盲目的嘗試，無法產生實際的效益。
打造有效且可靠的關鍵指標（KPI）
以解決問題為導向：衡量指標是否真正幫助業務發展，而不只是交付某項功能。
在設定關鍵指標時，我們需要確保指標不僅能準確反映業務狀況，還能真正推動目標達成，並降低被操縱的風險。以下是建立有效KPI的核心原則
設定關鍵指標的原則
具體明確：避免模糊定義，讓所有人都能理解指標的意涵。
可衡量：選擇短期內可觀察的數據，如點擊率或轉換率，而非長期難以追蹤的數據。
與業務目標相關：確保指標緊密連結公司目標，真正反映業務健康狀況。
一致性與認同：指標應獲得團隊共識，避免誤解導致方向偏離。
驅動成功：選擇與成功結果高度相關甚至具有因果關係的指標，以確保其驅動力。
避免單一指標：透過多個指標的加權與組合，提高評估的全面性與準確性。
持續優化與更新：隨著業務環境變化，定期檢視並調整指標，使其保持適用性
這點超重要！避免指標被操縱
理解指標的局限性：透過拆解計算邏輯與假設，確保指標真正反映業務現況，而非人為操縱的結果。
設置護欄指標：例如，密碼管理公司的核心指標是安全性，一旦安全受到威脅，其他業績指標便無意義。
避免過度關注單一指標：確保業務目標均衡發展，例如，提升產能的同時不犧牲顧客體驗。
考量指標的平衡性：確保跨部門對指標的理解一致，避免因觀點不同而產生誤解或錯誤決策。
持續監測與分析：當數據異常時，立即調查並修正，確保指標能有效指引決策。
設定指標的流程
明確問題：先釐清業務問題，確保指標能真正解決痛點。
量化問題：確保數據可衡量、追蹤，避免因指標模糊影響決策。
數據蒐集與分析：深入理解現況，找到最具代表性的指標。
跨部門協作：確保指標符合各單位需求，避免部門間資訊落差。
從使用者角度思考：透過客服回饋或用戶訪談，確保指標能反映實際需求。
與業務單位密切溝通：確保指標與業務目標一致，並能驅動實際成果。
以解決問題為導向：衡量指標是否真正幫助業務發展，而不只是交付某項功能。
最後，我也針對當日聽眾的問題收斂分類後，針對數據指標方面，整理相對應方法：
所以，建立有效的KPI是一個不斷優化的過程，不僅要考量技術層面，更要與業務目標緊密連結，並關注指標背後的真正意義。我們才能確保指標的準確性與可靠性，幫助業務穩健，才能更加緊扣數據與商業目標更強之間的連結。
如果你想要關於我曾舉辦的 A/B測試相關讀書會 - 關鍵迭代，可以參考 IG 這篇文章 [請按我]，我們下篇文章見，BYEBYE !
