線上實驗與企業的成功

(原文為英文，以下為AI翻譯內容。)

本文為以下哈佛商業評論文章的摘要與簡短反思：「The Surprising Power of Online Experiments」。

Bing 的實驗顯示，標題採用略深的藍色與綠色、說明文字採用略淺的黑色，能提升使用者體驗。當這項改動推行至所有使用者後，僅是顏色的調整每年就為營收帶來超過 1,000 萬美元的增長。

文章重點摘要與觀點：

1. 所有領先的科技與平台公司都善用受控實驗（每年超過 10,000 次），讓數以百萬計的使用者參與，藉此測試市場。這種「凡事皆實驗」的做法帶來了驚人的巨大回報。
2. 雖然商界推崇宏大、顛覆性的點子，但實際上多數進步都來自實施成百上千個微小的改良。在一項 1,200 萬名使用者的實驗中，將連結改為在新分頁開啟（而非當前分頁），使「每位使用者的點擊次數」提升了 5%。
3. 線上實驗協助 Microsoft Bing 理解在搜尋時間 與搜尋最佳化之間的取捨。當提升搜尋結果的相關性會拖慢軟體回應時間時，實驗是判斷孰優孰劣的好方法。
4. 即使實驗結果不顯著也要保持正面心態。在 Google 與 Microsoft，只有約 10% 至 30% 的實驗能產生正面成果。
5. 基礎設施不足會使測試的邊際成本居高不下，並可能令高階主管不願推動更多實驗。關於實驗人員的組織方式，有以下幾種建議：(1) 集中式模式（由一支資料科學團隊服務整間公司）、(2) 分散式模式（將資料科學家分派至各業務單位），以及 (3) 卓越中心模式（結合 (1) 與 (2) 的混合模式）。
6. 管理線上實驗的關鍵：(1) 訂立整體評估準則（OEC）作為 KPI，以統一高階主管與資料分析師的期望；(2) 提防低品質數據（務必進行 A/A 測試！！）；最後 (3) 避免對因果關係妄下假設。

在網路對幾乎所有企業都至關重要的今天，嚴謹的線上實驗理應成為標準作業程序。……任何擁有至少數千名每日活躍使用者的公司，都能進行這些測試。

一些反思與討論：

1. 這是我讀過最出色的《哈佛商業評論》文章之一，因為它為我帶來全新的觀點，也讓我了解科技公司目前進行線上實驗的實況。我相信我們每個人在某個時候，都曾察覺 Google／Facebook 介面的一些微小改變。雖然我們或許也知道那是一場線上實驗，但至少我並不曉得，那可能是每年進行的 10,000 場實驗之一。
2. 得知 Bing 僅憑顏色的改動，每年就使行銷營收增加 1,000 萬美元，實在令人驚訝——尤其這項增長是建立在真實的消費者偏好與實驗之上，而非理論心理學。
3. 面對大數據，或僅是龐大的資料集（例如超過 100 萬列紀錄）時，我們常假設資料「夠大」足以確保隨機性。人們很容易從訓練資料中導出因果結論、估計並推論其對其他情境的影響——但事實往往並非如此。A/A 測試非常有助於確保我們能從數據中得到正確的詮釋與知識。
4. 要將線上實驗的價值最大化、充分發揮其威力，說來容易做來難。唯有當公司達到一定的規模經濟時，才負擔得起一支專責的資料科學團隊來進行嚴謹的受控線上實驗。這需要實驗設計、統計分析與適當驗證等多方面的專業。
5. 對許多並非主修統計學的讀者而言，現在正是深入了解線上實驗概念的好時機。即使你所在的公司並不追蹤網路流量，學習如何設計實驗、並從統計分析中獲取洞見，也必定讓你受益良多。