機率文盲

當我寫下這篇文章，美國總統大選即將結束 [1]，出現了一場關於 Nate Silver 預測的辯論。許多共和黨員聲稱他是一個民主黨的傀儡，他預測歐巴馬有 85% 的勝算根本是胡說八道 [2]。我有點希望認識更多不懂數字的共和黨員，這樣我就可以跟他們打賭了。也許更好的願望是民意調查結果相反，因為我比較多民主黨傾向的朋友。實際上，無論哪一種情況，我都賺不了太多，因為我認識的大多數人都懂數字。遺憾的是，一般情況並非如此 - 這場鬧劇說明了大多數人對機率的文盲有多深，這對整個社會，特別是軟體開發，都有一些重要的影響。

當我閱讀相關資料時，很容易找到機率文盲的證據

• 許多人聲稱 Silver 預測歐巴馬會獲勝。這並不正確，Silver 說他的模型預測歐巴馬有 85% 的勝算，這完全是兩回事。（這大約等於說如果羅姆尼擲骰子擲出 6，他就會獲勝，這其實並不太不可能。 [3])
• 有人說你不應該聽信 Silver，因為民意調查經常出錯，但 Silver 表示他的模型確實試圖將這一點考慮進去。Silver 說民意調查自信地表示歐巴馬會獲勝，但他的模型給了羅姆尼 15% 的勝算，因為 民意調查有 15% 的機率出錯。
• 人們聲稱，在星期二舉行選舉時，白銀將被證明是正確或錯誤的。但一個事件無法說明太多關於基本分佈的事。你必須舉行許多十次選舉才能真正測試這個模型。[4]

這場辯論引起了我的興趣，因為它觸及了我認為人們在理解機率和如何正確使用機率時所遇到的許多基本問題。首先是確定性的問題 - 人們希望聽到二元答案，而不是機率答案。當然，我們在專案規劃中看到這一點，人們希望看到明確的數字，而不是各種結果的範圍和機率估計。85% 和 100% 之間的差異可能會導致一些嚴重的錯誤。我對確定性產生了強烈的懷疑，以至於某人看起來越確定，我就越不傾向於相信他們。[5]

這場爭議的一個方面是你應該如何使用民意調查資訊來進行預測。如果我今天前往 RealClearPolitics，我認為選舉是「勢均力敵」，因為在他們的分析中，11 個關鍵州被標記為「勢均力敵」。白銀說這個結論是嚴重錯誤的。RCP 目前的民意調查平均值顯示，歐巴馬在俄亥俄州的平均民意調查領先 3.9%。白銀認為，當你對這些多項民意調查取平均值時，由於統計抽樣造成的誤差幅度 約為 1.5% - 所以如果民意調查準確，歐巴馬將在俄亥俄州獲勝（而且你絕對不能稱俄亥俄州為勢均力敵，這意味著有 50% 的機率）。

人們暗示這場競爭比白銀預測的機率更小，原因有很多。有些是合理的，例如對於白銀用於預測的模型存在分歧。有些則不那麼合理：人們害怕被視為錯誤，他們沉迷於黨派啦啦隊 [6]，或者他們希望讓比賽看起來更令人興奮以吸引眼球。

一種說法是，這種不適當使用「勢均力敵」是機率文盲的後果。由於人們不了解 85% 的意思，所以我們稱之為勢均力敵。由於有大量的經驗證據證明這種混淆，我對這個論點表示同情。

但這裡的真正問題是根本的機率文盲。我們越來越面臨一個理解機率至關重要的世界。理解機率如何運作是理解統計資料的重要基礎 - 而統計資料是理解如何理解現在可供我們使用的大量資料的關鍵工具。這可以產生全球意義（許多關於氣候變遷的辯論都是基於統計資料），但在更多的地方環境中也很重要。

我認為我們正在見證資料在我們生活中扮演的角色發生重大轉變。對軟體開發人員來說，這表示我們的工作將更多地與理解這股資料洪流有關。其中一個重要部分是協助人們看出訊號與雜訊的差異，這需要對機率和統計學有更深入的了解，才能將兩者區分開來。作為軟體專業人員，我們需要在這方面帶頭，才能履行避免扭曲資訊的職責，我們也需要教育我們的資料消費者，讓他們能更好地詮釋資料。[7]

進一步閱讀

• 好吧，其實不是閱讀，但我最喜歡的機率文盲入門之一是隨機性，這是 Radiolab 的一集精彩節目。
• 這也給我另一個機會推薦快思慢想
• 我從538 部落格最欣賞的一點，是他如何討論他的預測是如何進行的，包括各種不確定性。西爾弗寫了一本關於預測模型的書，我還沒機會讀，但它在我的清單中。
• 儘管最近 538 獲得很多關注，但有幾種類似的做法是普林斯頓選舉聯盟（由山姆·王領導）、德薩特和霍布魯克、戈特和科利，以及德魯·林澤（Votamatic）。山姆·王對這些模型進行了出色的比較。[8]