当前位置:首页 > 热点

《泛蠢》:群眾智慧——為何一群泛泛之輩,能做出優於專家的預測?

文:麥可.莫布新(Michael J. Mauboussin)

第三章【思考盲區3】專家限制——演算法比較可靠嗎?

店員比不上演算法

1990年代初期,我和妻子住在紐約市。泛蠢泛晚上無事時,群眾群泛我們會租片回家觀賞。智慧做出專就如同那個時代其他影片出租店一樣,為何店裡會有一兩位店員根據你之前喜歡的優於影片及你當時的心情,非常熱絡地向你推薦,甚至可能不時會推薦一兩片你不常看的泛蠢泛影片。考慮到他們相對不算多的群眾群泛電影庫存,以及對我們的智慧做出專電影口味有限的知識,這些員工算是為何相當有幫助的。

DVD影片租借網站Netflix設立於1997年,優於以客戶滿意度為核心考量,初期便成功依據訂戶的泛蠢泛喜好,介紹匹配的群眾群泛影片,業務因而蓬勃發展。2000年,這家公司推出名為「Cinematch」(影片配對)的服務,由一套演算程式系統,執行觀眾和光碟的配對。Cinematch利用消費者回饋的資訊提供推薦,迅速改善預測消費者口味的準確度,讓用戶持續感到滿意及減少對新片發行資訊的依賴。

Cinematch目前已帶動Netflix一半以上的租金收入。但公司管理階層意識到,Cinematch並非所有問題的答案。因此在2006年,他們發出戰帖:只要能提出更好的電腦程式,在預測消費者偏好的準確度上,比Cinematch高出一成,Netflix願意支付100萬美元獎金。

撰寫這本書時,該筆獎金仍在各方爭奪之中,領先團隊的程式比Cinematch準確9.8%。有兩個值得強調的重點:第一,有些人雖然聰明絕頂,但處理問題的價值和Netflix相較之下卻是小巫見大巫。(Netflix的主管不諱言,一個成功演算法的價值超過100萬美元。)第二,無論是Cinematch或任何最終取代它的程式,其表現都大幅優於紐約市影片出租店的員工。

Netflix的演算法,以及和當地影片出租店員意見的品質之間南轅北轍的對比,說明了本章第一個錯誤的決策制訂:利用專家,而不是數學模型。我承認,這個錯誤對各領域的專家而言是個直接的侮辱,令人難以忍受。但是在社會科學領域,這也是紀錄最為詳盡的研究發現。

1954 年,明尼蘇達大學心理學家米爾(Paul Meehl)出版一本書,評論專家(心理學家和精神病學家)的臨床判斷與線性統計模型的研究。他認真分析,有信心做到公平的比較。在一次又一次的研究後,他發現統計方法不輸(甚至超過)專家的表現。

較近期的例子是,加州大學柏克萊分校心理學家泰洛克(Philip Tetlock)針對專家預測,完成一項歷時15年以上的周詳研究,其中包括來自60個國家300位專家的2800項預測。泰洛克請專家針對有機率性質、結果範圍廣泛的政治和經濟案例的結果進行預測。總結這些研究發現,泰洛克斷然表示:「不可能找到任何人類預測能力明顯優於外推演算法的領域,複雜的統計方法就更不用說了。」

儘管有幾十年充分的證據,各領域依賴專家的傾向依然毫無變化。事實上,大多數人很難吸收廣泛的統計證據,以融入他們的判斷中。當你面對如何挑選影片的決定時,問問自己,比較希望得到Cinematch提供的推薦,還是影片出租店櫃檯後頭的店員。現在,你已知道何者最可能提供你最大的觀賞樂趣。

群眾智慧

在百思買的例子,非專家集體做出優於專家的預測,顯示我們在此要介紹的第二個決策錯誤:依靠專家的智慧,而不是群眾。想了解集體為何通常是明智的(且有時是很不明智的),我們需要深入了解群眾智慧運作的方式。但在進行之前,請思考以下問題:一群不是專家的人,怎能做出優於專家的預測?

社會科學家史考特.佩吉(Scott Page),曾針對群體解決的問題進行研究,並對了解集體決策提供非常實用的方法,稱之為「多樣性預測定理」(diversity predictiontheorem)。該定理陳述如下:集體誤差=平均個人誤差-多樣性預測這個定理使用社會科學和統計研究人員普遍採用的平方誤差做為精確度的評量,因為它確保正誤差和負誤差不會相互抵消。

平均個人誤差掌握了個人猜測的準確性,你可以把它視為一種衡量能力的評量。多樣性預測反映了猜測的分散情形。集體誤差,意即正確答案和平均猜測之間的差距。在佩吉的著作《差異》(The Difference)裡,他深入討論多樣性預測定理,並大量提供該定理運作的例子。

在解釋多樣性預測定理時,我會要求學生猜測罐內軟糖豆的數目,讓他們了解集體誤差、平均個人誤差及多樣性預測。例如有一年,學生平均猜測1,151顆軟糖豆,實際為1,116顆,誤差約為3%。個人的猜測與平均猜測差最多的約700顆。但是,多樣性之高,足以抵消大部分的個人誤差,留下一個小的集體誤差。

多樣性預測定理告訴我們,多樣性群眾的預測絕對比群眾裡一般的個人更為準確,而且總是如此。大多數人並不認為自己是平凡之輩。然而,在現實中,有半數的人必然低於平均水準。因此,我們該認清自己何時會是低於平均的那一半。

同樣重要的是,你可以透過能力或是多樣性的增加,來減少集體誤差。能力和多樣性兩者必不可少。對於衡量市場的健康或建立成功的團隊,其影響力都是息息相關的。


分享到:

京ICP备19007577号-5