古詩詞大全網 - 漢語詞典 - 科學網—我所理解的統計思維 - 王偉的博文

科學網—我所理解的統計思維 - 王偉的博文

美國著名的小說家Mark Twain(馬克吐溫)在1907年的自傳裏,引用了曾任英國首相的Benjamin Disraeli的壹段話:

There are three kinds of lies: lies, damned lies, and statistics.

由於Mark Twain的高知名度,這句話因他說了之後,便廣為流傳了。

大家都學過多年數學,對於為什麽要學數學,原因之壹當然是生活上,及專業上,會用到壹些數學,也就是數學可視為壹種工具。而壹個數學精通的人,則往往具有邏輯性強,計算精準等特征。那麽統計學呢?

統計學現在壹方面越來越重要,人們在做決策時,非有統計不可,把統計當護身符。同時也有像Mark Twain這樣的對統計嗤之以鼻。即使在學術界,不少人也都認為統計不過就是數學的壹部分而已;但更多的統計學家則認為並壹再強調,統計與數學是完全不壹樣的。

我們可能比較容易感受到什麽是具有經濟頭腦,什麽是具有文學細胞,以及什麽是具有音樂素養。那什麽是具有統計頭腦?統計細胞?以及統計素養呢?就不易講得明白了。這篇文章就試圖通過闡釋統計思維的方式,來談談上述幾個問題。

1、正確理解統計思維的重要性

讓我們先來看壹個例子。1985年11月,壹位美國學者Gary Taylor在英國牛津大學的壹圖書館找到了壹首詩(姑且稱為“Taylor詩”好了),引發了壹場英美研究莎士比亞文學作品的學者們的口水大戰,爭論的焦點就是此詩是否為莎士比亞所作。

不少專家認為這首“Taylor詩”,不論是用字遣詞,還是韻味風格,都迥異於莎士比亞其他作品。論戰兩個月後,1986年1月24日出版的Science 雜誌刊登了壹篇“莎士比亞的新詩:向統計學致敬”(Shakespeare's new poem: an ode to statistics)的文章,介紹兩位統計學者Efron與Thisted如何以統計方法鑒定這首“Taylor詩”是否為莎士比亞所作的過程。

Efron與Thisted的方法是這樣的:每個人都有其各自的用字習慣,特別是對於生僻字,每個作者使用的習慣差異可能更大。在莎士比亞已知的總作品中,***有884,647個字,其中有31,534個相異字。這些相異字中,有14,376個字從頭到尾只出現過1次,有4,343個字只出現2次。出現幾次的字都被計算出來。那些在總作品中, 出現頻率較低的,就是莎士比亞的生僻字。依據這些數據,假設這首***429個字的“Taylor詩”為莎士比亞所寫,他們估計會有幾個字,在總作品中從未出現(也就是新字),只出現1次,2次, ……,壹直到曾出現99次,都給出估計值。實際情況與估計非常吻合。

這樣做還不夠,會不會當時代的詩人用字習慣都差不多?於是,兩人又找了三位大致與莎士比亞同時代的詩人,各取其壹首詩,及另取四首莎士比亞的詩,與這首泰勒詩做比較。經過3種統計檢定發現對前三首,若假設為莎士比亞的作品,罕用字出現次數之實際值與估計值皆不吻合。而所挑選的四首莎士比亞的詩,雖偶有不合,但總的來說是可接受的。Efron及Thisted說,他們的分析並無法完全證明“Taylor詩”為莎士比亞所寫,但在罕用字之使用情況,如此與莎士比亞的總作品吻合,確實令人驚訝。

壹場文學上的爭論,經統計學家發聲後迅速平息,難怪要向統計學致敬了。運用統計方法來做決策,反映的是壹種客觀及合理的思維。與其主觀的爭論風格相同否,還不如以客觀的統計方法來判定。但如何才算已經夠客觀?除了只檢驗“Taylor詩”外,Efron和Thisted還拿了幾位與莎士比亞同時代的詩人來比較,這樣做就更保險了。免得萬壹莎士比亞那個時期的詩人,有如時尚般,生僻字之使用習慣類似,則此檢定就沒有什麽參考價值了。

統計正如我們的思維,客觀至上,否則便是自欺欺人。反之我們的思維若是統計式的,便是極客觀的。

英國劍橋大學教授蘇斯倫德(William J. Sutherland)等2013年在《自然》雜誌上發表了壹篇名為“解讀科學觀點時應該知道的20個事實”的文章,閱後發現其中提到的科學事實都與統計思維有關。

現代科學研究中統計學是最重要的工具之壹,英國著名生物學家高爾頓曾說過:“統計學具有處理復雜問題的非凡能力,當科學的探索者在前進的過程中荊棘載途時,唯有統計學可以幫助他們打開壹條通道。”運用科學研究結論輔助現實決策時,須具備良好的統計思維,才能對科學結論保持清晰認識,更準確地解讀結論背後的科學真相。

大數據時代從信息不足轉變為信息泛濫,信息匱乏的危機讓位給信息甄別的困難,如此背景下科學方法成為每個人的必修課。在日益依賴數據的今天,樹立正確的統計思維,才能有效地開展數據處理與分析。當今世界正步入信息爆炸的大數據時代,統計越顯重要,驗證了英國科幻小說作家H·G·威爾斯的預言:“統計思維總有壹天會像讀寫壹樣,成為壹個有效率公民的必備能力。”

統計學被廣泛應用於各門學科之中,從自然科學到人文社會科學,甚至是工商業及政府的情報決策。作為認識自然、社會的工具和手段,統計研究客觀現象的數量關系,幫助政策制定者理解科研證據對決策的作用。正如現代統計學的奠基人費歇爾所講:“給20世紀帶來了人類進步的獨特方面是統計學,統計學的普遍存在以及在開拓新知識領域方面的應用已遠遠超過20世紀內的任何技術或科學發明。”

馬寅初曾說:“學者不能離開統計而究學,實業家不能離開統計而執業,政治家不能離開統計而施政。”統計思維是在獲取數據、從數據中提取信息、論證結論可靠性等過程中表現出來的壹種思維模式,對於人類提高認知起到巨大的作用。無論是解開自然奧秘的科學調查,或是考查早期匿名文學作品的作者、給出考古文物的時間年表,或是解決法庭爭端以及做出最佳決策等,統計思維都起到不可替代的重要作用。

統計學是壹種由經驗到理性的認識,是壹種運用偶然發現規律的科學。它不只是壹種方法或技術,還含有世界觀的成分——看待世界上萬千事物的壹種方法,人們常講某事從統計角度看如何,指的就是這個意思。統計思維的養成不但需要學習壹些具體的指示,還要能夠從發展的眼光,把這些指示連綴成壹個有機的、清晰的圖景,獲得壹種歷史的厚重感。正如德國的斯勒茲曾講道“統計是動態的歷史,歷史是靜態的統計。”

從統計學的角度看,人們從經驗或實驗中所獲取的知識是含有不確定性的,統計關註的是這種知識當中所含不確定性的度量問題,壹旦能得到不確定性的量度,人們的知識就得到擴充,對世界的認知就朝前跨越,這個過程在人類知識積累的進程中不斷重復。難怪有人總結道:

在終極的分析中,壹切知識都是歷史: 我們現在擁有的知識都是對過去發現的事物的歸納總結以及衍生;

在抽象的意義下,壹切科學都是數學: 所有的知識都可以歸納為對數學的推理和運算;

在理性的基礎上,所有的判斷都源於統計學: 所有的判斷都是對過去的規律總結,也就是說,根據過往的數據簡歷概率模型,判斷未來的趨勢。

2、什麽是統計思維及其常見方式

首先我們來看看,統計學究竟在做些什麽?

從隨機性中尋找規律性 ,是統計的基本思想,也是統計的魅力所在。

簡單來說,統計學裏所表達的兩個核心理念就是:

我們在中學裏面所學到的知識探討的多半是必然性的問題。當它說1就是1,不會有任何誤差。而壹個命題壹旦被證明是對的,問題就會壹直對下去,不會有例外,除非妳能找出證明的漏洞。而在統計學裏面,則是處處存在隨機性問題。它允許有誤差,沒有誤差反令人懷疑其中有假。統計也會對壹個問題拍胸脯保證,但它的保證都是基於概率形式的。而且所能保證的概率,不但不是百分之百,而且還附有誤差。統計裏則處處是“說不準”。例如,宣稱某飲料的容量有百分之九十五的概率介於425毫升至431毫升之間,就是壹典型的統計上的保證。統計代表了壹種我們看待這個世界的方式。

在隨機的世界中,真相往往難以大白,壹切都是假設,就看妳願意接受哪壹個。而接受的含義,就如同在婚禮上,當新娘點頭說“我願意”,並不表示這位新郎就真正是最適合她的。只不過是“目前她願意接受”。同樣地,在統計裏接受不表示為真,拒絕也不表示為偽。統計學家的判定,都會給出誤差,是壹種允許誤差下的統計推斷。

概率和誤差,構成了統計思維的兩大支柱。並發展出統計學裏幾乎所著的關鍵要點。

統計學裏的方法,和人們的思維方式有壹定的對應關系。下面我們就來列舉下統計學中常見的思維方式。

(1)要有善於利用數據的思維

“ Data! Data!Data! ” he cried impatiently. “ I can’t make bricks without clay. ” 這是著名小說中福爾摩斯(Sherlock Holmes)說過的壹句話。

沒有規矩不成方圓,沒有黏土不成磚墻,沒有數據則無法決策。

福爾摩斯可以依命案現場的壹些蛛絲馬跡,推測兇嫌可能慣用左手,或可能經過壹片果園。算命看相者,所仰賴的也是資料。收集很多不同的面相及八字等的命運,當“閱人多矣”後,自然容易依據人的面相等,分析其前程。那些善於看透人性者,不也是閱人多矣嗎?做決策要有數據,每壹項數據,都可能是有用的信息。統計學家的本事要能發揮,就得善用信息。因此對於統計學家,數據有如老鼠所愛之大米。

(2)要有善於捕捉不確定性的思維

宇宙的運轉,有必然性與隨機性交錯著進行。例如,我們知道哈雷慧星每76年接近地球壹次(這是必然性)。雖然我們能知道76年後的事,但明天會不會下雨?就不是那麽確定了(隨機性)。又如,將手上的硬幣松開,在中學物理課程裏學過,如果忽略空氣阻力,則在高度固定下,硬幣落地所需時間,是個定值。但落地後那壹面朝上?就無法預知了。這就是不確定性。

人們對未來,知道大致會發生哪些事,以及何發生,但又不能完全掌握。在隨機世界裏,必然性使人們願意事先好好準備,而不確定性則使人們對未來,充滿著盼望或者恐懼。光有必然性的世界,亳無變化,則對未來缺乏盼望,會讓人們喪失努力的動力。而光有隨機性的世界,只靠運氣,將讓人失去積極認真向上的決心。三分天註定,五分靠打拼,兩分靠運氣。這是造物者偉大的設計。

由於不確定性的存在,我們所能做的,就是要了解它,很多時候還要設法減少這些不確定性。因此,我們的先輩針對隨機的世界,總結了壹些所謂的法則來應對這樣的不確定性。例如,大數法則(law of large numbers),另壹個重要的隨機法則就是中心極限定理(central limit theorem)。

在統計裏做預測和估計,本質上是在做以偏概全的事。雖偏卻能概全,這是統計學家的本領。

(3)要有相信概率的思維

數學家拉普拉斯(Pierre-Simon Laplace)曾說過“大部分生活中最重要的疑問, 都只是概率的問題”。在隨機世界裏, 概率壹詞大家瑯瑯上口, 但真正理解概率含義的人卻不多。

概率的意義究竟是什麽呢?在諸如投擲骰子, 或抽簽時, 我們通常以“相同的可能性”來解釋概率。即骰子的6個面, 每個面出現機率皆認為是6分之1。該解釋在日常生活中還是比較適用的。當沒有其他信息時,常假設每壹可能的結果發生之機率都壹樣。

第二種方式,是以相對頻率來解釋概率。例如,如果壹位職業籃球選手,過去的投籃命中率是0.527,表示該選手在接下來投籃的時候,命中率大抵就是0.527。這種常見的對概率的解釋也算比較客觀的。其背後之理論基礎就是大數法則。針對的現象, 則是可以重復觀測的。

最後壹種方式是主觀概率。例如,世界杯足球賽巴西隊最後奪冠的概率,追上某壹女孩的概率等等就是主觀概率,這些事件無法重復觀測,是壹次性的。

上述三種對概率的解釋有時會交錯使用,或彼此相驗證。

還有小概率事件。原先妳以為不可能的事情,只要觀測次數夠多, 就壹定會發生。有人稱此為law of truly large numbers。當小機率遇上大樣本,其發生就不會太令人驚訝了。在隨機的世界裏,要相信概率,而不是要挑戰概率。

(4)要有合理估計的思維

從前有壹個賣油條的小孩,他壹向把賣得的錢都放在盛油條的籃子裏。某日由於尿急,於是把籃子放在壹塊大石頭上,然後去廁所了。過壹會兒回來,晴天霹靂,籃子裏的錢全都不見了。他哭著跑去告訴縣官。縣官聽了後, 叫人把石頭擡來審問。雖壹再恫嚇, 石頭壹句話也不說。縣官氣了,叫人拿棍子來打石頭。只是即使打到棍子斷了,石頭仍不說話。壹旁看熱鬧的人都笑了起來。縣官更生氣,罰圍觀者每人拿兩個銅錢,扔進壹個盛滿水的盆子裏。突然,縣官指著壹個人說“偷錢的人就是妳。”那人大呼冤枉,眾人也不解。縣官解釋說:“那小孩是賣油條的,他的錢上都沾著油。別人的錢扔進水裏都沒有油浮上來,只有這個人扔錢進水後,有油浮上來, 可見錢是這人偷的。”那人俯首認罪,眾人皆心服。

這種縣官判案式的智慧,與教室玻璃破了,老師先從平常最調皮的學生問起的原理類似:當從幾個可能性裏做挑選時,優先挑最可能的情況。會不會出現錯誤?當然也是會的。憑口袋裏的錢有油,就認定他偷了賣油條小孩的錢?如果有人收到賣油條者找的錢,不也就沾著油嗎?

但是,這種人們在做選擇時常采用的方法卻又是有效的。從統計思維的角度看,就是著名的最大概似法(method of maximum likelihood),該方法就是依據發生概率最大者來確定估計值的。這個方法有很多好的性質,而且常常能得到不錯的估計量。

美國NBA 職業籃球賽,各球隊互有勝負,很難說那壹球隊才是最強。在常規比賽裏,每支球隊要賽82場,各區勝率最高的8隊可打季後賽。所謂勝率,就是贏的場次除以比賽場次。為了維持比賽之可看性,NBA有壹套選秀機制,使各隊實力不會很懸殊。有時全季排名第壹者,勝率還不到6成。以壹個球季多場比賽後的勝率,決定誰是今年較強者,得以參加季後賽,是職業球賽經常采的作法。再例如,估計某項手術的成功概率,估計生三胞胎的的概率等,也是常采用這種以相對頻率來估計的想法。

隨著統計學的發展,種估計方法百各家爭鳴。這些有道理的估計方法,往往有各自的優點,並且適用於某些場合,不會有哪種方法永遠是最佳的。例如,有時我們覺得給個範圍能更清楚的描述,這就是著名的置信區間(Confidence interval)估計方法。

(5)要有疑罪從無的假設檢驗思維

人們常求公平或公正。以簡單的兩人分蛋糕為例,,若雙方皆不願拿得比較小,那有什麽好方法來分?妳切我選應該是壹個令兩人都不覺得吃虧的辦法。最好是連由誰切,都以抽簽的方式。以免選方感覺他所得大於壹半,而切方感覺他所得只有壹半。

而疑罪從無推定原則便類似妳切我選,屬於能令檢察官與被告,皆感到較公正的壹種判決法。

1933年,波蘭人Neyman及英國人Pearson給出著名的Neyman-Pearson引理,奠定了統計學裏的無罪推定原則,這就是假設檢驗(Hypothesis testing)。

英文中的假設hypothesis,是由古希臘文hypotithenai 演變而來, 科學上的假說(或稱假設學說)也是這個字。在數學裏, 我們常在證明壹命題是真或偽。但在隨機世界中,很多現象都只能視為假設,就看更願意接受哪壹個。接受不表示就完全相信該假設為真,拒絕也不表該假設為偽。統計裏的假設,經檢定後,不論接受那壹個假設,都無法讓該假設成為定律,假設永遠是假設。

3、結束語

陳希孺先生在其《數理統計學簡史》的序中說道:“統計學不止是壹種方法或技術,還含有世界觀的成分——它是看待世界上萬事萬物的壹種方法。我們常講某事從統計觀點看如何如何,指的就是這個意思。但統計思想也有壹個發展過程。因此統計思想(或觀點)的養成,不單需要學習壹些具體的知識,還有能夠從發展的眼光,把這些知識連綴成壹個有機的、清晰的途徑,獲得壹種歷史的厚重感。”

建立起統計思維不是壹朝壹夕之功,要說有什麽訣竅,那就是學習、實踐,再學習、再實踐,持續學習、持續實踐。

參考文獻: