介紹

你肯定很熟悉以下情況：你下載了一個(gè)比較大的數(shù)據(jù)集，并開始分析并建立你的機(jī)器學(xué)習(xí)模型。當(dāng)加載數(shù)據(jù)集時(shí)，你的計(jì)算機(jī)會(huì)爆出"內(nèi)存不足"錯(cuò)誤。

即使是最優(yōu)秀的人也會(huì)遇到這種事。這是我們?cè)跀?shù)據(jù)科學(xué)中面臨的最大障礙之一，在受計(jì)算限制的計(jì)算機(jī)上處理大量數(shù)據(jù)(并非所有人都擁有Google的資源實(shí)力!)。

那么我們?nèi)绾慰朔@個(gè)問(wèn)題呢?是否有一種方法可以選擇數(shù)據(jù)的子集并進(jìn)行分析，并且該子集可以很好地表示整個(gè)數(shù)據(jù)集?

這種方法稱為抽樣。我相信你在學(xué)校期間，甚至在你的職業(yè)生涯中，都會(huì)遇到這個(gè)名詞很多次。抽樣是合成數(shù)據(jù)子集并進(jìn)行分析的好方法。但是，那我們只是隨機(jī)取一個(gè)子集呢?

我們將在本文中進(jìn)行討論。我們將討論八種不同類型的抽樣技術(shù)，以及每種方法的使用場(chǎng)景。這是一篇適合初學(xué)者的文章，會(huì)介紹一些統(tǒng)計(jì)的知識(shí)

目錄

什么是抽樣?

為什么我們需要抽樣?

抽樣步驟

不同類型的抽樣技術(shù)

概率抽樣的類型

非概率抽樣的類型

什么是抽樣?

讓我們從正式定義什么是抽樣開始。

抽樣是一種方法，它使我們能夠基于子集(樣本)的統(tǒng)計(jì)信息來(lái)獲取總體信息，而無(wú)需調(diào)查所有樣本。

上圖完美地說(shuō)明了什么是抽樣。讓我們通過(guò)一個(gè)例子更直觀的進(jìn)行理解。

我們想要找到Delhi這個(gè)城市所有成年男性的平均身高。Delhi的人口大約為3千萬(wàn)，男性大約為1500萬(wàn)(這些都是假想數(shù)據(jù)，不要當(dāng)成實(shí)際情況了)。你可以想象，要找到Delhi所有男性的身高來(lái)計(jì)算平均身高幾乎是不可能的。

我們不可能接觸到所有男性，因此我們無(wú)法真正分析整個(gè)人口。那么，什么可以我們做的呢?我們可以提取多個(gè)樣本，并計(jì)算所選樣本中個(gè)體的平均身高。

但是，接下來(lái)我們又提出了一個(gè)問(wèn)題，我們?nèi)绾稳?我們應(yīng)該隨機(jī)抽樣嗎?還是我們必須問(wèn)專家?

假設(shè)我們?nèi)セ@球場(chǎng)，以所有職業(yè)籃球運(yùn)動(dòng)員的平均身高作為樣本。這將不是一個(gè)很好的樣本，因?yàn)橐话銇?lái)說(shuō)，籃球運(yùn)動(dòng)員的身高比普通男性高，這將使我們對(duì)普通男性的身高沒(méi)有正確的估計(jì)。

這里有一個(gè)解決方案，我們?cè)陔S機(jī)的情況下隨機(jī)找一些人，這樣我們的樣本就不會(huì)因?yàn)樯砀叩牟煌a(chǎn)生偏差。

為什么我們需要抽樣?

我確定你在這一點(diǎn)上已經(jīng)有了直覺(jué)的答案。

抽樣是為了從樣本中得出關(guān)于群體的結(jié)論，它使我們能夠通過(guò)直接觀察群體的一部分(樣本)來(lái)確定群體的特征。

選擇一個(gè)樣本比選擇一個(gè)總體中的所有個(gè)體所需的時(shí)間更少

樣本選擇是一種經(jīng)濟(jì)有效的方法

對(duì)樣本的分析比對(duì)整個(gè)群體的分析更方便、更實(shí)用

抽樣步驟

將概念形象化是在記憶的好方法。因此，這是一個(gè)以流程圖形式逐步進(jìn)行抽樣的流程圖!

讓我們以一個(gè)有趣的案例研究為例，將這些步驟應(yīng)用于執(zhí)行抽樣。幾個(gè)月前，我們?cè)谟《扰e行了大選。你一定看過(guò)當(dāng)時(shí)每個(gè)新聞?lì)l道的民意調(diào)查:

這些結(jié)果是根據(jù)全國(guó)9億選民的意見(jiàn)得出的還是根據(jù)這些選民的一小部分得出的?讓我們看看是怎么做的。

第一步

抽樣過(guò)程的第一步是明確定義目標(biāo)群體。

因此，為了進(jìn)行民意調(diào)查，投票機(jī)構(gòu)僅考慮18歲以上且有資格在人口中投票的人。

第二步

抽樣框架(Sampling Frame)–這是構(gòu)成樣本總體的個(gè)體列表。

因此，這個(gè)例子的抽樣框架將是是名字出現(xiàn)在一個(gè)選區(qū)的所有投票人列表。

第三步

一般來(lái)說(shuō)，使用概率抽樣方法是因?yàn)槊恳粡堖x票都有相等的價(jià)值。不考慮種姓、社區(qū)或宗教，任何人都可以被包括在樣本中。不同的樣品取自全國(guó)各地不同的地區(qū)。

第四步

樣本量(Sample Size)-是指樣本中所包含的個(gè)體的數(shù)量，這些個(gè)體的數(shù)量需要足量以對(duì)期望的準(zhǔn)確度和精度進(jìn)行推斷。

樣本量越大，我們對(duì)總體的推斷就越準(zhǔn)確。

在民意調(diào)查中，各機(jī)構(gòu)試圖讓盡可能多的不同背景的人參與抽樣調(diào)查，因?yàn)檫@有助于預(yù)測(cè)一個(gè)政黨可能贏得的席位數(shù)量。

第五步

一旦確定了目標(biāo)人群，抽樣框架，抽樣技術(shù)和樣本數(shù)量，下一步就是從樣本中收集數(shù)據(jù)。

在民意測(cè)驗(yàn)中，機(jī)構(gòu)通常會(huì)向人民提出問(wèn)題，例如他們要投票給哪個(gè)政黨或前政黨做了什么工作，等等。

根據(jù)答案，各機(jī)構(gòu)試圖解釋選民投票給誰(shuí)，以及一個(gè)政黨要贏得多少席位。

不同類型的抽樣技術(shù)

這里是另一個(gè)圖解!這一個(gè)是關(guān)于我們可以使用的不同類型的采樣技術(shù):

概率抽樣： 在概率抽樣中，總體中的每個(gè)個(gè)體都有相等的被選中的機(jī)會(huì)。概率抽樣給了我們最好的機(jī)會(huì)去創(chuàng)造一個(gè)真正代表總體的樣本

非概率抽樣：在非概率抽樣中，所有元素被選中的機(jī)會(huì)都不相等。因此，有一個(gè)顯著的風(fēng)險(xiǎn)，即最終得到一個(gè)不具代表性的樣本，它不會(huì)產(chǎn)生可推廣的結(jié)果

例如，假設(shè)我們的人口由20個(gè)人組成。每個(gè)個(gè)體的編號(hào)從1到20，并由特定的顏色(紅色、藍(lán)色、綠色或黃色)表示。在概率抽樣中，每個(gè)人被選中的概率是1/20。

對(duì)于非概率抽樣，這些概率是不相等的。一個(gè)人被選中的機(jī)會(huì)可能比別人大。現(xiàn)在我們對(duì)這兩種抽樣類型有了一定的了解，讓我們分別深入了解每種抽樣類型，并理解每種抽樣的不同類型。

概率抽樣的類型

簡(jiǎn)單隨機(jī)抽樣

這是你一定要遇到的一種抽樣技術(shù)。在這里，每個(gè)人都是完全由隨機(jī)選擇的，人口中的每個(gè)成員都有被選擇的機(jī)會(huì)。

簡(jiǎn)單的隨機(jī)抽樣可減少選擇偏差。

這種技術(shù)的一大優(yōu)點(diǎn)是它是最直接的概率抽樣方法。但它有一個(gè)缺點(diǎn)，它可能不會(huì)選擇特別多我們真正感興趣的個(gè)體元素。蒙特卡羅方法采用重復(fù)隨機(jī)抽樣的方法對(duì)未知參數(shù)進(jìn)行估計(jì)。

系統(tǒng)抽樣

在這種類型的抽樣中，第一個(gè)個(gè)體是隨機(jī)選擇的，其他個(gè)體是使用固定的“抽樣間隔”選擇的。讓我們舉一個(gè)簡(jiǎn)單的例子來(lái)理解這一點(diǎn)。

假設(shè)我們的總體大小是x，我們必須選擇一個(gè)樣本大小為n的樣本，然后，我們要選擇的下一個(gè)個(gè)體將是距離第一個(gè)個(gè)體的x/n個(gè)間隔。我們可以用同樣的方法選擇其余的。

假設(shè)，我們從第3個(gè)人開始，樣本容量是5。因此，我們要選擇的下一個(gè)個(gè)體將是(20/5)= 4，從第3個(gè)人開始，即7(3+4)，依此類推。

3、3+4=7、7+4=11、11+4=15、15+4=19 . 3、7、11、15、19

系統(tǒng)抽樣比簡(jiǎn)單隨機(jī)抽樣更方便。然而，如果我們?cè)谌巳褐羞x擇項(xiàng)目時(shí)存在一種潛在的模式，這也可能導(dǎo)致偏差(盡管這種情況發(fā)生的幾率非常低)。

分層抽樣

在這種類型的抽樣中，我們根據(jù)不同的特征，如性別、類別等，把人口分成子組(稱為層)。然后我們從這些子組中選擇樣本:

在這里，我們首先根據(jù)紅、黃、綠、藍(lán)等不同的顏色將我們的種群分成不同的子組。然后，從每一種顏色中，我們根據(jù)它們?cè)谌丝谥械谋壤x擇一個(gè)個(gè)體。

當(dāng)我們想要從總體的所有子組中得到表示時(shí)，我們使用這種類型的抽樣。然而，分層抽樣需要適當(dāng)?shù)娜丝谔卣鞯闹R(shí)。

整群抽樣

在整群抽樣中，我們使用總體的子組作為抽樣單位，而不是個(gè)體。全體樣本被分為子組，稱為群，并隨機(jī)選擇一個(gè)完整的群作為抽樣樣本。

在上面的例子中，我們將人口分為5個(gè)群。每個(gè)群由4個(gè)個(gè)體組成，我們?cè)跇颖局羞x取了第4個(gè)群。我們可以根據(jù)樣本大小包含更多的群。

當(dāng)我們集中在一個(gè)特定領(lǐng)域或區(qū)域時(shí)，就會(huì)使用這種類型的抽樣。

非概率抽樣的類型

便利抽樣

這可能是最簡(jiǎn)單的抽樣方法，因?yàn)閭€(gè)人的選擇是基于他們的可用性和參與意愿。

這里，假設(shè)編號(hào)為4、7、12、15和20的個(gè)體想要成為樣本的一部分，因此，我們將把它們包含在樣本中。

便利抽樣容易產(chǎn)生顯著的偏見(jiàn)，因?yàn)槌闃涌赡懿荒艽碇T如宗教或人口的性別等具體特征。

配額抽樣

在這種抽樣中，我們根據(jù)預(yù)先確定的總體特征來(lái)選擇樣本。考慮到我們必須為我們的樣本我們選擇一個(gè)倍數(shù)為4的個(gè)體:

因此，編號(hào)為4、8、12、16和20的個(gè)人已經(jīng)為我們的樣本保留。

在配額抽樣中，選擇的樣本可能不是未考慮的人口特征的最佳代表。

判斷抽樣

這也稱為選擇性抽樣。在選擇要求參加者時(shí)，取決于專家判斷。

假設(shè)，我們的專家認(rèn)為，應(yīng)該將編號(hào)為1、7、10、15和19的人作為我們的樣本，因?yàn)樗鼈兛梢詭椭覀兏玫赝茢嗳丝?。你可以想象，配額抽樣同樣也容易受到專家的偏見(jiàn)，不一定具有代表性。

雪球抽樣

我很喜歡這種抽樣方法?，F(xiàn)有的人被要求推薦更多他們認(rèn)識(shí)的人，這樣樣本的大小就會(huì)像滾雪球一樣增加。當(dāng)抽樣框架難以識(shí)別時(shí)，這種采樣方法是有效的。

在這里，我們隨機(jī)選擇了1個(gè)人作為樣本，然后他推薦了6個(gè)人，6個(gè)人推薦了11個(gè)人，依此類推。

1-> 6-> 11-> 14-> 19

雪球抽樣有很大的選擇偏見(jiàn)風(fēng)險(xiǎn)，因?yàn)楸灰玫膫€(gè)體將與推薦他們的個(gè)體具有共同的特征。

結(jié)尾

在本文中，我們了解了抽樣的概念，抽樣所涉及的步驟以及不同類型的抽樣方法。抽樣在統(tǒng)計(jì)世界和現(xiàn)實(shí)世界中都有廣泛的應(yīng)用。