احتمال

احتمال چیست

تعریف فراوانی‌گرا: احتمال یک رویداد، فراوانی نسبی آن در تعداد زیادی آزمون عملاً یکسان است.

برای یک رویداد A، چندین خوانش معادل از Pr(A):

• Pr(A) = m/n، تعداد دفعات وقوع A تقسیم بر تعداد آزمایش‌ها
• Pr(A) یک نسبت است.
• Pr(A) میانگین مجموعه‌ای از 1 و 0 است، که در آن 1 نشان‌دهنده وقوع A است.
• Pr(A) حد نسبت m به n است وقتی n بزرگ می‌شود.

آن خوانش آخر تعریف واقعی است؛ بقیه همان‌هایی هستند که شما محاسبه می‌کنید.

احتمالات نظری و تجربی

یک سکه ده بار پرتاب می‌شود.

• ارزش نظری احتمال «سر» برابر با 0.5 است که از تقارن فیزیکی سکه استخراج شده است.
• تخمین تجربی، تعداد سرهای واقعی شما تقسیم بر 10 است.

این‌ها معمولاً متفاوت هستند. بیست بار پرتاب کنید، سپس دویست بار، سپس دو هزار بار، و برآورد تجربی به برآورد نظری همگرا می‌شود. آن همگرایی قانون اعداد بزرگ است و پلی است میان تعریف و هر چیزی که بتوانید اندازه‌گیری کنید.

set.seed(1)
for (n in c(10, 20, 200, 2000, 20000)) {
  cat(n, "tosses: Pr(H) =", mean(sample(c(0,1), n, replace = TRUE)), "\n")
}

پیامد عملی برای پژوهش: هر احتمالی که از روی یک نمونهٔ کوچک برآورد شود، غیرقابل‌اعتماد است و میزان این عدم‌اعتماد قابل‌سنجش است. این همان کاری است که فواصل اطمینان انجام می‌دهند.

نمودارهای ون

نمودار ون فضای نمونه را به‌عنوان یک ناحیه و رویدادها را به‌عنوان نواحی درون آن نشان می‌دهد. ده بار پرتاب سکه که پنج بار نتیجهٔ سرب باشد:

• Pr(H) = 5/10 = 0.5
• احتمال (عدم وقوع H) = 1 − احتمال (وقوع H) = 0.5

قاعدهٔ تکمیلی، Pr(نه A) = 1 − Pr(A)، از جمع مساحت‌ها بر 1 استخراج می‌شود و به‌طور مداوم استفاده می‌شود.

یک مثال اول

در جمعیت ایالات متحده در سال 1993، احتمال اینکه یک بزرگسال 45 تا 64 ساله فاقد پوشش بیمه درمانی باشد 0.123 بود. در آن بازه سنی حدود 62.5 میلیون آمریکایی وجود داشت.

چند نفر تحت پوشش قرار گرفتند؟

$(1 - 0.123) \times 62{,}500{,}000 = 0.877 \times 62{,}500{,}000 = 54{,}812{,}500$

و 0.123 × 62,500,000 = 7,687,500 بیمه درمانی نداشتند.

قاعده افزودنی

برای رویدادهای متضاد، به این معنی که هر دو نمی‌توانند رخ دهند:

$\Pr(A \text{ or } B) = \Pr(A) + \Pr(B)$

برای رویدادهایی که با یکدیگر ناسازگار نیستند، هم‌پوشانی دو بار شمرده می‌شود، بنابراین باید از آن کاسته شود:

$\Pr(A \text{ or } B) = \Pr(A) + \Pr(B) - \Pr(A \text{ and } B)$

مثال کاربردی: واکسیناسیون کودکان در انتاریو

یک مطالعه وضعیت واکسیناسیون و معافیت‌های غیرپزشکی (NME) برای واکسیناسیون اجباری در میان کودکان 7 تا 17 ساله انتاریو در سال 2016/17 را گزارش کرد:

سه پرسش ارزشمند برای بررسی:

کدام یک از این چهار نتیجه با یکدیگر ناسازگارند؟ «واکسینه‌شده» و «واکسینه‌نشده» با یکدیگر ناسازگارند، زیرا یک کودک نمی‌تواند هم‌زمان هر دو باشد. «No NME» و «NME» با یکدیگر ناسازگارند. اما «واکسینه‌شده» و «NME» ناسازگار نیستند: ممکن است کودکی معافیت در پرونده داشته باشد و با این حال واکسینه‌شده باشد.

برای Pr(واکسینه‌شده یا NME) به چه چیز دیگری نیاز داریم؟ احتمال مشترک Pr(واکسینه‌شده و NME)، زیرا این دو رویداد یکدیگر را مستثنی نمی‌کنند. درصدهای حاشیه‌ای به‌تنهایی کافی نیستند. به جدول متقاطع نیاز دارید.

برای Pr(واکسینه‌شده و NME)، چه فرضی باید داشته باشیم؟ اگر قصد دارید آن را به‌صورت 0.971 × 0.024 محاسبه کنید، فرض می‌کنید این دو مستقل از هم هستند. این فرض تقریباً قطعاً نادرست است: کودکانی که والدین‌شان معافیت غیرپزشکی ثبت کرده‌اند، احتمال واکسینه‌شدن‌شان بسیار کمتر است. ضرب کردن در اینجا پاسخ بسیار اشتباهی خواهد داد.

این مثال درس کل بخش را در خود دارد. احتمال‌های حاشیه‌ای داده شده‌اند؛ احتمال مشترک همان چیزی است که نیاز دارید؛ و قاعده ضرب تنها در صورتی آن را فراهم می‌کند که فرضیه‌ای را در نظر داشته باشید که باید بررسی شود نه اینکه صرفاً پذیرفته شود.

قاعده ضرب و استقلال

دو رویداد A و B مستقل هستند وقتی دانستن وقوع A هیچ اطلاعاتی درباره وقوع B نمی‌دهد. آن‌ها ممکن است هم‌زمان رخ دهند؛ استقلال مربوط به اطلاعات است، نه هم‌زمانی.

برای رویدادهای مستقل:

$\Pr(A \text{ and } B) = \Pr(A) \times \Pr(B)$

ترکیب با قاعده افزودنی:

$\Pr(A \text{ or } B) = \Pr(A) + \Pr(B) - \Pr(A)\Pr(B) = \Pr(A) + \Pr(B)[1 - \Pr(A)]$

مثال‌های کارشده

با ادامهٔ Pr(بدون بیمه) = 0.123 در بازهٔ سنی 45 تا 64 سال.

1. یک زن 47 ساله به‌طور تصادفی انتخاب‌شده و یک مرد 59 ساله غیر مرتبط. احتمال اینکه هر دو بیمه درمانی نداشته باشند چقدر است؟

آنها نامرتبط و به‌طور تصادفی انتخاب شده‌اند، بنابراین فرض استقلال معقول است:

$0.123 \times 0.123 = 0.0151$

2. پنج بزرگسال غیرمرتبط انتخاب می‌شوند. احتمال اینکه هر پنج نفر بیمه باشند، چقدر است؟

$(1 - 0.123)^5 = 0.877^5 = 0.5188$

3. احتمال اینکه حداقل یکی از این پنج نفر بیمه نداشته باشد چقدر است؟

«حداقل یک» مکمل «هیچ‌یک» است، که مکمل «هر پنج بیمه‌شده» است:

$1 - 0.877^5 = 1 - 0.5188 = 0.4812$

p <- 0.123
p^2                # 0.0151  both uninsured
(1 - p)^5          # 0.5188  all five insured
1 - (1 - p)^5      # 0.4812  at least one uninsured

حرکت «حداقل یک»، که مکمل «هیچ» را محاسبه می‌کند، ارزش حفظ کردن دارد. محاسبهٔ مستقیم آن مستلزم جمع کردن احتمال‌های دقیقاً یک، دقیقاً دو، دقیقاً سه، دقیقاً چهار و دقیقاً پنج است.

توجه کنید که در هر پرسش، واژه «نامرتبط» کار را انجام می‌دهد. دو نفر از یک خانوار مستقل محسوب نمی‌شوند: آنها درآمد، اشتغال و وضعیت بیمه را با هم شریک هستند.

احتمال مشروط و قاعده بایس

احتمال شرطی Pr(B | A) احتمال وقوع B است به شرط آنکه A درست باشد.

اگر A و B مستقل باشند:

$\Pr(B \mid A) = \Pr(B \mid \text{not } A) = \Pr(B)$

که دقیقاً همان گزاره است که A هیچ اطلاعاتی درباره B ندارد.

اگر آن‌ها مستقل نباشند، آنگاه Pr(A و B) ≠ Pr(A) × Pr(B)، و رابطهٔ کلی به این صورت است:

$\Pr(B \mid A) = \frac{\Pr(A \text{ and } B)}{\Pr(A)}$

ترتیب مجدد عبارت Pr(A و B) را برابر Pr(A | B) Pr(B) می‌سازد، و با جایگزینی، قاعده بیز به دست می‌آید:

$\Pr(B \mid A) = \frac{\Pr(A \mid B)\Pr(B)}{\Pr(A)}$

قاعده بیز ابزاری است برای معکوس کردن یک احتمال شرطی. این قاعده آنچه را می‌دانید، Pr(A | B)، به آنچه می‌خواهید، Pr(B | A)، تبدیل می‌کند. این دو کمیت متفاوت‌اند و اشتباه گرفتن آن‌ها مهم‌ترین خطا در احتمال کاربردی است.

کاربرد: تشخیص و غربالگری

سه احتمال یک آزمون را توصیف می‌کنند.

شیوع احتمال داشتن این بیماری، Pr(D+)، است. این مقدار معمولاً در یک گروه پرخطر برآورد می‌شود و معمولاً با بروز که احتمال وقوع موارد جدید است، متفاوت است.

حساسیت، احتمال مثبت شدن آزمایش در میان موارد واقعی است:

$Sn = \Pr(T+ \mid D+)$

ویژگی، احتمال منفی بودن آزمایش در میان موارد واقعی غیربیمار است:

$Sp = \Pr(T- \mid D-)$

هر دو به وضعیت بیماری وابسته هستند. اما یک پزشک که نتیجه آزمایش مثبت را در اختیار دارد، وضعیت بیماری را نمی‌داند. او به Pr(D+ | T+) نیاز دارد، که شرط معکوس است و قاعده بیز آن را فراهم می‌کند.

$\Pr(D+ \mid T+) = \frac{\Pr(T+ \mid D+)\Pr(D+)}{\Pr(T+)}$

مخرج، احتمال کلی مثبت بودن آزمایش، مجموع نتایج مثبت واقعی و مثبت کاذب است:

$\Pr(T+) = \Pr(T+ \mid D+)\Pr(D+) + \Pr(T+ \mid D-)\Pr(D-)$ $= Sn \times \text{prevalence} + (1 - Sp) \times (1 - \text{prevalence})$

که منجر به:

$PPV = \frac{Sn \times \text{prev}}{Sn \times \text{prev} + (1 - Sp)(1 - \text{prev})}$

$NPV = \frac{Sp \times (1 - \text{prev})}{Sp \times (1 - \text{prev}) + (1 - Sn) \times \text{prev}}$

مثال کاربردی: آزمایش پاپ اسمیر

آزمایش پاپ اسمیر برای غربالگری سرطان دهانه رحم است.

• شیوع: 8.3 در هر 100,000 زن، بنابراین Pr(D+) = 0.000083
• حساسیت: Pr(T+ | D+) = 0.8375
• ویژگی: Pr(T− | D−) = 0.8136

پس از آزمایش مثبت، احتمال اینکه یک زن به سرطان دهانه رحم مبتلا باشد چقدر است؟

$PPV = \frac{0.8375 \times 0.000083}{0.8375 \times 0.000083 + (1 - 0.8136)(1 - 0.000083)}$

$= \frac{0.0000695}{0.0000695 + 0.18638} = 0.00037$

احتمال ابتلا به سرطان 0.037% است. نتیجه آزمایش مثبت است و این زن تقریباً به‌طور قطع سرطان ندارد.

پس از نتیجه منفی آزمایش:

$NPV = \frac{0.8136 \times 0.999917}{0.8136 \times 0.999917 + (1 - 0.8375) \times 0.000083} = 0.99998$

تقریباً با اطمینان صددرصدی از عدم وجود سرطان.

ppv <- function(sn, sp, prev) sn*prev / (sn*prev + (1-sp)*(1-prev))
npv <- function(sn, sp, prev) sp*(1-prev) / (sp*(1-prev) + (1-sn)*prev)

ppv(0.8375, 0.8136, 0.000083)   # 0.000373
npv(0.8375, 0.8136, 0.000083)   # 0.999983

حساسیت 84% و ارزش پیش‌بینی مثبت 0.037%. این دو عدد یک آزمون را توصیف می‌کنند و به پرسش‌های متفاوتی پاسخ می‌دهند.

$Sn = \Pr(T+ \mid D+) \neq \Pr(D+ \mid T+)$

آن نابرابری مهم‌ترین خط در این درس است.

اثر شیوع

همان آزمون را انجام دهید و شیوع را به 0.25 افزایش دهید:

ppv(0.8375, 0.8136, 0.25)   # 0.600
npv(0.8375, 0.8136, 0.25)   # 0.938

PPV از 0.037% به 60% افزایش یافت. NPV از 99.998% به 93.8% کاهش یافت. هیچ چیز در مورد آزمون تغییر نکرد.

الگوی کلی:

• وقتی شیوع کم است، پیش‌بینی از یک آزمایش منفی آسان و از یک آزمایش مثبت دشوار است.
• وقتی شیوع بالا باشد، پیش‌بینی از روی نتیجه مثبت آسان است و از روی نتیجه منفی دشوار.

یک راه دیگر برای دیدن این موضوع: وقتی شیوع پایین است، بیشتر خطاها مثبت کاذب هستند؛ وقتی شیوع بالا است، بیشتر خطاها منفی کاذب هستند. برای هر حساسیت و اختصاصیت ثابت، شیوع PPV و NPV را در جهت‌های مخالف حرکت می‌دهد.

شما می‌توانید این را خودتان پیگیری کنید:

prev <- seq(0.001, 0.999, length.out = 200)
plot(prev, ppv(0.80, 0.80, prev), type = "l", ylim = c(0,1),
     xlab = "Prevalence", ylab = "Predictive value")
lines(prev, npv(0.80, 0.80, prev), lty = 2)
legend("right", c("PPV", "NPV"), lty = c(1,2))

دو منحنی یکدیگر را قطع می‌کنند و نقطهٔ قطع با دقت آزمون تغییر می‌کند.

پیامد طراحی برای برنامه‌های غربالگری: آزمایشی که روی جمعیتی با شیوع پایین اجرا می‌شود، بسیار بیشتر مثبت کاذب تولید می‌کند تا مثبت واقعی، و هر مثبت کاذب وارد سلسله‌ای از آزمایش‌های تأییدکننده، اضطراب و گاهی درمان می‌شود. این یک نقص در آزمایش نیست. این یک مسئله حساب است.

خطای دادستان

پیامدهای اشتباه گرفتن Pr(A | B) با Pr(B | A) محدود به کلینیک‌ها نیست.

نوزاد سالی کلارک در سال 1996 در بریتانیا ظاهراً بر اثر سندرم مرگ ناگهانی نوزاد درگذشت. در سال 1998 نوزاد دوم او نیز درگذشت. هیچ شاهدی وجود نداشت و شواهد پزشکی یا فیزیکی اندک بود. او به جرم قتل هر دو نوزاد محکوم شد، عمدتاً بر اساس شهادت درباره احتمال SIDS. انجمن سلطنتی آمار نامه‌های عمومی منتشر کرد و به سوءاستفاده از نظریه احتمال در این محاکمه اعتراض نمود.

کارشناس دادستانی شهادت داد:

• شیوع SIDS یک مورد در هر 8543 تولد است.
• بنابراین احتمال مرگ دو نوزاد در یک خانواده بر اثر SIDS برابر است با 1 در 8543² = تقریباً 1 در 73 میلیون.
• دو SIDS آن‌قدر بعید است که حتماً قتل است.

حداقل دو چیز اشتباه است.

اولاً، قاعدهٔ ضرب مستلزم استقلال است، و مرگ‌های SIDS در یک خانواده مستقل نیستند. خانواده‌ها ژن‌ها، محیط، چیدمان خواب، قرار گرفتن در معرض سیگار و شرایط اجتماعی تا اقتصادی را با هم شریک هستند. با وجود یک مرگ SIDS، احتمال وقوع مرگ دوم در همان خانواده به‌طور قابل‌توجهی بالاتر از نرخ جمعیت است. رقم یک در هفتاد و سه میلیون با به‌کارگیری قاعده‌ای به‌دست آمده که فرضیه‌اش نقض شده بود.

ثانیاً و از اساس، مقایسهٔ فرضیه‌های رقیب مستلزم مقایسهٔ احتمال‌های آن‌هاست. پرسش مرتبط این نیست که «احتمال وقوع دو مورد SIDS چقدر کم است؟» بلکه این است که «احتمال وقوع دو مورد SIDS چگونه با احتمال وقوع دو مورد قتل نوزاد توسط مادر مقایسه می‌شود؟» قتل دو نوزاد نیز فوق‌العاده نادر است. یک رویداد نادر، مگر اینکه جایگزین آن حتی نادرتر باشد، دلیلی بر صحت یک فرضیه نیست.

قاعده بیز در قالب شانس این موضوع را دقیق می‌کند. با E برای شواهد، M برای قتل و S برای SIDS:

$\frac{\Pr(M \mid E)}{\Pr(S \mid E)} = \frac{\Pr(E \mid M)}{\Pr(E \mid S)} \times \frac{\Pr(M)}{\Pr(S)}$

احتمال posterior برابر است با نسبت احتمال times احتمال prior. دادستانی تنها Pr(E | S)، یکی از چهار کمیت را ارائه کرد و آن را چنان در نظر گرفت که گویی Pr(S | E) است.

این مغالطه دادستان است: تفسیر احتمالِ شواهد به شرط بی‌گناهی، چنان که گویی احتمال بی‌گناهی به شرط شواهد است.

محکومیت سالی کلارک در دومین درخواست تجدیدنظر او در سال 2003 نقض شد. او در سال 2007 درگذشت.

همان ساختار در آزمون‌های تشخیصی، در شواهد جنایی DNA و در تفسیر مقادیر p دیده می‌شود که موضوع واحدی بعدی در این دوره است. مقدار p عبارت است از Pr(داده‌ها دست‌کم به این شدت | فرضیهٔ صفر درست). این مقدار با Pr(فرضیهٔ صفر درست | داده‌ها) متفاوت است. این دو کمیت متفاوت‌اند و قاعدهٔ بیز آن‌ها را به هم مرتبط می‌کند.

درک خود را بررسی کنید

1. در یک کلینیک، 30% بیماران دارای وضعیت A، 20% دارای وضعیت B و 8% دارای هر دو هستند. احتمال Pr(A یا B) را محاسبه کنید و مشخص کنید که آیا A و B مستقل هستند یا خیر، و روند محاسبات خود را نشان دهید.
2. یک آزمون دارای حساسیت 0.99 و ویژگی 0.99 است. این آزمون روی جمعیتی با شیوع 1 در 10,000 اعمال می‌شود. PPV را محاسبه کنید. سپس نتیجه را برای بیمار توضیح دهید که به‌تازگی نتیجه آزمایش او مثبت شده است.
3. سه فرد غیرمرتبط با آزمایشی غربالگری می‌شوند که ویژگی اختصاصی آن 0.95 است. احتمال اینکه حداقل یک نفر نتیجه مثبت داشته باشد، اگر هیچ‌یک از آن‌ها مبتلا به بیماری نباشد، چقدر است؟ توضیح دهید چرا این موضوع برای پنل‌های آزمایشی اهمیت دارد.
4. بدون استفاده از فرمول‌ها توضیح دهید که چرا حساسیت یک ویژگی آزمون است و ارزش پیش‌بینی مثبت چنین نیست.
5. یک روزنامه گزارش می‌دهد که تطابق DNA «یک در میلیون احتمال دارد به‌طور تصادفی رخ دهد» و نتیجه می‌گیرد که متهم به احتمال یک به یک میلیون گناهکار است. نام مغالطه را بگویید و دو مورد اطلاعاتی را که استدلال نادیده گرفته است، بیان کنید.
6. یک پژوهشگر احتمال Pr(واکسینه‌شده و دارای معافیت) را با ضرب دو درصدهای حاشیه‌ای محاسبه می‌کند. فرض را بیان کنید، بگویید آیا برقرار است یا خیر و بگویید برآورد حاصل در چه جهتی دچار خطا می‌شود.

مطالعه بیشتر

• Rosner B. Fundamentals of Biostatistics. 8th ed. Chapter 3: Probability.
• Pagano M, Gauvreau K. Principles of Biostatistics. 2nd ed. Chapter 6.
• Royal Statistical Society. Statement regarding the case of R v Sally Clark. 2001.
• Thompson WC, Schumann EL. Interpretation of statistical evidence in criminal trials: the prosecutor's fallacy and the defense attorney's fallacy. Law Hum Behav. 1987;11(3):167-187.