واحد 2·45 دقیقه

فرض‌ها و برآورد کمترین مربعات

رگرسیون از کجا آمده است، مدل در واقع چه فرضیاتی را مطرح می‌کند، روش کمترین مربعات چگونه خط را انتخاب می‌کند و چه ویژگی‌هایی برآوردها را قابل اعتماد می‌سازند. شامل رگرسیون به میانگین، پدیده‌ای که نام این روش را از آن گرفته است.

پس از این درس شما قادر خواهید بود

منشأ اصطلاح «رگرسیون» را توضیح دهید و بگویید رگرسیون به میانگین چیست.
فرض‌های رگرسیون خطی ساده را دقیقاً بیان کنید و بگویید هر یک مربوط به کدام بخش مدل است.
بخش‌های ثابت و تصادفی مدل را از هم متمایز کنید.
برآوردهای کمترین مربعات را استخراج کرده و ویژگی‌های آن‌ها را بیان کنید.
توضیح دهید که برآوردگر بی‌طرف و کم‌واریانس به چه معناست.
یک مقدار میانگین و یک مقدار فردی را پیش‌بینی کنید و توضیح دهید چرا بازه‌های آن‌ها با هم متفاوت هستند.

فرض‌ها و برآورد کمترین مربعات

نام از کجا آمده است

فرانسیس گالتون جغرافی‌دان، پسرعموی داروین و نویسنده‌ای پرفروش بود. در سال 1875 او آزمایشی را انجام داد که نام رگرسیون را به آن داد.

نخود شیرین می‌تواند خودباروری کند، بنابراین یک بذر «دختر» تنها یک والد دارد. گالتون بسته‌های بذر را بین هفت دوست تقسیم کرد. هر پاکت حاوی دانه‌هایی با اندازهٔ یکسان بود، اما اندازه‌ها در میان پاکت‌ها به‌طور قابل‌توجهی متفاوت بودند: هفت اندازه، ده دانه برای هر اندازه، هفت دوست، در مجموع 700 دانه. دوستان گیاهان را پرورش دادند، دانه‌های نسل جدید را برداشت کردند و آن‌ها را بازگرداندند.

گالتون قطر دانه‌های فرعی را در مقابل قطر دانه‌های مادری ترسیم کرد و به‌صورت دستی یک خط برازش داد. آنچه او یافت:

گیاهان مادری با اندازهٔ بذر مشخص تمایل داشتند بذرهای دخترانهٔ مشابه تولید کنند، بنابراین رابطهٔ مثبتی وجود داشت.
بذرهای مادری بسیار بزرگ به گیاهانی تبدیل شدند که بذرهای دخترشان بزرگ بودند، اما نه به آن حد.
بذرهای مادری فوق‌العاده کوچک، بذرهای دختری تولید کردند که کوچک بودند اما نه به آن حد.

شیب خطی که میانگین اندازه دختر را در هر اندازه مادر به هم وصل می‌کرد مثبت اما کمتر از 1 بود.

گالتون این کاهش را «بازگشت به میانگی» در داده‌های انتهایی نامید که بعدها «بازگشت به میانگین» خوانده شد. دوست او، کارل پیرسون، داده‌های بیشتری جمع‌آوری کرد، بینش گالتون را رسمی‌سازی نمود و برآورد کمترین مربعات را توسعه داد. این روش به نام پدیده‌ای نامگذاری شده است که برای نخستین بار برای توصیف آن به کار رفت.

بازگشت به میانگین همه‌جا وجود دارد.

این پدیده مربوط به وراثت نیست. این پدیده هرگاه دو اندازه‌گیری به‌طور ناقص همبسته باشند رخ می‌دهد: مقادیر بسیار زیاد در اندازه‌گیری اول در اندازه‌گیری دوم کمتر شدید هستند، زیرا بخشی از آن شدت ناشی از نویز بود و نویز تکرار نمی‌شود.

پیامدها در پژوهش‌های سلامت بزرگ هستند و همواره نادیده گرفته می‌شوند:

بیمارانی که به‌خاطر فشار خون بالا برای یک کارآزمایی انتخاب می‌شوند، حتی بدون درمان در اندازه‌گیری بعدی فشار خون پایین‌تری خواهند داشت. بنابراین یک مطالعهٔ یک‌شاخه‌ای قبل و بعد از مصرف یک داروی ضدفشار خون همیشه مؤثر به نظر می‌رسد.
بیمارستان‌هایی که در یک سال نتایج بدتری دارند، در سال بعد بهبود خواهند یافت، صرف‌نظر از اینکه چه اقدامی درباره‌شان انجام شود، و این بهبود به آن مداخله نسبت داده خواهد شد.
یک پزشک بالینی که بیمارترین بیماران را درمان می‌کند، بهبودی را مشاهده کرده و نتیجه می‌گیرد که درمان مؤثر است.

گروه کنترل تصادفی هم‌زمان همان چیزی است که در برابر این مشکل محافظت می‌کند، زیرا بازگشت به میانگین به‌طور یکسان بر هر دو گروه اثر می‌گذارد. این استدلالی متمایز برای استفاده از گروه کنترل است که با استدلال‌های ارائه‌شده در دوره کارآزمایی‌ها متفاوت است و یکی از قانع‌کننده‌ترین آن‌هاست.

مدل

$Y = \beta_0 + \beta_1 X + E$

که در آن $E$ خطا است، یک متغیر تصادفی. نوشتن آن با کروشه‌ها روشنگر است:

$Y = (\beta_0 + \beta_1 X) + E$

$X$ ثابت شده است: به‌عنوان شناخته‌شده در نظر گرفته می‌شود، بدون خطا.
$E$ تصادفی است.
بنابراین $Y$ دارای یک بخش ثابت و یک بخش تصادفی است و خود یک متغیر تصادفی است.

چیدمان مجدد:

$E = Y - (\beta_0 + \beta_1 X)$

خطا همان چیزی است که پس از حذف بخش نظام‌مند باقی می‌ماند.

فرض‌ها

فرض‌ها بیانیاتی درباره $E$ هستند و بنابراین درباره توزیع مشروط $Y$ با توجه به $X$ :

$E \sim N(0, \sigma^2) \qquad \Longleftrightarrow \qquad Y \sim N(\beta_0 + \beta_1 X,\; \sigma^2)$

تفکیک‌شده به چهار ادعای جداگانه:

فرض	بیانیه	معنای آن
خطی بودن	$E(Y \mid X) = \beta_0 + \beta_1 X$	میانگین Y تابعی خطی از X است.
عادی بودن	$E \sim N(\cdot)$	خطاها توزیع نرمال دارند.
میانگین صفر	$E(E) = 0$	خطاها جبران می‌شوند؛ خط به‌درستی قرار گرفته است.
واریانس ثابت	$\text{Var}(E) = \sigma^2$ برای همه X	پراکندگی اطراف خط در همه‌جا یکسان است.
استقلال	$E_i$ مستقل از $E_j$	مشاهدات اطلاعاتی دربارهٔ یکدیگر ندارند.

سه نکته‌ای که ارزش دارد دقیق درباره‌شان صحبت شود:

فرض نرمال بودن مربوط به خطاهاست، نه Y یا X. برای Y به‌طور کلی فرض نرمال بودن وجود ندارد؛ بلکه شرطی بر X فرض نرمال بودن برای آن در نظر گرفته شده است. یک Y بسیار نامتقارن می‌تواند کاملاً با مدل سازگار باشد اگر این نامتقارنیت ناشی از توزیع X باشد. و برای X اصلاً فرض توزیع خاصی وجود ندارد.

استقلال ویژگی‌ای از طراحی است، نه چیزی که در نمودار بقایای داده‌ها قابل مشاهده باشد. اندازه‌گیری‌های مکرر روی یک فرد، خواهر و برادرها، بیماران در یک کلینیک و مشاهدات در طول زمان همگی این ویژگی را نقض می‌کنند و این نقض باید توسط مدل (واحد 11) مدیریت شود، نه اینکه بعداً شناسایی شود.

توزیعی ثابت فرضیه‌ای است که اغلب در داده‌های سلامت نقض می‌شود، زیرا واریانس بسیاری از نتایج با میانگین افزایش می‌یابد: هزینه‌ها، مدت اقامت، غلظت نشانگرهای زیستی.

چرا به فرضیات نیاز داریم؟

برای استنتاج دربارهٔ جامعه از روی نمونه. خود برآوردها تقریباً به هیچ فرضی نیاز ندارند؛ اما خطاهای استاندارد، فواصل اطمینان و مقادیر p نیازمند فرضیات هستند. نقض یک فرض معمولاً برآورد نقطه‌ای را تقریباً درست اما عدم‌قطعیت را نادرست باقی می‌گذارد که خطرناک‌تر از عکس آن است، زیرا نتیجه ظاهراً درست به نظر می‌رسد.

برآورد

ما داریم:

$Y$ یک متغیر تصادفی است؛ مشاهدهٔ آن یک مقدار را به دست می‌دهد.
$\beta_0$ و $\beta_1$ پارامترهای جمعیت ناشناخته‌اند.
$E$ یک متغیر تصادفی غیرقابل مشاهده است.

با استفاده از یک روش برآورد، $\hat{\beta}_0$ و $\hat{\beta}_1$ را می‌سازیم و از این برآوردهای نقطه‌ای، یک خط برازش‌شده و یک برآورد نقطه‌ای برای میانگین Y در هر X به‌دست می‌آوریم.

روش کمترین مربعات

روش کمترین مربعات خطی را تعیین می‌کند که مجموع مربعات فاصله‌های عمودی بین مقادیر مشاهده‌شده و آن خط را به حداقل می‌رساند.

برای هر فرد $Y_i$ ، باقیمانده عبارت است از:

$\hat{E}_i = Y_i - \hat{Y}_i = Y_i - (\hat{\beta}_0 + \hat{\beta}_1 X_i)$

ما $\hat{\beta}_0$ و $\hat{\beta}_1$ را برای به حداقل رساندن انتخاب می‌کنیم:

$SS_E = \sum_{i=1}^{n}(Y_i - \hat{Y}_i)^2 = \sum_{i=1}^{n}\left[Y_i - (\hat{\beta}_0 + \hat{\beta}_1 X_i)\right]^2$

چرا به توان دو؟ توان‌دادن به دو باعث می‌شود همه انحراف‌ها مثبت شوند، بنابراین یکدیگر را خنثی نمی‌کنند؛ انحراف‌های بزرگ را بیشتر از انحراف‌های کوچک جریمه می‌کند؛ و یک راه‌حل صریح ارائه می‌دهد. آخری دلیل انتخاب تاریخی آن است و دو مورد اول دلیل حفظ آن. به حداقل رساندن انحراف‌های مطلق در عوض خطی مقاوم‌تر ارائه می‌دهد و هیچ فرمول ساده‌ای ندارد.

راه حل:

$\hat{\beta}_1 = \frac{\sum(X_i - \bar{X})(Y_i - \bar{Y})}{\sum(X_i - \bar{X})^2} \qquad \hat{\beta}_0 = \bar{Y} - \hat{\beta}_1\bar{X}$

ما می‌گوییم که Y را بر X رگرسیون می‌کنیم.

ویژگی‌های خط برازش‌شده

چهار خاصیت از حل کمترین مربعات به دست می‌آید:

خط از نقطه $(\bar{X}, \bar{Y})$ عبور می‌کند. این مستقیماً از فرمول تداخل به‌دست می‌آید.
مجموع فواصل عمودی برابر با صفر است: $\sum \hat{E}_i = 0$ . با توجه به نحوهٔ ساخت، باقیمانده‌ها به‌طور میانگین برابر صفر می‌شوند، به همین دلیل نمودار باقیمانده‌ها در مقابل مقادیر برازش‌شده همیشه حول صفر متمرکز است و این موضوع هیچ اطلاعاتی منتقل نمی‌کند.
تخمین شیب بی‌طرف است.
این برآورد کمترین واریانس را هم دارد در میان برآوردگرهای خطی نااریب.

معنای «بی‌طرفانه»

یک برآوردگر زمانی بی‌طرف است که میانگین انتظاری آن با پارامتری که برآورد می‌کند برابر باشد.

برای درک ادعای این موضوع، تصور کنید هزار نمونه از جمعیتی بردارید که رابطه واقعی در آن $Y = 5X + 2$ است و در هر نمونه $\hat{\beta}_1$ را محاسبه کنید. برآوردهای فردی متفاوت خواهند بود: 4.8، 5.3، 4.9 و غیره. بی‌تعصبی می‌گوید که میانگین آن هزار برآورد برابر با 5 خواهد بود.

دو چیز نتیجه می‌شوند و اغلب با هم اشتباه گرفته می‌شوند:

بی‌طرفی صفتی است در روش نمونه‌گیری تکراری، نه تضمینی دربارهٔ برآورد شما. برآورد شما تقریباً قطعاً دقیقاً 5 نیست.
براوردها متفاوت هستند زیرا از داده‌های متفاوتی محاسبه می‌شوند. این تغییرپذیری همان چیزی است که خطای استاندارد آن را کمی‌سازی می‌کند.

کمترین واریانس این را می‌افزاید که در میان همه برآوردگرهای نااریبی که تابع خطی داده‌ها هستند، برآوردگر کمترین مربعات کمترین واریانس را دارد. این دو با هم آن را بهترین برآوردگر خطی نااریب (BLUE) می‌کنند، که محتوای قضیه گاوس-مارکوف است. توجه کنید که قضیه چه می‌خواهد: خطی بودن، خطاهای با میانگین صفر، واریانس ثابت، و استقلال. این قضیه نرمال بودن را لازم نمی‌داند. نرمال بودن برای توزیع‌های t که در آزمون‌ها به کار می‌روند لازم است، نه برای بهینگی خود برآوردگر.

پیش‌بینی

پس از نصب خط، در یک $X_0$ معین می‌توان دو پیش‌بینی متفاوت ارائه کرد که برآورد نقطه‌ای یکسانی دارند اما فواصل اطمینان آن‌ها متفاوت است.

پیش‌بینی مقدار میانگین در $X_0$ : میانگین Y برای همه افرادی که X برابر با این مقدار را دارند کجاست؟

$\hat{\mu}_{Y|X_0} = \hat{\beta}_0 + \hat{\beta}_1 X_0$

$\text{95\% CI} = \hat{Y}_0 \pm t_{n-2}\,S_{Y|X}\sqrt{\frac{1}{n} + \frac{(X_0 - \bar{X})^2}{\sum(X_i - \bar{X})^2}}$

پیش‌بینی یک مقدار فردی در $X_0$ : بعدی مشاهدهٔ منفرد کجا خواهد بود؟

$\text{95\% PI} = \hat{Y}_0 \pm t_{n-2}\,S_{Y|X}\sqrt{1 + \frac{1}{n} + \frac{(X_0 - \bar{X})^2}{\sum(X_i - \bar{X})^2}}$

تنها تفاوت عدد 1 زیر ریشهٔ مربع است و این تمام تفاوت است. این نشان‌دهندهٔ $\sigma^2$ ، تغییرپذیری غیرقابل‌تقلیل افراد پیرامون خط است که هیچ مقدار داده‌ای نمی‌تواند آن را حذف کند.

سه پیامد:

فاصلهٔ پیش‌بینی همیشه وسیع‌تر است.
به‌عنوان $n \to \infty$ ، فاصله اطمینان برای میانگین به سمت صفر شدن عرضش کاهش می‌یابد؛ بازه پیش‌بینی به $\pm 1.96\sigma$ همگرا می‌شود و از آن فراتر نمی‌رود.
هر دو در $X_0 = \bar{X}$ باریک‌ترین‌اند و با دور شدن $X_0$ از میانگین پهن‌تر می‌شوند، زیرا عبارت $(X_0 - \bar{X})^2$ افزایش می‌یابد. خط برازش‌شده در مرکز ثقل ثابت است و حول آن می‌چرخد، بنابراین عدم قطعیت در شیب در فواصل دورتر تأثیر بیشتری دارد.

نقطهٔ سوم دلیل رسمی خطرناک بودن برون‌یابی است: فراتر از محدودهٔ داده‌ها، بازه به‌سرعت گشاد می‌شود و بدتر اینکه فرض خطی بودن در آن ناحیه هیچ پشتوانه‌ای ندارد.

fit <- lm(SBP ~ QUET, data = sbp)
newdat <- data.frame(QUET = 3.4)
predict(fit, newdat, interval = "confidence")   # for the mean
predict(fit, newdat, interval = "prediction")   # for an individual

یک مثال عملی

فشار خون سیستولیک و شاخص کتوِلِت (نام اولیه برای شاخص توده بدنی) در 32 بزرگسال:

sbp <- data.frame(
  SBP  = c(135,122,130,148,146,129,162,160,144,180,166,138,152,138,140,134,
           145,142,135,142,150,144,137,132,149,132,120,126,161,170,152,164),
  QUET = c(2.876,2.540,3.100,3.768,2.979,2.564,3.712,3.680,2.368,4.637,3.877,
           4.032,4.116,3.673,3.562,2.998,3.360,3.024,3.171,3.401,3.628,3.751,
           3.296,3.210,3.301,3.017,2.789,2.956,3.800,4.350,3.962,4.010),
  AGE  = c(45,41,49,52,54,47,60,48,44,64,59,51,64,56,54,50,49,46,57,56,56,58,
           53,50,54,48,43,43,63,63,62,65),
  SMK  = c(0,0,0,0,1,1,1,1,1,1,1,1,0,0,1,1,1,1,0,0,1,0,0,0,1,1,0,1,0,1,0,0))

fit <- lm(SBP ~ QUET, data = sbp)
summary(fit)

خط متناسب:

$\widehat{SBP} = 73.04 + 20.89 \times QUET$

تفسیر: هر افزایش 1 واحدی در شاخص کتل با افزایش مورد انتظار 20.9 میلی‌متر جیوه در فشار خون سیستولیک همراه است. $R^2 = 0.623$ ، بنابراین مدل کمی بیش از 60% از واریانس فشار خون سیستولیک را تبیین می‌کند و کمی کمتر از 40% تبیین نشده است.

این مجموعه داده در دو درس بعدی ادامه دارد.

درک خود را بررسی کنید

یک کلینیک 20 بیمار با بالاترین سطح HbA1c را شناسایی می‌کند، آن‌ها را در یک برنامه ثبت‌نام می‌کند و متوجه می‌شود که میانگین HbA1c آن‌ها پس از شش ماه کاهش یافته است. توضیح دهید چرا این یافته بی‌اطلاعاتی است و چه طرحی می‌تواند به این پرسش پاسخ دهد.
چهار فرض رگرسیون خطی ساده را بیان کنید. برای هر فرض، بگویید آیا مربوط به برآوردها است، خطاهای استاندارد است، یا هر دو.
توضیح دهید چرا فرض نرمال بودن درباره خطاها است نه درباره Y، و مثالی از یک Y نامتقارن ارائه دهید که این فرض را برآورده کند.
به زبان خودتان توضیح دهید که بی‌طرف بودن یک برآوردگر به چه معناست و چرا بی‌طرفی نشان نمی‌دهد که برآورد خاص شما به حقیقت نزدیک است.
با استفاده از داده‌های SBP، فاصله اطمینان 95% برای میانگین SBP در QUET = 3.4 و بازه پیش‌بینی 95% برای یک فرد در همان مقدار را محاسبه کنید. تفاوت را در یک جمله توضیح دهید.
توضیح دهید چرا هر دو بازه در میانگین X باریک‌ترین هستند و این موضوع چه معنایی برای برون‌یابی دارد.
نتیجه‌گیری گاوُس تا مارکوف به نرمال بودن نیاز ندارد. پس فرض نرمال بودن چه مزیتی برای شما دارد؟

مطالعه بیشتر

Kleinbaum DG, Kupper LL, Nizam A, Rosenberg ES. Applied Regression Analysis and Other Multivariable Methods. 5th ed.
Stanton JM. Galton, Pearson, and the peas: a brief history of linear regression for statistics instructors. J Stat Educ. 2001;9(3).
Bland JM, Altman DG. Regression towards the mean. BMJ. 1994;308:1499.
Barnett AG, van der Pols JC, Dobson AJ. Regression to the mean: what it is and how to deal with it. Int J Epidemiol. 2005;34(1):215-220.

اصطلاحات کلیدی

بازگشت به میانگینکمترین مربعاتباقی‌ماندهبرآوردگر بی‌طرفBLUEهموسکداستیسیتیاستقلالفاصله اطمینان برای میانگینفاصلهٔ پیش‌بینی