تشخیص‌ها و توسعه‌های رگرسیون لجستیک

چندخطی

وقتی دو پیش‌بین به‌شدت همبسته باشند، اساساً یکسان اطلاعات را منتقل می‌کنند و نتایج چندهمبستگی را نشان می‌دهند. پیامدها همانند رگرسیون خطی است: ضرایب ناپایدار، خطاهای استاندارد بزرگ‌شده و عدم معناداری فردی با وجود مجموعه‌ای آشکارا پیش‌بین.

در رگرسیون خطی، روش‌ها عبارتند از:

• همبستگی‌ها میان متغیرهای مستقل را بررسی کنید.
• VIF و آمار بردباری را که به‌عنوان «تشخیص‌های هم‌خطی» ارائه شده‌اند، بررسی کنید.

در رگرسیون لجستیک، وضعیت متفاوت است:

• بررسی همبستگی‌ها میان متغیرهای مستقل همچنان کارساز است، زیرا این کار تنها شامل پیش‌بین‌ها می‌شود.
• آماره‌های تولرانس و VIF رگرسیون خطی مستقیماً در دسترس نیستند، چون از ساختار باقی‌مانده مدل خطی محاسبه می‌شوند که اینجا همتایی ندارد.

دو رویکرد عملی:

یک رگرسیون خطی اجرا کنید با همان پیش‌بین‌ها روی همان پیامد (یا هر پیامدی)، صرفاً برای گرفتن تشخیص‌های هم‌خطی. هم‌خطی خاصیت ماتریس پیش‌بین‌ها به تنهایی است، نه خاصیت پیامد، پس VIF‌های آن مدل خطی درباره مجموعه پیش‌بین‌های مدل لجستیک آگاهی‌بخش‌اند. این کاربردی مشروع و تشخیصی از مدلی است که گزارشش نمی‌کنید.

از قاعدهٔ سرانگشتی استفاده کنید: اگر خطای استاندارد هر ضریب $\beta$ به‌طور غیرمعمول بزرگ باشد، مثلاً بیش از حدود 5 در مقیاس لگ-اودز، به هم‌خطی یا جداسازی شک کنید. خطای استانداردی به این اندازه نشان‌دهندهٔ فاصله اطمینان نسبت اودز در چند مرتبهٔ قدر مطلق است که نشانهٔ وجود مشکل است، نه یک یافته.

car::vif(m)     # works on glm objects in recent versions of car

بقایا

رگرسیون خطی یک باقیمانده طبیعی داشت، $Y_i - \hat{Y}_i$. رگرسیون لجستیک چندین باقیمانده دارد، زیرا خروجی 0 یا 1 است در حالی که پیش‌بینی یک احتمال است، بنابراین مقیاس واحدی آشکار وجود ندارد.

بقایای خام: $y_i - \hat{p}_i$. این‌ها در هر احتمال برازش‌شده تنها دو مقدار دارند و واریانس آن‌ها بسته به $\hat{p}$ متغیر است، بنابراین در سراسر مشاهدات قابل مقایسه نیستند.

بقایای لوگیت: باقیمانده در مقیاس لوگیت.

بقایای استانداردشده پیرسون: بقایای خام تقسیم بر انحراف معیار برآوردشده:

$r_i = \frac{y_i - \hat{p}_i}{\sqrt{\hat{p}_i(1 - \hat{p}_i)}}$

مربع‌های آن‌ها جمعاً برابر با آماره کای‌دو پیرسون است.

بقایای انحراف: سهم هر مشاهده در مجموع انحراف، با نشان مثبت یا منفی بسته به اینکه مشاهده بالاتر یا پایین‌تر از پیش‌بینی خود باشد:

$d_i = \text{sign}(y_i - \hat{p}_i)\sqrt{-2\left[y_i\ln\hat{p}_i + (1-y_i)\ln(1-\hat{p}_i)\right]}$

مربع‌های آن‌ها مجموعاً انحراف از مدل را می‌دهند. این‌ها معمولاً مفیدترین هستند، زیرا مستقیماً به مقداری که باید به حداقل برسد مرتبط‌اند.

بقایای استانداردشده: بقایای استانداردشده تنظیم‌شده برای اهرم، همانند رگرسیون خطی.

Leverage ($h_i$)، که در SAS به آن قطری ماتریس کلاه گفته می‌شود: شدت مشاهده در فضای پیش‌بین.

residuals(m, type = "pearson")
residuals(m, type = "deviance")
hatvalues(m)

یک محدودیت مهم

بقایای فردی از یک مدل لجستیک با خروجی دودویی ذاتاً فاقد اطلاعات هستند. هر مشاهده 0 یا 1 است، بنابراین هر باقیمانده با توجه به احتمال برآوردشده تنها یکی از دو مقدار ممکن را دارد و نمودارهای معمول به‌جای یک ابر تصادفی شبیه دو نوار منحنی‌شکل هستند. حتی با دقت زیاد هم نمی‌توان از آن‌ها به وجود تخمین نادرست مدل پی برد.

دو درمان:

• داده‌ها را پیش از رسم گروه‌بندی کنید: بر پایه احتمال برازش‌شده مرتب کنید، در گروه‌هایی دسته‌بندی کنید، و میانگین باقی‌مانده را در برابر میانگین احتمال برازش‌شده درون هر دسته رسم کنید. الگوها آشکار می‌شوند.
• به جای نمودارهای باقیماندهٔ فردی، از نمودارهای باقیماندهٔ گروه‌بندی‌شده یا طبقه‌بندی‌شده و آزمون‌های رسمی برازش استفاده کنید.

نفوذ

آمار دلتا-بتا معادل لجستیک فاصله کوک است: میزان تغییر هر ضریب وقتی مشاهده $i$ حذف می‌شود. نرم‌افزار نسخه استانداردشده را گزارش می‌کند و نمایش مفید، نمودار دلتا-بتا در مقابل احتمال برازش‌شده یا شاخص مشاهده است که در آن به دنبال نقاطی می‌گردند که به‌وضوح از بقیه متمایز باشند.

ترکیب تشخیصی برای بررسی: باقیمانده انحرافی، باقیمانده استانداردشده و اهرم، ترسیم‌شده در مقابل احتمال برازش‌شده. نقاطی که در بیش از یک مورد شدید هستند، کاندیدای بررسی‌اند و پاسخ همانند رگرسیون خطی است: داده‌ها را بررسی کنید، بپرسید آیا مشاهده متعلق است یا خیر، بدون آن دوباره برازش کنید و اگر نتایج متفاوت بودند، هر دو را گزارش دهید.

خوبی برازش و عملکرد پیش‌بینی

سه پرسش متمایز که اغلب با هم اشتباه گرفته می‌شوند.

آیا مدل برازش دارد؟ آزمون هاسمر-لمشو مشاهدات را (معمولاً) در 10 دسته بر پایه احتمال برازش‌شده گروه‌بندی می‌کند، شمار رویدادهای مشاهده‌شده و مورد انتظار را در هر دسته مقایسه می‌کند، و اختلاف را با آماره خی‌دو می‌آزماید. نتیجه نامعنادار نشانه برازش کافی است، که جهت‌گیری غیرمعمولی است و سرچشمه سردرگمی.

محدودیت‌های آن ارزش دانستن را دارد: نتیجه به تعداد گروه‌های انتخاب‌شده بستگی دارد، در نمونه‌های کوچک قدرت کمی دارد و در نمونه‌های بسیار بزرگ، مشخصات نادرست پیش‌پاافتاده را رد می‌کند، و یک نتیجه غیرمعنادار شواهد ضعیفی برای برازش مناسب است. آن را به‌عنوان یکی از ورودی‌ها در نظر بگیرید، نه یک حکم قطعی.

آیا مدل تفکیک می‌کند؟ آماره c، که معادل سطح زیر منحنی ROC است، احتمال آن است که یک مورد انتخاب‌شده به تصادف احتمال برازش‌شده بالاتری از یک غیرمورد انتخاب‌شده به تصادف داشته باشد. 0.5 شانس است؛ بالای 0.8 معمولاً تفکیک‌پذیری خوب به شمار می‌رود.

آیا مدل کالیبره است؟ آیا احتمال‌های برازش‌شده به صورت مطلق با فراوانی‌های مشاهده‌شده می‌خوانند؟ نمایش مناسب، نمودار کالیبراسیون خطر مشاهده‌شده در برابر خطر پیش‌بینی‌شده است، به تفکیک دهک خطر پیش‌بینی‌شده، همراه با خط مرجع همانی.

همان‌گونه که در واحد پیش‌آگهی دوره مبانی آمد: یک مدل می‌تواند تفکیک کامل داشته باشد و کالیبراسیون بدی داشته باشد، یعنی بیماران را درست رتبه‌بندی کند اما برای گروهی که خطر واقعی‌شان 10 درصد است خطر 40 درصد پیش‌بینی کند. برای مدلی که برای تصمیم‌گیری در برابر یک آستانه مطلق به کار می‌رود، کالیبراسیون مهم‌تر است.

library(pROC)
roc(d$y, fitted(m))                       # c-statistic
library(ResourceSelection)
hoslem.test(d$y, fitted(m), g = 10)       # Hosmer-Lemeshow

اندازه نمونه برای رگرسیون لجستیک

مقدار مرتبط تعداد شرکت‌کنندگان نیست. بلکه تعداد رویدادها است و به‌طور مشخص تعداد در گروه کوچکتر از دو گروه نتیجه.

دستورالعمل رایج حداقل 10 رویداد برای هر متغیر (EPV) را توصیه می‌کند. با 3 پیش‌بین و نتیجه‌ای که در 8% شرکت‌کنندگان رخ می‌دهد، شما به حداقل 30 رویداد نیاز دارید، بنابراین حداقل 375 شرکت‌کننده لازم است.

شواهد پشتیبان این دستورالعمل از مطالعات شبیه‌سازی نشأت می‌گیرد که نشان می‌دهند در صورتی که تعداد رویدادها برای هر متغیر کمتر از حدود ده باشد، ضرایب دچار انحراف می‌شوند، واریانس آن‌ها دست‌کم برآورد می‌شود و پوشش فاصله‌های اطمینان از مقدار نامی کمتر می‌گردد. برخی پژوهش‌های بعدی استدلال می‌کنند که عدد 10 در برخی شرایط بیش از حد آسان‌گیرانه و در برخی دیگر بیش از حد سخت‌گیرانه است، و رویکردهای دقیق‌تر محاسبه را بر پایهٔ انقباض مورد انتظار مدل و $R^2$ پیش‌بینی‌شده قرار می‌دهند.

دو نکتهٔ عملی:

هر پارامتر را بشمارید، نه هر متغیر را. یک پیش‌بین چهار‌دسته‌ای به سه پارامتر نیاز دارد. یک تعامل دست‌کم یک پارامتر دیگر می‌طلبد. اصطلاحات غیرخطی هم شمرده می‌شوند.

انتخاب پیش‌بین‌ها از داده‌ها تعداد پارامترها را کاهش نمی‌دهد. اگر 30 متغیر کاندیدا را غربال کرده و 4 مورد را نگه دارید، تعداد مؤثر پارامترها به 30 نزدیک‌تر است تا به 4، و مدل به‌شدت دچار ابرتنظیم می‌شود.

برای محاسبهٔ رسمی اندازهٔ نمونهٔ مورد نیاز برای تشخیص نسبت شانس مشخص‌شده:

# via the two-proportion approximation, for a binary exposure
power.prop.test(p1 = 0.10, p2 = 0.18, power = 0.80)

برای پیش‌بین‌های پیوسته و مدل‌های چندمتغیره، بسته pmsampsize معیارهای مدرن‌تری را بر اساس انقباض مورد انتظار و دقت پیاده‌سازی می‌کند.

رگرسیون لجستیک شرطی

رگرسیون لجستیک ساده (بدون شرط) برای طرح‌های جفت‌شده مناسب نیست.

موقعیت: یک مطالعه مورد-شاهدی که در آن هر مورد با یک یا چند شاهد بر اساس متغیرهایی مانند سن، جنسیت و مرکز مطابقت داده می‌شود. این تطبیق وابستگی بین اعضای یک مجموعه ایجاد می‌کند که فرض استقلال را نقض می‌کند و متغیرهای تطبیق‌شده را نمی‌توان به‌عنوان پیش‌بین وارد کرد زیرا در هر مجموعه ثابت هستند.

به‌طور بنیادی‌تر، اگر به هر مجموعهٔ جفت‌شدهٔ داده‌ها نقطه‌برش مختص خود اختصاص داده شود، تعداد پارامترها با افزایش اندازهٔ نمونه افزایش می‌یابد و برآوردهای بیشینه‌احتمال دچار سوگیری می‌شوند. این مسئله، مشکل پارامترهای تصادفی است.

رگرسیون لجستیک شرطی با شرط کردن بر تعداد موارد در هر مجموعهٔ جفت‌شده، این مسئله را حل می‌کند و به‌طور کامل مقاطع ویژهٔ هر مجموعه را از تابع احتمال حذف می‌نماید.

$\text{logit}(p) = \alpha_m + \beta_1 X_1 + \sum_j \beta_{c_j} C_j$

کجا:

• $X_1$ متغیر اصلی قرارگیری مورد توجه است.
• $\alpha_m$ اثرات مجموعه‌های تطبیق‌یافته هستند که توسط شرطی‌سازی حذف شده‌اند.
• $\beta_{c_j}$ ضرایب متغیرهای عامل مخدوش‌گر هستند که در تطبیق استفاده نشده‌اند.

دو نتیجه قابل توجه:

• مجموعه‌های همتاشده‌ای که همه اعضایشان یک پیامد دارند هیچ سهمی نمی‌آورند، دقیقاً همان‌گونه که جفت‌های هم‌خوان در آزمون مک‌نمار در دوره زیست‌آمار سهمی نمی‌آورند. تنها مجموعه‌های ناهم‌خوان اطلاعات دارند.
• متغیرهایی که برای تطبیق استفاده می‌شوند، قابل برآورد نیستند. اثر آن‌ها از طریق شرطی‌سازی حذف می‌شود که این خود هزینه تطبیق بر آن‌هاست.

library(survival)
clogit(case ~ exposure + confounder + strata(matchset), data = d)

همان تابع آزمایش‌های متقاطع و سایر طرح‌های جفتی را مدیریت می‌کند، زیرا ساختار یکسان است.

بیش از دو سطح نتیجه

رگرسیون لجستیک چندجمله‌ای

از رگرسیون لجستیک چندگانه (MLR) زمانی استفاده کنید که خروجی بیش از دو دستهٔ بدون ترتیب داشته باشد.

مثال: نوع سرطان، با دسته‌های آدنوکارسینوما، آدنوسکواموس، سلول سنگفرشی و سایر.

مدل به‌طور همزمان رگرسیون‌های لجستیک $k - 1$ را برازش می‌کند، که هر یک یک دسته‌بندی را در برابر یک مرجع مشترک مقایسه می‌کنند. با چهار دسته‌بندی و آدنوکارسینوما به‌عنوان مرجع، سه مجموعه ضریب به‌دست می‌آید: آدنوسکواموس در مقابل آدنوکارسینوما، اسکواموس در مقابل آدنوکارسینوما و سایر در مقابل آدنوکارسینوما.

تفسیر و هشدارها:

• هر ضریب، نسبت شانس لگاریتمی برای آن دسته در مقابل مرجع است، بنابراین هر ضریب باید همراه با مرجع خوانده شود.
• تعداد پارامترها $(k-1)$ برابر با مدل دودویی است، بنابراین نیاز به حجم نمونه نیز به همان نسبت افزایش می‌یابد. با اعمال قاعده «رویدادها به ازای هر متغیر» در کوچک‌ترین دسته، مدل‌های چندنومینال نیازمند منابع بیشتری هستند.
• مقایسه بین دو دسته غیرمرجع نیازمند ترکیب ضرایب و همبستگی‌های آن‌ها است.

library(nnet)
multinom(type ~ age + sex + stage, data = d)

رگرسیون لجستیک مرتبه‌ای

وقتی دسته‌بندی‌ها مرتب شده‌اند (خفیف، متوسط، شدید؛ پاسخ لیکرت؛ یک مرحله)، رگرسیون چندگانه معتبر است اما هدر دادن منابع است، زیرا ترتیب را نادیده می‌گیرد.

مدل رگرسیون لجستیک مرتبه‌ای (احتمالات متناسب)، لگاریتم احتمال تجمعی برای قرار گرفتن در یا زیر هر سطح را مدل می‌کند:

$\text{logit}\left[P(Y \leq j)\right] = \alpha_j - \beta_1 X_1 - \cdots$

برای هر نقطه برش یک برش و برای هر پیش‌بین یک ضریب وجود دارد که همین امر آن را کارآمد می‌کند.

فرض احتمال متناسب همان چیزی است که این کارایی را به دست می‌دهد: اثر هر پیش‌بین در تمام نقاط برش یکسان فرض می‌شود. این فرض باید با یک آزمون رسمی یا با برازش رگرسیون لجستیک دودویی جداگانه در هر نقطه برش و مقایسه ضرایب بررسی شود. وقتی این فرض برقرار نباشد، گزینه‌ها عبارتند از یک مدل نسبی شانس جزئی که این فرض را برای پیش‌بین‌های مشکل‌ساز شل می‌کند، یا رگرسیون چندگانه.

library(MASS)
polr(severity ~ age + sex, data = d, Hess = TRUE)

خلاصه‌ای از انتخاب‌های مدل تا کنون

آخرین سطر همان سطری است که از میان همه چیزهای دیگر عبور می‌کند و موضوع آخرین واحد مضمونی است.

درک خود را بررسی کنید

1. توضیح دهید چرا مقدار VIF در رگرسیون خطی نشان‌دهنده هم‌خطی در مدل لجستیک برازش‌شده بر همان پیش‌بین‌ها است.
2. یک مدل لجستیک ضریب با خطای استاندارد 8.3 را گزارش می‌کند. دو توضیح احتمالی را بیان کنید و توضیح دهید چگونه آن‌ها را از هم متمایز می‌کنید.
3. توضیح دهید چرا نمودار باقیمانده‌های انحراف فردی در مقابل مقادیر برازش‌شده برای یک خروجی دودویی فاقد اطلاعات است و شرح دهید به جای آن چه چیزی را باید ترسیم کرد.
4. یک مدل پیش‌بینی c-statistic برابر 0.79 را گزارش می‌کند و نمودار کالیبراسیون نشان می‌دهد که خطر‌های پیش‌بینی‌شده به‌طور مداوم دو برابر خطر‌های مشاهده‌شده هستند. مشخص کنید چه چیزی خوب است، چه چیزی نادرست است و آیا می‌توان از این مدل برای تصمیم‌گیری مبتنی بر آستانه استفاده کرد یا خیر.
5. شما یک مدل لجستیک را با متغیرهای سن، جنسیت، مرحلهٔ سه‌سطحی بیماری و تعامل سیگار کشیدن با سن طراحی می‌کنید. پارامترها را بشمارید و حداقل تعداد رویدادها را طبق راهنمای 10-EPV محاسبه کنید.
6. یک مطالعه مورد-شاهدی که هر مورد را بر اساس سن و جنسیت با دو شاهد مطابقت داد، سپس یک مدل لجستیک معمولی را با سن و جنسیت به‌عنوان متغیرهای عامل مخدوش‌گر برازش کرد. دو خطا را نام ببرید.
7. یک نتیجه دارای دسته‌های هیچ، خفیف، متوسط و شدید است. مدل‌های چندگانه و ترتیبی را برای آن مقایسه کنید، فرضیه‌ای را که مدل ترتیبی اضافه می‌کند بیان کنید و توضیح دهید چگونه آن را بررسی می‌کنید.
8. توضیح دهید چرا گروه‌های جفت‌شده‌ای که در آن‌ها همه اعضا نتیجه یکسانی دارند، هیچ نقشی در رگرسیون لجستیک شرطی ندارند و پاسخ خود را به آزمون مک‌نمار مرتبط سازید.

مطالعه بیشتر

• Hosmer DW, Lemeshow S, Sturdivant RX. Applied Logistic Regression. 3rd ed.
• Peduzzi P, Concato J, Kemper E, Holford TR, Feinstein AR. A simulation study of the number of events per variable in logistic regression analysis. J Clin Epidemiol. 1996;49(12):1373-1379.
• Riley RD, Snell KIE, Ensor J, et al. Minimum sample size for developing a multivariable prediction model. Stat Med. 2019;38(7):1262-1275.
• Breslow NE, Day NE. Statistical Methods in Cancer Research, Volume I: The Analysis of Case-Control Studies.
• Agresti A. Categorical Data Analysis. 3rd ed.