داده‌های گمشده

چرا اهمیت دارد

داده‌های گمشده رایج‌ترین مشکل عملی در تحلیل داده‌های سلامت واقعی هستند و در این دوره بیشتر از هر مسئله دیگری به‌طور نادرست با آن‌ها برخورد می‌شود.

سه پیامد:

ممکن است موجب سوگیری شود. اگر افرادی که داده‌هایشان ناقص است با کسانی که داده‌هایشان کامل است متفاوت باشند، تحلیل تنها موارد کامل، تحلیل زیرمجموعه‌ای منتخب را در بر می‌گیرد.

ممکن است قدرت تحلیل را کاهش دهد. هر مشاهده‌ای که کنار گذاشته می‌شود، اطلاعاتی است که دور ریخته می‌شود. در یک مدل چندمتغیره این موضوع تشدید می‌شود: اگر یک شرکت‌کننده هر یک از ده متغیر را نداشته باشد، به‌طور کامل حذف می‌شود؛ بنابراین با 5% فقدان در هر یک از ده متغیر مستقل، تقریباً 40% از نمونه ناپدید می‌شود.

ممکن است خطاهای استاندارد را مخدوش کند، در هر دو جهت، بسته به روشی که به کار رفته است. روش‌هایی که یک مقدار واحد را جانهی می‌کنند و سپس چنان تحلیل می‌کنند که گویی مشاهده شده است، خطاهای استاندارد بیش از حد کوچک می‌سازند، که بدتر از بیش از حد بزرگ است، چون اطمینان کاذب تولید می‌کند.

نمایی از ترکیب

در یک مجموعه داده با 1232 شرکت‌کننده و چندین متغیر که هر یک دارای مقداری داده‌ی گمشده هستند:

• تعداد شرکت‌کنندگان در فهرست N = 535 است. تنها 535 شرکت‌کننده داده‌های کاملی در همه موارد دارند.
• محدودهٔ N جفتی از 581 تا 1,232 متغیر است، بسته به اینکه کدام جفت متغیر درگیر باشد.

بیش از نیمی از نمونه به‌دلیل مقدار اندکی از داده‌های گمشده در متغیرها از دست رفته است. این امر معمول است و دلیل اهمیت موضوع همین است.

سه مکانیسم

سازوکار توضیح می‌دهد چرا داده‌ها گم شده‌اند، و همین تعیین می‌کند که چه کاری می‌توان کرد.

کاملاً به‌طور تصادفی مفقود (MCAR)

مفقودیت به هیچ چیز مربوط نیست: نه به متغیرهای مشاهده‌شده و نه به خود مقادیر مشاهده‌نشده. یک لوله که در آزمایشگاه افتاده، یک صفحه از پرسشنامه که گم شده است.

نتیجه: موارد کامل یک زیرنمونه تصادفی هستند. تحلیل موارد کامل بی‌طرفانه است، اما دقت کمتری دارد.

گمشده به صورت تصادفی (MAR)

غیاب به اطلاعات مشاهده‌شده بستگی دارد اما وقتی اطلاعات مشاهده‌شده در نظر گرفته شود، خودِ مقدار نامشاهده‌شده بستگی ندارد.

برای مثال، بیماران مسن‌تر بیشتر احتمال دارد که نمره کیفیت زندگی‌شان مفقود باشد، اما در میان بیماران هم‌سن، اینکه نمره مفقود باشد یا نباشد، بستگی به این ندارد که نمره چه می‌بود.

نتیجه: تحلیل کامل-موردی جانبدارانه است. برآورد چندگانه و روش‌های مبتنی بر احتمال، پاسخ صحیح را بازیابی می‌کنند، مشروط بر اینکه متغیرهای توضیح‌دهندهٔ غیاب در مدل گنجانده شده باشند.

این نام نامناسب است. «انتخاب تصادفی گمشده» به معنای تصادفی بودن نیست؛ بلکه به معنای تصادفی بودن مشروط به داده‌های مشاهده‌شده است.

غیاب تصادفی نیست (MNAR)

گمشدگی به خود مقدار مشاهده‌نشده بستگی دارد، یا به دیگر اطلاعات مشاهده‌نشده.

مورد کلاسیک: افرادی که مقادیر بالایی (یا بسیار پایینی) دارند، کمتر احتمال دارد که آن‌ها را گزارش کنند. درآمد، مصرف الکل و شدت علائم همگی به همین شکل رفتار می‌کنند. در یک کارآزمایی، بیماران به دلیل وخامت حال از مطالعه خارج می‌شوند، که به این معنی است که نتیجهٔ غایب آن‌ها به دلیل همان چیزی است که قرار بود باشد.

نتیجه: هیچ روشی حقیقت را بازیابی نمی‌کند. رسیدگی به MNAR مستلزم فرضیاتی است که از داده‌ها قابل تأیید نیستند.

نقطه‌ای که بر همه‌چیز حکم‌فرماست

MAR و MNAR را نمی‌توان از داده‌های مشاهده‌شده تمایز داد. اطلاعاتی که می‌توانست آن‌ها را از هم متمایز کند، دقیقاً همان اطلاعاتی است که مفقود است.

می‌توانید MCAR را در برابر جایگزین آن آزمایش کنید (آزمون لیتل الگوهای مشاهده‌شده را مقایسه می‌کند)، اما هرگز نمی‌توانید MAR را اثبات کنید. این یک فرض است و باید به‌عنوان یک فرض بیان شود، نه اینکه به آن ادعایی مطرح شود.

پیامد عملی: تحلیل حساسیت که فرض را تغییر می‌دهد، اختیاری نیست. این تنها پاسخ صادقانه به یک فرض غیرقابل‌آزمون است.

بهترین استراتژی

نداشتن هیچ‌یک. مطالعه و جمع‌آوری داده‌ها را طوری طراحی کنید که آن را به حداقل برساند:

• فقط آنچه استفاده خواهد شد را جمع‌آوری کنید تا بار کم باشد.
• ابزارها را هدایت کنید و مواردی را که مردم نادیده می‌گیرند، حذف کنید.
• بلافاصله پیگیری پاسخ‌های از دست رفته را انجام دهید، در حالی که هنوز می‌توان آن‌ها را به‌دست آورد.
• در صورت امکان از داده‌های اداری یا روتین برای نتایج استفاده کنید.
• حتی پس از آنکه شرکت‌کننده مداخله‌ای را متوقف کند، پیگیری را ادامه دهید.
• دلیل غیبت هر مقدار را ثبت کنید، که این همان چیزی است که فرضیه MAR را قابل دفاع می‌کند.

آن نکتهٔ آخر همان نکته‌ای است که اغلب نادیده گرفته می‌شود و از همه باارزش‌تر است. یک مجموعه داده‌ای که بین «ردشده»، «مربوط نیست»، «انجام‌نشده» و «گم‌شده» تمایز قائل می‌شود، از تحلیل‌هایی پشتیبانی می‌کند که یک مجموعه داده‌ای شامل خانه‌های خالی قادر به انجام آن‌ها نیست.

روش‌های حذف

حذف فهرست‌وار (تحلیل کامل مورد)

هر مشاهده‌ای را که برای هر متغیری که در تحلیل استفاده شده است مفقود است، حذف کنید. این رفتار پیش‌فرض همه بسته‌های نرم‌افزاری است.

مزایا: ساده؛ تحت MCAR بی‌طرف؛ همه تحلیل‌ها از یک نمونه واحد استفاده می‌کنند، بنابراین قابل مقایسه هستند.

معایب: دارای سوگیری در زیر MAR و MNAR؛ می‌تواند بخش زیادی از داده‌ها را حذف کند، همان‌طور که مثال بالا نشان داد؛ نمونهٔ مؤثر در صورت تغییر مدل تغییر می‌کند.

حذف جفتی (تحلیل موردی موجود)

از تمام داده‌های موجود برای هر محاسبه استفاده کنید: هر همبستگی از هر موردی که هر دو متغیر در آن موجود باشند استفاده می‌کند.

مزایا: استفادهٔ بیشتر از داده‌ها.

معایب: مقادیر مختلف روی زیرنمونه‌های متفاوت محاسبه می‌شوند، بنابراین ماتریس همبستگی حاصل ممکن است از درون ناسازگار و حتی از نظر ریاضی ناممکن (غیرموجب قطعی) باشد. اندازه نمونه مؤثر تعریف نشده است، بنابراین خطاهای استاندارد و درجات آزادی مبهم هستند. از آن اجتناب کنید.

حذف چه زمانی قابل قبول است؟

تحلیل کامل داده‌ها می‌تواند معقول باشد اگر مقدار داده‌های گمشده ناچیز باشد، معمولاً کمتر از حدود 5%، و دلیلی برای شک به ارتباط بین فقدان داده‌ها و نتایج وجود نداشته باشد. بگویید چه مقدار داده‌ها مفقود شده و در کدام متغیرها، تا خوانندگان بتوانند قضاوت کنند.

روش‌های تک‌پرشی

تمام این روش‌ها هر مقدار گمشده را با یک عدد جایگزین می‌کنند و سپس آن را طوری تحلیل می‌کنند که گویی مشاهده شده است. بنابراین همهٔ آن‌ها عدم‌قطعیت را دست‌کم می‌گیرند، زیرا یک برآورد را مانند یک اندازه‌گیری در نظر می‌گیرند.

برآورد میانگین. جایگزین کردن مقادیر گمشده با میانگین متغیر.

آنچه تخریب می‌کند: واریانس آن متغیر کاهش می‌یابد، زیرا مقادیر برآوردشده دقیقاً در مرکز قرار می‌گیرند؛ همبستگی‌ها با سایر متغیرها به سمت صفر تضعیف می‌شوند؛ خطاهای استاندارد بسیار کوچک هستند. برآورد میانگین اساساً هرگز انتخاب خوبی نیست.

**آخرین مشاهده منتقل‌شده به جلو (مقیاس‌های تکراری). ** ارزش پیگیری گمشده را با ارزش قبلی شرکت‌کننده جایگزین کنید.

آنچه فرض می‌کند: شرکت‌کننده در لحظه ترک مطالعه دیگر تغییر نمی‌کند. در یک بیماری پیشرونده این فرض نادرست و به‌طور سیستماتیک خوش‌بینانه است؛ در یک وضعیت در حال بهبود نادرست و بدبینانه است. این فرض** محافظه‌کارانه نیست**، برخلاف باور رایج، و با تلقی یک فرض به‌عنوان داده، عدم‌قطعیت را دست‌کم می‌گیرد.

پرکردن داده‌ها با روش رگرسیون. پیش‌بینی مقدار گمشده بر اساس سایر متغیرها. این روش بهتر از میانگین است زیرا از روابط موجود در داده‌ها استفاده می‌کند و همچنان هر مقدار پرشده را دقیقاً روی سطح رگرسیون قرار می‌دهد، که واریانس را دست‌کم و همبستگی‌ها را بیش‌ازحد نشان می‌دهد.

پرکردن داده‌ها با رگرسیون استوکیستیک یک مقدار خطای تصادفی به هر پیش‌بینی اضافه می‌کند و واریانس را بازیابی می‌کند. این ایده درست است و انجام یک‌بارهٔ آن هنوز پرکردن تک‌گانه محسوب می‌شود؛ انجام مکرر آن پرکردن چندگانه است.

روش شاخص گمشده

روشی که شایستهٔ بررسی جداگانه است، زیرا شهودی، فراگیر و اشتباه است.

دستورالعمل: یک متغیر شاخص بسازید (1 = مقدار مفقود، 0 = مشاهده‌شده)، مقادیر مفقود را با یک مقدار ثابت مانند صفر یا میانگین پر کنید و هم متغیر و هم شاخص را در رگرسیون وارد کنید.

جذابیت آن آشکار است: این روش همهٔ مشاهدات را حفظ می‌کند و به نظر می‌رسد شاخص، فقدان داده‌ها را در نظر می‌گیرد.

مشکل: این روش حتی در شرایط MCAR برآوردهای جانب‌داری از ضرایب ارائه می‌دهد. ضریب مربوط به متغیر تنها از روی نمونه‌هایی که مقدار مشاهده‌شده دارند برآورد می‌شود، اما شرط‌بندی بر شاخص معنای آن ضریب را تغییر می‌دهد و برآورد حاصل نمایانگر همبستگی در کل جمعیت نیست. این سوگیری می‌تواند قابل‌توجه و در هر دو جهت باشد و با افزایش حجم نمونه از بین نمی‌رود.

یک استثنای محدود وجود دارد: زمانی که خودِ فقدان ساختاری و معنادار باشد (متغیری که واقعاً برای برخی شرکت‌کنندگان وجود ندارد، مانند مدت‌زمان درمانی که هیچ‌کس دریافت نکرده است)، این شاخص نمایانگر یک دسته‌ی واقعی است نه یک شکاف در داده‌ها.

در غیر این صورت: از برآورد چندگانه استفاده کنید.

جایگزینی مشروط

رویکرد استاندارد تحت MAR. ایده این است که مقادیر گمشده را چندین بار با مقادیر محتمل بر اساس داده‌های مشاهده‌شده جایگزین کنیم، به‌طوری‌که عدم‌قطعیت مربوط به مقادیر برآوردشده به پاسخ نهایی منتقل شود.

سه گام

1. تکمیلی داده‌ها. مجموعه‌های داده‌ای کامل $m$ را ایجاد کنید (معمولاً 5 تا 50 مورد)، که در هر یک، مقادیر گمشده با نمونه‌برداری از مدلی که آن‌ها را بر اساس داده‌های مشاهده‌شده، شامل یک مؤلفه تصادفی، پیش‌بینی می‌کند، پر شده‌اند. این مجموعه‌های داده با یکدیگر متفاوت هستند و این تفاوت، عدم قطعیت مربوط به مقادیر گمشده است.

2. تحلیل. تحلیل مورد نظر خود را به طور جداگانه روی هر یک از مجموعه‌های داده $m$ اجرا کنید. شما مجموعه‌های برآورد $m$ را به دست می‌آورید.

3. تجمیع. آن‌ها را با استفاده از قواعد روبین ترکیب کنید:

$\bar{\theta} = \frac{1}{m}\sum_{j=1}^{m} \hat{\theta}_j$

$\text{Var}(\bar{\theta}) = \underbrace{\frac{1}{m}\sum W_j}_{\text{within-imputation}} + \underbrace{\left(1 + \frac{1}{m}\right)\frac{\sum(\hat{\theta}_j - \bar{\theta})^2}{m-1}}_{\text{between-imputation}}$

تخمین نقطه‌ای میانگین است. واریانس دو بخش دارد: عدم‌قطعیت معمول در هر مجموعه داده، به‌علاوه تغییرپذیری بین مجموعه‌های داده که عدم‌قطعیت اضافی ناشی از پر کردن جای خالی است. این جمله دوم دقیقاً همان چیزی است که پر کردن جای خالی تک‌گانه حذف می‌کند و به همین دلیل پر کردن جای خالی چندگانه خطاهای استاندارد صادقانه ارائه می‌دهد.

ساخت مدل پر کردن داده‌ها

قواعدی که مشخص می‌کنند آیا کار می‌کند:

نتایج را در مدل پر کردن جای خالی بگنجانید. این موضوع مردم را شگفت‌زده می‌کند، زیرا نگرانند که این کار دورانی باشد. اما این‌طور نیست: حذف نتایج، مقادیری را جایگزین می‌کند که با آن ارتباط ندارند و این امر همبستگی‌ای را که می‌خواهید برآورد کنید، به سمت مقدار صفر تضعیف می‌کند. حذف نتایج یک خطای رایج و جدی است.

هر متغیری را که در مدل تحلیل خواهد بود وارد کنید، به علاوه هر اثر متقابل و جمله غیرخطی که آنجا ظاهر می‌شود. مدل جانهی که باریک‌تر از مدل تحلیل باشد، تحلیل را به سمت ساختار ساده‌تر مدل جانهی سوگیر می‌کند.

متغیرهای کمکی را وارد کنید که مقادیر گمشده یا خود گمشدگی را پیش‌بینی می‌کنند، حتی اگر قرار نباشد در تحلیل بیایند. اینها مفروضه MAR را محتمل‌تر می‌کنند، که تنها راه محتمل‌تر کردن آن است.

روش جانهی را با نوع متغیر هم‌خوان کنید: رگرسیون خطی برای پیوسته، لجستیک برای دوحالتی، چندجمله‌ای برای دسته‌ای، و تطبیق میانگین پیش‌بینی‌شده برای متغیرهای پیوسته چوله (که مقداری مشاهده‌شده را از موردی مشابه جانهی می‌کند، تا مقادیر جانهی‌شده همیشه محتمل باشند).

ابتدا داده‌ها را برآورد کنید، سپس آن‌ها را تبدیل کنید. اگر تحلیل از $\log(X)$ استفاده می‌کند، ابتدا $X$ را برآورد کرده و سپس لگاریتم را محاسبه کنید، یا در تمام مراحل از مقیاس لگاریتمی استفاده کنید. از برآورد و سپس تبدیل ناسازگار خودداری کنید.

چند برآورد؟

نصیحت قدیمی «5» از دورانی آمده بود که محاسبات گران بود. روش رایج کنونی این است که حداقل به اندازه درصد موارد ناقص برآورد انجام دهید: اگر 30% موارد ناقص باشد، حداقل 30 برآورد استفاده کنید. برآوردهای بیشتر تنها هزینه زمانی را افزایش می‌دهند و خطای شبیه‌سازی را کاهش می‌دهند.

library(mice)
imp  <- mice(d, m = 30, method = "pmm", seed = 1234)
fits <- with(imp, lm(SBP ~ QUET + AGE + SMK))
summary(pool(fits))

گزارش‌دهی

حداقل، ایالت:

• در هر متغیر چه مقدار داده مفقود بود و الگو
• آنچه در مورد دلایل شناخته شده است
• مکانیسم فرضی و استدلال مربوط به آن
• مدل پر کردن داده‌ها: کدام متغیرها، کدام روش، چند پر کردن
• نتایج تحلیل مورد کامل نیز، تا خوانندگان بتوانند مقایسه کنند.
• تحلیل حساسیت

تحلیل حساسیت

از آنجا که MAR قابل آزمون نیست، تحلیل باید نشان دهد که نتیجه‌گیری تا چه حد به آن وابسته است.

پرکردن داده‌های گمشده با تنظیم دلتا. داده‌ها را با استفاده از MAR پر کنید، سپس مقادیر پرشده را به اندازه‌ی $\delta$ که نشان‌دهنده‌ی انحراف سیستماتیک است، جابه‌جا کنید. مقدار $\delta$ را افزایش دهید تا نتیجه‌گیری تغییر کند و گزارش دهید چه میزان انحراف لازم بوده است. اگر یک انحراف کوچک نتیجه‌گیری را برعکس کند، آنگاه تحلیل نتوانسته است این موضوع را اثبات کند.

مدل‌های مخلوط الگو. فرض کنید شرکت‌کنندگانی که داده‌هایشان مفقود است، به میزانی مشخص با شرکت‌کنندگانی که داده‌هایشان مشاهده شده متفاوت‌اند، و آن مقدار را تغییر دهید.

پرش به مرجع. در یک آزمایش، فرض کنید شرکت‌کنندگانی که درمان را قطع می‌کنند، پس از آن مانند بازوی کنترل رفتار می‌کنند. فرضی طبیعی و محافظه‌کارانه برای پرسش سیاست درمانی.

بهترین و بدترین حالت. فرض کنید تمام مقادیر گمشده، بیشترین و کمترین مقادیر ممکن را دارند. این کار محدوده‌هایی را، معمولاً وسیع، ارائه می‌دهد و نشان می‌دهد که آیا فقدان داده‌ها ممکن است اهمیت داشته باشد یا خیر.

مقداری که باید گزارش شود این است که جهان تا چه فاصله‌ای از MAR باید باشد تا نتیجه‌گیری شما تغییر کند. این یک گزاره است که خواننده می‌تواند آن را ارزیابی کند؛ «ما فرض کردیم MAR» چنین نیست.

درک خود را بررسی کنید

1. یک مجموعه داده شامل 8 متغیر است که هر یک به‌طور مستقل 6% داده‌های ناقص دارند. نسبت موارد کامل را برآورد کنید و درباره هزینه حذف فهرست‌وار نظر دهید.
2. برای هر یک از موارد زیر، مکانیسم احتمالی را نام ببرید و بگویید آیا تحلیل مورد کامل (complete-case analysis) مغرضانه خواهد بود یا خیر: (الف) خرابی یخچال آزمایشگاه یک دسته تصادفی از نمونه‌ها را از بین برد؛ (ب) بیمارانی که بیش از حد ناخوش بودند نتوانستند در ارزیابی خود شرکت کنند؛ (ج) بیماران مسن‌تر بیشتر پرسشنامهٔ کامپیوتری را پر نکردند.
3. توضیح دهید چرا نمی‌توان MAR را از داده‌ها آزمون کرد و چه نتایجی برای نحوه گزارش یک تحلیل به دست می‌آید.
4. با استفاده از فرمول ضریب همبستگی، توضیح دهید که چرا جابجایی میانگین همبستگی‌ها را تضعیف می‌کند.
5. یک همکار روش شاخص گمشده را پیشنهاد می‌کند زیرا «از تمام داده‌ها استفاده می‌کند.» مشکل را توضیح دهید و مورد خاص محدودی را که این روش در آن مناسب است نام ببرید.
6. توضیح دهید چرا باید نتیجه را در مدل پر کردن جای خالی وارد کرد و اگر آن را حذف کنیم چه اتفاقی می‌افتد.
7. یک تحلیل حساسیت برای یک کارآزمایی طراحی کنید که در آن 20% از بازوی مداخله و 8% از بازوی کنترل نتیجهٔ اولیه را ندارند. مشخص کنید چه نتیجه‌ای باعث می‌شود به نتیجهٔ اصلی شک کنید.
8. دو مؤلفهٔ واریانس در قواعد روبین را توضیح دهید و بگویید کدام یک از آن‌ها توسط تک‌پُر‌کردن حذف می‌شود.

مطالعه بیشتر

• Sterne JAC, White IR, Carlin JB, et al. Multiple imputation for missing data in epidemiological and clinical research: potential and pitfalls. BMJ. 2009;338:b2393.
• Little RJA, Rubin DB. Statistical Analysis with Missing Data. 3rd ed.
• Schafer JL, Graham JW. Missing data: our view of the state of the art. Psychol Methods. 2002;7(2):147-177.
• van Buuren S. Flexible Imputation of Missing Data. 2nd ed. (Freely available online, and the reference for the mice package.)
• Groenwold RHH, White IR, Donders ART, et al. Missing covariate data in clinical research: when and when not to use the missing-indicator method. CMAJ. 2012;184(11):1265-1269.