دادههای گمشده در سنتز شواهد
دادههای گمشده یک کارآزمایی را به خطر میاندازد و در نتیجه هر فراتحلیلی از آن کارآزمایی را نیز به مخاطره میاندازد. دو مشکل متمایز وجود دارد و هر یک نیازمند درمان متفاوتی هستند:
- مقادیر گمشده. آزمایش تکمیل و تحلیل شد، اما مقاله انحراف معیار، میانگین یا تعداد رویدادها را چاپ نکرد. یک مشکل گزارشدهی.
- شرکتکنندگان گمشده. افراد بهصورت تصادفی انتخاب شدند اما سپس مورد مشاهده قرار نگرفتند. این یک مشکل در طراحی و اجرا است و از نوع جدیتر آن است، زیرا میتواند برآورد را جانبدارانه کند تا صرفاً آن را مبهم سازد.
بخش 1. معیارهای گمشده برای نتایج پیوسته
بدون دادههای فردی شرکتکنندگان، یک فراتحلیل از یک نتیجه پیوسته نیازمند میانگین و معیاری از واریانس برای هر شاخه است. گزارشدهی ناقص انحراف معیار بهطور گسترده رایج است، بهویژه برای نتایج نامتقارن که دقیقاً همان نتایجی هستند که اهمیت بیشتری دارند.
دو گزینه وجود دارد: حذف آزمایش یا برآورد مقدار گمشده. حذف کردن آنطور که به نظر میرسد انتخاب امنی نیست، زیرا آزمایشهایی که بهطور ناقص گزارش میشوند، نمونهای تصادفی از آزمایشها نیستند.
تغییر از مبنا
یک مورد مکرر، زیرا انحراف معیار نمره تغییر، آماری است که اغلب حذف میشود.
دو روش برای تجمیع کارآزماییهایی که تغییر از خط پایه را گزارش میکنند:
- فقط از امتیازات تغییر استفاده کنید. آنها قابلاعتمادترند: کمتر منحرف شده و تحت تأثیر عدم توازن در خط پایه قرار نمیگیرند. هزینه آن قدرت است، زیرا کارآزماییهایی که تنها مقادیر نهایی را گزارش میکنند، حذف میشوند.
- مقادیر نهایی را با نمرههای تغییر ترکیب کنید. برای میانگین اختلاف قابل قبول است، زیرا هر دو همان اختلاف بینگروهی را برآورد میکنند. برای اختلاف میانگین استانداردشده قابل قبول نیست، زیرا هر دو با انحراف معیارهای متفاوت استاندارد شدهاند و در یک مقیاس نیستند.
برآورد یک انحراف معیار
سادهترین رویکرد: آن را از مطالعات دیگر قرض بگیرید. گزینهها، به ترتیب فزایندهی اهمیت:
- میانگین یا میانهٔ انحرافهای معیار گزارششده.
- مقدار حاصل از مشابهترین مطالعه، بر اساس تطبیق اندازه نمونه و خطر سوگیری.
- یک مقدار عمداً بالا بهعنوان یک انتخاب محافظهکارانه، یا بالاترین و پایینترین بهعنوان یک بازه.
رویکردهای مفصلتر:
- Regress log(SD) on log(mean) across the studies that reported both, and predict the missing one. This works because the two are usually strongly related for positive outcomes.
- یک همبستگی را قرض بگیرید. وقتی یک آزمایش انحراف معیارهای پایه و نهایی را گزارش میکند اما انحراف معیار تغییر را گزارش نمیکند، و آزمایش دیگری هر سه را گزارش میکند، همبستگی از آزمایش دوم، آزمایش اول را بازیابی میکند:
2 \, r \, SD_{\text{baseline}} \, SD_{\text{final}}}$$
**Every imputation is an assumption**, and there is no standard practice in this
literature, which is itself a documented problem. So:
- **Report which studies were imputed, and how.**
- **Run the analysis with and without the imputed studies.**
- **Try the highest and lowest plausible values**, not just the average.
- Remember that an imputed standard deviation makes a study look **more
precise than it is** if the imputed value is too small, and gives it weight
it has not earned.
## Part 2. Missing participant data
### What matters
Three things, and reviewers usually look at only the first:
**The extent.** What fraction was lost. A rule of thumb is useless on its own:
5% missing is serious when the event rate is 3%, and 20% may be tolerable when
the event rate is 60%. **What is ignorable depends on the event rate.**
**The imbalance.** 20% missing in one arm and 20% in the other is a different
problem from 5% and 35%. **Imbalance is as important as extent**, and differential
loss is usually informative about the intervention.
**The reason.** Withdrawal for an adverse effect, for lack of benefit, and for
moving house are three different things, and only the third is plausibly
unrelated to the outcome.
### The three mechanisms
| Mechanism | Definition | Ignorable? |
|---|---|---|
| **MCAR**, missing completely at random | Missingness unrelated to anything, observed or not | Yes |
| **MAR**, missing at random | Missingness related to observed characteristics, but not to the unobserved outcome itself | Yes, given the observed data |
| **MNAR**, missing not at random | Even accounting for everything observed, missingness still depends on the unseen outcome | **No** |
**MCAR** is hard to satisfy in practice: it requires that participants with and
without missing data do not differ systematically. Little's test is a
chi-squared diagnostic for it, and a non-significant result is weak evidence at
best.
**MAR** implies that the outcomes of those who dropped out would have resembled
the outcomes of those who stayed, conditional on what was measured.
**MNAR** is the case where people drop out for reasons connected to how they
were doing, which is exactly what happens when a drug is not working or its side
effects are intolerable.
**The central difficulty: it is impossible to tell MAR from MNAR from the data.**
Distinguishing them would require knowing the missing values, and if you knew
them they would not be missing. **So the mechanism is an assumption, and the
only defensible response is to state it and vary it.**
### Handling missingness with individual participant data
If you have the raw data, the options, in ascending order of quality:
| Method | What it does | Problem |
|---|---|---|
| **LOCF** | Carry the last observed value forward | Assumes no change after dropout, which is rarely true and biases in a predictable direction for progressive conditions |
| **BOCF** | Carry the baseline value forward | Assumes no benefit at all for dropouts |
| **Worst case / best case** | Impute failure, or success, for everyone missing | Brackets the truth but the bracket is usually too wide to be useful |
| **Single imputation** | Impute one value per missing observation from the observed data | Treats an imputed value as if it were observed, so standard errors are too small |
| **Multiple imputation** | Impute several complete datasets, analyze each, combine by Rubin's rules; **MICE** is the standard implementation | The best of these, and it propagates the imputation uncertainty into the interval |
LOCF remains the most common in published trials and is the least defensible.
### Handling missingness in aggregate data
This is the reviewer's situation, and the first task is not statistical.
**Find out what each published report actually did.** A paper reporting "n = 240
analyzed" from 300 randomized has made a decision, and often does not say which
one. Extract the number randomized, the number analyzed, and the number and
reasons for loss, per arm. Trials that report only the analyzed number cannot be
handled properly.
Then the options:
- **Ignore the missing data.** The usual starting point.
- **Best case and worst case.** In practice these give implausible results,
especially for binary outcomes or high missing rates.
- **Down-weight trials with more missing data.**
- **Assess the impact of missingness on the result**, by meta-regression on the
missing fraction.
## A worked example
Six trials of an intervention against control, with the number of successes,
failures and missing participants in each arm.
| Trial | Successes / failures / missing (intervention) | Successes / failures / missing (control) | % missing |
|---|---|---|---|
| T1 | 25 / 25 / 2 | 18 / 33 / 0 | 2% |
| T2 | 29 / 18 / **22** | 20 / 14 / **34** | **41%** |
| T3 | 12 / 17 / 1 | 2 / 28 / 1 | 3% |
| T4 | 10 / 11 / 0 | 3 / 19 / 0 | 0% |
| T5 | 19 / 45 / 2 | 14 / 50 / 2 | 3% |
| T6 | 17 / 1 / **11** | 7 / 4 / **18** | **50%** |
Four trials have almost no missing data. Two have 41% and 50%.
### What the assumption does to the answer
| Assumption about the missing participants | Pooled OR | 95% interval | $I^2$ |
|---|---|---|---|
| **Available case** (missing simply excluded) | **2.437** | 1.278 to 4.644 | 47% |
| Missing = failure, both arms | 2.473 | 1.481 to 4.131 | 38% |
| Missing = success, both arms | 2.145 | 1.083 to 4.250 | 58% |
| Missing = success in intervention, failure in control | **5.311** | 2.233 to 12.629 | 73% |
| Missing = failure in intervention, success in control | **1.144** | 0.375 to 3.489 | 87% |
| ICA-pC (imputed at the control arm's rate) | 2.120 | 1.217 to 3.691 | 46% |
**From 1.14 to 5.31 on identical data.** The last two rows are the extreme case
analyses, and they bracket everything the data can support: at one extreme a
five-fold benefit, at the other no effect at all with an interval spanning harm.
**That bracket is the honest statement of what these six trials establish about
this comparison**, and it is why the two trials with 41% and 50% loss cannot be
handled by a footnote.
Note also that the rows disagree in heterogeneity as well as in effect: $I^2$
runs from 38% to 87%. **The missingness assumption is a source of heterogeneity
in its own right.**
```r
library(meta)
# Available case: denominators exclude the missing
metabin(r1, r1 + f1, r2, r2 + f2, sm = "OR", method.tau = "DL")
# Missing = failure: denominators are the randomized totals
metabin(r1, n1, r2, n2, sm = "OR", method.tau = "DL")
```
## Imputed case analyses
Between "ignore them" and "assume the worst" sit the imputed case analyses,
which state explicitly what the missing participants are assumed to have done.
| Method | Missing participants imputed at |
|---|---|
| **ICA-p** | The rate observed in their own arm. Equivalent to available case analysis |
| **ICA-pC** | The rate observed in the **control** arm, in both arms |
| **ICA-pE** | The rate observed in the **experimental** arm, in both arms |
| **ICA-IMOR** | A rate derived from an explicitly stated informative missingness parameter |
The first three are quick sensitivity analyses. The fourth is the principled
one.
### Informative missingness
**Informative missingness means missingness depends on the outcome, given the
arm.** That is MNAR, and it is the case that matters.
For a **binary outcome**, the parameter is the **informative missingness odds
ratio**:
$$IMOR = \frac{\text{odds of the outcome among the missing}}
احتمال وقوع نتیجه در میان مشاهدات
$IMOR = 1$ به این معنی است که غایبان در همان بازوی مورد مطالعه مانند مشاهدهشدگان رفتار میکردند، که این تحلیل موردی در دسترس است. $IMOR < 1$ به این معنی است که آنها عملکرد بدتری داشتند.
**یک مثال عملی.** در یک بازو، 100 شرکتکننده بهصورت تصادفی انتخاب میشوند. 40 نفر بهبود یافتند و 20 نفر بهبود نیافتند، بنابراین احتمال مشاهدهشده $40/20 = 2.0$ است. **40 نفر هیچ دادهای دربارهٔ نتیجه ارائه نکردند.** یک کارشناس قضاوت میکند که تنها 10 نفر از آن 40 نفر بهبود مییافتند، بنابراین احتمال در میان مفقودین $10/30 = 0.333$ است.
$$IMOR = \frac{0.333}{2.0} = 0.167 = \frac{1}{6}$$
گمان میرود شرکتکنندگان غایب یکششم احتمال بهبودی نسبت به شرکتکنندگان مشاهدهشده را داشتهاند. سپس میتوان از این عدد برای برآورد استفاده کرد و این گزارهای است که کسی میتواند بر سر آن بحث کند، که همین نکته مدنظر است.
اعمالشده بر شش آزمایش:
| فرض | مجموعه OR | فاصلهٔ 95% |
|---|---|---|
| IMOR = 0.5 در هر دو بازو | 2.728 | 1.396 تا 5.331 |
| IMOR = 1.0 در هر دو بازو (کیس موجود) | 2.570 | 1.318 تا 5.013 |
| IMOR = 2.0 در هر دو بازو | 2.441 | 1.244 تا 4.788 |
| **IMOR = 0.5 در گروه مداخله، 2.0 در گروه کنترل** | **2.216** | 1.034 تا 4.745 |
**یک IMOR مشترک در هر دو بازو بهسختی نتیجه را تغییر میدهد**، زیرا بایاس عمدتاً بین بازوها خنثی میشود. **یک IMOR تفاضلی آن را جابهجا میکند** و در واقع فقدان تفاضلی رخ میدهد: افراد بازوی مداخله را به دلایلی متفاوت از بازوی کنترل ترک میکنند.
پس تحلیل حساسیتی که اهمیت دارد، آن است که اجازه میدهد IMOR **بین بازوها متفاوت باشد**.
### نتایج پیوسته
همان ایده با پارامتر متفاوت:
- **IMDoM،** اختلاف میانگین با در نظر گرفتن میزان اطلاعات مربوط به دادههای گمشده. مقدار IMDoM برابر با 1 نشان میدهد که میانگین دادههای گمشده یک واحد بیشتر از میانگین دادههای مشاهدهشده است.
- **IMRoM،** نسبت اطلاعدهندهٔ فقدان میانگینها. IMRoM برابر با 1.5 نشان میدهد که میانگین در میان دادههای گمشده 1.5 برابر میانگین در میان دادههای مشاهدهشده است.
برای هر چیزی که استفاده میکنید، یک بازهٔ معقول مشخص کنید و نتیجه را در سراسر آن بازه گزارش کنید.
## در عمل چه باید کرد
1. **دادههای مربوط به موارد ناقص را استخراج کنید**: تصادفیسازیشده، تحلیلشده، ناقص و دلایل، **برای هر بازو**. بدون آن هیچیک از این موارد ممکن نیست.
2. **یک تحلیل اصلی را انتخاب کرده و آن را از پیش مشخص کنید.** تحلیل موردی در دسترس یک گزینهٔ پیشفرض معقول است و بر MAR استوار است، که باید بهعنوان یک فرض مطرح شود، نه اینکه بیصدا فرض گردد.
3. **تحلیلهای حالت حدی را اجرا کنید** تا بازه را مشخص کنید. اگر بازه آستانه تصمیم را در بر گیرد، همان نتیجه است.
4. **تحلیل گمشدگی اطلاعاتی را با پارامترهای افتراقی اجرا کنید** در یک دامنه محتمل.
5. در صورتی که دادههای مفقود شده قابل توجه یا نامتعادل باشند، یا نتیجه در این تحلیلها پایدار نباشد، **خطر سوگیری را کاهش دهید**. این حوزه «دادههای نتیجه مفقود شده» در RoB 2 است.
6. **تمام آن را گزارش کنید.** یک برآورد تلفیقی واحد از مجموعهای از آزمایشها با 40% نرخ از دست دادن، نتیجه نیست؛ بلکه یکی از چندین نتیجهٔ ممکن است که بدون ارائهٔ گزینههای دیگرش ارائه شده است.
## درک خود را بررسی کنید
1. میزانهای گمشده را از دادههای گمشده شرکتکنندگان متمایز کنید و بگویید کدام یک بهجای صرفاً دقت، اعتبار را تهدید میکند.
2. یک گزارش آزمایشی تغییر از خط پایه را با میانگینها اما بدون انحراف معیارها نشان میدهد. سه روش برای برآورد آنها را نام ببرید و بیان کنید هر یک چه فرضیاتی دارند.
3. توضیح دهید چرا مقادیر نهایی و نمرههای تغییر را میتوان برای میانگین اختلاف ترکیب کرد اما برای اختلاف میانگین استانداردشده نمیتوان.
4. تعریف کنید MCAR، MAR و MNAR را و توضیح دهید چرا هیچ آزمون آماری نمیتواند مشخص کند که دادهها از نوع MAR هستند یا MNAR.
5. دو کارآزمایی هر کدام 20% از شرکتکنندگان را از دست دادند. در یکی، این میزان در هر دو بازو 20% بود؛ در دیگری، 5% و 35%. توضیح دهید چرا اینها مسائل متفاوتی هستند.
6. نقص روش انتساب آخرین مشاهده به پیش برای یک شرط پیشرو را توضیح دهید و بگویید این روش برآورد را در چه جهتی متمایل میکند.
7. در مثال عملی، نسبت شانس تلفیقی بین 1.14 تا 5.31 متغیر است. بگویید کدام دو تحلیل این محدودهها را تولید میکنند و جملهای را که در بخش نتایج مینویسید، بنویسید.
8. یک بازو شامل 60 شرکتکنندهٔ مشاهدهشده است که 45 موفقیت و 15 شکست دارد و 25 مورد دادهاش مفقود است. تحت IMOR برابر 0.25، چند نفر از این 25 مورد بهعنوان موفقیت برآورد میشوند؟
9. توضیح دهید چرا یک IMOR مشترک در هر دو بازو برآورد تلفیقی را بسیار کمتر از یک IMOR افتراقی جابهجا میکند، و کدام سناریو واقعبینانهتر است.
10. یک مرور یک برآورد تلفیقی از کارآزماییها را گزارش میکند که 40% از شرکتکنندگان را از دست داده است، با یک پاورقی که میگوید دادههای مفقود حذف شدهاند. موارد نادرست را فهرست کنید و بگویید چه چیزی را از نویسندگان میخواهید اضافه کنند.
## مطالعه بیشتر
- Higgins JPT, White IR, Wood AM. Imputation methods for missing outcome data in meta-analysis of clinical trials. *Clin Trials*. 2008;5(3):225-239.
- Mavridis D, White IR, Higgins JPT, Cipriani A, Salanti G. Allowing for uncertainty due to missing continuous outcome data in pairwise and network meta-analysis. *Stat Med*. 2015;34(5):721-741.
- Akl EA, Johnston BC, Alonso-Coello P, et al. Addressing dichotomous data for participants excluded from trial analysis: a guide for systematic reviewers. *PLoS One*. 2013;8(2):e57132.
- Wiebe N, Vandermeer B, Platt RW, Klassen TP, Moher D, Barrowman NJ. A systematic review identifies a lack of standardization in methods for handling missing variance data. *J Clin Epidemiol*. 2006;59(4):342-353.
- White IR, Royston P, Wood AM. Multiple imputation using chained equations: issues and guidance for practice. *Stat Med*. 2011;30(4):377-399.
- White IR, Higgins JPT, Wood AM. Allowing for uncertainty due to missing data in meta-analysis. *Stat Med*. 2008;27(5):711-727.