نتایج و اندازه‌گیری

سه دامنه

تحقیقات نتایج سه فعالیت متمایز را در بر می‌گیرد و اشتباه گرفتن آن‌ها موجب مشکل می‌شود:

1. توسعه یک ابزار سنجش
2. ارزیابی ویژگی‌های سنجشی یک ابزار موجود
3. انتخاب و استفاده از نتایج در یک مطالعه بالینی.

اکثر پژوهشگران تنها کار سوم را انجام می‌دهند. انجام خوب آن مستلزم درک کافی از دو مورد اول است تا بتوانید قضاوت کنید آیا ابزار موجود برای هدف شما مناسب است یا خیر.

انتخاب آنچه باید اندازه‌گیری شود

انتخاب نتیجه مشخص می‌کند که مطالعه‌ی شما چه نتیجه‌گیری‌هایی می‌تواند داشته باشد و این انتخاب تحت فشارهای متضاد صورت می‌گیرد. چهار پرسش باید به‌طور صریح پاسخ داده شوند.

چه چیزی اندازه‌گیری خواهد شد؟ کدام حوزه‌های نتیجه برای این پرسش اهمیت دارند و کدام متغیرهای خاص هر حوزه را نمایندگی می‌کنند؟

توسط چه کسی؟ بیمار، پزشک، ارزیاب آموزش‌دیده، مراقب، پایگاه دادهٔ اداری. هر یک سوگیری‌های متفاوتی دارند. یک نتیجه ارزیابی‌شده توسط پزشک می‌تواند تحت تأثیر آگاهی از تخصیص قرار گیرد؛ یک نتیجه گزارش‌شده توسط بیمار آنچه را که بیشترین اهمیت را دارد نشان می‌دهد و تحت تأثیر انتظارات است؛ یک پایگاه داده اداری از نظر مطالعه بی‌طرف است اما تنها آنچه را که سیستم کدگذاری ثبت می‌کند، ضبط می‌کند.

چه زمانی؟ زمان‌بندی نسبت به مداخله، تعداد ارزیابی‌ها و مدت‌زمان کل. اندازه‌گیری خیلی زود اثرات تأخیری را از دست می‌دهد؛ خیلی دیر شرکت‌کنندگان را از دست می‌دهد؛ و خیلی مکرر بار اضافی ایجاد می‌کند و به از دست رفتن داده‌ها منجر می‌شود.

چند معیار؟ نتایج بیشتر به معنای اطلاعات بیشتر و فرصت‌های بیشتر برای نتایج مثبت کاذب است. هر نتیجه اضافی بار پاسخ‌دهنده را افزایش می‌دهد که منجر به کاهش نرخ تکمیل می‌شود و داده‌های گمشده‌ای را ایجاد می‌کند که به ندرت به‌طور تصادفی گم شده‌اند.

آن آخرین مصالحه واقعی است و کمتر به آن توجه شده است. مطالعه‌ای که همه چیز را اندازه‌گیری می‌کند، در نهایت داده‌های ضعیفی درباره‌ی همه‌چیز به‌دست می‌آورد.

دسته‌های معیار نتیجه

گزارش‌شده توسط بیمار و گزارش‌نشده توسط بیمار

یک معیار نتیجه گزارش‌شده توسط بیمار (PROM) گزارش خود بیمار از وضعیت سلامت او را بدون تفسیر پزشک یا هر فرد دیگری ثبت می‌کند. علائم، عملکرد، کیفیت زندگی، رضایت، بار درمان.

PROMها تنها راه اندازه‌گیری مسائلی هستند که تنها در تجربهٔ بیمار وجود دارند: درد، خستگی، تهوع، نگرانی. ارزیابی درد بیمار توسط پزشک معیار خود پزشک است، نه درد.

نتایج غیرگزارش‌شده توسط بیمار شامل معیارهای ارزیابی‌شده توسط پزشک، معیارهای فیزیولوژیکی و آزمایشگاهی، تصویربرداری و رویدادهای ثبت‌شده در داده‌های اداری است.

نیازمندی‌های روش‌شناختی متفاوت است. ابزارهای گزارش‌شده توسط بیمار (PROMs) نیازمند توجه به دوره یادآوری، قالب پاسخ، اعتبار فرهنگی و زبانی و روش اجرا هستند (یک فرم خودپُر و یک مصاحبه تلفنی پاسخ‌های متفاوتی به یک پرسش می‌دهند). نتایج غیرگزارش‌شده توسط بیمار نیازمند توجه به این موارد هستند: چه کسی ارزیابی را انجام داده، آیا ارزیاب کور بوده و آیا ارزیابی استانداردسازی شده است یا خیر.

کلی و اختصاصی بیماری

یک معیار کلی در همه شرایط کاربرد دارد و امکان مقایسه بین بیماری‌ها و استفاده در ارزیابی اقتصادی را فراهم می‌کند. این معیار نسبت به تغییر در هر وضعیت خاص حساسیت کمتری دارد، زیرا بیشتر موارد آن برای هر بیمار مشخصی بی‌ربط هستند.

یک معیار اختصاصی بیماری بر مشکلات ویژه‌ی یک وضعیت متمرکز است. این معیار نسبت به تغییرات بالینی معنادار حساس‌تر است و نمی‌توان آن را بین وضعیت‌های مختلف مقایسه کرد.

بسیاری از مطالعات از هر دو استفاده می‌کنند. وقتی این کار را انجام می‌دهند، معیار عمومی اغلب بدون تغییر باقی می‌ماند، در حالی که معیار اختصاصی بیماری اثر روشنی نشان می‌دهد و گزارش صادقانه هر دو را توصیف می‌کند.

ثابت و متناسب با بیمار

یک ابزار ثابت از همه افراد یکسان می‌پرسد، که باعث می‌شود نمرات در میان شرکت‌کنندگان قابل مقایسه باشند.

ابزار منطبق بر بیمار به هر بیمار اجازه می‌دهد مشکلاتی را که برایش اهمیت دارند مشخص کند و تغییر در همان‌ها را نمره‌دهی می‌کند. این ابزار به آنچه هر فرد به آن اهمیت می‌دهد حساس‌تر است و نمره‌هایی تولید می‌کند که معنایشان میان افراد فرق می‌کند، و همین تجمیع را دشوار می‌سازد.

سطوح اندازه‌گیری

هر متغیر باید به‌عنوان پیوسته، ترتیبی یا دسته‌ای طبقه‌بندی شود، زیرا این امر تحلیل را تعیین می‌کند.

• پیوسته: شاخص توده بدنی، فشار خون، نمرهٔ مجموع پرسشنامه که به‌عنوان مقیاس فاصله‌ای در نظر گرفته شده است.
• ترتیبی: درجه‌های شدت بیماری، پاسخ‌های نوع لیکرت، دسته‌های وضعیت وزن به ترتیب.
• دسته‌ای (اسمی): تشخیص، درمان دریافت‌شده، وجود یا عدم وجود یک رویداد.

یک متغیر پیوسته را بدون دلیل قانع‌کننده دودویی نکنید. تقسیم یک معیار پیوسته در یک آستانه، اطلاعات را از بین می‌برد، قدرت آماری را کاهش می‌دهد (معمولاً معادل دور ریختن یک‌سوم نمونه است)، و این تصور غلط را ایجاد می‌کند که افرادی که درست بالای و درست زیر نقطه برش به طور معناداری با هم متفاوت هستند، در حالی که افراد در دو انتهای یک دسته یکسان هستند، و این امکان را فراهم می‌کند که نقطه برش پس از مشاهده داده‌ها انتخاب شود. هنگامی که یک تصمیم بالینی واقعاً بر یک آستانه استوار است، تحلیل پیوسته را نیز گزارش کنید.

نتایج ترکیبی و جانشین

هر دو در بخش طرح‌های تجربی معرفی شدند و اینجا دوباره ظاهر می‌شوند، زیرا پرسش‌های اندازه‌گیری یکسان هستند. بسته‌ی ترکیبی رویدادهایی با اهمیت‌های متفاوت را در بر می‌گیرد؛ نماینده‌ای جایگزین موقتی برای نتیجه‌ای که اهمیت دارد، ارائه می‌دهد. هر دو نیازمند توجیه صریح هستند و اغلب بدون آن به کار می‌روند.

ویژگی‌های اندازه‌گیری

دو ویژگی تعیین می‌کنند که آیا یک معیار ارزش استفاده دارد یا خیر. این ویژگی‌ها به شکلی خاص به هم مرتبط هستند و اصطلاحات به‌کاررفته برای آن‌ها کمتر از آنچه بیشتر کتاب‌های درسی القا می‌کنند، استاندارد شده‌اند.

یادداشتی دربارهٔ اصطلاحات

واژه‌های «دقت» و «درستی» در حوزه‌های مختلف به‌طور ناسازگار به‌کار می‌روند و ارزش دارد که این موضوع را صریحاً بیان کنیم تا اینکه وانمود کنیم واژگان ثابتی وجود دارد. در ادبیات اندازه‌گیری معانی معمول عبارتند از:

• قابلیت اطمینان (دقت، قابلیت تکرار): میزان ثبات اندازه‌گیری در تکرارها.
• اعتبار (دقت): میزان نزدیکی اندازه‌گیری به مقدار واقعی آنچه قصد دارید اندازه‌گیری کنید.

اما آمارشناسان از «دقت» برای عرض فاصله اطمینان استفاده می‌کنند که صفتی از یک مطالعه است نه یک ابزار، و «درستی» در آزمایش‌های تشخیصی برای حساسیت و اختصاصیت به‌کار می‌رود. هنگام خواندن باید مشخص کنید منظور کدام معناست.

اعتمادپذیری

پایایی آزمون تا بازآزمون: همان معیار که بر روی یک فرد ثابت در دو نوبت اعمال می‌شود، پاسخ یکسانی می‌دهد.

قابلیت اطمینان بین ارزیابان: دو مشاهده‌گر که یک فرد را ارزیابی می‌کنند، با هم توافق دارند. این قابلیت با ضریب کپا برای قضاوت‌های دسته‌ای و با ضریب همبستگی درون‌طبقه‌ای برای قضاوت‌های پیوسته کمی‌سازی می‌شود.

پایایی درون‌ارزیاب: یک ناظر واحد در ارزیابی‌های مکرر با خود هم‌نظر است.

همسانی درونی: برای یک ابزار چندموردی، موارد اندازه‌گیری یک سازه‌ی زیربنایی یکسان را انجام می‌دهند. معمولاً به صورت آلفای کرونباخ گزارش می‌شود. توجه داشته باشید که آلفای بسیار بالا (بیش از حدود 0.95) نشان‌دهنده‌ی اضافی بودن موارد است نه برتری: موارد همان پرسش را به روش‌های مختلف می‌پرسند.

اعتبار

اعتبار ظاهری: با مشاهده به نظر می‌رسد آنچه ادعا می‌کند را اندازه‌گیری می‌کند. شواهد ضعیف است، اما نبود آن هشداردهنده است.

اعتبار محتوایی: این موارد تمام دامنهٔ سازه را پوشش می‌دهند. این اعتبار از طریق توسعهٔ نظام‌مند با مشارکت بیماران و کارشناسان تعیین شده است، نه از طریق بازرسی.

اعتبار معیاری: همسویی با استاندارد طلایی، در صورت وجود. به اعتبار همزمان (اندازه‌گیری هم‌زمان) و اعتبار پیش‌بینی‌کننده (پیش‌بینی معیار در آینده) تقسیم می‌شود.

اعتبار سازه‌ای: برای بسیاری از سازه‌ها که استاندارد طلایی ندارند (کیفیت زندگی، درد، عملکرد)، اعتبار با آزمون اینکه آیا معیار همان‌طور که نظریه پیش‌بینی می‌کند رفتار می‌کند یا خیر، تعیین می‌شود. باید با معیارهای سازه‌های مرتبط همبستگی داشته باشد (اعتبار همگرا)، با معیارهای سازه‌های نامرتبط همبستگی نداشته باشد (اعتبار تفکیک‌کننده)، و گروه‌های شناخته‌شده‌ای را که با هم تفاوت دارند، از هم متمایز کند (اعتبار گروه‌های شناخته‌شده).

اعتبارسازی سازنده هرگز کامل نیست. این اعتبارسازی با هر بار مشاهده رفتار معقول یک معیار در مطالعات متعدد، انباشته می‌شود.

پاسخ‌گویی و قابل‌تفسیر بودن

دو ویژگی دیگر برای مطالعاتی که تغییر را اندازه‌گیری می‌کنند اهمیت دارد.

پاسخ‌گویی توانایی تشخیص تغییر زمانی است که تغییر واقعاً رخ داده باشد. یک معیار می‌تواند برای توصیف وضعیت در یک مقطع زمانی قابل‌اعتماد و معتبر باشد اما برای تشخیص پیشرفت بی‌فایده باشد، به‌ویژه اگر اثرات سقف یا کف داشته باشد (اکثر پاسخ‌دهندگان در بالاترین یا پایین‌ترین نمره‌ها قرار دارند و هیچ فضایی برای پیشرفت باقی نمی‌ماند).

قابلیت تفسیر به این معناست که آیا یک تغییر مشخص در نمره از نظر بالینی معنادار است یا خیر. حداقل اختلاف مهم کوچک‌ترین تغییری است که بیماران آن را مفید می‌دانند. بدون آن، یک تغییر دو امتیازی معنادار از نظر آماری در مقیاس صد امتیازی قابل تفسیر نیست و گزارش آن به‌عنوان مدرکی دال بر فایده بی‌اساس است.

چگونه قابلیت اطمینان، اعتبار را محدود می‌کند

رابطه بین این دو نامتقارن است و ارزش دارد که دقیقاً بیان شود:

اعتمادپذیری سقف اعتبار است. ابزاری که نتواند نتیجه‌اش را بازتولید کند، نمی‌تواند هیچ چیزی را به‌طور مداوم اندازه‌گیری کند، بنابراین نمی‌تواند چیز درست را به‌طور مداوم اندازه‌گیری کند. اما عکس این قضیه صادق نیست: یک ابزار کاملاً قابل‌اعتماد می‌تواند کاملاً بی‌اعتبار باشد. ترازویی که همیشه 3 کیلوگرم بیشتر نشان می‌دهد، کاملاً قابل‌اعتماد است اما به‌طور سیستماتیک اشتباه است.

پیامد عملی برای طراحی مطالعه: اندازه‌گیری ناپایدار یک پیامد معمولاً اثر ساختگی ایجاد نمی‌کند، بلکه اثر واقعی را رقیق می‌کند، آن را به سمت فرضیهٔ صفر متمایل می‌سازد و توان آماری را کاهش می‌دهد. اندازه‌گیری ناپایدار یک عامل قراردادی یا مخدوش‌گر بدتر است، زیرا مخدوشگری باقیمانده پس از تعدیل برای یک مخدوش‌گر کم‌دقت باقی می‌ماند.

مجموعه‌های نتایج اصلی

یک مشکل مکرر در پژوهش‌های سلامت این است که مطالعات مختلف درباره یک وضعیت واحد، نتایج متفاوتی را با ابزارهای گوناگون و در زمان‌های مختلف اندازه‌گیری می‌کنند، که این امر ترکیب آن‌ها را غیرممکن و گزارش گزینشی آن‌ها را آسان می‌سازد.

مجموعه نتایج اصلی، مجموعه‌ای حداقلی از نتایج مورد توافق است که باید در تمامی مطالعات یک وضعیت خاص اندازه‌گیری و گزارش شود. این مجموعه مانع از اندازه‌گیری موارد بیشتر توسط پژوهشگران نمی‌شود؛ بلکه تضمین می‌کند که یک هسته مشترک وجود داشته باشد. ابتکار COMET فهرستی از این مجموعه‌ها را نگهداری می‌کند.

چارچوب‌هایی از این دست برای حوزه‌های مختلف وجود دارند. برای مثال، در زمینه چاقی کودکان، چارچوب‌های منتشرشده حوزه‌های نتیجه‌ای را که ارزیابی مداخلات درمانی باید پوشش دهد، مشخص می‌کنند؛ حوزه‌هایی که معمولاً فراتر از شاخص توده بدنی رفته و شامل رژیم غذایی، فعالیت بدنی، نشانگرهای قلبی‌ تا ‌مטבولیک، پیامدهای روان‌ تا ‌اجتماعی و عوارض جانبی می‌شوند.

هنگام طراحی یک مطالعه، پیش از انتخاب نتایج، بررسی کنید که آیا یک مجموعه نتایج اصلی وجود دارد یا خیر. استفاده از آن هیچ هزینه‌ای ندارد و مطالعه شما را قابل تجمیع می‌کند.

سنجش آسیب‌ها

زیان‌ها به‌طور سیستماتیک بدتر از منافع اندازه‌گیری می‌شوند و دلایل آن ساختاری هستند.

• مزایا از پیش مشخص و برای آن‌ها قدرت‌نمایی شده است؛ مضرات معمولاً به‌صورت گزارش‌های باز رویدادهای نامطلوب جمع‌آوری می‌شوند.
• واژگان یکنواخت نیستند: «حادثه نامطلوب»، «اثر نامطلوب»، «عوارض جانبی»، «پیچیدگی» و «سمیّت» به‌طور مترادف به‌کار می‌روند و معانی متفاوتی دارند.
• در صورت شکست کورسازی، میزان تشخیص در هر بازو متفاوت است و پرسشگری فعال رویدادهای بسیار بیشتری نسبت به گزارش خودجوش شناسایی می‌کند.
• زیان‌های نادر به حجم نمونه بسیار بیشتری نسبت به آنچه برای بررسی فایده لازم است نیاز دارند، بنابراین کارآزمایی‌ها معمولاً در مورد آن‌ها اطلاعات کافی ارائه نمی‌دهند و باید از داده‌های مشاهده‌ای استفاده شود.
• گزارش‌دهی گزینشی است: مضرات در چکیدهها و گزارش‌های منتشرشده بیشتر از فواید حذف می‌شوند.

مراحل عملی: از پیش مشخص کنید کدام آسیب‌ها به‌طور فعال جمع‌آوری خواهند شد و چگونه، از یک سیستم درجه‌بندی استاندارد استفاده کنید، مخرج‌ها و مدت پیگیری آسیب‌ها را همان‌قدر با دقت گزارش کنید که مزایا را، و حتی زمانی که تعداد آسیب‌ها از نظر آماری معنادار نیست، آن‌ها را گزارش کنید.

کار بر روی یک مثال

فرض کنید هیئت مدیرهٔ یک مدرسه از شما می‌خواهد یک برنامهٔ جدید چندجزئی برای پیشگیری از چاقی در مدارس ابتدایی را ارزیابی کنید و بپرسد چگونه تشخیص خواهید داد که آیا این برنامه موفق بوده است.

حوزه‌های پیامد که می‌توانید در نظر بگیرید: تن‌سنجی (نمره z نمایه توده بدنی، دور کمر)، رژیم غذایی (مصرف گروه‌های غذایی مشخص، نمره‌های کیفیت رژیم)، فعالیت بدنی (شتاب‌سنجی، خودگزارشی یا گزارش والدین)، نشانگرهای قلبی-متابولیک (فشار خون، چربی‌ها، قند)، پیامدهای روانی-اجتماعی (عزت نفس، تصویر بدن، تجربه انگ مرتبط با وزن)، دانش و نگرش، و پیامدهای سطح برنامه (وفاداری به اجرا، دامنه پوشش، هزینه).

سطوح اندازه‌گیری: نمره z BMI پیوسته است؛ دسته‌بندی وضعیت وزن ترتیبی است؛ برآورده کردن راهنمای فعالیت بدنی دسته‌ای است. توجه داشته باشید که دو مورد آخر معمولاً با دودویی‌سازی مورد اول به‌دست می‌آیند، با هزینه‌های توصیف‌شده در بالا.

چند معیار؟ به اندازه‌ای که حوزه‌هایی را که در صورت کارکرد برنامه تغییر می‌کردند پوشش دهد، و به اندازه‌ای اندک که مدارس و کودکان واقعاً آن‌ها را تکمیل کنند. این امر به رتبه‌بندی صریحی منجر می‌شود که بخش مفید این تمرین است.

کدام‌ها معرف‌های جانشین هستند؟ دانش و نگرش‌ها معرف‌های جانشین رفتار هستند؛ رفتار معرف جانشین آنتروپومتری است؛ آنتروپومتری معرف جانشین بیماری قلبی‌عروقی بزرگسالان است. هر مرحله از این زنجیره نقطه‌ای است که برنامه می‌تواند در آن موفق شود، در حالی که چیزی که برای شما اهمیت دارد تغییر نمی‌کند.

تهدیدها برای پایایی و روایی در این زمینه: اندازه‌گیری قد و وزن توسط کارکنان مدرسه با سطوح مختلف آموزش (پایایی بین-داوران)؛ رژیم غذایی خوداظهاری در کودکان که غیرقابل اعتماد و دارای سوگیری سیستماتیک است (روایی)؛ پایبندی به زمان استفاده از شتاب‌سنج (داده‌های گمشده، نه به‌طور تصادفی)؛ تمایل به پاسخ‌دهی مطلوب در معیارهای روان‌اجتماعی؛ و این واقعیت که اجرای یک برنامه در کل مدارس به معنای داده‌های خوشه‌محور است.

درک خود را بررسی کنید

1. یک کارآزمایی یک نتیجه کیفیت زندگی را اندازه‌گیری می‌کند و یک تفاوت میانگین معنادار از نظر آماری به میزان 1.8 امتیاز را در مقیاسی از 0 تا 100 گزارش می‌کند. چه اطلاعات تکمیلی واحدی پیش از تصمیم‌گیری درباره اهمیت این موضوع نیاز دارید و چگونه می‌توانستید آن را به‌دست آورید؟
2. یک مطالعه یک نشانگر زیستی پیوسته را در میانه دو گروه تقسیم می‌کند و ارتباط معناداری با نتیجه گزارش می‌کند. سه مشکل خاص این تحلیل را بیان کنید و بگویید به جای آن از نویسندگان چه چیزی را درخواست می‌کنید.
3. یک پرسشنامه در 30 پرسش ضریب آلفای کرونباخ برابر با 0.97 را گزارش کرده است. آیا این مقدار خوب است؟ توضیح دهید.
4. توضیح دهید چرا اندازه‌گیری غیرقابل‌اعتماد یک عامل عامل مخدوش‌گر خطرناک‌تر از اندازه‌گیری غیرقابل‌اعتماد نتیجه است و بگویید هر یک در چه جهتی نتیجه را متمایل می‌کند.
5. شما در حال طراحی یک کارآزمایی در شرایطی هستید که یک مجموعه نتایج اصلی وجود دارد اما شامل نتیجه‌ای که شما آن را مهم‌ترین می‌دانید، نیست. چه می‌کنید؟
6. یک کارآزمایی گزارش می‌دهد که رویدادهای نامطلوب «بین گروه‌ها مشابه» بوده‌اند، بدون ارائه جدول. پرسش‌های را که قبل از پذیرش ایمنی مداخله می‌خواهید پاسخ داده شوند، فهرست کنید.

مطالعه بیشتر

• Hulley SB, Martin JN, Cummings SR. Planning the measurements: precision and accuracy. In: Designing Clinical Research, 4th ed., Chapter 4.
• Streiner DL, Norman GR. "Precision" and "accuracy": two terms that are neither. J Clin Epidemiol. 2006;59:327-330.
• In H, Rosen JE. A primer on outcomes research. J Surg Oncol. 2014;110:489-493.
• Patrick DL, Guyatt GH, Acquadro C. Patient-reported outcomes. In: Cochrane Handbook for Systematic Reviews of Interventions, Chapter 17.
• Loke YK, Price D, Herxheimer A. Adverse effects. In: Cochrane Handbook for Systematic Reviews of Interventions, Chapter 14.
• Williamson PR, Altman DG, Blazeby JM, et al. Developing core outcome sets for clinical trials: issues to consider. Trials. 2012;13:132.