آزمون‌های معنی داری و منطق سطح معناداری چیست؟

با کمک آزمون­ های معنی­ داری می ­توان پی برد که کدام تفسیر درست است. منطق این آزمون­ ها ساده است. اگر دو متغیر در جمعیّت فاقد رابطه باشند احتمال این که نمونه تصادفی ما بیان­گر رابطه ای بین این دو متغیر باشد چقدر است؟ (یعنی احتمال دقیق نبودن نمونه تصادفی ما چقدر است؟). به عنوان مثال اگر صدبار نمونه­ گیری تصادفی انجام دهیم، احتمال این که یکی از آن ها نمونه غیر معرّفی باشد، یعنی بیان­گر رابطه­ های باشد که واقعا در جمعیّت وجود ندارد چقدر است؟ معمولا گفته می­شود آنجا که احتمالا از هر صد نمونه بیش از پنج نمونه بیان­گر رابطه­ های باشند که ناشی از خطای نمونه­ گیری است، احتمال نادرست بودن نمونه بالاست. چه بسا نمونه خاص ما یکی از پنج نمونه باشد! در نتیجه باید گفت به احتمال زیاد رابطه مشاهده ­شده ناشی از خطای نمونه­ گیری است و فرض فقدان رابطه در جمعیّت واقعا صحیح است.گروهی از پژوهش­گران محتاط­ ترند و معتقدند آنجا که بیش از یکی از صد نمونه بتواند برحسب تصادف رابطه­ های به شدت رابطه مشاهده شده ایجاد کند، آن گاه احتمال خطا زیاد است. اما اگر دریابیم که صرفا شمار بسیار اندکی از نمونه­ ها ممکن است رابطه مشاهده شده را ایجاد کنند می­توانیم قبول کنیم که رابطه مشاهده شده در نمونه ما واقعی و منعکس کننده رابطه در جمعیّت است.

از آن جا که هرگز صدبار نمونه­ گیری نمی ­کنیم، باید برآورد کنیم که اگر صد بار نمونه گیری می­ کردیم چقدر احتمال داشت که نمونه ما جزء یکی از نمونه ­هایی باشد که صرفا بر اساس شانس و تصادف بیان­گر رابطه ­ای به شدّت رابطه مشاهده شده در نمونه ما هستند.

با کمک نظریه احتمالات می­توان احتمال واقعی نبودن رابطه مشاهده شده در نمونه را (یعنی احتمال این که ناشی از خطای نمونه­ گیری باشد) برآورد کرد. (در این جا به این نظریه نمی پردازیم و فقط متذکر می­شویم که فرض این نظریه این است که از نمونه­ های تصادفی استفاده می­کنیم). آزمون معنی­ داری آماری در واقع برآورد همین احتمال است. دامنه مقادیر این آزمون­ها از (0) تا (1) است و آن­ها را سطوح معنی­ داری می­خوانند. معنای این ارقام چیست؟ گیریم سطح معنی­ داری 50/. است. این بدان معناست که در 50 نمونه از 100 نمونه فقط بر اثر خطای نمونه­ گیری (شانس) رابطه­ای به قوّت رابطه ه­ای که ما در نمونه مشاهده کردیم دیده می­شود. در این صورت احتیاط حکم می­کند رابطه مشاهده شده در نمونه خود را به احتمال زیاد واقعی ندانیم و در نتیجه فرض عدم رابطه در جمعیّت رد نمی­شود(تأیید می شود).

اگر سطح معنی­ داری 05/. باشد بدان معناست که فقط پنج نمونه از هر 100 نمونه برحسب تصادف به رابطه مشاهده شده در نمونه ما منجر می­شود. اگر سطح معنی­ داری 01/. باشد به معنی واقعی نبودن رابطه در یک نمونه از هر 100 نمونه و اگر 001/. باشد به معنای یک نمونه در 1000 نمونه است. پیداست هر چه سطح معنی­ داری پایین­ تر باشد، می توان اطمینان بیشتری به «واقعی» بودن رابطه مشاهده شده در نمونه داشت.

در اینجا به نحوه محاسبه این آزمون­های آماری معنی­ داری نمی­ پردازیم. فرمول این­ها در کتاب­های آماری وجود دارد و با برنامه­ های کامپیوتری هم به راحتی می­توان آن­ها را حساب کرد. اما مسأله­ ای وجود دارد که برنامه­ های کامپیوتری پاسخگوی آن نیستند. اکثر برنامه­های کامپیوتری سطح معنی­ داری را بین 0/. تا 0٫001محاسبه می­کنند؛ اما در چه سطحی فرضیه عدم رابطه در جمعیّت (فرضیه صفر) رد می­شود؟ معمولا سطح معنی ­داری را 05/. تا 01/. را به عنوان مبنا در نظر می­گیرند. اما این سطوح قراردادی و اختیاری هستند.

مسأله­ای که در کاربرد سطح معنی داری 05/. وجود دارد، سهولت رد فرض صفر (عدم رابطه) است: چه بسا فرض عدم رابطه در جمعیّت رد شود (فرض وجود رابطه تأیید شود) در حالی که واقعا رابطه­ های وجود نداشته باشد. چنین اشتباهی را خطای نوع اول می­خوانند و بیشتر در نمونه­ های بزرگ پیش می­آید. از این رو بهتر است در نمونه­ های بزرگ سطح معنی داری 01/. را به عنوان مبنا در نظر بگیریم. اما اگر همواره از سطح 01/. استفاده کنیم ممکن است کار به خطای نوع دوم بکشد - یعنی سخت­گیری بیش از حد و تصدیق فرضیه صفر در جایی که باید آن را رد کرد. احتمال چنین خطایی در نمونه­ های کوچک بیشتر است. طبق قاعده تجربی برای نمونه ­های کوچک از سطح معنی­داری 05/. و برای نمونه های بزرگ از سطح 01/. یا کمتر استفاده می­کنیم.