|

نظرسنجی معتبر یعنی کنترل خطاها در هر مرحله

سعید ارکان‌زاده‌یزدی

نظرسنجی معتبر کار هر کسی نیست و البته غیرممکن هم نیست؛ سازمان‌های معروف نظرسنجی آمریکایی، هنگام انتخابات ریاست‌جمهوری این کشور، نظرسنجی‌هایی چنان دقیق انجام می‌دهند که با یکی، دودرصد خطا، همان نتیجه واقعی را تخمین می‌زند. آنها همه مولفه‌های لازم برای نظرسنجی را در نظر می‌گیرند و روزبه‌روز و حتی برای صبح و عصر یک روز، نظرسنجی جداگانه‌ای انجام می‌دهند که قابل استناد برای همه جناح‌ها و تصمیم‌گیران سیاسی است؛ همه اینها محصول دقت است. اما برعکس، اگر در نظرسنجی‌ها دقت‌های لازم لحاظ نشود، نتیجه غیرقابل استنادی به‌دست می‌آید که هرگونه تصمیم‌گیری بر اساس آن را با نتایج غیردلخواه روبه‌رو می‌کند.
در انتخابات ریاست‌جمهوری اخیر در ایران، هر ستاد انتخاباتی و بسیاری از سازمان‌ها نظرسنجی انجام می‌دادند و با استناد به آن، نتایج را تخمین می‌زدند و ائتلاف‌ها را خواستار می‌شدند. اما گاهی نتیجه این نظرسنجی‌ها کاملا با هم متناقض بود و همین تناقض‌ها نشان می‌داد که اصول علمی نظرسنجی در این موارد رعایت نشده است. نظرسنجی انتخاباتی، نوعی از پیمایش اجتماعی (Survey) و زیرمجموعه تحقیق‌های کمی اجتماعی است که اتکای زیادی به آمار و ریاضی دارد. هر پیمایش معمولا با ابزار مصاحبه یا پرسشنامه انجام می‌شود؛ برای نظرسنجی‌های انتخاباتی، معمولا به جای اینکه یک پرسشنامه شامل چند سوال به رای دهنده‌ها داده شود تا آن را پر کنند، سوال‌ها را از آنها می‌پرسند و خود پرسشگران فرم نظرسنجی را پر می‌کنند. مثلا می‌پرسند آیا گزینه خود را در انتخابات انتخاب کرده‌اید یا اینکه در انتخابات به چه کسی رای می‌دهید.
انواع نظرسنجی می‌تواند متفاوت باشد؛ ممکن است مثل سرشماری سراسری رودررو از مردم سوال شود، یا مانند نظرسنجی درباره سریال‌های تلویزیونی با تلفن با آنها مصاحبه کنند و همین‌طور، نوع نظرسنجی می‌تواند ایمیلی، پیامکی یا نظرسنجی با کلیک گزینه‌ها در یک سایت اینترنتی باشد. همچنین نظرسنجی باید در یک «نمونه آماری» انجام شود اما این نمونه باید دارای ویژگی «تعمیم‌پذیری» باشد؛ یعنی چون به دلیل هزینه و زمان زیاد از همه مردم نمی‌شود نظرشان را پرسید، باید از گروهی از مردم به‌عنوان نمونه آماری، نظر را پرسید ولی نمونه را طوری انتخاب کرد که نتایج نظرسنجی قابل تعمیم به تمام «جامعه آماری» باشد. در علوم اجتماعی، روش‌های متنوعی برای انتخاب نمونه آماری وجود دارد که کاملا متکی به علم آمار است و ریاضیدان‌های بسیاری سال‌هاست که صحت این روش‌ها را تضمین کرده‌اند. حتی حجم نمونه آماری که می‌گوید در نظرسنجی از چند نفر باید سوال‌ها را پرسید، با فرمول‌های کاملا متکی به ریاضی و آمار مشخص می‌شود که خود داستان مفصلی دارد.
در نظرسنجی، بحث بسیار مهمی با عنوان «خطا»های نظرسنجی وجود دارد؛ هر مرحله از نظرسنجی با خطاهایی همراه است که محققان باید آن را به کمترین مقدار ممکن برسانند. مثلا نمونه‌گیری دارای خطایی است که با رعایت فرمول‌های ریاضی و دقت در انتخاب کسانی که به سوالات پاسخ می‌دهند، باید آن را به کمترین مقدار رساند؛ یعنی از هر کس که دم‌دست است، نمی‌توان نظرسنجی کرد و پاسخگویان باید با یک روش دقیق انتخاب شوند. خطا در تعمیم «نمونه آماری» به «جامعه آماری» هم می‌تواند وجود داشته باشد؛ یعنی نمی‌توان پاسخگویان به نظرسنجی یک سایت اینترنتی یا برنامه تلویزیونی را به کل جامعه تعمیم داد چون در این صورت، نظر کسانی که به آن سایت یا برنامه تلویزیونی دسترسی ندارند، از نظرسنجی حذف می‌شود و خطا به نظرسنجی وارد می‌شود. از سوی دیگر، ابزار نظرسنجی هم می‌تواند دارای خطا باشد؛ یعنی مثلا اگر سوالاتی که از افراد پرسیده می‌شود، دارای سوگیری و متمایل به یک جواب خاص باشد، نظرسنجی مطابق با واقعیت نخواهد بود و خطای زیادی خواهد داشت. نوع نظرسنجی نیز می‌تواند خطای کم یا زیادی داشته باشد؛ مثلا وقتی نظرسنجی تلفنی انجام می‌شود، احتمال اینکه افراد به سوالات محافظه‌کارانه جواب دهند، بیشتر است تا اینکه نظرسنجی اینترنتی انجام شود؛ پس نظرسنجی تلفنی از افراد درباره مسایل دارای حساسیت بالا، دارای خطای زیاد ناشی از محافظه‌کاری پاسخگویان خواهد بود. به همین ترتیب، در پیاده‌کردن پاسخ‌ها در نرم‌افزار نظرسنجی، آزمون‌های آماری و ادغام نتایج و محاسبات عددی هم می‌تواند خطاهای محاسباتی و روشی وارد شود.
با این وصف، دیده می‌شود که در هر مرحله از نظرسنجی، از نمونه‌گیری تا آزمون‌های آماری، خطاهایی وجود دارد که اگر محقق به آنها توجه نکند، برآیند این خطاها چنان می‌شود که نظرسنجی اصلا منطبق با واقعیت و قابل استناد برای تصمیم‌گیری نخواهد بود. به‌طورکلی، این خطاها باید در تمام مراحل نظرسنجی، با اتکا به روش‌های علمی، به قدری کنترل شوند که در نهایت، نظرسنجی دارای اعتبار (Validity) و پایایی (Reliability) قابل‌قبولی باشد. «اعتبار» به‌طور خیلی ساده یعنی اینکه نظرسنجی همان مساله‌ای را از همان جامعه آماری در همان زمانی بسنجد که باید می‌سنجید؛ مثلا وقتی موضوع نظرسنجی این است که آیا در انتخابات شرکت می‌کنید یا نه، نظرسنجی عملا به سوالاتی تبدیل نشود که می‌پرسد به کدام نامزد رای می‌دهید یا به‌جای نظرسنجی از همه مردم ایران، آن را محدود به کسانی نکند که به اینترنت دسترسی دارند یا فقط زبان فارسی را می‌فهمند. «پایایی» نیز یعنی اینکه اگر در همان زمان و مکان، از همان جامعه آماری نظرسنجی مشابهی انجام شود، محقق به نتایج مشابهی با نظرسنجی قبلی برسد. بنابراین وقتی دو نهاد در نظرسنجی برای انتخابات، در یک زمان و مکان و جامعه آماری همسان به دو نتیجه کاملا متناقض می‌رسند، باید در پایایی این نظرسنجی‌ها شک کرد. برای مشخص‌کردن اعتبار نظرسنجی معتبر کار هر کسی نیست و البته غیرممکن هم نیست؛ سازمان‌های معروف نظرسنجی آمریکایی، هنگام انتخابات ریاست‌جمهوری این کشور، نظرسنجی‌هایی چنان دقیق انجام می‌دهند که با یکی، دودرصد خطا، همان نتیجه واقعی را تخمین می‌زند. آنها همه مولفه‌های لازم برای نظرسنجی را در نظر می‌گیرند و روزبه‌روز و حتی برای صبح و عصر یک روز، نظرسنجی جداگانه‌ای انجام می‌دهند که قابل استناد برای همه جناح‌ها و تصمیم‌گیران سیاسی است؛ همه اینها محصول دقت است. اما برعکس، اگر در نظرسنجی‌ها دقت‌های لازم لحاظ نشود، نتیجه غیرقابل استنادی به‌دست می‌آید که هرگونه تصمیم‌گیری بر اساس آن را با نتایج غیردلخواه روبه‌رو می‌کند.
در انتخابات ریاست‌جمهوری اخیر در ایران، هر ستاد انتخاباتی و بسیاری از سازمان‌ها نظرسنجی انجام می‌دادند و با استناد به آن، نتایج را تخمین می‌زدند و ائتلاف‌ها را خواستار می‌شدند. اما گاهی نتیجه این نظرسنجی‌ها کاملا با هم متناقض بود و همین تناقض‌ها نشان می‌داد که اصول علمی نظرسنجی در این موارد رعایت نشده است. نظرسنجی انتخاباتی، نوعی از پیمایش اجتماعی (Survey) و زیرمجموعه تحقیق‌های کمی اجتماعی است که اتکای زیادی به آمار و ریاضی دارد. هر پیمایش معمولا با ابزار مصاحبه یا پرسشنامه انجام می‌شود؛ برای نظرسنجی‌های انتخاباتی، معمولا به جای اینکه یک پرسشنامه شامل چند سوال به رای دهنده‌ها داده شود تا آن را پر کنند، سوال‌ها را از آنها می‌پرسند و خود پرسشگران فرم نظرسنجی را پر می‌کنند. مثلا می‌پرسند آیا گزینه خود را در انتخابات انتخاب کرده‌اید یا اینکه در انتخابات به چه کسی رای می‌دهید.
انواع نظرسنجی می‌تواند متفاوت باشد؛ ممکن است مثل سرشماری سراسری رودررو از مردم سوال شود، یا مانند نظرسنجی درباره سریال‌های تلویزیونی با تلفن با آنها مصاحبه کنند و همین‌طور، نوع نظرسنجی می‌تواند ایمیلی، پیامکی یا نظرسنجی با کلیک گزینه‌ها در یک سایت اینترنتی باشد. همچنین نظرسنجی باید در یک «نمونه آماری» انجام شود اما این نمونه باید دارای ویژگی «تعمیم‌پذیری» باشد؛ یعنی چون به دلیل هزینه و زمان زیاد از همه مردم نمی‌شود نظرشان را پرسید، باید از گروهی از مردم به‌عنوان نمونه آماری، نظر را پرسید ولی نمونه را طوری انتخاب کرد که نتایج نظرسنجی قابل تعمیم به تمام «جامعه آماری» باشد. در علوم اجتماعی، روش‌های متنوعی برای انتخاب نمونه آماری وجود دارد که کاملا متکی به علم آمار است و ریاضیدان‌های بسیاری سال‌هاست که صحت این روش‌ها را تضمین کرده‌اند. حتی حجم نمونه آماری که می‌گوید در نظرسنجی از چند نفر باید سوال‌ها را پرسید، با فرمول‌های کاملا متکی به ریاضی و آمار مشخص می‌شود که خود داستان مفصلی دارد.
در نظرسنجی، بحث بسیار مهمی با عنوان «خطا»های نظرسنجی وجود دارد؛ هر مرحله از نظرسنجی با خطاهایی همراه است که محققان باید آن را به کمترین مقدار ممکن برسانند. مثلا نمونه‌گیری دارای خطایی است که با رعایت فرمول‌های ریاضی و دقت در انتخاب کسانی که به سوالات پاسخ می‌دهند، باید آن را به کمترین مقدار رساند؛ یعنی از هر کس که دم‌دست است، نمی‌توان نظرسنجی کرد و پاسخگویان باید با یک روش دقیق انتخاب شوند. خطا در تعمیم «نمونه آماری» به «جامعه آماری» هم می‌تواند وجود داشته باشد؛ یعنی نمی‌توان پاسخگویان به نظرسنجی یک سایت اینترنتی یا برنامه تلویزیونی را به کل جامعه تعمیم داد چون در این صورت، نظر کسانی که به آن سایت یا برنامه تلویزیونی دسترسی ندارند، از نظرسنجی حذف می‌شود و خطا به نظرسنجی وارد می‌شود. از سوی دیگر، ابزار نظرسنجی هم می‌تواند دارای خطا باشد؛ یعنی مثلا اگر سوالاتی که از افراد پرسیده می‌شود، دارای سوگیری و متمایل به یک جواب خاص باشد، نظرسنجی مطابق با واقعیت نخواهد بود و خطای زیادی خواهد داشت. نوع نظرسنجی نیز می‌تواند خطای کم یا زیادی داشته باشد؛ مثلا وقتی نظرسنجی تلفنی انجام می‌شود، احتمال اینکه افراد به سوالات محافظه‌کارانه جواب دهند، بیشتر است تا اینکه نظرسنجی اینترنتی انجام شود؛ پس نظرسنجی تلفنی از افراد درباره مسایل دارای حساسیت بالا، دارای خطای زیاد ناشی از محافظه‌کاری پاسخگویان خواهد بود. به همین ترتیب، در پیاده‌کردن پاسخ‌ها در نرم‌افزار نظرسنجی، آزمون‌های آماری و ادغام نتایج و محاسبات عددی هم می‌تواند خطاهای محاسباتی و روشی وارد شود.
با این وصف، دیده می‌شود که در هر مرحله از نظرسنجی، از نمونه‌گیری تا آزمون‌های آماری، خطاهایی وجود دارد که اگر محقق به آنها توجه نکند، برآیند این خطاها چنان می‌شود که نظرسنجی اصلا منطبق با واقعیت و قابل استناد برای تصمیم‌گیری نخواهد بود. به‌طورکلی، این خطاها باید در تمام مراحل نظرسنجی، با اتکا به روش‌های علمی، به قدری کنترل شوند که در نهایت، نظرسنجی دارای اعتبار (Validity) و پایایی (Reliability) قابل‌قبولی باشد. «اعتبار» به‌طور خیلی ساده یعنی اینکه نظرسنجی همان مساله‌ای را از همان جامعه آماری در همان زمانی بسنجد که باید می‌سنجید؛ مثلا وقتی موضوع نظرسنجی این است که آیا در انتخابات شرکت می‌کنید یا نه، نظرسنجی عملا به سوالاتی تبدیل نشود که می‌پرسد به کدام نامزد رای می‌دهید یا به‌جای نظرسنجی از همه مردم ایران، آن را محدود به کسانی نکند که به اینترنت دسترسی دارند یا فقط زبان فارسی را می‌فهمند. «پایایی» نیز یعنی اینکه اگر در همان زمان و مکان، از همان جامعه آماری نظرسنجی مشابهی انجام شود، محقق به نتایج مشابهی با نظرسنجی قبلی برسد. بنابراین وقتی دو نهاد در نظرسنجی برای انتخابات، در یک زمان و مکان و جامعه آماری همسان به دو نتیجه کاملا متناقض می‌رسند، باید در پایایی این نظرسنجی‌ها شک کرد. برای مشخص‌کردن اعتبار و پایایی نیز در علم آمار فرمول‌های متنوعی وجود دارد که معمولا برای هر روش نظرسنجی، استفاده از یک نوع از آنها رایج‌تر است. به همه این عوامل، باید اخلاق حرفه‌ای نظرسنجی را هم اضافه کرد؛ یعنی مثلا نباید پاسخگویان را گول زد یا تطمیع کرد تا به سوالات پاسخ دهند یا اینکه محقق باید به پاسخگو بگوید که واقعا برای چه نهادی در حال نظرسنجی است.
حال به این سوال می‌رسیم: آیا نظرسنجی‌هایی که در روزهای انتخابات ریاست‌جمهوری ایران انجام می‌شدند، نظرسنجی‌هایی انعکاس‌دهنده واقعیت و معتبر بودند؟ پاسخ این است که اگر در تمام مراحل نظرسنجی، مدیران نظرسنجی تلاش می‌کرده‌اند که خطاها را کنترل کنند و به «اعتبار» و «پایایی» قابل‌قبولی برسند، این نظرسنجی‌ها انعکاس‌دهنده واقعیت بوده و در غیر این صورت، نظرسنجی با انواع خطاهای روشی، فاقد اعتبار بوده است. وقتی یک سایت پربیننده خبری حتی با 40هزار پاسخگو نظرسنجی برگزار می‌کند و سپس اعلام می‌کند که طبق آن نظرسنجی، اقبال مردم به یک نامزد بیشتر شده، خطای نمونه‌گیری را وارد نظرسنجی کرده است و همین خطا به «اعتبار» نظرسنجی لطمه می‌زند درحالی‌که یک سازمان حرفه‌ای ممکن است با نظرسنجی تلفنی از فقط دو هزار نفر، بتواند آماری بسیار واقعی‌تر از رای‌دهندگان را به دست بیاورد. جالب اینجاست که نتایج بسیاری از نظرسنجی‌های ستادهای هریک از نامزدها، آن نامزد را دارای بیشترین رای می‌دانست که نشان از خطای سوگیری در پرسشنامه‌ها، نمونه‌گیری‌ها و جمع‌آوری نتایج بود. مساله دیگر، این است که معمولا نهادهای معدودی در ایران اجازه دارند که نظرسنجی در سطح وسیعی انجام دهند و هر سازمانی نمی‌تواند در سراسر کشور نظرسنجی برگزار کند و همین محدودیت باعث می‌شود که سایر نهادها و ستادها به نتایج معیوب و دارای خطاهای زیادِ نظرسنجی‌شان بسنده کنند. نکته کلیدی دیگر نیز این است که نظرسنجی معمولا کاری پرهزینه است و با بودجه‌ای اندک، نمی‌توان کاری کرد که همه خطاهای نظرسنجی کنترل شود؛ بنابراین منطقی است که غول‌هایی مثل گالوپ (Gallup) یا پیو (Pew) با سرمایه‌های کلان و نیروی انسانی مجربی که در اختیار دارند، بتوانند با خطای بسیار کم، نتایج انتخابات آمریکا را تخمین بزنند اما نهادهایی که در ایران نظرسنجی انجام می‌دهند، بیشتر به فکر خوشایندبودن نظرسنجی‌ها باشند نه انطباق نتایج کارشان با واقعیت. و پایایی نیز در علم آمار فرمول‌های متنوعی وجود دارد که معمولا برای هر روش نظرسنجی، استفاده از یک نوع از آنها رایج‌تر است. به همه این عوامل، باید اخلاق حرفه‌ای نظرسنجی را هم اضافه کرد؛ یعنی مثلا نباید پاسخگویان را گول زد یا تطمیع کرد تا به سوالات پاسخ دهند یا اینکه محقق باید به پاسخگو بگوید که واقعا برای چه نهادی در حال نظرسنجی است.
حال به این سوال می‌رسیم: آیا نظرسنجی‌هایی که در روزهای انتخابات ریاست‌جمهوری ایران انجام می‌شدند، نظرسنجی‌هایی انعکاس‌دهنده واقعیت و معتبر بودند؟ پاسخ این است که اگر در تمام مراحل نظرسنجی، مدیران نظرسنجی تلاش می‌کرده‌اند که خطاها را کنترل کنند و به «اعتبار» و «پایایی» قابل‌قبولی برسند، این نظرسنجی‌ها انعکاس‌دهنده واقعیت بوده و در غیر این صورت، نظرسنجی با انواع خطاهای روشی، فاقد اعتبار بوده است. وقتی یک سایت پربیننده خبری حتی با 40هزار پاسخگو نظرسنجی برگزار می‌کند و سپس اعلام می‌کند که طبق آن نظرسنجی، اقبال مردم به یک نامزد بیشتر شده، خطای نمونه‌گیری را وارد نظرسنجی کرده است و همین خطا به «اعتبار» نظرسنجی لطمه می‌زند درحالی‌که یک سازمان حرفه‌ای ممکن است با نظرسنجی تلفنی از فقط دو هزار نفر، بتواند آماری بسیار واقعی‌تر از رای‌دهندگان را به دست بیاورد. جالب اینجاست که نتایج بسیاری از نظرسنجی‌های ستادهای هریک از نامزدها، آن نامزد را دارای بیشترین رای می‌دانست که نشان از خطای سوگیری در پرسشنامه‌ها، نمونه‌گیری‌ها و جمع‌آوری نتایج بود. مساله دیگر، این است که معمولا نهادهای معدودی در ایران اجازه دارند که نظرسنجی در سطح وسیعی انجام دهند و هر سازمانی نمی‌تواند در سراسر کشور نظرسنجی برگزار کند و همین محدودیت باعث می‌شود که سایر نهادها و ستادها به نتایج معیوب و دارای خطاهای زیادِ نظرسنجی‌شان بسنده کنند. نکته کلیدی دیگر نیز این است که نظرسنجی معمولا کاری پرهزینه است و با بودجه‌ای اندک، نمی‌توان کاری کرد که همه خطاهای نظرسنجی کنترل شود؛ بنابراین منطقی است که غول‌هایی مثل گالوپ (Gallup) یا پیو (Pew) با سرمایه‌های کلان و نیروی انسانی مجربی که در اختیار دارند، بتوانند با خطای بسیار کم، نتایج انتخابات آمریکا را تخمین بزنند اما نهادهایی که در ایران نظرسنجی انجام می‌دهند، بیشتر به فکر خوشایندبودن نظرسنجی‌ها باشند نه انطباق نتایج کارشان با واقعیت.

برای اطلاع از آخرین اخبار و تحلیل‌ها به کانال شرق در «تلگرام» بپیوندید.