הבחירות מאחורינו ועכשיו זה הזמן שכולם מסתכלים על תוצאות הסקרים והמדגמים השונים ומנסים להבין כיצד קרה מקרה שאין חפיפה מדויקת בין אלו לאלו. כפי שוודאי ידוע לרובכם, סקרים מדעיים נעשים עם סטיית תקן מסוימת אשר אומנם נדמית לקטנה אך בפועל 3% אחוז יכולים להיות כמות עצומה של אנשים אם בוחנים את כלל האוכלוסייה בישראל. הנושא הזה של חיפוש אשמים באי הדיוקים שקיימים בין התוצאות בשטח לבין תוצאות הסקרים הוא מהותי ומעניין ולכן החלטנו להקדיש לו את המאמר הזה שבו ננסה להבין יחדיו איך בודקים הצלחה של מכון מחקר.
האם אפשר למדוד הצלחה של מכון מחקר?
כאשר אנחנו מדברים על מדידת ההצלחה של מכון מחקר כזה או אחר אנחנו צריכים קודם כול לשאול את עצמנו האם בכלל אפשר למדוד הצלחה של מכון מחקר ואם כן, אז מה המדדים של ההצלחה הזו. הדבר הראשון שאותו נרצה לבחון כדי להבין האם הצלחנו במחקר כזה או אחר יהיה האם הושגו מטרות המחקר. בהרבה מקרים אפשר לבדוק את הצלחתו של מכון המחקר רק אם בוחנים את הסיבות שבגינן נערך המחקר ומה השימושים שעושים עם הנתונים שנאספו במחקר. מחקר טוב הוא כזה שמספק נתונים מדויקים ומעניק לנו מידע שחיוני לנו כדי להגיע למטרה שהוצבה בתחילתו של המחקר.
יש המון גורמים שעלינו לבחון כדי להבין האם מחקר הוא הצלחה או לא, אבל בראש ובראשונה אנחנו צריכים לבחון את הדברים העיקריים: מאגר המשיבים, ניסוח וסדר השאלות, כמות המשיבים, צורת ניתוח הנתונים ועיבודם. כיוון שמדובר על נושא רחב וקשה להפנות את האצבע לסיבה אחת שהיא זו שהכשילה את המחקר, אנחנו רוצים לפרט על כמה מהשגיאות הנפוצות ביותר של מכוני מחקר.
הבעיות הנפוצות במחקרים ומכוני סקרים
כמכון הסקרים המוביל בישראל וככאלו שעוסקים בתחום שנים רבות, גם בהיבטים הפרקטיים וגם בהיבטים התיאורטיים והפדגוגים, יצא לנו לראות כמויות רבות של בעיות בסקרים ואת מרביתם אפשר לחלק לשתי קטגוריות עיקריות – שגיאות שמקורן בדגימה ובשגיאות שלא קשורות לדגימה.
- בעיות שמקורן בדגימה נפוצות יותר כאשר אנחנו מבצעים סקרי דעת קהל רחבי היקף של אוכלוסייה מגוונת וענפה. כדי שסקר יצליח להביא לנו תוצאות מדויקות, ואפשר לראות זאת במיוחד בסקרי בחירות, אנחנו חייבים לדגום את האוכלוסייה בצורה מדויקת והומוגנית. שזה אומר שעלינו לזהות את תת התרבויות ותת הזהויות שמרכיבים את האוכלוסייה שאותה אנחנו רוצים לדגום ולהבין גם את החלוקה ויחסי הכוחות בין החלקים השונים ורק אז נוכל לקבל תמונה מדויקת.
- בעיות שלא נובעות מהדגימה יכולות להיות מגוונות יותר והן אלו שקשורות לניסוח השאלות ובכלל, לתצורה ולאופנים שבהם הסקר מבוצע בפועל. שימו לב למשל לניסוחי השאלות של סקרי הבחירות שמפורסמים בתקשורת לעומת ניסוחי השאלות של סקרי המפלגות עצמן, הניסוח וסדר השאלות יכולים להשפיע בצורה הרת גורל על התשובות שיתקבלו.
אז איך מודדים ובודקים הצלחה של מכוני מחקר?
האמת היא שאין תשובה חד משמעית לשאלה הזו וכפי שהבנתם ההצלחה לא נמדדת רק בתוצאות של הסקרים אלא גם בהשלכה שיש לסקרים על הנסקרים ועל האוכלוסייה (או החברה שהזמינה את הסקר). דרך אחת שאפשר להציע למדידת ההצלחה של מחקרים וסקרים היא חזרה על אותם הסקרים בתקופות שונות כדי לראות אם יש שינויים דרמטיים בתוצאות, איך חשוב לזכור ששינויים דרמטיים יכולים להיווצר גם משינויים חברתיים ותרבותיים שחלים בשטח. דרך אחרת שאפשר להציע למדידת ההצלחה של מחקרים היא על ידי השוואה של התוצאות שהתקבלו בסקר עם התוצאות בשטח, למשל בסקרי בחירות השוואה בין תוצאות הסקרים לתוצאות הבחירות, אך חשוב לזכור שני דברים מהותיים בדוגמה זו – האחד הוא סטיית התקן שדיברנו עליה בתחילת המאמר והשני הוא שאנשים נוטים לשקר או לסרב לענות על סקרי בחירות ולא תמיד בסיס הנתונים שנדגם מייצג נאמנה את השטח.
יש לכם שאלות נוספות בעניין? מעוניינים לדעת כיצד אנחנו במאגר מוחות מבצעים את הסקרים שלנו בצורה מדויקת ואיכותית? צרו איתנו קשר ונשמח להיפגש לכוס קפה ולדון על פרויקטים משותפים שנוכל לעשות יחדיו.