מבחני פיילוט קוגניטיביים – למרבה המזל, ניתן לזהות בעיות כאלו בשלב מוקדם. כצעד ראשון,
אנו מפצירים בחוקרי הערכה לעבור על טיוטת השאלון שלהם, ולשאול את עצמם: "מה המשיבים שלי יכולים להבין מן ההקשר של כל שאלה, תקופת ההתייחסות, אפשרויות התשובה, ותכונות דומות? האם זה מה שאני רוצה שהם יסיקו."? לאחר מכן, חוקרי הערכה יכולים לבדוק את
Lessler
השאלה לבעיות נפוצות. לארגוני סקרים רבים יש מומחים שממודדים עם משימה זו.
(1999) Forsyth and מציעים רשימת תיוג (checklist) נרחבת אשר מתריעה את תשומת לב
החוקרים לבעיות טיפוסיות בשלב עיצוב השאלון.
ברגע שבוצעו תיקונים על-סמך בדיקה כזו, ניתן לחקור את פרשנות השאלות של המשיבים
במבחני פיילוט לא-יקרים יחסית עם מספר קטן של משיבים מתוך קבוצת היעד )כולל גם את משתתפי הפרוייקט וגם את קבוצת הביקורת, היכן שזה מתאים.( למטרה זו, חוקרי הערכה יכולים להשתמש במגוון של נהלי ראיון קוגניטיבי, שמטרתם להגיע לתובנות באשר לתהליך
החשיבה של המשיבים )עבור סקירות, ראו את התרומה של 1996 Sudman, & Schwartz ופרק 2 מתוך 1996 al, et. .(Sudman נהלים אלה משתרעים מבקשת המשיבים לעשות פרפראזה
DeMaio & Rothgeb,
לשאלה ועד ניסויים נרחבים ופרוטוקולים של חשיבה-בקול-רם )ראה
.(1996; Willis, Royston & Bercini, 1991
10
גישה מועילה במיוחד לבדיקת הבנתם של המשיבים את המושגים המרכזיים הוא השימוש
החוקר יכל להציג
"קריאת מגזינים,"
לגבי
Belson (1991)
במקרה של
בתיאורים קצרים.
למשיבים כרטיסים קטנים שמתארים דוגמאות שונות ל"קריאה," כולל התנהגויות שהחוקר לא
נין לבקש מן
לאחר מכן,
"בוב ראה את המגזין בדוכן העיתונים.("
)כמו למשל
רוצה לכלול
המשיבים לקבוע כיצד השחקנים בתיאורים הקצרים צריכים לענות לסוגים שונים של שאלת "הקריאה," וכך לתת לחוקר תובנה לתוך הפרשנות של המשיבים את מגוון "הקריאה" המתקבלת בניסוחים שונים של השאלות. הניסוח שתוצאתו היא תשובות נכונות לרוב התיאורים הקצרים היא זו שמתאימה למשימה בצורה הטובה ביותר. ברגע שהניסוח מזוהה, ייכון כי צריך לוודא שהמשמעות לא משתנה כאשר השאלה מוצגת בהקשר של כל השאלון, דבר שעשוי לדרוש מבחני
פיילוט נוספים.
במקרה של שאלון למענה עצמי, מבחני הפיילוט צריכים לכלול את הסידור הגרפי של השאלון, דבר שעשוי לעלות סדרה שלמה של סיבוכים בפני עצמו )עבור עצה מועילה, ראה & Jenkins 1997 .(Dillman, חשיבות מבחן הפיילוט של העיצוב הגרפי מודגם בצורה הטובה ביותר בבחירות הנשיאות בארה"ב בשנת .2000 אם היו עושים מבחן פיילוט טוב יותר לפורמט פתקי ההצבעה במחוז Beach Palm בפלורידה, התחרות הקרובה כל-כך בפלורידה הייתה בעלת תוצאות אחרות
)ראה 2000 Soldat, & Lavis Moore, Mark, .(Sinclair, רוב בשאלות המעוצבות היטב ואלה שעברו מבחני פיילוט נרחבים יתפרשו בצורה שונה על-ידי
כמה נשאלים. שונות ייחודית כזו היא בלתי נמנעת. אבל ניתן להעלים השפעות סיסטמתיות על-
ידי עריכת מבחני פיילוט מתאימים בעלות נמוכה יחסית. תהליך הראיון. כפי שצוין קודם, נהלי ראיון סטנדרטיים תורמים להסתמכות של המשיבים על מידע הקשרי על-ידי כך שמרפים את ידי המראיינים מלתת הבהרות נוספות. לכן, הנשאלים נשארים בזכות עצמם ואין להם הרבה ברירה מלבד להתייחס להקשר כדי להבין שאלה שהם לא
מבינים. מחקר ניסיוני עדכני מראה כי בעיות הבנה רבות ניתנות לצמצום כאשר מראיינים
מורשים לתת הסברים, כאשר המשיבים מבקשים אותם או כאשר המראיין שם לב לכך שהמשיב
לא הבין את המשמעות שכיוונו אליה ) ראה 1997 Conrad, & Schober 1999; .(Schober, כמובן, חשוב במקרה זה שהמראיין יבין את השאלה כפי שהתכוונו אליה, דבר שלא יכול להילקח
כמובן מאליו ודורש אימון של המראיין.
שימו לב כי זו לא המלצה להעריך מידע עובדתי דרך ראיונות מובנים-למחצה או ראיונות
איכותניים. מתן רשות למראיין לשאול שאלות בכל אופן שהוא רוצה לא מבטיחה הבנה. להפך, נהלים כאלה מונעים את ההטבות של מבחני פיילוט קוגניטיביים ולא מאפשרים לחוקר לקבוע את ניסוח השאלה באופן אופטימלי. יתרה מכך, נהלים שתוצאתם היא סדר שונה של שאלות
עבור משיבים שונים יכול להוביל להשפעות הקשר שונות בצורה שלא ניתן לעקוב אחריה. לכן,
אנו ממליצים במקום להשתמש בניסוח אחיד שעבר מבחן פיילוט מתאים, בשילוב תדרוך
Schober (1999)
המראיין כך המאפשרים למראיין לתת הבהרות נוספות כאשר הדבר דרוש.
מספק דיון אינפורמטיבי בנושאים אלה.
