חוות דעת מינה צמח - משוב השופטים

שיטת איסוף הנתונים שנינקטה במחקר (משלח וקבלת שאלונים באמצעות הדואר), פותחת פתח לפגיעה באמינות מילוי השאלונים: יש חשש גדול שבשיטה זו יהיה מה שכונה בחוות הדעת "אפקט משרדי" או אפקט דומה של שותפויות בין עורכי דין. כאמור, דווקא גודל המדגם הבסיסי והפרסומים שניתנו למחקר יכולים היו לחזק את האפשרות לפגיעה כזו.

יצוגיות המדגם היתה, כאמור, צריכה להיבדק לגבי כל שופט בנפרד דבר זה לא נעשה. בדו"ח המחקר מובאות כמה טענות בדבר יצוגיות המחקר אולם, אף אחת מהן אינה מוצדקת. טענות אלו הן בחלקן כלליות ואין להם סימוכין או שהן מתבססות על בדיקות לא נכונות. בדו"ח מוצגות שתי בדיקות שבוחנות, כביכול, את ייצוגיות המדגם. א) הבדיקה הראשונה בחנה את התפלגות כל ההערכות שנתנו לכל השופטים מעבר לכל המעריכים לפי מאפייני המעריכים. בהתייחס לבדיקה זו יש ראשית לציין כי קשה להבין מדוע נערכה בדיקה זו ולא בדיקה פשוטה של מדגם עורכי הדין. התפלגות כלל ההערכות לפי מאפיינים המעריכים לא תוכל לענות לשאלה אם התפלגות המעריכים של שופט מסוים מייצגת או לא מייצגת את עורכי הדין שהופיעו בפניו וגם לא לשאלה האם כלל המדגם מייצג או לא מייצג את אוכלוסיית המחקר. ב) בדיקה הכרחית של יצוגיות מדגם המעריכים של כל שופט מבחינת זכייה או הפסד במשפט אצלו לא נעשתה כלל. החוקרים הסתפקו במקום זה בטענה כי למאפיין זה זכירה/הפסד, ישנה השפעה יחסית שולית וזניחה על ההערכה הכללית לשופט. אלא שטענה זו מבוססת על בדיקה לא מתאימה. הבדיקה נעשתה באמצעות ניתוח ריגרסיה מרובה בשלבים בו נבדק הקשר בין מספר משתנים בלתי תלויים (מדדים שבחנו את ההערכות שניתנו לשופט במימדי ההערכה הספציפיים, תוצאות הדיונים המשפטיים בפני השופט, תחומי העיסוק ומאפייני וותק במקצוע ומגדר של עורך הדין.) אולם, ניתוח הריגרסיה המרובה בשלבים מעמיד, מלכתחילה, את המשתנה של "זכיה-הפסד" בדיונים אצל השופט בעמדה נחותה יחסית למדדים שמבוססים על הערכות. לצורך הסבר קביעה זו יש להסביר מה הריגרסיה המרובה בשלבים בוחנת. ניתוח זה בוחן את דרגת הקשר שבין מקבץ של מספר משתנים בלתי תלויים לבין משתנה תלוי אחד. הבדיקה נעשית בשלבים: בשלב הראשון מאותר משתנה בלתי תלוי אחד מתוך המכלול שמסביר יותר מהאחרים את השונות במשתנה התלוי; לאחר מכן בודק הניתוח אם משתנה נוסף מבין הנותרים מסביר חלק נוסף של השונות שהמשתנה הראשון לא הצליח להסביר וכך הלאה, עד שלא ניתן יותר להקטין את השונות הבלתי מוסברת של המשתנה התלוי באמצעות הקשר שלו עם מקבץ המשתנים הבלתי תלויים. ניתוח זה מסדר את המשתנים הבלתי תלויים לפי סדר תרומתם לשונות במשתנה התלוי. לגבי כל משתנה הוא מציג את חלק השונות המוסברת ע"י משתנה זה לאחר שנוכו מהשונות החלקים המוסברים על ידי המשתנים שלפניו בסדר הנ"ל. דהיינו, אם לפי נתוח זה משתנה מסויים מסביר רק חלק קטן משונות המשתנה התלוי, אין משמעות הדבר שמשתנה זה אינו קשור למשתנה התלוי, אלא רק , שבצרוף המסויים של מכלול המשתנים הבלתי תלויים התוספת שלו להסבר השונות במשתנה התלוי נמוכה. במקבץ אחר של גורמים יתכן שאותו משתנה היה יוצא במקום ראשון מבחינת ההסבר. מקבץ המשתנים הבלתי תלויים, בהם שיבצו החוקרים את המשתנה של זכיה והפסד, כלל משתנים אשר ממצאי המחקר הראו שיש להם מתאם גבוה במיוחד עם המשתנה התלוי - ההערכה כללית. יתר על כן, כפי שנפרט להלן, תוצאות הבדיקה שמוצגת בדוח (נספח מתודולגי עמ' 81) מורה כי המתאם בין משתני ההערכה, כולל הערכה כללית, בינם לבין עצמם, הוא כה גבוה עד כדי קביעה שרוב המדדים מיותרים ומספיק היה לבחון רק אחד מהם ולהשתמש בו כמנבא לאחרים. ברור, איפוא, שבנתוח הרגרסיה המרובה "ינגסו" משתנים אלו נתח גדול מאד מהשונות המוסברת ולא ישאירו שונות להסבר על ידי משתנים אחרים. יתכן מאד כי אם המשתנה "זכיה-הפסד" היה במקבץ של משתנים אחרים היה נמצא קשר משמעותי בינו לבין ההערכה הכללית. (על כל אלו נוסף גורם אחר שמעמיד את משתנה "הזכיה-הפסד" בעמדת נחיתות מול מדדי ההערכה: טווח סולם התשובות שלו קצר יותר ולכן האפשרות למצוא קשר גבוה, נמוכה יותר. אולם לעניין זה חשיבות משנית). לסיכום: כלל לא ברור מדוע להשתמש בניתוח כזה, כשאפשר לערוך מבחנים שהם גם יותר מתאימים לבדיקת השאלה הנדונה וגם הרבה יותר פשוטים.

כאמור, במקום להתאים מדגם מעריכים לכל שופט השתמשו החוקרים במדגם אקראי גדול מאוד, 11,000 עורכי דין, מכלל עורכי הדין ובקשו מכל מעריך "להעריך... עד 8 שופטים... שבפניהם הופעת בשנה החולפת במספר הרב ביותר של דיונים" (ראה שאלון המחקר). החוקרים קיוו, כנראה, שבמדגם מייצג כה גדול, התבנית המחקרית הנדרשת, זו שהם לא בנו מלכתחילה, תסתדר מעצמה. אולם, לא ננקט שום צעד שיבטיח, או לפחות יגדיל, את הסיכויים לכך שהמדגם יהיה מייצג. נהפוך הוא, שיטת הראיון שננקטה (משלוח וקבלה חזרה של שאלונים באמצעות הדואר) משאירה רק לידי המזל את הסיכויים לכך שהמדגם יהיה מייצג ונותנת לכך סיכויים מזעריים בלבד. ידוע (וגם החוקרים מציינים זאת בדוח המחקר) כי שליחת שאלונים באמצעות הדואר למילוי עצמי כרוכה בנפל גדול. יש סיכויים גבוהים שנפל כזה פוגם בייצוגיות המדגם: אנשים שעונים לשאלוני דואר הם בדרך כלל קבוצה סלקטיבית מבחינת מאפיינים שקשורים לנושאים הנחקרים. (כך, למשל, במחקרי שביעות רצון לקוחות מי שנוטים יותר להשיב ב"שאלוני דואר" הם או אנשים ששבעי רצון במיוחד או אנשים שמראש לא שבעי רצון (צמח ובייט מרום 1986 : 79). על סמך נתוני ההחזר יש סיבות רבות להניח כי המדגם לא מייצג את אוכלוסיית הייעד. לעומת זאת אין אף סיבה אחת להניח שהמדגם מייצג את האוכלוסייה. שעור ההענות במחקר הנוכחי היה קטן במיוחד: %12.8 (בהנחה שרק %60 מעורכי הדין שנמענו כלולים בהגדרת האוכלוסייה) ולא %47 כפי שמצויין בדוח המחקר. ככל שהנפל גדול כך גדלים הסיכויים שהמדגם לא מייצג. פגם זה היה יכול להימנע אם במקום לפנות באמצעות הדואר ל- 11,000 עורכי דין היו נעשות פניות טלפוניות למדגם מייצג אך קטן הרבה יותר, למשל, 1,500 עורכי דין. בשיטה זו היה קל לנפות אמפירית את מי שאינם רלבנטיים ולהחליף את המסרבים הרלבנטים למחקר באחרים שנבחרים בשיטת הדגימה בה הוצא המדגם המקורי.

לצורך הדיון נניח שהחוקרים היו נוקטים בשיטה שמבטיחה שהמדגם הכללי יייצג את אוכלוסיית עורכי הדין הרלבנטית. האם אז התבנית המחקרית שהם נקטו יכולה להבטיח מדגם מייצג של מעריכים לכל שופט? התשובה לכך שלילית. שאלון הסקר בקש, כאמור, מכל מעריך להעריך עד 8 שופטים, אלו שבפניהם הופיע את מספר הפעמים הרב ביותר. העובדה שכל מרואיין היה יכול לבחור אלו שופטים להעריך עלולה להכניס אחד או שניים מסוגי ההטיות הבאות: א) נטייה לבחור בשופטים אשר ההערכה אליהם נוטה לקצוות, דהיינו שופטים מהם למעריך יש שביעות רצון גבוהה, או שופטים שהמעריך מאד לא שבע רצון מהם. להטייה מסוג זה יש כמה השלכות אפשריות: - חיזוק מלאכותי של ההערכות הקיצוניות - לטובה או לרעה של שופטים. - הקטנת סיכויים של שופטים, שההערכות עורכי הדין אותם "בינוניות", להכלל במדגם המוערכים. ב) השפעות אפשריות בין עורכי דין את מי לדרג ומה להגיד עליו כאשר עורכי הדין חופשיים לבחור את המוערכים תתכנה ביניהם כל מיני "שותפויות" שאינן חפות משיקולים "זרים". כך, למשל, מי שרוצה ביקרו או, לחילופין, בהחלשתו של שופט מסוים יכול לעשות "עסקה" עם עורך דין אחר בבחינת "הערך לי ואעריך לך". נכון, אמנם, שהשאלון הטיל על המעריכים מגבלה; אולם, ללא כל אמצעי פיקוח נוספים (שהיו יכולים להינקט בשיטת ראיון אחרת) לא ניתן בשום פנים ואופן להניח שההטיות הנ"ל לא קרו. (ואכן כפי שמפורט בדו"ח המחקר, אחד המרואיינים "נידב" מבלי שנשאל על כך, את המידע שאמת מידה זו הנחתה אותו בבחירת השופטים אותם העריך). בהקשר זה יש להעיר כי העובדה שהמדגם הבסיסי היה גדול במיוחד (11,000 עורכי דין) מגדילה דווקא את הסיכויים להטייה שאינה חפה משיקולים זרים. כך, למשל, האינטרקאציה של מדגם גדול לא מבוקר עם בחירה עצמית של השופטים המדורגים יכולה ליצור במשרדים גדולים "אפקט משרדי" (דהיינו "שותפיות"בתוך משרד).

חוות הדעת עוסקת בשאלה האם מחקר "משוב עורכי דין על תפקוד בתי המשפט במחוז תל אביב והמרכז", תקף או לא תקף. ההתייחסות לדוח הנ"ל היא מנקודת ראות של מתודולוגיה בלבד. תקפות של סקר תלוייה בעמידה בתנאים הבאים: - ייצוגיות המדגם - תקפות פריטי השאלון - אמינות עבודת איסוף הנתונים - יישום ניתוחים סטטיסטים מתאימים - פרשנות נכונה של ממצאי הסקר נבחן את המחקר הנדון על פי אמות מידה אלו. כרקע לבדיקה נפתח בהצגת התבנית המחקרית המתאימה שהיא כדלהלן: בנייה לכל שופט מוערך מדגם של עורכי דין המערכים אותו. מדגם כזה צריך לייצג את כלל עורכי הדין שהופיעו בתקופה מסויימת, למשל בשנה האחרונה, בפני שופט. משמעות הדבר היא: א) לכל שופט יקבע מראש מדגם עורכי דין שיעריכו אותו. הפניות להערכת שופט מסויים תהיינה רק למי שנכללו מראש במדגם או למרואיינים חלופיים למקרה של נפל מהמדגם המקורי, שידגמו בשיטת הדגימה של המדגם המקורי. ב) כל עורך דין יקבל רשימת שופטים (שתיקבע בשיטה מסויימת שלא כאן המקום לפרט אותה) שהופיע בפניהם ואותם הוא יתבקש להעריך. ניתן להציע גם שיטות חלופיות, פתוח מתאימות, אך כאלו שבאמצעות נתוחים מתאימים ניתן לנכות את ההשלכות של הפגמים. התבנית המחקרית ושיטת איסוף הנתונים שיושמו במחקר הנדון היו הקלות ביותר מבחינת הביצוע, אך הפחות מתאימות מבחינת תוקף המחקר. חוות הדעת, להלן, תעקוב אחרי מהלך המחקר. לגבי כל צעד נבדוק אם, לשיטתם של החוקרים, המחקר עמד בכללים ונקט בצעדים שהיו יכולים לקרב אותו לתבנית המחקר הנכונה.

Churchill, A.C. (1994). Marketing Research: Methodological Foundations. Dryden. (Sixth Edition). צמח, מ. ובייט-מרום, ר. (1986). שיטות מחקר במדעי החברה: עקרונות וסגנונותיו. הסקר: 5 יח'. הוצאת האוניברסיטה הפתוחה. הערות שוליים

1) [מספר המשיבים] \ [אוכלוסיה רלבנטית מינוס נדגמים שלא נוצר עימם מגע] = %12.8.

2) התוצאה של שעור היענות %47, כביכול, מקורה בשימוש לא נכון בנוסחת CASRO עליה מתבסס חישוב שעורי ההענות בדוח. הנוסחה נועדה לנכות את חלקם של נמענים שאינם בהגדרת אוכלוסית המחקר מחישוב שעור ההיענות. (662-663; 1994, CHURCHILL) נוסחה זו מתבססת על חלקם של "הלא רלבנטים" מקרב המשיבים לשאלון המחקר ואומדת לפי מקדם זה את חלקם של הלא רלבנטים גם בקרב מי שלא השיבו. באמצעות אומדן זה היא מנכה אותם מכלל הלא משיבים. הנוסחה אינה משתמשת מלכתחילה בהנחה כלשהי על חלקם של "הלא רלבנטים" אלא קובעת את שעורם לפי תוצאות הפניות. החוקרים במחקר הנדון קבעו מלכתחילה את חלקם של "הלא רלבנטים" (%40) וניכו אותו מלכתחילה מכלל המדגם. כמובן שלאחר ניכוי זה נותרו רק הרלבנטים, אלא שהחוקרים שבו והפיעלו את נוסחת הניכוי גם על מי שהם עצמם קבעו כי הם רלבנטים, דהיינו ניכו פעמיים, את מי שהיה צריך לנכות.

שימוש נכון בנוסחת CASRO מורה כי לשעור הענות במחקר הנדון הגיע רק ל-%8.6

יחד עם זאת בשיטת המחקר הנוכחי לא ניתן להשתמש בנוסחת CASRO ויש להשתמש, בשיטה הפשוטה שפורטה לעיל, דהיינו שעור הענות גבוה יותר מזה העולה מנוסחה המורכבת.

רוב ההערכות שלנו לניתוח הנתונים פורטו כבר בהקשרים אחרים. בסעיף זה נתייחס רק לחישוב טעות הדגימה. נפתח בהערות והארות הבאות: א) בכל סקר מדגמי יש לציין את טעות הדגימה, יש לכך חשיבות גדולה במיוחד כאשר מדובר במדגמים קטנים, כמו אלו ששימשו להערכת שופט אחד, במחקר הנדון. ב) טעות הדגימה היא יחודית לכל נתון. חישוב טעות הדגימה להתפלגות מסויימת במדגם מסויים מבוסס על אומדן סטיית התקן של ההתפלגות הנדונה באוכלוסייה ממנה הוצא המדגם. בהעדר נתונים על סטיית התקן באוכלוסייה אומדים אותה מנתוני המדגם הנדון. ג) כדי לא להכביר בנתונים, דהיינו להמנע מהצורך לצרף את טעות הדגמה לכל נתון, נהוג לחשב את טעות הדגימה המירבית ולהציג אותה. טעות הדגימה המירבית מחושבת תאורטית ולא מממצאי המחקר. במחקר הנדון, סטית התקן המירבית היא 2.0. לפיכך, טעות הדגימה המירבית למדגם בן 26 מקרים ברמת ביטחון של %95 היא 0.78. ומה הפגם במחקר הנוכחי?

א) במקום לחשב את טעות הדגימה המירבית או, לחילופין, טעות דגימה לכל נתון בכל אחד מהמדגמים המעריכים שופט, חושבה טעות דגימה שמבוססת על אומדן סטיית תקן שמבוסס על התפלגות כל ההערכות שנאספו במחקר (דהיינו ההערכות של כל המעריכים, כל אחד מעבר לכל השופטים שהעריך.) כלומר, חישוב גורף לכל המדגמים.

פגם זה מספיק כדי לקבוע שטעות הדגימה שפורטה בדו"ח אינה נכונה. אולם, ראוי להדגיש גם הפגם הנוסף הבא:

ב) גם החישוב הגורף (שכאמור אסור שייעשה) נעשה לא נכון: חבור של כל ההערכות יחד (מעבר לכל המדרגים וכל המדורגים) מכניס שני סוגים של טעויות מדגם:

- חיבור מין בשאינו מינו ויצירת מדגם מאוכלוסייה שאינה ניתנת להגדרה.

- מאחר ואותו מרואיין העריך כמה שופטים, חבור כל ההערכות לאוכלוסייה אחת מכניס גורם תלות בתוך ההערכה, אותו יש לנכות באמצעות נוסחה סטטיסטית מתאימה. בשל העדר תבנית מפורשת של צרוף שופטים ומעריכים לא ניתן לעשות זאת.

ג) לסיכום: כאמור, טעות הדגימה המירבית למדגם בן 26 מקרים, ברמת ביטחון של %95, הוא 0.78 ולא 0.50 כפי שנטען בדו"ח. כדי להדגים את משמעות טעות דגימה זו נציין, כי למשל שמי שקיבל ממוצע של 3.0 במדד מסויים, במדגם בן 26 מקרים ניתן היה להגיד לגביו, אילו המדגם היה אכן אקראי, כי ברמת ביטחון של %95, ממוצע ההערכות שלו הוא בין 2.22 לבין 3.78.

כל האמור לעיל מוליך למסקנה כי לפי אמות המידה המיתודולוגיות נמצאו במחקר הנדון לקויים שפוגעים במידה רבה בתקפותו. לפיכך, לא ניתן להסיק ממנו על הערכות של עורכי הדין לשופטים. מאחר ומדובר בפיילוט כדאי להסיק ממנו כי במחקרים הבאים יש לשנות את הדברים הבאים: - תבנית המחקר - שיטת הדגימה - שאלון המחקר - חלק מסוגי הניתוחים שנערכו.

א) מבחן אלפא קרונבך שנערך על כל פריטי ההערכה (נספח מתודולוגי עמ' 80 בדו"ח) מורה על מקדם קשר גבוה מאד בין כל פריטי ההערכה, בינם לבין עצמם (אלפא קרונבך =9142.). ואם מוציאים פריט אחד ששייך לעולם תוכן אחר עולה המקדם ל- 0.942. מקדם כה גבוה יכול להעיד על, לפחות, אחד משני הדברים הבאים: - כל השאלות, להוציא הפריט הנ"ל, הן מאותו עולם תוכן, וזאת עד כדי כך שכולן, להוציא אחת, מיותרות. אם המתאם הוא כה גבוה ניתן להסתפק בפריט אחד ולנבא ממנו, כמעט בדייקנות מלאה, את כל הפריטים האחרים. - יש אפקט הילה חזק. דהיינו התשובות לפריט אחד בשאלון מוכללות גם לפריטים אחרים. אפקט זה פוגע מאד בתקפות השאלון. בדיקת השאלון מורה כי מתקיימים בו שני תנאים שעלולים לתרום לאפקט ההילה: פריטי ההערכה באים אחד אחרי השני, ללא שאלות אחרות מפרידות ביניהן וסולם התשובות אחיד לכל שאלות ההערכה (צמח ובייט-מרום עמ' 49, 62). ב) נראה שהיתה הוצאה לא מוצדקת של פריט שאלה מכלל הניתוח. החוקרים החליטו להוציא את פריט 9 "הפעלת לחץ בלתי סביר להתפשר או להעביר את ההליך למסלול חלופי": הסיבות שפורטו לכך הן: "כי פריט 9 הוא פרטי חריג בהשוואה לשאר הפריטים" ובמקום אחר הובאו שיקולים נוספים: ריבוי של לא משיבים, וריבוי, לדעת החוקרים, של מי שדווחו כי לא הבינו את השאלה. נראה כי הסיבה האחרונה לא הצדיקה את הוצאת הפריט הואיל ורק 25 אנשים ציינו אותה. מהנתונים בדו"ח אי אפשר ללמוד מה מספר האנשים שלא השיבו לפריט. מכל מקום, אם מספר רב של אנשים השיבו שהפריט לא רלבנטי אין להתייחס לכך כאל חסר בתשובה (לא רלבנטי זו תשובה). בשל האמור לעיל ובשל סדר הצגת הסבות שנמקו את הוצאתו והנוסח בו הוצגו שתי הסיבות האחרות, ניתן ללמד כי הסיבה העיקרית להוצאתו היא שהוא לא היה במתאם גבוה עם שאר הגורמים ולא אושכל באותו הגורם בו אושכלו שאר פריטי ההערכה. חשוב להדגיש כי סיבה זו, בשום פנים ואופן, לא מצדיקה הוצאת פריט מכלל הניתוח. הדרישה למתאם גבוה בין פריטים (אלפא קרונבך גבוהה) היא לצורך חיבור מספר פריטים למדד אחד ולא לקביעה אם פריט מסויים מתאים או לא מתאים לשאלון. ציינו כבר כי פריטים שיש להם מתאם גבוה עם פריטים אחרים בשאלון הם מיותרים. דווקא לפריט שאינו במתאם עם האחרים ויש חשיבות רבה משום שהוא מוסיף עליהם מידע. חבל, איפוא, שהפריט הוצא מכלל הניתוח.