האם תנודות בציונים של תת מבחנים או של יכולות רחבות הופכות את רמת המשכל הכללית לבלתי תקפה?

McGill, R. J. (2016). Invalidating the full scale IQ score in the presence of significant factor score variability: Clinical acumen or clinical illusion?. Archives of Assessment Psychology, 6(1), 49-79.  http://assessmentpsychologyboard.org/journal/index.php/AAP/article/viewFile/74/59

קיים מתאם חיובי בין תת המבחנים במבחני המשכל.  מתאם חיובי כזה קיים גם בין היכולות הקוגניטיביות השונות.  מתאם זה מבטא את הגורם המשותף שכל המבחנים/היכולות מודדים – כלומר את רמת המשכל הכללית.  כל מבחן וכל מקבץ של מבחנים (יכולת רחבה) מודד הן את רמת המשכל הכללית והן תפקודים  ספציפים לאותו מבחן או לאותה יכולת.  למשל, תת מבחן קוביות או היכולת הרחבה עיבוד חזותי מודדים הן את רמת המשכל הכללית והן את העיבוד החזותי. 

המתאם החיובי בין תת המבחנים ובין היכולות הרחבות הוא מעין חרב פיפיות:  מצד אחד הוא מאפשר לנו למדוד את רמת המשכל הכללית.  מצד שני עצם קיומו של מתאם חיובי בין היכולות אומר לנו שהן לא לגמרי אורתוגונליות (בלתי תלויות זו בזו).  ואז נשאלת השאלה עד כמה אנו בודקים בעזרתן דברים שונים, או דבר אחד בלבד (את רמת המשכל הכללית).  הורן (אחד מאבות ה – CHC) אמר שהנסיון להתיר את המרכיבים השונים של הקוגניציה דומה לנסיון "לחתוך עשן".   

יש הבדלים בין היכולות הרחבות במידה בה כל אחת מהן בודקת את רמת המשכל הכללית לעומת את היכולת הספציפית שהיא אמורה לבדוק.  אם יכולת העיבוד החזותי במבחן משכל מסוים, למשל, בודקת כמעט אך ורק את רמת המשכל הכללית, יהיה קשה לפרש את הציון שילד מקבל בה כמעיד על מצב העיבוד החזותי שלו. 

ציון המשכל הכללי הוא ציון מאד מהימן, יציב לאורך זמן ויש לו תוקף ניבוי.  אבל פסיכולוגים רבים חושבים שציון המשכל הכללי לא תקף אם קיימת תנודתיות רבה בציוני תת המבחנים המרכיבים אותו ו/או בציוני היכולות הרחבות המרכיבות אותו.  גם מומחים רבים חושבים כך.  למשל,  HALE AND FIORELLO כתבו ב – 2004:  "לעולם אין לדווח על ציון משכל כאשר יש תנודות משמעותית בציונים של תת המבחנים או של הגורמים... כל פרשנות של ציון המשכל הזה תיחשב לבלתי מתאימה".  במדריך לבוחן של מבחן הוכסלר מ – 2014  כתוב שכדי שניתן יהיה לפרש את רמת המשכל הכללית, ההפרש בין הציונים של היכולות הרחבות לא צריך להיות גדול מסף שנקבע מראש ברמות שונות של מובהקות סטטיסטית, למשל 15-20 נקודות.  אם יש תנודתיות כזו, המדריך מעודד את הפסיכולוגים לא לפרש את רמת המשכל הכללית ולהתמקד בפרופיל של ציוני הגורמים (היכולות).  המלצה זו אינה מלווה בהוכחות מחקריות שיכולות לתמוך בה.  

מבחן קאופמן2 בנוי על סמך שתי תאוריות:  CHC והתאוריה הנוירופסיכולוגית של לוריה.  עבור ילדים בני 7-18 מודל ה – CHC של הקאופמן2 כולל 10 מבחנים, שבודקים חמש יכולות:  זיכרון לטווח קצר, אחסון ושליפה לטווח ארוך, עיבוד חזותי, יכולת פלואידית וידע מגובש.  מחברי המבחן (וביניהם אלאן קאופמן) כותבים במאמרים שונים שאם ההפרש בין הציון הגבוה והנמוך ביותר של היכולות הרחבות הוא 23 נקודות או יותר, המשמעות של רמת המשכל הכללית נפגעת, ויש למקד את הפרשנות ביכולות הרחבות ולהימנע מלפרש את רמת המשכל הכללית.  גם המלצה זו אינה מלווה בהוכחות מחקריות.    

ריאן מקגיל, פסיכולוג חינוכי ופרופסור בקולג' וויליאם ומרי בארה"ב ניסה לבדוק את הסוגיות הללו.  מקגיל מוכר לנו מהבלוג.  אני מעריכה אותו מאד בשל המאמצים שהוא משקיע להנגיש את מחקריו לציבור הפסיכולוגים.  מעבר לסוגיות עליהן כתבתי למעלה, מקגיל שאל את עצמו גם מה מנבא יותר את המצב של הילד בתחומי ההישג (קריאה, כתיבה, חשבון) – רמת המשכל הכללית או היכולות הרחבות? 

במאמר שפרטיו מופיעים למעלה מתאר מקגיל מחקר שערך על מדגם התקנון של מבחן הקאופמן2 (KABC2).  המשתתפים היו 2025 ילדים ומתבגרים בגילאי 7-19, שהם כל הילדים בגילאים הללו שהשתתפו במדגם התקנון.  מקגיל בחר ילדים שהיה להם הפרש של 23 נקודות או יותר בין הציון הגבוה לנמוך ביותר של היכולות הרחבות.  הסתבר, של -   1209 ילדים בגילאי 7-18, שהם 59% מהמדגם של הילדים בטווח הגילאים הזה – היה פער כזה.  זה אומר של – 59% מהילדים ממדגם התקנון, ציון המשכל הכללי כביכול לא תקף. 

צריך לזכור שלו מקגיל היה מחפש ילדים שיש להם הפרש של 15 נקודות בין הציון הגבוה והנמוך ביותר של היכולות הרחבות,  אחוז הילדים שהיה להם הפרש כזה היה גדול מ – 59.  כלומר, למרבית האוכלוסיה יש הפרש כזה. 

מקגיל גילה, שבקבוצת הילדים הזו, עם התנודות המשמעותיות בציוני היכולות הרחבות, מבנה המבחן (חמש יכולות רחבות ורמת משכל כללית) נשאר תקף.  כל תתי המבחנים היו קשורים ליכולת הרחבה שאותה הם היו אמורים למדוד.  כלומר, אין מניעה לפרש את ציון המשכל הכללי גם כאשר קיימות תנודות גדולות בין הציונים של היכולות הרחבות. 

רמת המשכל הכללית הסבירה כ – 30% מהשונות הכללית (כלומר, מהפיזור של המדדים) וכ – 50ֵ% עד 60% מהשונות המשותפת (כלומר, מהקשר בין המדדים, או מהמרכיב המשותף להם).  מעבר לרמת המשכל הכללית, כל אחת מהיכולות הרחבות (הידע המגובש, אחסון ושליפה לטווח ארוך, זיכרון לטווח קצר, עיבוד חזותי והיכולת הפלואידית) הסבירה בין 2% (יכולת פלואידית) ל – 9% (זיכרון לטווח קצר) מהשונות הכללית ובין 3-4% (יכולת פלואידית) ל – 16% (זיכרון לטווח קצר) מהשונות המשותפת.  כלומר, אצל אנשים שיש להם תנודות משמעותיות בציונים של היכולות הרחבות, זיכרון לטווח קצר מוסיף מידע מועיל מעבר לרמת המשכל הכללית.  ארבע היכולות הרחבות האחרות שנמדדות במבחן מוסיפות הרבה פחות מידע מועיל מעבר רמת המשכל הכללית.  כאשר פסיכולוג מפרש ברמת היכולות הרחבות, הוא לא תמיד שם לב להשפעה של רמת המשכל הכללית על הביצוע של הילד באותה יכולת רחבה.  וכפי שאנו רואים, לעתים קרובות השפעה זו גדולה מאד.    

 מה מנבא יותר את המצב של הילד בתחומי ההישג (קריאה, כתיבה, חשבון) – רמת המשכל הכללית או היכולות הרחבות?  כדי להשיב על שאלה זו השתמש מקגיל גם במבחני ההישג של מבחן הקאופמן2, הבודקים קריאה, כתיבה וחשבון.  רמת המשכל הכללית הסבירה את רוב השונות בקריאה, מתמטיקה וכתיבה.  התרומות הנוספות לניבוי של ציוני יכולות ה – CHC הרחבות לכל תחומי ההישג היו מובהקות סטטיסטית אבל קטנות. היכולות הרחבות הסבירו בין  2% עד 10% של השונות בהישגים.  רק הידע המגובש תרם משהו מעבר לאפקטים טריויאלים (9%) לניבוי קריאה בגילאי 13-18. 

אם הגעתם עד כאן, אני ממליצה מאד לקרוא גם את הפוסט הזה, שמסייג את הממצאים על יכולת הניבוי של רמת המשכל הכללית לעומת היכולות הרחבות.