האם יש הצדקה לניתוח מבחני משכל על פי יכולות רחבות?

McGill, R. J., Dombrowski, S. C., & Canivez, G. L. (2018). Cognitive profile analysis in school psychology: History, issues, and continued concerns. Journal of school psychology, 71, 108-121.

מאמר זה קורא תיגר על הגישה בה אנו עובדים, אך חשוב להציג אותו כדי להביא מגוון דעות לידי ביטוי.

בשנות הארבעים של המאה העשרים רווחה השיטה של ניתוח פערים בין תת מבחנים בודדים במבחני משכל.  הספר של  Rapaport, Gil, and Schafer (1945) למשל פירט את המשמעות הקלינית של פרופילים שונים של תת מבחנים. 

במהלך שנות התשעים, סדרה של מחקרים לא מצאה עדות לכך שפרופילים מסוימים אכן קשורים לתסמונות מסוימות.  בנוסף, גישת ניתוח הפערים בין תת מבחנים לא התחשבה מספיק בטעויות מדידה שמשפיעות על הציון של כל תת מבחן בודד.  כתוצאה מכך חוקרים כגון McDermott, Fantuzzo, and Glutting (1990) האיצו בפסיכולוגים "פשוט לומר לא" לניתוח פערים בין תת מבחנים בודדים. 

אני זוכרת אמירות כאלה בהקשר למבחן WISCR95.  בכנסים להטמעת המבחן נאמר לנו ליחס חשיבות רק לרמת המשכל הכללית ולא לשער השערות על פערים בין תת מבחנים בודדים.  מעטים היו הפסיכולוגים שהחלו לעבוד כך.  ככל הנראה, ברגע שאנו רואים נתונים, אנו נוטים לפרש אותם ולהעניק להם משמעות. 

עם פרוץ ה – CHC לחיינו (בארה"ב בשנת 2001 ואצלנו כעשר שנים לאחר מכן) נראה היה שגישה זו מציבה לנו חלופה הולמת:  במקום לנתח פערים בין תת מבחנים בודדים, ננתח את הנתונים ברמת יכולות רחבות.  במקום להשוות את הילד לעצמו ("למה הוא קיבל בידיעות 10 ובצד שווה 'רק' 8"?) נשווה את הציונים של הילד במבחנים שבודקים יכולת מסוימת לממוצע של האוכלוסיה באותה יכולת.  הציונים של יכולות (מקבצים של מבחנים) הם מהימנים יותר מהציונים של תת מבחנים בודדים.  לכן עבודה מבוססת יכולות קוגניטיביות רחבות תהיה מועילה יותר לילד באופן קליני. 

סגנון זה של עבודה נשען על האמונה שהמשכל מורכב מיכולות קוגניטיביות רבות ושונות.  אך לא כל החוקרים מסכימים עם עמדה זו.  לאחרונה קבוצת חוקרים אמריקנים קוראת עליה תיגר בקול הולך ומתעצם. 

בעיה אחת (מאד קטנה, לדעתי) עם ניתוח על פי יכולות רחבות קשורה ליציבות פרופיל היכולות הרחבות.  כאשר יש לילד יכולת רחבה נמוכה, אנו ממליצים על התערבות לשיפור התפקוד של הילד באותה יכולת, מתוך הנחה ששיפור זה יביא לשיפור בהישגים הלימודיים של הילד.  למשל, אם לילד יש ידע מגובש נמוך, שגורם לדעתנו לכך שהילד יתקשה להבין את הנקרא, נוכל להמליץ על קריאה מרובה, העשרת שפה, הוראה מפורשת של חוקי דקדוק וכו'.  זאת מתוך הנחה ששיפור הידע המגובש ישפר את הבנת הנקרא. 

המלצה זו נשענת על ההנחה שהידע המגובש של הילד נמוך באופן יציב, ויהיה נמוך לפחות בשנתיים שלוש הקרובות (במיוחד אם לא יקבל את ההתערבות הנדרשת).    Watkins and Smith (2013)  ניתחו את היציבות לאורך זמן של האינדקסים במבחן ה – 4WISC.  שלוש מאות ארבעים וארבעה תלמידים נבחנו פעמיים, במסגרת בחינת זכאותם לשירותי חינוך מיוחד.  הזמן הממוצע בין שתי הבחינות היה 2.84 שנים.  מקדמי היציבות של ציוני האינדקס נעו בין 0.65  ל – 0.76  (לא רע לדעתי).  בין 29% ל – 44% מציוני האינדקסים השתנו ב – 10 נקודות או פחות בין שתי הבדיקות (נזכיר, שעשר נקודות זה פחות מסטית תקן אחת כאשר הממוצע של האינדקס הוא 100 וסטית התקן היא 15).  אינדקס חזק או חלש באופן בולט נשאר חזק או חלש ביחס לאינדקסים האחרים גם במדידה השניה.  לדוגמה אם ילד קיבל בזמן הבחינה הראשון פרופיל של הבנה מילולית 81, היסק תפיסתי 109, זיכרון עובד 79 ומהירות עיבוד 74, קיימת הסתברות של 98% שההיסק התפיסתי ישאר ציון האינדקס הגבוה ביותר בזמן הבחינה השני, אבל הוא ככל הנראה יהיה קרוב יותר לשאר האינדקסים בגלל רגרסיה אל הממוצע.  כך, באופן כללי, מרבית הכוחות והקשיים שזוהו יהיו פחות קיצוניים בבדיקה חוזרת.  חשוב לקחת את זה בחשבון כאשר שוקלים אם לבחון שוב ילד שנבחן לראשונה בגן, למשל.

כמובן שיתכן שבזמן שחולף בין שתי הבדיקות חלים שינויים ביכולות הקוגניטיביות בשל התערבויות שהילד מקבל.  לצערנו אין די מחקר אמפירי שמראה השפעות חזקות ומתמשכות כאלה של התערבויות על ציונים במבחן משכל.   

בעיה נוספת בעבודה עם יכולות רחבות היא הגדלת הסיכוי לטעות מס.1, כלומר למציאת יכולת נמוכה למרות שאותה יכולת היא בעצם תקינה אצל הילד.  ככל שמפיקים מדדים רבים יותר, כך גדל הסיכוי שאחד מהם יהיה נמוך.  זה לא בהכרח מעיד על קושי אצל הילד.     

בעיה שלישית בעבודה עם יכולות רחבות קשורה לתוקף המבנה של מבחן המשכל בו משתמשים.  אם גורם שמייצג יכולת רחבה כמו עיבוד חזותי לא מאותר בניתוח גורמים, הציון המייצג את היכולת הזו עלול להיות אשליה. 

קיימים שני סוגים של ניתוח גורמים:  מגשש ומאשש.  שיטות אלה משלימות זו את זו.  כאשר התוצאות שלהן עולות בקנה אחד, לפסיכולוגים יכול להיות בטחון גדול יותר בגישה הפרשנית המוצעת עבור המבחן והציונים שלו. 

בניתוחי גורמים עצמאיים למבחני המשכל שנערכים על ידי קבוצת החוקרים שקוראת תיגר על ניתוח מבחני המשכל על פי יכולות רחבות, נמצא במבחנים שונים מבנה יכולות שונה מזה שפורסם ע"י המו"ל של המבחן.  למשל, Dombrowski, McGill, and Canivez (2017) ערכו ניתוח גורמים מגשש כדי לבחון את המבנה של מבחן וודקוק ג'ונסון 4 (להזכירכם, בארץ יצא בקרוב מבחן וודקוק ג'ונסון 3).  הם מצאו עדות בלתי מספקת לתמיכה בשבע יכולות ה -  CHC שהמבחן אמור לבדוק.  במקום זה, הם מצאו שהנתונים תומכים במבנה של ארבע יכולות הדומה למבנה של הוכסלר (הבנה מילולית, עיבוד חזותי, זיכרון עובד, מהירות עיבוד).  מודל חלופי זה נמצא כמתאים טוב יותר לנתוני המדגם של מבחן הוודקוק ג'ונסון 4 גם בניתוח גורמים מאשש שבוצע על ידי Dombrowski, McGill, & Canivez, (2018).  .   

בעיה זו נמצאה גם במבחני משכל אחרים.    Canivez, Watkins, and Dombrowski (2017)ערכו ניתוח גורמים מאשש כדי לבחון את מבנה מבחן WISC5.  התוצאות מ – 16 תת מבחנים ומדדים של יכולות רחבות לא תמכו במודל בן חמשת הגורמים שהוצע על ידי המו"ל של המבחן.  במקום זה, נמצא שמודל בן 4 גורמים, שעולה בקנה אחד עם מבנה מבחן WISC4 (הבנה מילולית, עיבוד תפיסתי, זיכרון עבודה, מהירות עיבוד) התאים לנתונים בצורה הטובה ביותר. שלושה מהגורמים הללו היו חלשים יחסית.  היכולת הרחבה הנבדלת ביותר מרמת המשכל הכללית היתה מהירות העיבוד.  חוקרים אלה הסיקו שניתן לפרש במבחן זה רק את מנת המשכל הכללית ואת מהירות העיבוד.

עד כמה עבודה לפי יכולות רחבות היא יעילה ומשמעותית?  הקשרים בין היכולות הקוגניטיביות לתחומי ההישג מתועדים היטב במחקר, למשל כאן:   (Cormier, .Bulut, McGrew, & Sing, 2017; McGrew & Wendling, 2010)  אך חלק מהמחקרים הללו לא לוקחים בחשבון את ההשפעה של רמת המשכל הכללית.  במחקרים שלקחו בחשבון את רמת המשכל הכללית, למשל , McGill and Busse (2015) נמצא שרמת המשכל הכללית הסבירה כ55% מהשונות בקריאה, ושאר היכולות הרחבות ביחד תרמו רק עוד 6% שונות מנובאת מעבר לרמת המשכל הכללית.  היכולת הרחבה שבדרך כלל מנבאת את רוב השונות בהישגים מעבר לרמת המשכל הכללית היא הידע המגובש.  יש פסיכולוגים שיחשבו שכדאי לבדוק את היכולות כדי לנבא את ה – 6% הנוספים הללו.  פסיכולוגים אחרים יטילו ספק בתועלת מבחינת זמן ומשאבים. 

בתגובה לטיעונים אלה, חוקרים שאמונים על ניתוח יכולות, כגון פלאנגן ומקגרו, סוברים שהשיטה בה מתבצעים ניתוחי הגורמים העצמאיים מטה את הכף לטובת רמת המשכל הכללית ולרעת היכולות הרחבות.  אך גם פלאנגן וחבריה מעודדים את הפסיכולוגים להשתמש לא רק בנתונים של הציונים של הילד ביכולות השונות אלא גם במקורות מידע שונים על אותה יכולת אצל הילד (למשל, דיווחי המורה, ההורים והילד עצמו, ותצפית קלינית במהלך האבחון).   קיימים גם מחקרים שתומכים בשימוש בניתוח פרופיל היכולות הרחבות ובשלבי ההגדרה של לקות למידה על פי פלאנגן.  למשל, במחקר של  Feifer, Nader, Flanagan, Fitzer, and Hicks (2014) סווגו 216 ילדים בבי"ס יסודי לשש קבוצות על פי היכולת הקוגניטיבית הנמוכה באותה קבוצה.  הילדים עברו את מבחן הוודקוק ג'ונסון 3 הקוגניטיבי ומבחני הישג.  נמצא שהנמכות בעיבוד שמיעתי, זיכרון לטווח קצר, תפקודים ניהוליים (יכולת פלואידית) ומהירות עיבוד תרמו במידות שונות לקשיים בפענוח מלים, שטף, והבנת הנקרא.

Canivez, G. L., Watkins, M. W., & Dombrowski, S. C. (2017). Structural validity of the Wechsler Intelligence Scale for Children-Fifth Edition: Confirmatory factor analyses with the 16 primary and secondary subtests. Psychological Assessment, 29, 458–472

Cormier, D. C., Bulut, O., McGrew, K. S., & Sing, D. (2017). Exploring the relations between Cattell-Horn-Carroll (CHC) cognitive abilities and mathematics achievement. Applied Cognitive Psychology, 31, 530–538.

Dombrowski, S. C., McGill, R. J., & Canivez, G. L. (2017). Exploratory and hierarchical factor analysis of the WJ-IV cognitive at school age. Psychological Assessment, 29, 394–407.

Dombrowski, S. C., McGill, R. J., & Canivez, G. L. (2018). An alternative conceptualization of the theoretical structure of the WJ IV cognitive at school age: A confirmatory factor analytic investigation. Archives of Scientific Psychology, 6, 1–13

Feifer, S. G., Nader, R. G., Flanagan, D. P., Fitzer, K. R., & Hicks, K. (2014). Identifying specific reading subtypes for effective educational remediation. Learning Disabilities: A Multidisciplinary Journal, 20, 18–30.

McDermott, P. A., Fantuzzo, J. W., & Glutting, J. J. (1990). Just say no to subtest analysis: A critique on Wechsler theory and practice. Journal of Psychoeducational Assessment, 8, 290–302.

McGill, R. J., & Busse, R. T. (2015). Incremental validity of the WJ III COG: Limited predictive effects beyond the GIA-E. School Psychology Quarterly, 30, 353–365.

McGrew, K. S., & Wendling, B. J. (2010). Cattell-Horn-Carroll cognitive-achievement relations: What we have learned from the past 20 years of research. Psychology in the Schools, 47, 651–675.

Rapaport, D., Gil, M., & Schafer, R. (1945). Diagnostic psychological testing: The theory, statistical evaluation, and diagnostic application of a battery of tests. Vol. 1. Chicago: Yearbook Medical

Watkins, M. W., & Smith, L. G. (2013). Long-term stability of the Wechsler intelligence scale for children-fourth edition. Psychological Assessment, 25, 477–483.

Does IQ predict future achievement in reading, writing and math?

Watkins, M. W., Lei, P. W., & Canivez, G. L. (2007). Psychometric intelligence and achievement: A cross-lagged panel analysis. Intelligence, 35(1), 59-68.‏  http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.397.3155&rep=rep1&type=pdf

https://pdfs.semanticscholar.org/4bd0/28fb097c364b5572ac0680ea92ff0f0bf558.pdf

http://edpsychassociates.com/Papers/IQachieveCrossLag(2007).pdf

 Fletcher and Miciak (2017) claim that "there is substantial evidence showing little difference between IQ-discrepant and low achieving children in achievement, behavior, or cognitive skills, prognosis, intervention outcomes, and neuroimaging markers of brain function".

IQ-DISCREPANT are children who have a discrepancy between their IQ score and their reading/writing/ math scores. The term IQ-DISCREPANT usually refers to children with poor reading/writing/math and (at least) average intelligence.  LOW ACHIEVING in Fletcher and Miciak's paper refers to children who have poor reading/writing/math and lower than average IQ scores.   These children do not have a discrepancy between their IQ and achievement scores.

Assertions like Fletcher and Miciak's were one of the reasons for abandoning the discrepancy definition of learning disability (learning disability as a discrepancy

between at least average IQ and poor reading/writing/math that cannot be explained by exclusionary factors) in DSM5.

This article by Watkins, Lei  & Canivez presents a slightly different picture:

In current usage, intelligence tests are thought to measure general reasoning skills that are predictive of academic achievement. Indeed, concurrent IQ–achievement correlations are substantial and, consequently, comparisons of IQ and achievement scores constitute one of the primary methods of diagnosing learning disabilities (at least when this paper was written). However, intelligence tests often contain items

 or tasks that appear to access information that is taught in school (i.e., vocabulary, arithmetic) and there has been considerable debate regarding the separateness or

 distinctiveness of intelligence and academic achievement.  This apparent overlap in test coverage, among other factors, has led some to view intelligence and achievement as identical constructs. Some researchers have suggested that the relationship between intelligence test scores and educational achievement is reciprocal, mutually influencing each other.  According to this approach, children who read a lot develop their cognitive abilities and intelligence.  Children who do not read because of learning disabilities have less opportunity to develop these abilities.  Subsequently, special education researchers have suggested that only achievement tests should be used to identify children with learning  disabilities (as Fletcher suggests).  Other researchers assert that intelligence is causally related to achievement.

In order to determine whether and to what extent IQ affects achievement (or vice versa), children must be tested twice with an IQ test and twice with achievement tests over a period of a few years. If IQ affects achievement and causes it, the correlation between the IQ scores obtained in the first measurement (IQ 1) and the achievement scores obtained in the second measurement (achievement 2) should be higher  than the correlation between the achievement scores obtained in the first measurement (achievement 1) and the  IQ scores obtained in the second easurement (IQ2).

Two thousand school psychologists were randomly selected from the National Association of School Psychologists membership roster and invited via mail to participate in this study by providing test scores and demographic data obtained

 from recent special education triennial reevaluations. Data were voluntarily submitted on 667 cases by 145 school psychologists from 33 states. Of these cases, 289 contained scores for the requisite eight WISC-III and four academic

achievement subtests.

Special education diagnosis upon initial evaluation included 68.2% learning disability, 8.0% emotional disability and 8.0% mental retardation.  The rest of the students received other diagnoses.  The mean age of students at first testing was 9.25 years and the mean age of students at second testing was 12.08.

Contemporary versions of the Woodcock–Johnson Tests of Achievement, Wechsler Individual Achievement Test, and Kaufman Test of Educational Achievement were used in more than 90% of the cases. In reading, all achievement tests included separate basic word reading and reading comprehension subtests. In math, separate calculation and reasoning subtests were available for all academic achievement instruments

Here are some interesting correlations I found in the second testing (which took place when the child had already spent about three years in special education):

Basic reading skills were correlated 0.56 with Information, 0.42 with Similarities, 0.49 with Vocabulary.

Reading comprehension was correlated 0.64 with Information, 0.54 with Similarities, 0.47 with Picture Arrangement, 0.50 with Block Design, 0.60 with Vocabulary, 0.50 with Comprehension subtest.

Mathematical calculations were correlated 0.62 with Information, 0.55 with Similarities, 0.52 with Picture  Arrangement, 0.53 with Block Design, 0.57 with Vocabulary and 0.55 with Comprehension.

Mathematical reasoning was correlated 0.70 with Information, 0.63 with Similarities, 0.52 with Picture Arrangement, 0.58 with Block Design, 0.67 with Vocabulary, 0.65 with Comprehension.

The relatively high correlation of Information and Vocabulary with all achievement tests stands out.

In the first testing (before the child entered special education) the highest correlations were found between those same IQ subtests and achievement tests, but correlations were generally lower. The reason for this is unclear to me and the   researchers do not explain it.

Another thing that stood out to me was that the mean of the group of children in the Verbal Comprehension and Perceptual Organization indices did not change between the first and the second testing. This may be an indication of the stability of intelligence.  On the other hand, this may mean that the intervention the children may have received in special education did not improve their crystallized knowledge.

Even more striking is the fact that the average scores in basic reading, reading comprehension, mathematical calculations, and mathematical reasoning have not changed during these two years and eight months. This means that the children did

not make progress in their skill level relative to the norm, but on the other hand, they also did not fall behind. Another interesting thing is that the children's average scores in the achievement domains were average (around 85), not lower.

Oh, Glutting, Watkins, Youngstrom, and McDermott (2004) demonstrated that both g (general intelligence) and Verbal Comprehension contributed to the prediction of academic achievement, although g was at least three times more  important than Verbal Comprehension.

In the present study, the average correlation between IQ1 and Achievement2 was 0.466 while the average correlation between Achievement1 and IQ2 was 0.398. This means that IQ predicts achievement, not the other way around.

IQ tests were built by Alfred Binet to measure (and predict) the ability of students to succeed at school. This basic feature of IQ tests has been empirically supported for more than 100 years and is also supported by this study.

The assertion that IQ predicts future achievement has been tested with students in regular education.  In this study, it was examined with special education students and has also been confirmed. Some researchers have suggested that correlations between reading and IQ tests may often be an artifact of language, which affects both reading and intelligence.  By this line of thinking, reading difficulties lower

 IQ scores over time, and cause them to be weak predictors of achievement in students with learning disabilities.

One of the most influential researchers in the field of reading, Linda Siegel, wrote in 1998: “low scores on the IQ tests are a consequence, not a cause, of … reading disability”. I can find some logic in this argument, but I would mitigate it and say:

poor scores in some IQ subtests may also be caused by learning disability.

 However, this position was not confirmed by the present results nor by those of Kline, Graham, and Lachar (1993), who found IQ scores to have comparable external validity for students of varying reading skill. Nor was such a conceptualization supported by the relatively high long-term stability of WISC-III IQ scores among more than 1000 students with disabilities. Further, IQ has been a protective factor in several studies. In a longitudinal analysis, Shaywitz et al. (2003) found that two groups of impaired readers began school with similar reading skills and socioeconomic characteristics, but those students with higher cognitive ability became significantly better readers as young adults. A meta-analysis of intervention research for adolescents with LD demonstrated that IQ exercised similar protective effects (Swanson, 2001). A New Zealand 25-year longitudinal study found strong relationships between IQ at age 7 and 8 and academic achievement at ages 18– 25 years, independent of childhood conduct problems as well as family and social circumstances (Fergusson, Horwood, & Ridder, 2005). In sum, considerable evidence contradicts the assertion that IQ has no predictive or seminal relationship with academic achievement.

 The present study provides evidence that psychometric intelligence is predictive of future achievement whereas achievement is not predictive of future psychometric intelligence.

In conclusion, Fletcher and Miciak argue that there is no difference between children with and without an IQ-Achievement discrepancy in achievement, behavior,

 cognitive abilities, prognosis, intervention outcomes, and neuroimaging markers of brain function.

This study suggests that there is a difference in prognosis between these two groups of children.