Friday, May 25, 2018

Does IQ predict future achievement in reading, writing and math?


Watkins, M. W., Lei, P. W., & Canivez, G. L. (2007). Psychometric intelligence and achievement: A cross-lagged panel analysis. Intelligence35(1), 59-68.  http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.397.3155&rep=rep1&type=pdf

 Fletcher and Miciak (2017) claim that "there is substantial evidence showing little difference between IQ-discrepant and low achieving children in achievement, behavior, or cognitive skills, prognosis, intervention outcomes, and neuroimaging markers of brain function".

IQ-DISCREPANT are children who have a discrepancy between their IQ score and their reading/writing/ math scores. The term IQ-DISCREPANT usually refers to children with poor reading/writing/math and (at least) average intelligence.  LOW ACHIEVING in Fletcher and Miciak's paper refers to children who have poor reading/writing/math and lower than average IQ scores.   These children do not have a discrepancy between their IQ and achievement scores.

Assertions like Fletcher and Miciak's were one of the reasons for abandoning the discrepancy definition of learning disability (learning disability as a discrepancy
between at least average IQ and poor reading/writing/math that cannot be explained by exclusionary factors) in DSM5.

This article by Watkins, Lei  & Canivez presents a slightly different picture:

In current usage, intelligence tests are thought to measure general reasoning skills that are predictive of academic achievement. Indeed, concurrent IQ–achievement correlations are substantial and, consequently, comparisons of IQ and achievement scores constitute one of the primary methods of diagnosing learning disabilities (at least when this paper was written). However, intelligence tests often contain items
 or tasks that appear to access information that is taught in school (i.e., vocabulary, arithmetic) and there has been considerable debate regarding the separateness or
 distinctiveness of intelligence and academic achievement.  This apparent overlap in test coverage, among other factors, has led some to view intelligence and achievement as identical constructs. Some researchers have suggested that the relationship between intelligence test scores and educational achievement is reciprocal, mutually influencing each otherAccording to this approach, children who read a lot develop their cognitive abilities and intelligence.  Children who do not read because of learning disabilities have less opportunity to develop these abilities.  Subsequently, special education researchers have suggested that only achievement tests should be used to identify children with learning  disabilities (as Fletcher suggests).  Other researchers assert that intelligence is causally related to achievement.

In order to determine whether and to what extent IQ affects achievement (or vice versa), children must be tested twice with an IQ test and twice with achievement tests over a period of a few years. If IQ affects achievement and causes it, the correlation between the IQ scores obtained in the first measurement (IQ 1) and the achievement scores obtained in the second measurement (achievement 2) should be higher  than the correlation between the achievement scores obtained in the first measurement (achievement 1) and the  IQ scores obtained in the second easurement (IQ2).

Two thousand school psychologists were randomly selected from the National Association of School Psychologists membership roster and invited via mail to participate in this study by providing test scores and demographic data obtained
 from recent special education triennial reevaluations. Data were voluntarily submitted on 667 cases by 145 school psychologists from 33 states. Of these cases, 289 contained scores for the requisite eight WISC-III and four academic
achievement subtests.

Special education diagnosis upon initial evaluation included 68.2% learning disability, 8.0% emotional disability and 8.0% mental retardation.  The rest of the students received other diagnoses.  The mean age of students at first testing was 9.25 years and the mean age of students at second testing was 12.08.

Contemporary versions of the Woodcock–Johnson Tests of Achievement, Wechsler Individual Achievement Test, and Kaufman Test of Educational Achievement were used in more than 90% of the cases. In reading, all achievement tests included separate basic word reading and reading comprehension subtests. In math, separate calculation and reasoning subtests were available for all academic achievement instruments

Here are some interesting correlations I found in the second testing (which took place when the child had already spent about three years in special education):

Basic reading skills were correlated 0.56 with Information, 0.42 with Similarities, 0.49 with Vocabulary.

Reading comprehension was correlated 0.64 with Information, 0.54 with Similarities, 0.47 with Picture Arrangement, 0.50 with Block Design, 0.60 with Vocabulary, 0.50 with Comprehension subtest.

Mathematical calculations were correlated 0.62 with Information, 0.55 with Similarities, 0.52 with Picture  Arrangement, 0.53 with Block Design, 0.57 with Vocabulary and 0.55 with Comprehension.

Mathematical reasoning was correlated 0.70 with Information, 0.63 with Similarities, 0.52 with Picture Arrangement, 0.58 with Block Design, 0.67 with Vocabulary, 0.65 with Comprehension.

The relatively high correlation of Information and Vocabulary with all achievement tests stands out.

In the first testing (before the child entered special education) the highest correlations were found between those same IQ subtests and achievement tests, but correlations were generally lower. The reason for this is unclear to me and the   researchers do not explain it.

Another thing that stood out to me was that the mean of the group of children in the Verbal Comprehension and Perceptual Organization indices did not change between the first and the second testing. This may be an indication of the stability of intelligence.  On the other hand, this may mean that the intervention the children may have received in special education did not improve their crystallized knowledge.

Even more striking is the fact that the average scores in basic reading, reading comprehension, mathematical calculations, and mathematical reasoning have not changed during these two years and eight months. This means that the children did
not make progress in their skill level relative to the norm, but on the other hand, they also did not fall behind. Another interesting thing is that the children's average scores in the achievement domains were average (around 85), not lower.

Oh, Glutting, Watkins, Youngstrom, and McDermott (2004) demonstrated that both g (general intelligence) and Verbal Comprehension contributed to the prediction of academic achievement, although g was at least three times more  important than Verbal Comprehension.

In the present study, the average correlation between IQ1 and Achievement2 was 0.466 while the average correlation between Achievement1 and IQ2 was 0.398. This means that IQ predicts achievement, not the other way around.

IQ tests were built by Alfred Binet to measure (and predict) the ability of students to succeed at school. This basic feature of IQ tests has been empirically supported for more than 100 years and is also supported by this study.

The assertion that IQ predicts future achievement has been tested with students in regular education.  In this study, it was examined with special education students and has also been confirmed. Some researchers have suggested that correlations between reading and IQ tests may often be an artifact of language, which affects both reading and intelligence.  By this line of thinking, reading difficulties lower
 IQ scores over time, and cause them to be weak predictors of achievement in students with learning disabilities.

One of the most influential researchers in the field of reading, Linda Siegel, wrote in 1998: “low scores on the IQ tests are a consequence, not a cause, of … reading disability”. I can find some logic in this argument, but I would mitigate it and say:
poor scores in some IQ subtests may also be caused by learning disability.

 The present study provides evidence that psychometric intelligence is predictive of future achievement whereas achievement is not predictive of future psychometric intelligence.

In conclusion, Fletcher and Miciak argue that there is no difference between children with and without an IQ-Achievement discrepancy in achievement, behavior,
 cognitive abilities, prognosis, intervention outcomes, and neuroimaging markers of brain function.

This study suggests that there is a difference in prognosis between these two groups of children.


Thursday, May 24, 2018

האם רמת המשכל הכללית מנבאת הישגים עתידיים בקריאה, כתיבה וחשבון?



Watkins, M. W., Lei, P. W., & Canivez, G. L. (2007). Psychometric intelligence and achievement: A cross-lagged panel analysis. Intelligence35(1), 59-68.  http://citeseerx.ist.psu.edu/viewdoc/download?





קראנו לאחרונה בבלוג זה את המשפט הבא במאמר של פלטשר ומיסיאק:

"There is substantial evidence showing little difference between IQ-discrepant and low achieving children in achievement, behavior, or cognitive skills, prognosis, intervention outcomes, and neuroimaging markers of brain function".

IQ-DISCREPANT הם ילדים שיש להם פער בין רמת המשכל הכללית לבין רמת ההישגים בקריאה, כתיבה, חשבון.  המונח IQ-DISCREPANT מתייחס בדרך כלל לילדים בעלי הישג נמוך בקריאה/כתיבה/חשבון ורמת משכל כללית תקינה ומעלה.   LOW ACHIEVING  במאמר של פלטשר הם ילדים בעלי הישג נמוך בקריאה/כתיבה/חשבון וגם רמת משכל כללית נמוכה (כלומר, אין להם פער בין רמת המשכל לבין ההישג הנמוך). 

פלטשר טוען שאין הבדל בין ילדים עם פער בין רמת המשכל לרמת ההישגים בקריאה/כתיבה/חשבון לבין ילדים בלי פער כזה.  אין הבדל בין שתי קבוצות הילדים בהישגים, בהתנהגות, ביכולות הקוגניטיביות, בפרוגנוזה, בתוצאות התערבות ובסמנים של תפקוד מוחי.

טיעונים כאלה היו אחת הסיבות לזניחת נוסחת הפערים בהגדרת לקות למידה ב - DSM5 (נוסחת הפערים מגדירה לקות למידה כפער בין רמת משכל תקינה לבין הישגים נמוכים בקריאה/כתיבה/חשבון שאינם מוסברים על ידי גורמי הדרה).

מאמר זה של ווטקינס, ליי וקניבז מציג תמונה קצת אחרת:  

התפיסה הרווחת היא שמבחני משכל בודקים כישורי חשיבה כלליים המנבאים הישגים בקריאה/כתיבה/חשבון.  המתאמים בין רמת המשכל לבין ההישגים הם משמעותיים, ולכן השוואה בין רמת המשכל לבין ההישגים היא אחת מהשיטות העיקריות לאבחון לקות למידה (לפחות בזמן שהמאמר הזה נכתב).  מבחני משכל מכילים לעתים קרובות פריטים או משימות הנלמדים בבית הספר (אוצר מלים, חשבון) ולכן קיים ויכוח לגבי המידה בה ניתן להפריד בין משכל לבין הישג (בקריאה/כתיבה/חשבון).  החפיפה הזו בין המבחנים הובילה חוקרים מסויימים לראות משכל והישג כמושגים תיאורטים זהים.  יש חוקרים שהציעו שהקשר בין ציוני המשכל לבין ציוני ההישג הוא הדדי, כלומר המשכל משפיע על ההישג וההישג משפיע על המשכל.  על פי תפיסה זו, קריאה מרובה מפתחת את היכולות הקוגניטיביות ואת המשכל.  ילד שאינו קורא בשל לקות למידה מפתח את היכולות הללו פחות.  לכן חוקרים של החינוך המיוחד הציעו  להשתמש רק במבחני הישג כדי לזהות תלמידים עם לקות למידה (כפי שמציע פלטשר למשל).  לעומתם חוקרים אחרים סבורים שרמת המשכל הכללית משפיעה באופן סיבתי על ההישג.  

כדי לבדוק האם ועד כמה המשכל משפיע על ההישג (או להיפך), צריך לבדוק ילד פעמיים (בהפרש של מספר שנים) במבחן משכל ופעמיים (בהפרש של מספר שנים) במבחני הישג.  אם המשכל משפיע על ההישג וגורם לו, אז המתאם בין רמת המשכל שנמדדה בבדיקה הראשונה (נכנה אותה משכל1) וההישג שנמדד בפעם השניה (נכנה אותו הישג2) צריך להיות גבוה מהמתאם בין ההישג שנמדד בפעם הראשונה (הישג1) המשכל שנמדד בפעם השניה (משכל2).  

קניבז וחבריו בחרו באופן אקראי 2000 פסיכולוגים שהיו חברים באיגוד הפסיכולוגים החינוכיים האמריקנים והזמינו אותם לשלוח ציוני מבחנים ונתונים דמוגרפים של ילדים שהיו להם ועדות חוזרות לאחר שלוש שנים בחינוך המיוחד.  145 פסיכולוגים שלחו נתונים על 667 ילדים מ – 33 מדינות בארה"ב.  מתוכם בחרו החוקרים את 289 המקרים שהכילו מספיק מידע (8 תת מבחנים מה – ,WISC3 שבדקו הבנה מילולית וארגון תפיסתי, וארבעה מבחנים של קריאה/כתיבה/חשבון).  ששים ושמונה אחוזים מהילדים אובחנו בהערכה הראשונה כלקויי למידה, 8% אובחנו עם בעיות רגשיות, 8% עם לקות אינטלקטואלית, והשאר קיבלו אבחנות אחרות.  הזמן שחלף בין שתי ההעברות של ה – WISC3  היה 2.87 שנים.  הגיל הממוצע בהערכה הראשונה היה 9.25 ובהערכה השניה היה 12.08.   

תחומי ההישג נמדדו בדרך כלל באמצעות בטרית מבחני ההישגים של מבחני וודקוק ג'ונסון, וכסלר או קאופמן (מבחני המשכל החדשים בנויים משתי סוללות מבחנים:  מבחנים קוגניטיבים שבודקים יכולות קוגניטיביות, ומבחני הישג שבודקים קריאה/כתיבה/חשבון).  מבחני הקריאה כללו קריאת מלים בודדות והבנת הנקרא.  מבחני המתמטיקה בדקו יכולת לבצע חישובים מתמטים וחשיבה מתמטית. 

הנה מספר מתאמים מעניינים שנמצאו במדידה השניה  (שהתבצעה כאשר הילד כבר למד שלוש שנים בחינוך המיוחד):

כישורי קריאה בסיסיים:  במתאם של 0.56 עם ידיעות, 0.42 עם צד שווה, 0.49 עם אוצר מלים.  

הבנת הנקרא:  במתאם של 0.64 עם ידיעות, 0.54 עם צד שווה, 0.47 עם סידור תמונות, 0.50 עם קוביות, 0.60 עם אוצר מלים, 0.50 עם תת מבחן הבנה.    

חישובים מתמטים:  0.62 עם ידיעות, 0.55 עם צד שווה, 0.52 עם סידור תמונות, 0.53 עם קוביות, 0.57 עם אוצר מלים ו – 0.55 עם הבנה.    

חשיבה מתמטית:  0.70 עם ידיעות, 0.63 עם צד שווה, 0.52 עם סידור תמונות, 0.58 עם קוביות, 0.67 עם אוצר מלים, 0.65 עם הבנה.

בולט המתאם הגבוה יחסית של ידיעות ושל אוצר מלים עם כל התחומים האלה. 

במדידה הראשונה (לפני שהילד נכנס לחינוך המיוחד) המתאמים הגבוהים ביותר נמצאו בין אותם תחומי הישג לאותם מבחנים, אך גובה המתאמים היה נמוך יותר.  הסיבה לכך לא ברורה לי והחוקרים אינם מסבירים אותה. 

דבר נוסף שבלט לי הוא שהממוצע של קבוצת הילדים במדדי ההבנה המילולית והאירגון התפיסתי לא השתנה בין המדידה הראשונה (לפני שנכנסו לחינוך המיוחד) לבין המדידה השניה (שנתיים ושמונה חודשים לאחר מכן).  משמעות הדבר היא שהמשכל הוא דבר מאד יציב.  מצד שני זה אומר שהתערבות שהילדים אולי קיבלו במהלך שהותם בחינוך המיוחד לא שיפרה את הידע המגובש שלהם.

עוד יותר בולטת העובדה שהממוצע של קבוצת הילדים במדדי הקריאה הבסיסית, הבנת הנקרא, חישובים מתמטים וחשיבה מתמטית לא השתנה במשך השנתיים ושמונת החודשים הללו.  משמעות הדבר היא שהילדים לא התקדמו ביחס לעצמם בשנות שהותם בחינוך המיוחד, אך מצד שני, הם גם לא נסוגו לאחור.  דבר מעניין נוסף הוא שהממוצעים של קבוצת הילדים במדדים של תחומי ההישג היו בגבול הממוצע (סביבות 85 פלוס מינוס) ולא נמוכים יותר.

החוקרים מצטטים מחקרים שמצאו שהן רמת המשכל הכללית והן הבנה מילולית תורמים לניבוי תחומי ההישג, אך שרמת המשכל הכללית מנבאת את תחומי ההישג פי שלוש מההבנה המילולית.   

במחקר הנוכחי, המתאם הממוצע בין משכל1 להישג2 היה 0.466 בעוד שהמתאם הממוצע בין הישג1 למשכל2 היה 0.398.  זה אומר שרמת המשכל מנבאת את ההישגים ולא להיפך.

מבחני המשכל נבנו על ידי אלפרד בינה כדי למדוד (מן הסתם, כדי לנבא) את היכולת של תלמידים להצליח בבית הספר. מאפיין בסיסי זה של מבחני המשכל נתמך אמפירית במשך יותר מ – 100 שנה, ונתמך גם במחקר הנוכחי. 

טענה זו, שהמשכל מנבא הישגים עתידיים, נטענה ונבדקה בדרך כלל אצל תלמידים שלומדים בחינוך הרגיל.  במחקר זה היא נבדקה אצל תלמידים שלומדים בחינוך המיוחד וגם כאן היא אוששה.  יש חוקרים שטענו שמתאמים בין מבחני קריאה ומבחני משכל עשויים להיות לעתים קרובות תוצר לואי של שפה, המשפיעה הן על הקריאה והן על המשכל וגורמת למתאם ביניהם.  בהתאם לטיעון זה, קשיים בקריאה גורמים במשך הזמן לפגיעה בציוני המשכל, וגורמים לכך שציון המשכל הכללי יהיה מנבא חלש של הישגים אצל תלמידים עם לקות למידה.   אחת החוקרות המשפיעות ביותר בתחום הקריאה, לינדה סגל (SIEGEL ), כתבה ב - 1998: "ציונים נמוכים במבחני משכל הם תוצר ולא גורם של...לקות למידה".  אני יכולה למצוא הגיון מסוים בטענה זו, אך הייתי ממתנת אותה ואומרת:  ציונים נמוכים בתת מבחנים מסויימים במבחני משכל עלולים להיות גם תוצר של לקות למידה.

אך המחקר הנוכחי לא תומך בטענה זו.  הטענה לא נתמכת גם על ידי מחקר אחר, שמצא שציוני המשכל הם בעלי תוקף חיצוני דומה הן עבור תלמידים עם קשיים בקריאה והן עבור תלמידים שקריאתם תקינה.  טענה זו לא נתמכת גם כשרואים את היציבות הגבוהה יחסית של ציוני ה – WISC3  אצל יותר מאלף תלמידים עם לקויות למידה (וגם במחקר הנוכחי, יש יציבות גבוהה בציוני WISC3 בין שתי המדידות).

יתרה מזאת, רמת המשכל הכללית נמצאה במספר מחקרים כגורם מגן.  שייביץ וחבריו חקרו שתי קבוצות של קוראים לקויים שהתחילו את לימודיהם בבי"ס עם כישורי קריאה ומאפיינים סוציואקונומים דומים.  התלמידים עם היכולת הקוגניטיבית הגבוהה יותר גדלו להיות מבוגרים צעירים שהם קוראים הרבה יותר טובים מאשר חבריהם בעלי היכולת הקוגניטיבית הנמוכה יותר.  גם מחקר אורך בן 25 שנה מניו זילנד מצא קשר חזק בין רמת המשכל הכללית בגיל 7 ו  - 9 והישגים אקדמים בגיל 18-25, בלי קשר לבעיות התנהגות בילדות או לנסיבות משפחתיות וחברתיות.  קיימות עדויות רבות שסותרות את הקביעה שרמת המשכל הכללית אינה מנבאת הישגים. 

לסיכום: פלטשר טוען במשפט שצוטט למעלה, שאין הבדל בין ילדים עם פער בין רמת המשכל לרמת ההישגים בקריאה/כתיבה/חשבון לבין ילדים בלי פער כזה בהישגים, בהתנהגות, ביכולות הקוגניטיביות, בפרוגנוזה, בתוצאות התערבות ובסמנים של תפקוד מוחי. 

המחקר הנוכחי רומז על כך שדווקא יש הבדל בפרוגנוזה בין שתי קבוצות הילדים הללו.