התגובה של פרופ' מקגיל

הנה התגובה של פרופ' מקגיל לפוסט שכתבתי על מאמרו  "Re (Examining) Relations between CHC Broad and Narrow Cognitive Abilities and Reading Achievement". 
התגובה המקורית באנגלית מופיעה בפוסט הקודם.  כאן תרגמתי אותה והוספתי מספר דברי הסבר בצבע ירוק.   

"ראשית, אני חושב שחשוב לציין שאיני מתנגד באופן גורף לתאורית CHC  או ליישומים המומלצים שלה  (למשל, XBA  או מודלים של PSW).  להסבר על XBA  לחצו כאן.  מודלים של  PSW – PATTERNS OF STRENGTHS AND WEAKNESSES 

מניחים שלוש הנחות בסיסיות לגבי הגדרת לקות למידה:  א.  חייבת להיות עדות לחולשה קוגניטיבית.  ב.  חייבת להיות עדות לחולשה באחד מתחומי ההישג.  ג.  חייבת להיות עדות ליכולות קוגניטיביות תקינות המתקשרות לתחומי הישג תקינים. 

ל – CHC  יש יתרונות רבים, ואחד החשובים בהם הוא שה – CHC  סיפק מערכת מושגים משותפת באמצעותה אנו יכולים לדון ביכולות הקוגניטיביות ובכלים המודדים אותן.  אני מוטרד בעיקר בקשר לכלים בהם אנו מודדים את  יכולות ה – CHC   ובקשר לאחדות הפסיכומטרית של היכולות הללו.  תאוריה יכולה להנחות אותנו אבל היא לא מקור מתאים לתוקף.  בעוד שתאורית CHC  מניחה שקיימות 7-9 יכולות רחבות, חוקרים בלתי תלויים התקשו למצוא רבות מיכולות אלה במבחני המשכל.  זה לא אומר שיכולות אלה אינן קיימות.  ייתכן שהן לא נמדדות היטב, או אפילו לא נמדדות בכלל, בחלק מהמבחנים.  כך, ציוני היכולות, המוצגים כניתנים לפרשנות קלינית, עלולים להיות בעלי תועלת קלינית קטנה.

לגבי מבחני ה – WJ3, WJ4, מחקרים רבים (למשל Dombrowski, 2013; Dombrowksi, McGill, & Canivez, 2014) שהשתמשו באותן פרוצדורות של ניתוח גורמים שהומלצו על ידי Carroll (1993) (קרול הוא ה – C" " השלישי ב – CHC) מצאו מבנה אחר של מבחנים אלה. 

על אחד המחקרים של דומברובסקי כתבתי בפוסט הזה.  דומברובסקי ווואטקינז כללו בניתוח רק את עשרים המבחנים הראשונים (מתוך 30 מבחנים) של הסוללה הקוגניטיבית של הוודקוק ואת המבחנים מסוללת ההישגים (מבחנים הבודקים, קריאה, כתיבה וחשבון).   לו היו כוללים את כל 30 המבחנים הקוגניטיבים ולא כוללים את מבחני ההישגים, התוצאות שלהם היו מן הסתם שונות.  

ניתוח הגורמים שערכו דומברובסקי וואטקינז הצביע על כך, שהנתונים של קבוצת הגילאים 9-13 התקבצו לששה גורמים (אותם כיניתי ידע מגובש, מהירות עיבוד, יכולת פלואידית, עיבוד רצפים, אחסון ושליפה לטווח ארוך וקריאה וכתיבה (שהוא גורם של הישגים שהתקבל בשל הכללת מבחני ההישגים בניתוח הגורמים)).   הנתונים של קבוצת הגילאים 14-19 התקבצו לחמישה גורמים.   

באופן ספציפי, המוציא לאור (של מבחן הוודקוק, כנראה) הציע שמודל ה – CHC  לא נתמך.  במקום זה, יש להעדיף מודל של 3-4 גורמים מורכבים אליהם מתמיינים המבחנים באופן שלא תמיד עולה בקנה אחד עם התאוריה.  בהינתן העובדה שהוודקוק- ג'ונסון היה ועודנו הכלי המוביל לפיתוח תאורית ה – CHC  מאז 2001 והוא עדיין המבחן היחיד שבודק את כל יכולות ה – CHC  הרחבות, זה צריך להדאיג אותנו, מכיוון שתוקף מבנה structural validity  הוא הכרחי אבל בלתי מספיק לתוקף המושג- הנבנה  construct validity.

מהויקיפדיה:  לתוקף המושג הנבנה יש שלושה היבטים או מרכיבים:  המרכיב המהותי, המרכיב המבני והמרכיב החיצוני.  המרכיב מהותי – האם הבסיס התיאורטי העומד בבסיס המושג הוא איתן?  המרכיב המבני – האם קשרי הגומלין בין מימדים הנמדדים באמצעות המבחן נמצאים במתאם עם המושג שאנו רוצים למדוד ועם ציוני המבחנים?  המרכיב החיצוני – האם יש למבחן איכויות מתכנסות, מבחינות ומנבאות?    כלומר, האם יש למבחן מתאם עם מבחני משכל אחרים?  האם המבחן לא בודק דברים שהוא לא אמור לבדוק?  עד כמה הציון במבחן מנבא ציונים בקריטריון (למשל, עד כמה ציון המשכל מנבא ציונים במבחני הישג).

גוף גדל והולך של מחקר פסיכומטרי הראה שכל מבני המשכל הם מדדים טובים של רמת המשכל הכללית, ושרמה פרשנית זו (ברמת ציון המשכל הכללי) היא בעלת התמיכה הפסיכומטרית הגדולה ביותר.  לרוע המזל, אותו גוף ידע מציע לנו להיות פחות בטוחים בפרשנות קלינית של יכולות רחבות וצרות.  כאן נוצר פער בין מה שאנו רוצים לעשות לבין מה שהמתמטיקה אומרת שאנו יכולים לעשות.  היכולות הרחבות רוויות בשונות שמקורה ברמת המשכל הכללית.  את יכולה לטעון שזה טריויאלי, אבל אני חולק עליך...זה יוצר בלבול פרשני גדול מאד.   כיצד תקבעי מה משפיע על הביצוע של הנבדק?  קשה אפילו יותר לקבוע זאת לגבי יכולות שהמבנה שלהן מורכב.  Carroll (1995) עמד על כך שיש לעשות זאת (לקחת בחשבון את ההשפעה של היכולת הכללית ולא רק של היכולות הרחבות) כדי שהקלינאים לא יתפתו לפרשנות יתר של מדדים קוגניטיבים וכך יתעו בסימטאות ללא מוצא.  אם מישהו רוצה להתמקד בפרשנותו ברמת היכולות הרחבות, מדדי היכולות הרחבות צריכים "ללכוד" מספיק שונות.  אם ציוני היכולות הרחבות לא נותנים לנו מידע רב יותר מאשר ציון המשכל הכללי, קשה לי לראות כמה שימוש ניתן לעשות בהם. 

וכאן מוקד הבעיה.  מדדים רבים של יכולות רחבות לא מכילים מספיק שונות של המושג אותו הם בודקים כדי שניתן יהיה לתת להם פרשנות קלינית בה נוכל להיות בטוחים.  לא ניתן לפתור את זה פשוט בכך שנתעלם מרמת המשכל הכללית או בכך שנציע שאין חשיבות ליכולת הכללית.  אלה עמדות בהן אני נתקל לעתים קרובות בספרות ה – CHC.  כפי שהחוקרים Cucina & Howardson (2016) ציינו, "מרכיב חשוב שחסר ב – CHC  אבל נמצא בעבודה של CARROLL  הוא ההכללה של עוצמת הטעינות של הגורמים הייחודיים (מה שמוסבר באמצעות היכולות הרחבות והצרות).  עוצמת הטעינות של גורמים אלה היא נמוכה וזה מוצג בבהירות רבה.  איננו מכירים אף פרסום של CHC  שמכיר בעוצמות נמוכות אלה".

למרות שאת כותבת שמידע על היכולות הרחבות יוביל להתערבויות טובות יותר, חסרה תמיכה מחקרית לעמדה זו.  לפני זמן רב, Cronbach and Snow (1977) ציינו שהחיפוש אחר אינטראקציות בין יכולות קוגניטיביות לבין טיפול דומה לכניסה "למסדרון שכולו מראות".  לא הרבה השתפר במהלך 40 השנים האחרונות.  כדי שלא אואשם בכך שאני מדבר גבוהה גבוהה, יש חוקרים רבים המציעים לנהוג בדיוק להיפך.   אז מה קורה כאן?  אני חושב שכדאי לשים לב שמסמך שחובר על ידי Shinn and colleagues (2010) ניתח את האיכות של הבסיס הראייתי לנייר עמדה על לקות למידה שתמך בעמדה זו (כנראה בעמדה התומכת בניתוח על פי יכולות רחבות) מצא ש – 73% מהמחקרים שצוטטו היו של מאמרי פרשנות, ספרים ופרקים לא אמפירים בספרים, סקירות ספרות ותיאורי מקרים.  לאחרונה, Burns (2016) et al. ערך מטא – אנליזה ומצא שגודל האפקט הקשור להתערבות אותו ניתן להסיק מנתונים קוגניטיבים/נוירופסיכולוגים הוא בדרך כלל זניח.  לסיכום, ההתערבויות הטובות ביותר מתמקדות בחולשות האקדמיות עצמן.  לקיחה בחשבון של יכולות קוגניטיביות לא מאד עוזרת.  כמובן, בנקודה זו, מישהו בדרך כלל מעלה את העיבוד הפונולוגי.  תשובתי לכך היא: "בוודאי, אבל האם לא היית יכול לקבל אותו מידע מבטריה מקיפה של מבחני הישג (שמרביתם מספקים כעת הערכה של הכישורים הפונולוגים) או מהערכת התוצרים הלימודיים?"

תראי, אני מבין שנוח לעשות ניתוח פרופיל קוגניטיבי.  גם אני למדתי לעשות זאת בדיוק כמו כל אחד אחר.  זה נותן לנו חיזוק. כשאנו יכולים להסתכל על פרופיל הציונים של ילד ולשער על המשמעות של X  או Y, אנו מרגישים שזו בדיוק המהות של להיות פסיכולוג חינוכי.  אני חושב שזה היה יכול להיות באמת מגניב לו היינו יכולים לעשות את הדברים הללו.  אבל הפסיכומטריקה אומרת שככל הנראה אנחנו לא יכולים לעשות זאת, וזה בטח שלא נובע מכך שלא ניסינו לבדוק את זה במהלך 50 השנים האחרונות!  בנוסף לכך, יש את כל העניינים המתועדים לגבי שיפוט קליני וחוסר היכולת שלנו כקלינאים להתמודד באופן יעיל עם מידע מורכב (כלומר, עם כמות גדולה של נתונים) בתנאים של אי ודאות.  זה דיון אחר, למרות שהוא מאד חשוב.  בנושאים אלה השפיעו במיוחד העבודות של Paul Meehl ,  עמוס טברסקי ודניאל כהנמן.  אני מאמין שאם היו מדגישים את המחקרים הללו על שיפוט באימון הקליני של פסיכולוגים, הפסיכולוגים היו יותר סקפטים לגבי הגישות הללו לפרשנות של מבחנים ולקבלת החלטות קליניות.

לסיכום, אני חושב שאנו והקליינטים שלנו יפיקו תועלת רבה יותר אם נתמקד בהיבט ה"חינוכי" של הפסיכולוגיה החינוכית ונשים פחות דגש על ניתוח פרופיל, שלדעתי הוא לא יותר מאשר פרנולוגיה פסיכולוגית בנקודת זמן זו (אני נותן ל - Stefan Dombrowksi את הקרדיט על מונח זה)". 

הפרנולוגיה פותחה על ידי FRANZ JOSEPH GALL  במאה התשע עשרה.  הפרנולוגים האמינו שהגולגולת מתאימה את עצמה לגודלם של אזורים שונים במוח, שכל אחד מהם מייצג מימד באישיות האדם.  כך, ניתן לאבחן את אישיות האדם באמצעות מדידת האזורים בגולגולת שנמצאים מעל לאזורים במוח האחראים על תכונות מסויימות. 

למרות מופרכות הפרנולוגיה עצמה, ההנחות של GALL, שהאישיות, המחשבות והרגשות ממוקמות באזורים ספציפים במוח נחשבות להתקדמות הסטורית חשובה לעבר הנוירופסיכולוגיה.

 

Prof. Ryan McGill's reply

   

Here is Prof. Ryan McGill's reply to my post about his paper "Re (Examining) Relations between CHC Broad and Narrow Cognitive Abilities and Reading Achievement":

First, I think it is important to point out that I am not opposed to CHC theory or recommend applications of CHC (i.e., XBA, variants of the PSW model) as a matter of course. CHC has many positives, most notably it has provided a common nomenclature by which we can discuss issues related to cognitive abilities and the instruments that measure them. My concern is primarily with the measurement and underlying psychometric integrity of these constructs. Theory can be instructive but it is not an appropriate source of validity. Whereas CHC theory posits 7-9 broad abilities at Stratum II, independent researchers have had a difficult time locating many of these dimensions on contemporary IQ tests. Again, this is not to say that these dimensions are not real, they just may not be measured well, if at all, on some tests. Thus, the scores that are provided to clinicians and presented as capable of clinical interpretation for such dimensions will be of little clinical utility.

With respect to the WJ-III/WJ-IV, multiple studies (e.g., Dombrowski, 2013; Dombrowksi, McGill, & Canivez, 2014) using the very factor analytic procedures recommended by Carroll (1993) suggest a different structure for the instrument. Specifically, the publisher suggested CHC model was not supported. Instead a 3-4 factors solution with complexly determined factors and theoretically inconsistent cross-loading and subtest migration was preferred. Given the WJ has been the preeminent reference instrument for CHC theory development and refinement since 2001 and remains the only commercial ability measure purporting to measure all CHC broad abilities, this should give us concern as structural validity is necessary but singularly insufficient for construct validity.

A growing corpus of psychometric research has ably demonstrated that virtually all commercial ability measures are good measures of psychometric g and that level of interpretation (i.e., FSIQ) has the most psychometric support. Unfortunately, this same body of research suggest less confidence in clinical interpretation of Stratum II and Stratum III abilities. Again, this is a discrepancy between what we want to do versus what the mathematics indicate that we can do. Broad abilities are saturated with g variance. You may argue that this is trivial but I disagree…it creates a profound interpretive confound. How do you determine what is influencing examinee performance (complexly determined factors are even more difficult to deal with)?  In fact, Carroll (1995) insisted this be done so that clinicians wouldn’t be tempted to over-interpret cognitive measures and go down blind alleys. If one wants to focus their interpretive weight at the Stratum II level of measurement than there needs to be enough target variance captured by those constructs…pure and simple. If the scores tell us little more than g/FSIQ, it is difficult for me to envision how they would be of much use. 

This is where the problem lies, many broad ability measure simply contain insufficient target construct variance for confidant clinical interpretation. The issue cannot be resolved be simply ignoring g or suggesting that construct is inconsequential…positions that are frequently encountered in the CHC literature. As noted by Cucina & Howardson (2016), “an important element that is missing in CHC but present in Carroll’s work is the incorporation of the magnitude of the unique factor loadings [what is accounted for by S2/S3 abilities]. Under the Three Stratum Theory, the magnitude of the non-g loading’s is low and this is made quite clear. We are unaware of any CHC publications that recognize these low magnitudes” (p. 13).  

 Although you suggest that knowing about broad abilities will lead to better interventions, scientific support for this position has long been found wanting. Long ago, Cronbach and Snow (1977) indicated that the search for aptitude by treatment interactions (ATI) was akin to entering a “hallway of mirrors” and not much has improved in the last 40 years. Lest I be accused of pontificating, there are many researchers who suggest that exact opposite. So what gives? I think it is worth noting that a white paper by Shinn and colleagues (2010) evaluated the quality of the evidence-base for an LD position paper supporting this position and found that 73% of the citations listed were for commentary articles, non-empirical book and book chapters, literature reviews, and case studies. More recently, Burns (2016) et al. conducted a meta-analysis and found that effect sizes associated with intervention derived from cognitive/neuropsychological data were mostly trivial. In sum, the best interventions target underlying academic weaknesses, consideration of discrete cognitive skills does not seem to help much. Of course, at this point, someone usually invokes phonological processing. My answer to that is sure, but couldn’t you also get that same information from a comprehensive achievement battery (most of which now all provide an estimate of phonological skills) or more parsimonious CBM measures?

Look I get it, there is comfort in all this cognitive profile analysis stuff. I was taught to do it just like everyone else. We get a reinforcing effect from it, looking at a child’s profile of scores and speculating about what X or Y may mean to many of us is the very embodiment of being a school/educational psychologist. I think it would be really cool if we could do these things, I really do, however the underlying psychometrics suggest that we probably can’t and certainly not for lack of trying over the last 50 years! Plus, there are all the well documented issues with clinical judgement and our inability as clinicians to effectively deal with complex information (i.e., a multitude of psychoeducational scores) in the presence of uncertainty. This is another discussion in and of itself albeit vitally important. On these issues, the eminent works of famed psychologists Paul Meehl, Amos Tversky, and Daniel Kahneman have been particularly influential. I believe that if more judgement psychology research was stressed in clinical training programs, practitioners would view these approaches to test interpretation and clinical decision-making with more skepticism. 

In sum, I think we and our charges would all be better off if we focused more energy on the “school” in school psychology and placed less emphasis on profile analysis which in my view is nothing more than psychometric phrenology at this point (credit goes to Stefan Dombrowksi for coining the term).

איך נראה דוח שכתוב בשיטת CHC בארה"ב?

Sotelo-Dynega, M. (2017). Clinical Reasoning in the Assessment and Intervention Planning for a Reading Disability. Canadian Journal of School Psychology, 32(1), 87-100.‏  https://www.researchgate.net/profile/Marlene_Sotelo-Dynega/publication/305786597_Clinical_Reasoning_in_the_Assessment_and_Intervention_Planning_of_a_Reading_Disability/links/57a8d30e08aed76703f88300.pdf

איך נראה דוח שכתוב בשיטת CHC  בארה"ב?

מאמר זה מציג תיאור מקרה, ובעצם דו"ח שכתוב בשיטה המשלבת בין ניתוח CHC וניתוח נוירופסיכולוגי.  כתבתי בעבר על שילוב דומה, שמפתח דר' דניאל מילר בארה"ב.  המודל של דניאל מילר נקרא School Neuropsychology, וזה בעצם תחום חדש ומלהיב של הפסיכולוגיה החינוכית המשלב נקודת מבט נוירופסיכולוגית.  את המודל של דניאל מילר הצגתי כאן.

המאמר שלפנינו, מאת Sotelo-Dynega, לא מסתפק בהתבססות על ה – CHC  ועל המשגות נוירופסיכולוגיות אלא עושה זאת בין השאר באמצעות מבחן הוודקוק ג'ונסון (WJ-3-COG )  -  מבחן המשכל החדש שעומד לצאת בישראל.  המחבר סוטלו דינגה אף מגדיל לעשות ומשתמש במודלשל פלאנגן להגדרת לקות למידה. 

להזכירכם, המודל של פלאנגן כולל חמישה שלבים עיקריים, שבכל אחד מהם הילד צריך לעמוד כדי להיות מוגדר כלקוי למידה:  א.  הנמכה מובהקת בקריאה/כתיבה/חשבון.  ב.  הנמכה מובהקת באחת או שתיים משבע היכולות הקוגניטיביות (יכולת פלואידית, ידע מגובש, עיבוד חזותי, עיבוד שמיעתי, מהירות עיבוד, זיכרון קצר טווח, אחסון ושליפה לטווח ארוך).  ג.  קשר הגיוני בין אופי ההנמכה בקריאה/כתיבה/חשבון לבין היכולת הקוגניטיבית המונמכת.  ד.  מרבית היכולות הקוגניטיביות של הילד תקינות.  ה.  גורמי הדרה אינם יכולים להסביר טוב יותר את ההנמכה בקריאה/כתיבה/ חשבון. 

מודל זה של פלאנגן הוא אחד ממשפחה של מודלים דומים מאד זה לזה, שנקראים PSW - Pattern of Strengths and Weaknesses.      

מכיוון שאין אפשרות לתמצת את הדו"ח, אני ממליצה לכם לגלוש למאמר (לא בטוח שהקישור עובד, אך המאמר פתוח לגישה חפשית ברשת) ולקרוא אותו בעצמכם. 

הנה כמה דברים שמשכו את תשומת לבי:

א.  הכותרות בהן משתמשים בדו"ח הן:  מהירות ויעילות סנסורי – מוטורית, יכולות חזותיות- מרחביות ואודיטוריות-ורבליות (כאן כותבים על עיבוד חזותי ושמיעתי),  למידה וזיכרון (תחת כותרת זו כותבים על זיכרון לטווח קצר בלבד), תפקודים ניהוליים (כותבים כאן גם על היכולת הפלואידית), זיכרון ולמידה (תחת כותרת זו, הזהה לקודמתה למעט החלפת סדר המלים, כותבים על אחסון ושליפה לטווח ארוך), יעילות ומהירות (כאן כותבים על מהירות עיבוד), תחומי הישג (כאן כוללים לא רק קריאה, כתיבה וחשבון אלא גם את הידע המגובש).

תחת כל כותרת מתוארת רמת התפקוד של הילד במבחנים השונים ותצפית קלינית על אופן ביצוע המבחנים.  כמו כן כאשר יש מבחנים עם תוצאות סותרות, יש דיון בהסברים האפשריים לסתירה.  הדיון בכל יכולת קוגניטיבית משלב בצורה יפה את ההבנות של המורה של הילדה לגבי התפקוד שלה בתחום זה. 

ב.  שלבי ההגדרה של לקות למידה כתובים בצורה מפורשת, ולגבי כל שלב מוצג דיון בשאלה אם הילדה עומדת בשלב זה או לא. 

ג.  אין קישור מספיק לטעמי בין הקשיים שיש בקריאה/כתיבה/חשבון לבין היכולות הקוגניטיביות (באופן שהיכולות הקוגניטיביות מסבירות את הממצאים בקריאה/כתיבה/חשבון).

ד.  יש התייחסות מסויימת להשפעה של הקשיים הקוגניטיבים על המצב הרגשי, אך אין התייחסות נפרדת למצב הרגשי ואין נסיון "לעבור מהרגש אל הקוגניציה", לראות כיצד היכולות הרגשיות משפיעות על הקוגניציה.

Prof McGill in another criticism of CHC

    

McGill, R. J. (2017). Re (Examining) Relations between CHC Broad and Narrow Cognitive Abilities and Reading Achievement. Journal of Educational and Developmental Psychology, 7(1), 265.‏  http://www.ccsenet.org/journal/index.php/jedp/article/viewFile/66066/36510

In June 2016 I published a post which discussed a paper by Prof. Ryan McGill.  In that paper McGill argued against the PSW operational definition of learning disability (usually using CHC model).  I disagreed with him on a few points, and was delighted that he read the post and responded to it. 

This post discusses a new paper by Prof. McGill.  In this paper he deals with the question of what predicts reading better – the general ability (the IQ score) or broad CHC abilities.  Before I present his arguments (and my response to them), I think it's time to introduce Prof. McGill, especially since he is our (educational psychologists) colleague.

 Prof. Ryan J. McGill

  

Ryan J. McGill is Assistant Professor and Director of the School Psychology Program at the College of William & Mary. His research and teaching interests include psychological assessment and measurement, judgement and decision-making in school psychology, assessment and identification of specific learning disability, and quantitative psychology.   Previously, he was a faculty member in the school psychology programs at Texas Woman’s University (2014-2016) and Chapman University (2011-2014). Additionally, he was a practicing school psychologist in Southern California from 2009-2014.

These are the main points in McGill's paper as I understood them: 

With regard to CHC cognitive-achievement relationships, a series of highly cited predictive validity investigations provide evidence of differential predictive effects for CHC-related broad abilities for reading, mathematics, and written language achievement across the age span. With regard to reading achievement, Evans and colleagues (2001) examined relations between CHC broad and narrow abilities and various reading abilities across 14 age groups. Their findings suggest that several abilities (i.e., Phonological Awareness, Processing Speed [Gs], and Long-Term Retrieval [Glr]) consistently accounted for significant effects in reading achievement across the age span. As a result, they encouraged primary consideration of these and other related CHC broad and narrow abilities when investigating reading skill development. However, Evans et al. (2001) did not to include an estimate of general intelligence in their prediction models, a variable that has a rich history of accounting for meaningful levels of academic achievement variance.

Thorndike (1986) noted that 85% to 90% of predictable variance in measures of achievement may be accounted for by a single general score (i.e., FSIQ), that is thought to estimate general intellectual ability. As a consequence of  Evans et al.'s (2001) omission of an estimate of general intelligence, the unique contributions of CHC broad and narrow abilities in predicting reading abilities above and beyond a more parsimonious general intelligence dimension is unclear.

Many researchers debated which factor has more influence on reading – the general ability or broad abilities – and found evidence for both sides of the argument.  Floyd, Keith, Taub, and McGrew (2007) examined the latent predictive effects of CHC-related abilities on reading decoding. In contrast, to Evans et al. (2001), the authors chose to model a general intelligence factor and found that its influence on reading was mediated through the Stratum II broad abilities. Utilizing the same methodological approach, Benson (2007) later concluded that g had direct and significant effects on reading abilities and that the effects associated with the broad and narrow abilities was mostly small. Alternatively, Floyd, Meisinger, Gregg, and Keith (2012) suggested that an integrative model with both direct and indirect effects from g best predicted reading comprehension across development. 

Given the multidimensionality inherent in contemporary measures of CHC-related abilities, researchers have consistently recommended that the effects of the higher-order g-factor should be partialed out or controlled for prior to making inferences regarding the relative importance of lower-order cognitive variables. Failure to do so, may risk overestimating the effects of lower-order variables at the expense of the higher-order dimension.

McGill attempted to measure the influence of broad abilities on reading above and beyond the influence of the general ability.  The participants were children and adolescents ages 6-0 to 18-11 (N = 4,722) drawn from the standardization sample for the WJ III.  The WJ III COG is a multidimensional test of general intelligence for ages 2 to 90 years. The measure is comprised of 30 subtests, 14 of which contribute to the measurement of seven CHC-based Stratum II broad cluster scores: Comprehension-Knowledge (Gc), Fluid Reasoning (Gf), Auditory Processing (Ga), Visual-Spatial Thinking (Gv), Short-Term Memory (Gsm), Long-Term Retrieval (Glr), and Processing Speed (Gs). Additionally, six clinical cluster scores (Phonemic Awareness, Working Memory, Broad Attention, Cognitive Fluency, Executive Processes, and Delayed Recall) thought to reflect more narrow CHC dimensions are also available through different configurations of the subtests.  McGill wanted to know to what extent each of these cognitive measures predicts reading. 

Reading was assessed with the WJ3ACH.  The WJ III-ACH is a comprehensive academic assessment battery designed to measure five academic domains: Reading, Written Language, Mathematics, Oral Language, and Academic Knowledge. The WJ III ACH is comprised of 22 subtests that combine to provide 17 broad clusters and a total achievement composite score.

McGill found that the general ability score (GIA) accounted for statistically significant (p < .05) portions of the Basic Reading scores in all of the age brackets that were assessed. Across the 13 regression models utilized to predict Basic Reading, the GIA accounted for 40% (age 12) to 63% (age 17; M = 49%) of the criterion variance.  Broad clusters entered jointly into the second block of the regression equations accounted for 2% (age 17) to 6% (ages 6; M = 4%) variance beyond g.  Narrow clusters entered jointly into the second block of the regression equations accounted for 1% (ages 8-10, 16, 17) to 7% (age 7; M = 2%) additional variance beyond g.

The GIA accounted for statistically significant (p < .05) portions of the Reading Comprehension scores in all of the age brackets that were assessed. Across the 13 regression models utilized to predict Reading Comprehension, the GIA accounted for 46% (age 6) to 67% (age 17; M = 61%) of the criterion variance.  Broad clusters entered jointly into the second block of the regression equations accounted for 3% (age 6) to 10% (ages 17; M = 8%) additional variance beyond g.  The incremental variance coefficients attributed to individual WJ III COG broad clusters ranged from 0% to 9%. With only the variance coefficient associated with the Comprehension-Knowledge cluster at age 17 ( = .09) accounting for meaningful amounts of achievement variance on its own  Narrow clusters entered jointly into the second block of the regression equations accounted for 0% (age 14) to 9% (age 7; M = 4%) additional variance beyond g.

In light of these findings, McGill argues that the failur

e to replicate the broader results produced by Evans et al. (2001), suggest that a more circumspect appraisal of the importance of CHC dimensions in relationship to the development of reading skills may be needed in the professional literature.

McGill notes that, due to the hierarchical structure of the measurement instrument, the importance of order of entry when utilizing Hierarchical Multiple Regression Analysis (HMRA) to assess the incremental effects of independent variables must also be considered. Hale, Fiorello, Kavanaugh, Holdnak, and Aloe (2007) demonstrated that by entering the first-order factor scores from a previous iteration of the Wechsler Intelligence Scale prior to entering the FSIQ score, the predictive effects of FSIQ were diminished to the point of being inconsequential. As a result, Hale and colleagues argued that order of entry arbitrarily determines whether scores such as the GIA mean everything or nothing due to the long established fact that variables entered first into a regression equation capture greater criterion variance than variables entered later. However, order of entry is not an arbitrary process and must be determined a priori according to the expected theoretical relationships between variables.  The proposed indirect hierarchical structural model for the WJ III COG (as per CHC theory) support entering the GIA score prior to the broad and narrow clusters due to the fact that these scores are subordinate to the GIA. Further, reverse entry conflicts with CHC theory and constitutes a violation of the scientific law of parsimony.

These are McGill's arguments.

But I think this seems trivial.

There is independent evidence that broad and narrow abilities contribute to reading.  For instance it's an established fact that phonological awareness contributes to reading.  It's also known that rapid naming contributes to reading.  I think it's indisputable that Comprehension-Knowledge contributes to basic reading as well as to reading comprehension.  Since g is comprised of these and other abilities that contribute to reading, it's obvious that g will be the best predictor of reading.

This doesn't mean that from now on we'll use only the general ability as a predictor of reading.  This is of no interest to us.  What we want to know is which broad abilities within the general ability predict reading.  This is the knowledge that will lead us to better interventions. We can learn that by not including an estimate of general intelligence in the prediction model.   We don't need these broad abilities to be better predictors of reading than the general ability.  But if some broad abilities contribute more to reading than others, we want to know that.

פרופ' מקגיל בביקורת נוספת על ה – CHC. האם יצליח הפעם?

פרופ' מקגיל בביקורת נוספת על ה – CHC.  האם יצליח הפעם?

McGill, R. J. (2017). Re (Examining) Relations between CHC Broad and Narrow Cognitive Abilities and Reading Achievement. Journal of Educational and Developmental Psychology, 7(1), 265.‏  http://www.ccsenet.org/journal/index.php/jedp/article/viewFile/66066/36510

ביוני 2016 פרסמתי פוסט על מאמר של פרופ' MCGILL  בו הוא מתח ביקורת על הגדרת לקות למידה לפי CHC.  באותו פוסט העזתי ומתחתי גם אני ביקורת על מאמרו של פרופ' מקגיל.  לשמחתי הרבה פרופ' מקגיל קרא את הפוסט (במהדורתו האנגלית) והגיב עליו.  פרסמתי את תגובתו כאן.  

כעת נתקלתי במאמר נוסף וחדש של פרופ' מקגיל.  במאמר זה הוא לא עוסק בהגדרת לקות למידה אלא בשאלה מה מנבא טוב יותר את הקריאה – היכולת הכללית (ציון ה – IQ) או יכולות ה – CHC  הרחבות.  לפני שאציג את טיעוניו (ואת תגובתי להם), אני חושבת שהגיע הזמן להכיר טוב יותר את פרופ' מקגיל, שאינו אלא קולגה שלנו (הפסיכולוגים החינוכיים):

Prof. Ryan McGill

    

פרופ' מקגיל הוא מנהל התכנית לפסיכולוגיה חינוכית ב – COLLEGE OF WILLIAM AND MARY בארה"ב.  תחום המחקר וההוראה שלו כולל הערכה פסיכולוגית, שיפוט וקבלת החלטות בפסיכולוגיה חינוכית, הערכה וזיהוי של לקות למידה ספציפית, ופסיכולוגיה כמותית (QUANTITATIVE PSYCHOLOGY.  לא ברור לי עד הסוף מה זה).  מקגיל עבד בשטח כפסיכולוג חינוכי בין השנים 2009-2014. 

כעת אציג את טיעוניו של מקגיל כמיטב יכלתי (טקסט בירוק הוא נסיונות שלי להבהיר חלק מהאמירות של מקגיל, המופיעות בשחור):

מחקרים רבים, שאף צוטטו בהרחבה בספרות המקצועית, מספקים עדויות לכך שיכולות ה - CHC  הרחבות מנבאות קריאה, כתיבה ומתמטיקה -  כל יכולת במידה שונה.  החוקר EVANS  וחבריו מצאו, למשל, שמספר יכולות CHC  צרות ורחבות (כמו מודעות פונולוגית, מהירות עיבוד ואחסון ושליפה לטווח ארוך) מסבירות בעקביות הישגים בקריאה ב – 14 קבוצות גיל שונות.  לכן חוקרים אלה מעודדים פסיכולוגים לבדוק את מצב היכולות הקוגניטיביות של הילד כאשר הם רוצים לעמוד על התפתחות הקריאה שלו.  הם מעודדים את בדיקת היכולות הקוגנטיביות מכיוון שהנמכות ביכולות רחבות וצרות מסויימות עשויות להסביר קשיים ספציפיים שיש לאותו ילד בקריאה.  אולם EVANS  וחבריו לא כללו במודל הניבוי שלהם את היכולת הכללית (ציון המשכל הכללי, ה- IQ).  יש הרבה מחקרים שתומכים בכך שהיכולת הכללית מסבירה הרבה מהשונות בתחומי ההישג (קריאה, כתיבה, חשבון).

על פי החוקר הנודע THORNDIKE, 85% עד 90% מהשונות המנובאת בתחומי ההישג מוסברת על ידי ציון המשכל הכללי.  בגלל ש – EVANS  וחבריו השמיטו את מדד המשכל הכללי, לא ניתן לדעת בודאות מהי התרומה הייחודית של יכולות ה -  CHC  הרחבות והצרות בניבוי קריאה מעל ומעבר לתרומה של ציון המשכל הכללי.

חוקרים רבים נוספים התחבטו בשאלה מה משפיע יותר על הקריאה – היכולת הכללית או היכולות הרחבות? ומצאו ממצאים סותרים.   החוקרים Floyd, Keith, Taub, and McGrew  רצו לבדוק האם היכולות הרחבות מנבאות קריאה (ברמת פענוח).  בניגוד ל – EVANS, הם  כן כללו את גורם המשכל הכללי במודל הניבוי שלהם ומצאו שהשפעתו על הקריאה תווכה על ידי היכולות הרחבות.  כלומר, שהיכולות הרחבות השפיעו על הקריאה, והיכולת הכללית השפיעה על הקריאה באמצעותן.  חוקר אחר, BENSON, מצא שליכולת הכללית יש השפעה ישירה ומשמעותית על הקריאה ושההשפעות הקשורות ליכולות הרחבות והצרות הן קטנות בדרך כלל.  החוקרים Floyd, Meisinger, Gregg, and Keith הציעו מודל אינטגרטיבי שבו הבנת הנקרא מנובאת באופן הטוב ביותר על ידי שילוב של השפעות ישירות של היכולת הכללית והשפעות עקיפות שלה.  במלים "השפעות עקיפות" מקגיל מתכוון כנראה לכך שהיכולת הכללית משפיעה על הבנת הנקרא באמצעות היכולות הרחבות המרכיבות אותה.   

    

מקגיל טוען שאם לא ניקח בחשבון את ההשפעה של היכולת הכללית על הקריאה, הכתיבה והחשבון, אנחנו עלולים להגזים בחשיבות ההשפעה של היכולות הרחבות על תחומים אלה. 

במחקר זה מקגיל ניסה לראות מה השפעתן של היכולות הרחבות על הקריאה מעבר להשפעה של היכולת הכללית.  מקגיל השתמש בנתונים של מדגם התקנון של  מבחן הוודקוק ג'ונסון 3  ( ,WJ-3-COGמבחן המשכל שעומד לצאת בקרוב בעברית ובערבית).  הוא לקח את הנתונים של ילדים ומתבגרים בגילאים 6 עד 18 ו – 11 חדשים (בסך הכל 4722 ילדים).  מבחן הוודקוק3 בודק שבע יכולות CHC:  ידע מגובש, יכולת פלואידית, עיבוד שמיעתי, עיבוד חזותי, זיכרון לטווח קצר, אחסון ושליפה לטווח ארוך ומהירות עיבוד, באמצעות 30 תת מבחנים.  מקגיל השתמש בתוצאות של 20 המבחנים הראשונים מתוך 30 תת המבחנים.  במבחן הוודקוק3 יש גם מדדים נוספים, מתוכם מקגיל השתמש במדדים של מודעות פונולוגית, זיכרון עבודה, קשב, שטף קוגניטיבי, תהליכים ניהוליים ושליפה מושהית.   מקגיל בדק כיצד כל המדדים הקוגניטיבים הללו מנבאים את הקריאה.  

    

במערכת מבחני הוודקוק3 קיימים כאמור 30 מבחנים קוגניטיבים, שבודקים את היכולות הקוגניטיביות, אך קיימים גם 22 מבחני הישגים, הבודקים קריאה, כתיבה וחשבון (מבחני ההישגים לא יצאו במהדורה ישראלית).  כך יכול היה מקגיל להשוות בין נתוני היכולות הקוגניטיביות ונתוני הקריאה, הכתיבה והחשבון של אותם ילדים שעברו את מדגם התקנון של הוודקוק.

מקגיל מצא שציון המשכל הכללי הסביר בין 40% מהשונות (בגיל 12) ל – 63% מהשונות (בגיל 17) בקריאה הבסיסית.  היכולות הרחבות הסבירות רק בין 2% מהשונות (בגיל 17) ל – 6% מהשונות (בגיל 6) בקריאה הבסיסית מעל ומעבר להשפעה של היכולת הכללית.  המדדים הנוספים הסבירו רק בין 1% מהשונות (בגילאי 8-10) ל – 7% מהשונות (בגיל 7) בקריאה הבסיסית מעל ומעבר להשפעה של היכולת הכללית. 

מקגיל הוסיף ומצא שציון המשכל הכללי הסביר בין 46% מהשונות (בגיל 6) ל – 67% מהשונות (בגיל 17) בהבנת הנקרא.  היכולות הרחבות הסבירו רק בין 3% מהשונות (בגיל 6) ל – 10% מהשונות (בגיל 17) בהבנת הנקרא מעל ומעבר להשפעה של היכולת הכללית.  מתוך היכולות הרחבות, רק הידע המגובש הסביר אחוז משמעותי מהשונות בהבנת הנקרא (בגיל 17) מעל ומעבר להשפעה של היכולת הכללית.  המדדים הנוספים הסבירו בין 0% מהשונות (בגיל 14) ל – 9% מהשונות (בגיל 7) בהבנת הנקרא, מעל ומעבר להשפעה של היכולת הכללית.

בהינתן הממצאים האלה, מקגיל ממליץ על "זהירות בהערכת החשיבות של יכולות ה – CHC  בקשר להתפתחות של כישורי קריאה".

מקגיל מציין, שסדר הכנסת הגורמים לניתוח הסטטיסטי בו הוא השתמש (Hierarchical Multiple Regression Analysis ) השפיע על התוצאה.  החוקרים  Hale, Fiorello, Kavanaugh, Holdnak, and Aloe הראו שכאשר מכניסים לניתוח מדדים של יכולות רחבות לפני שמכניסים את ציון המשכל הכללי, הכוח המנבא של ציון המשכל הכללי הופך להיות לבלתי משמעותי.  חוקרים אלה טוענים שסדר הכנסת המדדים לניתוח קובע באופן שרירותי אם מדדים כמו ציון המשכל הכללי מנבאים הכל או לא מנבאים כלום.  המדדים הקוגניטיבים שמוכנסים ראשונים למשוואת הרגרסיה מנבאים יותר שונות בקריאה מאשר המדדים הקוגניטיבים המוכנסים לאחר מכן.  אולם, טוען מקגיל, סדר הכנסת המדדים אינו שרירותי והוא חייב להיקבע מראש לפי הקשר התיאורטי בין המדדים.  על פי תאורית ה – CHC , טוען מקגיל, מתאים להכניס למשוואה קודם כל את ציון המשכל הכללי לפני שמכניסים את היכולות הרחבות והצרות, מכיוון שהן מרכיבות את ציון המשכל הכללי. 

עד כאן מחקרו של מקגיל.

ואני אומרת:  האין זה טריויאלי?

מכיוון שיכולות רחבות רבות תורמות לקריאה, ומכיוון שהיכולת הכללית (ציון המשכל הכללי) מורכבת מהיכולות הרחבות הללו, ברור שהיכולת הכללית תהיה המנבא הטוב ביותר של הקריאה. 

אבל זה לא אומר שמעכשיו נשתמש רק ביכולת הכללית כמנבאת של הקריאה.  זה לא מעניין אותנו.  מה שאנחנו רוצים לדעת זה אילו יכולות רחבות בתוך היכולת הכללית מנבאות את הקריאה.  אנו יכולים ללמוד את זה אם לא נכלול את ציון המשכל הכללי במודל הניבוי.  אנו לא רוצים שהיכולות הרחבות תהיינה מנבאות טובות יותר של הקריאה מאשר היכולת הכללית.  אבל אם יכולות רחבות מסויימות תורמות לקריאה יותר מאשר יכולות רחבות אחרות, אנחנו רוצים לדעת את זה.