התגובה של פרופ' מקגיל

הנה התגובה של פרופ' מקגיל לפוסט שכתבתי על מאמרו  "Re (Examining) Relations between CHC Broad and Narrow Cognitive Abilities and Reading Achievement". 
התגובה המקורית באנגלית מופיעה בפוסט הקודם.  כאן תרגמתי אותה והוספתי מספר דברי הסבר בצבע ירוק.   

"ראשית, אני חושב שחשוב לציין שאיני מתנגד באופן גורף לתאורית CHC  או ליישומים המומלצים שלה  (למשל, XBA  או מודלים של PSW).  להסבר על XBA  לחצו כאן.  מודלים של  PSW – PATTERNS OF STRENGTHS AND WEAKNESSES 

מניחים שלוש הנחות בסיסיות לגבי הגדרת לקות למידה:  א.  חייבת להיות עדות לחולשה קוגניטיבית.  ב.  חייבת להיות עדות לחולשה באחד מתחומי ההישג.  ג.  חייבת להיות עדות ליכולות קוגניטיביות תקינות המתקשרות לתחומי הישג תקינים. 

ל – CHC  יש יתרונות רבים, ואחד החשובים בהם הוא שה – CHC  סיפק מערכת מושגים משותפת באמצעותה אנו יכולים לדון ביכולות הקוגניטיביות ובכלים המודדים אותן.  אני מוטרד בעיקר בקשר לכלים בהם אנו מודדים את  יכולות ה – CHC   ובקשר לאחדות הפסיכומטרית של היכולות הללו.  תאוריה יכולה להנחות אותנו אבל היא לא מקור מתאים לתוקף.  בעוד שתאורית CHC  מניחה שקיימות 7-9 יכולות רחבות, חוקרים בלתי תלויים התקשו למצוא רבות מיכולות אלה במבחני המשכל.  זה לא אומר שיכולות אלה אינן קיימות.  ייתכן שהן לא נמדדות היטב, או אפילו לא נמדדות בכלל, בחלק מהמבחנים.  כך, ציוני היכולות, המוצגים כניתנים לפרשנות קלינית, עלולים להיות בעלי תועלת קלינית קטנה.

לגבי מבחני ה – WJ3, WJ4, מחקרים רבים (למשל Dombrowski, 2013; Dombrowksi, McGill, & Canivez, 2014) שהשתמשו באותן פרוצדורות של ניתוח גורמים שהומלצו על ידי Carroll (1993) (קרול הוא ה – C" " השלישי ב – CHC) מצאו מבנה אחר של מבחנים אלה. 

על אחד המחקרים של דומברובסקי כתבתי בפוסט הזה.  דומברובסקי ווואטקינז כללו בניתוח רק את עשרים המבחנים הראשונים (מתוך 30 מבחנים) של הסוללה הקוגניטיבית של הוודקוק ואת המבחנים מסוללת ההישגים (מבחנים הבודקים, קריאה, כתיבה וחשבון).   לו היו כוללים את כל 30 המבחנים הקוגניטיבים ולא כוללים את מבחני ההישגים, התוצאות שלהם היו מן הסתם שונות.  

ניתוח הגורמים שערכו דומברובסקי וואטקינז הצביע על כך, שהנתונים של קבוצת הגילאים 9-13 התקבצו לששה גורמים (אותם כיניתי ידע מגובש, מהירות עיבוד, יכולת פלואידית, עיבוד רצפים, אחסון ושליפה לטווח ארוך וקריאה וכתיבה (שהוא גורם של הישגים שהתקבל בשל הכללת מבחני ההישגים בניתוח הגורמים)).   הנתונים של קבוצת הגילאים 14-19 התקבצו לחמישה גורמים.   

באופן ספציפי, המוציא לאור (של מבחן הוודקוק, כנראה) הציע שמודל ה – CHC  לא נתמך.  במקום זה, יש להעדיף מודל של 3-4 גורמים מורכבים אליהם מתמיינים המבחנים באופן שלא תמיד עולה בקנה אחד עם התאוריה.  בהינתן העובדה שהוודקוק- ג'ונסון היה ועודנו הכלי המוביל לפיתוח תאורית ה – CHC  מאז 2001 והוא עדיין המבחן היחיד שבודק את כל יכולות ה – CHC  הרחבות, זה צריך להדאיג אותנו, מכיוון שתוקף מבנה structural validity  הוא הכרחי אבל בלתי מספיק לתוקף המושג- הנבנה  construct validity.

מהויקיפדיה:  לתוקף המושג הנבנה יש שלושה היבטים או מרכיבים:  המרכיב המהותי, המרכיב המבני והמרכיב החיצוני.  המרכיב מהותי – האם הבסיס התיאורטי העומד בבסיס המושג הוא איתן?  המרכיב המבני – האם קשרי הגומלין בין מימדים הנמדדים באמצעות המבחן נמצאים במתאם עם המושג שאנו רוצים למדוד ועם ציוני המבחנים?  המרכיב החיצוני – האם יש למבחן איכויות מתכנסות, מבחינות ומנבאות?    כלומר, האם יש למבחן מתאם עם מבחני משכל אחרים?  האם המבחן לא בודק דברים שהוא לא אמור לבדוק?  עד כמה הציון במבחן מנבא ציונים בקריטריון (למשל, עד כמה ציון המשכל מנבא ציונים במבחני הישג).

גוף גדל והולך של מחקר פסיכומטרי הראה שכל מבני המשכל הם מדדים טובים של רמת המשכל הכללית, ושרמה פרשנית זו (ברמת ציון המשכל הכללי) היא בעלת התמיכה הפסיכומטרית הגדולה ביותר.  לרוע המזל, אותו גוף ידע מציע לנו להיות פחות בטוחים בפרשנות קלינית של יכולות רחבות וצרות.  כאן נוצר פער בין מה שאנו רוצים לעשות לבין מה שהמתמטיקה אומרת שאנו יכולים לעשות.  היכולות הרחבות רוויות בשונות שמקורה ברמת המשכל הכללית.  את יכולה לטעון שזה טריויאלי, אבל אני חולק עליך...זה יוצר בלבול פרשני גדול מאד.   כיצד תקבעי מה משפיע על הביצוע של הנבדק?  קשה אפילו יותר לקבוע זאת לגבי יכולות שהמבנה שלהן מורכב.  Carroll (1995) עמד על כך שיש לעשות זאת (לקחת בחשבון את ההשפעה של היכולת הכללית ולא רק של היכולות הרחבות) כדי שהקלינאים לא יתפתו לפרשנות יתר של מדדים קוגניטיבים וכך יתעו בסימטאות ללא מוצא.  אם מישהו רוצה להתמקד בפרשנותו ברמת היכולות הרחבות, מדדי היכולות הרחבות צריכים "ללכוד" מספיק שונות.  אם ציוני היכולות הרחבות לא נותנים לנו מידע רב יותר מאשר ציון המשכל הכללי, קשה לי לראות כמה שימוש ניתן לעשות בהם. 

וכאן מוקד הבעיה.  מדדים רבים של יכולות רחבות לא מכילים מספיק שונות של המושג אותו הם בודקים כדי שניתן יהיה לתת להם פרשנות קלינית בה נוכל להיות בטוחים.  לא ניתן לפתור את זה פשוט בכך שנתעלם מרמת המשכל הכללית או בכך שנציע שאין חשיבות ליכולת הכללית.  אלה עמדות בהן אני נתקל לעתים קרובות בספרות ה – CHC.  כפי שהחוקרים Cucina & Howardson (2016) ציינו, "מרכיב חשוב שחסר ב – CHC  אבל נמצא בעבודה של CARROLL  הוא ההכללה של עוצמת הטעינות של הגורמים הייחודיים (מה שמוסבר באמצעות היכולות הרחבות והצרות).  עוצמת הטעינות של גורמים אלה היא נמוכה וזה מוצג בבהירות רבה.  איננו מכירים אף פרסום של CHC  שמכיר בעוצמות נמוכות אלה".

למרות שאת כותבת שמידע על היכולות הרחבות יוביל להתערבויות טובות יותר, חסרה תמיכה מחקרית לעמדה זו.  לפני זמן רב, Cronbach and Snow (1977) ציינו שהחיפוש אחר אינטראקציות בין יכולות קוגניטיביות לבין טיפול דומה לכניסה "למסדרון שכולו מראות".  לא הרבה השתפר במהלך 40 השנים האחרונות.  כדי שלא אואשם בכך שאני מדבר גבוהה גבוהה, יש חוקרים רבים המציעים לנהוג בדיוק להיפך.   אז מה קורה כאן?  אני חושב שכדאי לשים לב שמסמך שחובר על ידי Shinn and colleagues (2010) ניתח את האיכות של הבסיס הראייתי לנייר עמדה על לקות למידה שתמך בעמדה זו (כנראה בעמדה התומכת בניתוח על פי יכולות רחבות) מצא ש – 73% מהמחקרים שצוטטו היו של מאמרי פרשנות, ספרים ופרקים לא אמפירים בספרים, סקירות ספרות ותיאורי מקרים.  לאחרונה, Burns (2016) et al. ערך מטא – אנליזה ומצא שגודל האפקט הקשור להתערבות אותו ניתן להסיק מנתונים קוגניטיבים/נוירופסיכולוגים הוא בדרך כלל זניח.  לסיכום, ההתערבויות הטובות ביותר מתמקדות בחולשות האקדמיות עצמן.  לקיחה בחשבון של יכולות קוגניטיביות לא מאד עוזרת.  כמובן, בנקודה זו, מישהו בדרך כלל מעלה את העיבוד הפונולוגי.  תשובתי לכך היא: "בוודאי, אבל האם לא היית יכול לקבל אותו מידע מבטריה מקיפה של מבחני הישג (שמרביתם מספקים כעת הערכה של הכישורים הפונולוגים) או מהערכת התוצרים הלימודיים?"

תראי, אני מבין שנוח לעשות ניתוח פרופיל קוגניטיבי.  גם אני למדתי לעשות זאת בדיוק כמו כל אחד אחר.  זה נותן לנו חיזוק. כשאנו יכולים להסתכל על פרופיל הציונים של ילד ולשער על המשמעות של X  או Y, אנו מרגישים שזו בדיוק המהות של להיות פסיכולוג חינוכי.  אני חושב שזה היה יכול להיות באמת מגניב לו היינו יכולים לעשות את הדברים הללו.  אבל הפסיכומטריקה אומרת שככל הנראה אנחנו לא יכולים לעשות זאת, וזה בטח שלא נובע מכך שלא ניסינו לבדוק את זה במהלך 50 השנים האחרונות!  בנוסף לכך, יש את כל העניינים המתועדים לגבי שיפוט קליני וחוסר היכולת שלנו כקלינאים להתמודד באופן יעיל עם מידע מורכב (כלומר, עם כמות גדולה של נתונים) בתנאים של אי ודאות.  זה דיון אחר, למרות שהוא מאד חשוב.  בנושאים אלה השפיעו במיוחד העבודות של Paul Meehl ,  עמוס טברסקי ודניאל כהנמן.  אני מאמין שאם היו מדגישים את המחקרים הללו על שיפוט באימון הקליני של פסיכולוגים, הפסיכולוגים היו יותר סקפטים לגבי הגישות הללו לפרשנות של מבחנים ולקבלת החלטות קליניות.

לסיכום, אני חושב שאנו והקליינטים שלנו יפיקו תועלת רבה יותר אם נתמקד בהיבט ה"חינוכי" של הפסיכולוגיה החינוכית ונשים פחות דגש על ניתוח פרופיל, שלדעתי הוא לא יותר מאשר פרנולוגיה פסיכולוגית בנקודת זמן זו (אני נותן ל - Stefan Dombrowksi את הקרדיט על מונח זה)". 

הפרנולוגיה פותחה על ידי FRANZ JOSEPH GALL  במאה התשע עשרה.  הפרנולוגים האמינו שהגולגולת מתאימה את עצמה לגודלם של אזורים שונים במוח, שכל אחד מהם מייצג מימד באישיות האדם.  כך, ניתן לאבחן את אישיות האדם באמצעות מדידת האזורים בגולגולת שנמצאים מעל לאזורים במוח האחראים על תכונות מסויימות. 

למרות מופרכות הפרנולוגיה עצמה, ההנחות של GALL, שהאישיות, המחשבות והרגשות ממוקמות באזורים ספציפים במוח נחשבות להתקדמות הסטורית חשובה לעבר הנוירופסיכולוגיה.