Monday, November 30, 2015

נורמות ישראליות למבחנים הבודקים מהירות עיבוד (הכוללות מדדי דיוק), ולמבחן זכירת ספרות קדימה ואחורנית


Vakil, E., Blachstein, H., Sheinman, M., & Greenstein, Y. (2008). Developmental changes in attention tests norms: Implications for the structure of attention. Child Neuropsychology, 15(1), 21-39.  https://faculty.biu.ac.il/~vakil/papers/Vakil2009.pdf

איני נוהגת לפרסם בבלוג זה נורמות למבחנים או חומרים גולמיים, בשל חשש להפרת זכויות יוצרים ולפגיעה בסודיות המבחן.  אולם מאמר זה פתוח ברשת.  זהו מאמר לא חדש, אך התברר לי שיש רבים שאינם מכירים אותו.

המאמר מדווח על מחקר ישראלי שביצעו בין השאר פרופ' אלי וקיל ומאשה שינמן היקרה, מנהלת לשעבר של שפ"ח מעלה אדומים ויו"ר לשעבר של הועדה הארצית לליקויי למידה של שפ"י.  במחקר השתתפו 809 ילדים בגילאי 8-17 שהגיעו מ – 14 בתי ספר בישראל, ברמה סוציו אקונומית בינונית.  השתתפו במחקר ילדים שהמורים שלהם הגדירו כבעלי הישגים ממוצעים וללא לקות למידה או הפרעות קשב. 

 במאמר נורמות ישראליות למבחנים הבאים:

TRAIL MAKING TEST -  נורמות למהירות ולדיוק, נפרדות לבנים ולבנות.

DIGIT CANCELLATION TEST – נורמות למהירות ולדיוק, נפרדות לבנים ולבנות.

מבחן קידוד – נורמות נפרדות לבנים ולבנות.

ומבחן זכירת ספרות – נורמות נפרדות לזכירת ספרות קדימה ולזכירת ספרות לאחור, ונפרדות לבנים ולבנות. 

מבחן זכירת ספרות WISCR95– בודק בהמשגה לפי CHC את היכולת הרחבה זיכרון לטווח קצרהנורמות במאמר זה מסייעות לנו לאמוד בנפרד את היכולות הצרות טווח זיכרון וזיכרון עבודה.  טווח זיכרון היא היכולת לקדד מידע, לשמור אותו במודעות המיידית ולהפיק אותו בטווח המיידי בסדר הצגתו.   הדגש הוא על קיבולת הזיכרון לטווח קצר.  זכירת ספרות קדימה מודדת יכולת זו.  זיכרון עבודה היא היכולת לאחסן באופן זמני ולבצע פעולות קוגניטיביות על מידע שדורש פיצול קשב וניהול הקיבולת המוגבלת של הזיכרון לטווח קצר. הדגש הוא על היכולת לבצע מניפולציה בפריטים הנמצאים בזיכרון לטווח קצר.  זכירות ספרות אחורנית מודד יכולת זו.

לגבי שלושת המבחנים האחרים, המחברים מונים כישורים רבים שכל אחד מהם בודק.  כאשר אנו מבצעים ניתוח CHC, אנחנו מתייחסים קודם כל ליכולת הקוגניטיבית העיקרית שכל מבחן בודק (אחרת היינו עלולים להגיע למצב בו כל מבחן בודק כמעט הכל, והמשמעות של סיווג המבחנים ליכולות שונות היתה פוחתת).   על פי סיווגי CHC (שבוצעו לפי ניתוחי גורמים), מבחני TRAIL MAKING TEST, DIGIT CANCELLATION TEST וקידוד בודקים מהירות עיבוד, ומבחן זכירת ספרות בודק זיכרון לטווח קצר. 

ניזכר שמהירות עיבוד היא הקצב והשטף שבהם אדם יכול לבצע משימה שקצב הביצוע בה נתון לשליטתו, ושדורשת משאבי קשב.  מהירות העיבוד נבדקת באמצעות משימות בהן כל הגירויים מוצגים ביחד, הילד שולט על קצב העבודה שלו, נדרשת שמירה על קשב מתמשך, ואין מימד של שליפה מהזיכרון.   אנשים בעלי מהירות עיבוד טובה יכולים להפוך משימות חדשות לאוטומטיות מהר יותר, כך שיוכלו לבצען עם פחות משאבי קשב.

כך שמהירות עיבוד קשורה מאד לקשב, ולכן אין להתפלא על כך שחלק מהמבחנים הבודקים קשב בודקים גם את מהירות העיבוד.

הנה מידע על שלושת המבחנים מתוך מאמר זה: 

TMT ) TRAIL MAKING TEST )  – בודק סריקה חזותית, מהירות עיבוד, קשב מתמקד ומתפצל, זיכרון עבודה, גמישות קוגניטיבית והסטת SHIFTING של הקשב.  חלק מתהליכים אלה נחשבים למרכיבים של תפקודים ניהוליים.  חלק א' מודד בעיקר סריקה חזותית, מהירות מוטורית וקשב מתמקד, בעוד שחלק ב' מודד בעיקר גמישות קוגניטיבית והחלפת סט, וגם קשב מתפצל.   אצל ילדים, הביצוע ב – TMT  נמצא במתאם עם מבחנים שבודקים תפקודים ניהוליים, כמו מגדל לונדון ו – RCFT (מעניין לחשוב על מבחן RCFT בהקשר של תפקודים ניהוליים).  יש הטוענים שחלק ב' מורכב יותר חזותית, ודורש יותר עיבוד ויזו מרחבי.  

במחקר זה, הילדים התבקשו לעבוד במבחן  TMT באופן מהיר ומדויק ככל יכולתם בלי להרים את העפרון מהדף.  כאשר הילד ביצע טעות, הבוחן הסב את תשומת לבו לכך, וביקש ממנו לתקן אותה.   הנורמות רלוונטיות לתנאי העברה אלה.

מבחן ביטול ספרות – DIGIT CANCELLATION TEST -   מודד קשב מתמקד, סלקטיבי ומתמשך, מהירות עיבוד מידע, זיכרון לטווח קצר וגמישות קוגניטיבית. 

תת מבחן קידוד WISCR95- במחקר זה, במבחן קידוד, ברגע שהילד דילג על מספר, הוא הוזהר על ידי הבוחן.  אם הילד ביצע טעויות נוספות הבוחן רשם זאת אך לא הזהיר אותו שוב.  זה שונה מההנחיות במדריך למבחן, ולכן יש להשתמש בנורמות רק אם העברנו את המבחן בתנאי העברה אלה.

תת מבחן קידוד בוחן מהירות עיבוד, מעקב וסריקה חזותית, תיאום ויזו מוטורי, קשב מתמשך ומתמקד, זיכרון לטווח קצר, גמישות קוגניטיבית ויכולת ללמוד משימה חדשה.  במבוגרים, מבחן זה מושפע בעיקר ממהירות תפיסתית וגרפו מוטורית ומיעילות הסריקה החזותית, בעוד שהזיכרון לטווח קצר תורם תרומה צנועה לביצוע.    בילדים, מבחן זה בוחן את מהירות התגובה.  מבחן קידוד נחשב לדורש משאבים רבים  - זיכרון, מעקב חזותי, כישורים תפיסתיים- מוטורים, ועבודה מהירה.  הבדלי גיל בביצוע במבחן קידוד עשויים לשקף את הבשלות הנדרשת לאינטגרציה יעילה של כל הכישורים הללו.   במבחנים אחרים שבודקים קשב מתמשך, מוצאים דפוס של שיפור מהיר עד גיל 10, ושיפור איטי יותר מעל גיל זה. 


מעבר לעניין הבשלות, השפעה משנית על הביצוע במבחני קידוד ו - CANCELLATION נובעת מנסיון בית ספרי.  מבחני קידוד ו – CANCELLATION, עם הדרישות שלהם לסריקה שיטתית, דומים לפעילויות למידה בכיתה (למשל, קריאה, כתיבה, העתקה מהלוח) יותר מאשר שני המבחנים האחרים.  כך, נסיון בית ספרי עשוי לבוא לידי ביטוי רב יותר בביצוע של מבחני קשב ספציפיים אלה מאשר באחרים.  שלא כמו מבחן TMT, מבחן ה – CANCELLATION דורש סריקה רצפית בקווים אופקיים, בדומה למה שנדרש לקריאה ולכתיבה.  

Wednesday, November 25, 2015

Why profile analysis and ipsative scoring may be a diagnostic sin


"Ben's ability to analyze and synthesize an abstract stimulus is lower than his ability to analyze and synthesize a meaningful stimulus (block design – 8, object assembly – 12)".  Sounds familiar?  This kind of analysis is called profile analysis, or subtest discrepancy analysis.  It's very tempting to conduct this kind of analysis, since it gives us the feeling that we have meaningful things to say about the child.

In the 1940s, leading psychologists were engaged in profile analysis.  At that period of time, theories were developed about the clinical meaning of different subtest profiles (profiles that can identify specific diagnostic groups:  learning disabilities, emotional disabilities and so on).

Here is an example of a profile analysis done by David Wechsler himself in 1944: "White, male, age 15, 8th grade.   Continuous history of stealing, incorrigibility and running away.  Several admissions to Bellevue Hospital, the last one after suicide attempt.  While on wards persistently created disturbances, broke rules, fought with other boys and continuously tried to evade ordinary duties.  Psychopathic patterning:  Performance higher than Verbal, low Similarities, low Arithmetic, sum of Picture Arrangement plus Object Assembly greater than sum of scores on Blocks and Picture Completion". 

A popular method of profile analysis is ipsative scoring:  the scaled scores of the subtests are added and divided by the number of tests to get the child's average score.  An ipsative score is computed for each subtest by subtracting the child's scaled score in this subtest from his average.  Psychologists who use this method assume that scores which deviate significantly from the child's personal average are important clinical indicators for "strengths" and "weaknesses" of the child.  Weaknesses are assumed to be caused by learning disabilities.  The focus on this kind of analysis is in identifying discrepancies within the child himself.

This kind of analysis assumes that a scatter of subtest scores is typical of people who are learning disabled or people who have emotional or neurological problems, and that a flat profile is typical of "normal" people.  This means that a person who functions normally is supposed to get a similar score on all subtests. 

This assumption is wrong.  According to the american standardization sample of the WISC4 and the WAIS3, only 3-4% of people have a flat subtest profile or a profile with a deviation of only one point between the subtest scaled scores.  This means that subtest score scatter is normal. 

For years we've learned to look for discrepancies between single subtest scores or between index scores or between the "verbal IQ" and the "performance IQ".  Many people have learning disability, but do not have a significant discrepancy between "PIQ" and "VIQ".  The opposite is also true:  many people who are not learning disabled have a significant discrepanty between the "PIQ" and the "VIQ".  This is also true for discrepancies between single subtest scroes:   such discrepancies  are not a necessary nor a sufficient condition for learning disability diagnosis.  Moreover:  there is no subtest profile that can identify a specific diagnostic group. 

Even when the difference between two subtest scores or two index scores is statistically significant (not a result of error or chance), it still doesn't mean that the difference is clinically significant or an indication of a disability.  Statistically significant differences are not always rare or even meaningful.  Some psychologists look at the frequency of the size of the discrepancy in the general population.  Rare discrepancies, which have a frequency of less than 10% in the general population, are considered to be significant in learning disability assessment.  But this analysis often does not compare the scores to the population norms.  As was said before, large discrepancies between the scaled scores of the subtests are common.  If the lowest score in such an intra-individual comparison (for example, a comparison between the scores of two subtests) is within or above normal limits, we cannot consider it as an indicator of disability, even if there is a large difference between it and the rest of the child's subtest scores.  That's because an average (or above average) ability is, by definition, not a disability.  It's hard to argue that a scaled score of 10 is an indicator of a learning disability simply because all the other scores of the child are 13 and above.  There is no basis to the belief that average abilities in some areas together with above average abilities in other areas are indicative of a learning disability. 

To quote Flanagan's analogy about Michael Jordan:  Michael Jordan has a superb ability to play basketball.  But it's not reasonable to assume that all his athletic skills are developed to the same degree.  Michael Jordan's ability to play baseball and golf is much worse than his ability to play basketball, even if he still is better than average both in baseball and in golf.  It would be ludicrous to argue that Michael Jordan has an athletic disability because he plays baseball and golf "only" at a good and not a superb level!  Significant variability between subtest scores is a normal situation.  The expectation for a flat profile is unfounded.

Drawing conclusions from a discrepancy between two subtest scores is based on the premise that it's possible to draw conclusions from the score of a single subtest.  But a single subtest is not a reliable measure of the cognitive construct or ability it is supposed to measure (for example, the vocabulary test in itself can't measure comprehension knowledge properly).  In order to measure a broad cognitive ability properly, one has to use at least two qualitatively different measures (that is, comprehension knowledge should be measured with at least two subtests, each of them measuring a different aspect (a different narrow ability) of comprehension knowledge).  In some cases, three subtests are needed, especially when there is a statistically significant difference between the scores of two subtests that were used, or when we want to assess the ability in a broader and deeper way.

Insteas of comparing betweeen single subtests, Flanagan suggests comparing the child's scores on the broad cognitive abilities, each of them measured by two to three tests, to the average population norms.  Instead of looking for relative weaknesses (of the child compared to himself) in single subtests, we should look for normative weaknesses (of the child compared to the norms for his age) in the broad cognitive abilities.  If, for example, the child's scores in tests measuring processing speed are significantly lower than the population mean (lower than 7), the child may have a processing speed disability.  Remember, even a significantly low score on one of the broad cognitive abilities, measured by a number of subtests, is not an indicator of learning disability unless the child meets the definition criteria for learning disabilities. 

Source:

Flanagan, Dawn p., Ortiz, Samuel O. and Alfonso, Vincent C.  Essentials of cross battery assessment.  Second edition, 2007, Wiley and sons.

Saturday, November 21, 2015

למה ניתוח פערים בין תת מבחנים עלול להיות חטא דיאגנוסטי


"יכולת האנליזה והסינתזה של יורם מול גירוי מופשט נמוכה מיכולת האנליזה והסינתזה שלו מול גירוי משמעותי  (קוביות – 8, הרכבת עצמים – 12)".  נשמע מוכר?  ניתוח כזה נקרא ניתוח פרופיל או ניתוח פערים בין תת מבחנים.  מפתה מאד לערוך ניתוח פרופיל, מכיוון שהוא מעניק לנו תחושה שאנו אומרים אמירות משמעותיות על הילד. 

בשנות הארבעים של המאה העשרים, הפסיכולוגים המובילים עסקו בניתוח פרופיל.  בתקופה זו פותחו תאוריות על משמעותם הקלינית של פרופילים שונים של תת מבחנים (פרופילים שיכולים לזהות קבוצות דיאגנוסטיות מסויימות:  ליקויי למידה, בעיות רגשיות שונות וכו'). 

הנה דוגמה של ניתוח פרופיל של לא אחר מאשר דוד וכסלר, משנת 1944:  "בן 15, עם היסטוריה של גנבות ובריחות מהבית.  אושפז מספר פעמים בבית חולים פסיכיאטרי, בפעם האחרונה לאחר נסיון התאבדות.  במחלקה הפריע, עבר על החוקים, רב עם נערים אחרים וניסה להתחמק מהתורנויות שלו.  דפוסים פסיכופתיים:  ביצועי גבוה ממילולי, צד שווה נמוך, חשבון נמוך, הסכום של סידור תמונות והרכבת עצמים גדול מסכום הציונים של קוביות והשלמת תמונות".

שיטה לניתוח פרופיל, שיש המשתמשים בה עד היום, היא כזו:   סוכמים את ציוני התקן של תת המבחנים במבחן המשכל, ומחלקים במספר תת המבחנים כדי לקבל את הציון הממוצע של הילד.  כעת מחשבים את ההפרשים בין ציון התקן של הילד בכל תת מבחן לבין הממוצע שלו.  פסיכולוגים המשתמשים בשיטה זו מניחים שציונים הסוטים באופן משמעותי מהממוצע האישי של הילד הם אינדיקטורים קליניים חשובים ל"נקודות חוזק" או ל"לקודות חולשה".  לנקודות חולשה הם מתייחסים כלעדות ללקות למידה.  המוקד בניתוח כזה הוא בזיהוי פערים הקיימים בתוך אותו ילד בלבד. 

ניתוח זה מניח,  שפיזור של ציוני תת מבחנים ("תנודות" בציוני התקן) מאפיין אנשים לקויי למידה או עם בעיות רגשיות או נוירולוגיות, ושפרופיל שטוח מאפיין אנשים "נורמלים".  כלומר, אדם שתפקודו תקין אמור לקבל ציון תקן זהה בכל תת המבחנים. 

הנחה זו שגויה.  לפי מדגמי הנורמות האמריקניות של ה – WISC4 ושל ה- WAIS3, רק ל – 3-4%  מהאוכלוסיה יש פרופיל שטוח של תת מבחנים או פרופיל עם פערים של נקודה אחת בלבד בין ציוני התקן.  כלומר, תנודות בציוני התקן הן מצב נורמלי.  

למדנו במשך שנים לחפש פערים בין ציוני התקן של תת מבחנים בודדים או בין ציוני התקן של אינדקסים, או בין ציוני התקן של "הצד המילולי" ל"צד הביצועי".  לאנשים רבים יש לקות למידה, אבל אין פער משמעותי בין "הצד המילולי" ל"צד הביצועי".  וגם להיפך:  לאנשים רבים שאינם לקויי למידה יש פער משמעותי בין "הצד המילולי" ל"צד הביצועי".  כך גם לגבי פערים בין תת מבחנים בודדים:  פער בין שני ציונים של תת מבחנים אינו תנאי הכרחי וגם לא מספיק לקביעת לקות למידה.   בנוסף, אין פרופיל תת מבחנים שמזהה קבוצה דיאגנוסטית מסויימת.

גם כאשר ההפרש בין ציונים של שני תת מבחנים  או שני אינדקסים הוא מובהק סטטיסטית (לא תוצאה של מקרה או שגיאה), עדיין אין זה אומר שהפער הוא בעל משמעות קלינית או מרמז על לקות.  הפרשים מובהקים סטטיסטית אינם תמיד נדירים או אפילו משמעותיים.  יש פסיכולוגים שבודקים את השכיחות של גודל הפער באוכלוסיה הכללית.  הפרשים נדירים, ששכיחותם היא פחות מ – 10% באוכלוסיה הכללית, נחשבים בעיני אותם פסיכולוגים למשמעותיים בהערכת לקות למידה.  אבל ניתוח כזה לעתים קרובות לא משווה את הציונים לנורמות של האוכלוסיה כולה.  כפי שנאמר קודם, פערים גדולים בין ציוני התקן של תת המבחנים הם מצב נפוץ.  אם הציון הנמוך ביותר בהשוואה תוך – אישית כזו (השוואה בין ציונים של שני תת מבחנים למשל) הוא בטווח הממוצע ומעלה, לא ניתן להתייחס אליו כאל סמן ללקות, גם אם קיים פער גדול בינו לבין שאר ציוני תת המבחנים של הילד.    זאת משום שיכולת ממוצעת (או גבוהה מהממוצע) היא, בהגדרתה, לא לקות.  קשה לטעון שציון תקן של 10, למשל, הוא לקוי, או סמן של לקות למידה, רק מכיוון שכל הציונים האחרים של הילד הם 13 ומעלה.  אין בסיס לאמונה שיכולת ממוצעת בתחומים מסויימים ביחד עם יכולות גבוהות בתחומים אחרים היא סמן ללקות למידה. 

אצטט אנלוגיה של פלאנגן על מייקל ג'ורדן:  למייקל ג'ורדן יש יכולת מעולה לשחק כדורסל.  אבל לא סביר להניח שכל היכולות האתלטיות שלו מפותחות באותה מידה.  היכולת של מייקל ג'ורדן לשחק בייסבול וגולף הרבה פחות טובה מיכולתו לשחק כדורסל, גם אם הוא עדיין טוב מהממוצע הן בבייסבול והן בגולף.  יהיה זה מגוחך לטעון שיש למייקל ג'ורדן לקות אתלטית מכיוון שהוא משחק בייסבול וגולף "רק" ברמה טובה ולא ברמה מעולה!  שונות משמעותית בין ציוני תת מבחנים היא מצב תקין, נורמלי.  הציפיה לפרופיל שטוח אינה מבוססת.

הסקת מסקנות מתוך פער בין ציונים של שני תת מבחנים מתבססת על ההנחה שניתן להפיק משמעות מכל תת מבחן בודד, כשלעצמו.  אבל תת מבחן אחד לא יכול להיחשב לבדו כמדד מספיק מהימן של היכולת הקוגניטיבית שהוא אמור למדוד (למשל, תת מבחן אוצר מלים לבדו לא יכול לבדוק את הידע המגובש באופן הולם).  כדי לאמוד יכולת קוגניטיבית באופן הולם, נדרשים לפחות שני מדדים שונים איכותית (כלומר יש לבדוק את הידע המגובש עם שני מבחנים לפחות, שכל אחד מהם מודד היבט שונה (יכולת צרה שונה) של הידע המגובש).  במקרים מסויימים נדרשים שלושה תת מבחנים למטרה זו, במיוחד כאשר יש הבדל מובהק סטטיסטית בין הציונים של שני תת מבחנים בהם השתמשנו, או כאשר אנו רוצים להעריך את היכולת באופן רחב ומעמיק יותר. 

במקום להשוות בין תת מבחנים בודדים, פלאנגן מציעה להשוות בין הציונים של הילד ביכולות הקוגניטיביות הרחבות, שכל אחת מהן נמדדת על ידי 2-3 מבחנים, לבין הנורמה, כלומר לציונים הממוצעים של ילדים בגילו.  כלומר במקום לחפש חולשות יחסיות (של הילד ביחס לעצמו) בתת מבחנים בודדים, עלינו לחפש חולשות נורמטיביות (של הילד ביחס לנורמה לגילו) ביכולות הקוגניטיביות הרחבות.  אם, למשל, הציונים של הילד במספר מבחנים הבודקים מהירות עיבוד הם נמוכים באופן משמעותי מהממוצע של האוכלוסיה (נמוכים מ – 7), ייתכן שיש לילד לקות במהירות העיבוד.  זיכרו, גם הנמכה משמעותית באחת מהיכולות הקוגניטיביות, הנמדדת על ידי מספר מבחנים, אינה מצביעה על לקות למידה אלא אם כן הילד עמד בכל שלבי ההגדרה של לקות למידה.   

מקור:
Flanagan, Dawn p., Ortiz, Samuel O. and Alfonso, Vincent C.  Essentials of cross battery assessment.  Second edition, 2007, Wiley and sons.





Thursday, November 19, 2015

A slightly different view on fluid ability and its relations with working memory, comprehension knowledge and learning

 

Lohman, D. F., Lakin, J. M., Sternberg, R. J., & Kaufman, S. B. (2009).Reasoning and intelligence. Handbook of intelligence, 419-441.‏    

This is a wonderful chapter about reasoning, which is part of the fluid ability.  Almost every sentence in this chapter is significant.  Here I'll focus on some of the ideas that were especially interesting to me.
 
Reasoning processes, comprehension knowledge and learning
People who solve problems efficiently usually turn their attention, sometimes even unconsciously, to different aspects of the problem than people who solve problem less efficiently.  People who are efficient problem solvers know what to look for and what to ignore.  This results from more experience that they have with similar problems and from an ability to make good use of their past experience.

Good thinking about complex problems depends on knowledge.  Expertise is based on knowledge, and experts think about problems differently than novices. Good reasoning leads to better organization of knowledge in memory.  Every reasoning process we perform depends on the efficiency of the reasoning processes we performed in the past, and on the ways we stored the products of these processes in memory.  An increasingly sophisticated knowledge base supports increasingly sophisticated forms of reasoning. A more sophisticated knowledge base has richer, more abstract associative connections between concepts and more metacognitive knowledge that links strategies to goals.  In other words, the better our reasoning processes are, the more complex our comprehension knowledge, which is the product of these reasoning processes, will be.  

Reasoning abilities are apparent even in a vocabulary test.  Individual differences in a vocabulary test can result from the extent to which we use metacognitive processes when we learn words.  For instance, do we systematically examine alternative meanings of a word when we hear it in an unfamiliar context, or do we remain with a vague understanding of it? When  we infer that a word has additional meanings, and understand them with precision, we are able reorganize our comprehension knowledge in a way that will assist us in future learning.  Researchers argue, that the ability to derive word meanings out of the contexts in which they are heard may be the cause of the high correlation that usually exists between vocabulary and reasoning tests (and also between vocabulary and g).  A wide vocabulary enables the understanding and expression of a wider variety of ideas, and assists in learning new words and concepts.  Thus language functions as a tool for expression, refinement and acquisition of thought, and the modest vocabulary test requires reasoning processes and is a product of reasoning processes. 
  
Choosing what knowledge to apply to a new problem is a nontrivial source of reasoning complexity. Developmental psychologists have long known that children reveal much about the sophistication of their reasoning by how they classify or sort objects: on the basis of an arbitrary association, or by using perceptual characteristics, or, at the highest level, by using several different abstract concepts.  Therefore, deciding how best to describe the relationships among two or more concepts is a critical step in reasoning.  Poor reasoners often settle for a vague relationship or rule rather for a more exact one.  This could be because they terminate the search for a rule or relationship too quickly, or because they do not critically examine how well candidate rules or relationships describe the data, or because they simply do not see or know the rule.

It's possible to practice and train deductive thinking (applying known rules to specific cases), or at least, it's possible to improve performance in specific tasks that measure deductive thinking. This means that deductive reasoning tests can measure different abilities in examinees who have learned strategies for solving problems like those used on the test than for examinees who must invent a strategy on the spot.  For people who practiced, performance on such tests leans much more on the retrieval of the learned strategy out of the knowledge base.  For people who did not practice, these tests are much more fluid. 

Reasoning processes require ongoing activation of executive functions like monitoring, feedback, planning, adjusting existing strategies to the new situation and inventing new strategies, and the ability to learn from past attempts to solve the problem.  Reading comprehension, for example, requires updating our mental model of the text  with new information received during reading.  For instance, if we perceive one of the characters in our mental model as a bad person, and we read about a good deed this person did, we update our mental model of him.  Children with monitoring difficulties (executive function difficulties) find it hard to do that.  They may stick with the initial impression they formed of this character, and fail to update it with later incoming information. 

Naïve interpreters of reasoning tests think that reasoning ability influences achievement level (in other words, they see causal arrows running only from reasoning ability to achievement).  But both reasoning ability and achievement are products of leaning and experience. 

Understanding a story, inferring the meaning of an unknown word, recognizing patterns and rules in information, abstracting the given information in order to create rules or principles, applying mathematical concepts to solve a problem – in these and in many other ways, successful learning requires reasoning strategies.  The best way to develop reasoning is through challenging instruction that requires students to practice familiar reasoning strategies and to invent or to learn new strategies.  Thus, learning requires reasoning, but the learning process itself develops reasoning.

In the past it was believed that it's good to adjust the instruction method to the learning style (for example, to give more verbal instruction to a people who prefers verbal learning and to give instruction with more graphs and visual material for people who prefer to learn via visual images).  Contrary to the expectations of virtually all, the profile of specific learning styles generally does not account for much of the variation in outcomes. Indeed, interactions between learning styles (such verbalizer versus visualizer) and instructional methods (such as an emphasis on visual versus verbal media) are usually small. Instead, it is advisable to adjust instruction style to the learner's cognitive abilities.  For example, a child with poor reasoning ability can be taught with more examples, and with more explicit explanations.  A child with poor comprehension knowledge can be given texts that are linguistically simpler.  Vocabulary from the text can be taught in advance.  The general information required to understand the text can be also pre-taught.

Reasoning ability and working memory.

Theories that attempt to explain reasoning processes assume there are phases in the inference process that include: A.  Representing the premises in working memory.  B.  Creating mental models of possible solutions that are derived from the premises, holding these models simultaneously in working memory and comparing them.  These processes demand significant working memory resources.  Thus limitations in working memory cause individual differences in reasoning abilities.

Since working memory limits the number of mental models that can be held simultaneously in working memory, people with a limited working memory capacity may not succeed in creating enough models to evaluate the validity of a conclusion. 

Researchers find a large overlap between fluid ability and working memory.  The authors of this chapter argue that this overlap is caused by fluid ability being measured too narrowly and working memory being measured too broadly. 

The authors claim that matrices tests that require nonverbal reasoning predict learning and academic achievement in the real world less well than measures of verbal and quantitative reasoning (for example, verbal analogies tests or mathematical series tests).  Thus, when we assess reasoning with one test like the Raven, or similar tests, we don't represent all aspects of the reasoning process.

On the other hand, working memory tests are more complex than it seems.  These tests involve understanding directions that are fairly complex (for example, in the number – letter series test), forming a strategy and sometimes altering it, performing a difficult task with high demands for attention, and keeping a high degree of continuous effort.  These tasks also require executive functions – monitoring the process, inhibiting wrong responses, and switching sets flexibly.  Thus, working memory tests contain fluid aspects.

To summarize:  reasoning abilities are not static.  They develop through experience and are easier to perform after training.  Individual differences in reasoning correlate significantly with the amount of information people can hold in working memory while performing a manipulation.  The ability to do this depends on the attention resources that a person has, on his degree of familiarity with the information, and on his experience with the performance of the required manipulation.  Thus, prior knowledge and skills determine to a large extent the level of reasoning that can be reached in reasoning tests and in reasoning situations in daily life.

When assessing fluid ability, it's important to include a broad range of tests, not only matrices tests that intentionally decrease the contribution of comprehension knowledge to the reasoning process.  It's important to include tests requiring verbal and quantitative reasoning, which are closer to the way fluid ability works in real life. 

This chapter emphasizes the importance of looking at fluid ability clinically – on the ways it is expressed in tests that do not measure it directly (for example, looking at the child's level of conceptualization when he defines a word, and at his ability to understand implicit meanings in texts).  It also emphasizes the dependence of fluid ability on other abilities like working memory and comprehension knowledge, and the interaction between them. 



Wednesday, November 18, 2015

נקודות חשובות לגבי ציינון בנדר2



Brannigan, G. G., Decker, S. L., & Madsen, D. H. (2004). Innovative features of the Bender-Gestalt II and expanded guidelines for the use of the Global Scoring System. Bender Visual-Motor Gestalt Test, second edition assessment service bulletin, (1).  http://riversidepublishing.com/products/bender/pdf/BenderII_ASB1.pdf
.
מאמר זה חשוב מכיוון שהוא מחדד את האמירות במניואל של המבחן ומוסיף כמה דברים לגבי הציינון.

הנה מספר נקודות חשובות ממנו:

כדי לקבל ציון ברמה מסוימת, הציור של הילד צריך להיות טוב כמו הדוגמאות של אותה רמה או יותר טוב מהן.  אם לא – יש לתת את הציון הנמוך יותר.  אם יש ספק  - תמיד לתת את הציון הנמוך יותר.

מומלץ להתחיל להסתכל על הדוגמאות של הציון 0.

 אם הציור של הילד טוב כמו הדוגמאות או טוב יותר מהדוגמאות של ציון 0, ורואים זאת באופן ברור ומיידי – עוברים לדוגמאות של הציון 1.  אם יש ספק – סימן שהציון של הילד הוא 0.

  אם הציור של הילד טוב כמו או טוב יותר מהדוגמאות של ציון 1 ורואים זאת באופן ברור ומיידי -  הציון שלו הוא לפחות 1 ועוברים לבחון את הדוגמאות של הציון 2.  אם יש ספק – הציון שלו הוא 0. 

אם הציור של הילד טוב כמו או טוב יותר מהדוגמאות של ציון 2 ורואים זאת באופן ברור ומיידי – הציון שלו הוא לפחות 2 ועוברים לבחון את הדוגמאות של הציון 3.  אם יש ספק- הציון שלו הוא 1.  וכן הלאה.


השגיאות הבאות מקבלות בדרך כלל ציונים של בין 0 ל – 2 (תלוי במידה בה הציור של הילד בשלמותו חורג מהגירוי):

רוטציות

הפחתת אלמנטים (למשל, הילד צייר פחות נקודות בפריט 6)

הגדלת מספר האלמנטים (למשל, הילד צייר יותר נקודות בפריט 6)

פישוט אלמנטים (למשל, הילד צייר קו במקום נקודות בפריט 10)

החלפת אלמנטים (למשל, הילד צייר נקודות במקום עיגולים בצורה 7)

אינטגרציה של אלמנטים (למשל, הילד לא חיבר בין העיגול לריבוע בצורה 5, או עיוות גדול במרחקים בין הנקודות בפריטים 6 ו - 7)


קבלת ציון תקן של 89 או מתחת לו נחשבת למעוררת דאגה.  ילד שקיבל ציון כזה מתפקד ברבעון התחתון של האוכלוסיה.

ככל שהציון של הילד נמוך יותר, כך הממצא יותר חזק מבחינה סטטיסטית.  כלומר ככל שהציון של הילד נמוך יותר, אמינות הציון גבוהה יותר. 


Monday, November 16, 2015

מבט קצת שונה על היכולת הפלואידית והקשרים שלה עם זיכרון עבודה, ידע מגובש ולמידה


Lohman, D. F., Lakin, J. M., Sternberg, R. J., & Kaufman, S. B. (2009). Reasoning and intelligence. Handbook of intelligence, 419-441.‏    


זהו פרק נהדר הדן בתהליכי הסקה  REASONING , כלומר בהיבט של היכולת הפלואידית.  כל מלה בפרק היא בסלע, ואני ממליצה לקרוא אותו במלואו.  אתמקד כאן בחלק מהרעיונות בפרק, שעניינו אותי במיוחד.

תהליכי הסקה, ידע מגובש ולמידה

אנשים שפותרים בעיות ביעילות בדרך כלל מפנים את הקשב, לעתים אפילו באופן בלתי מודע, להיבטים שונים של הבעיה מאשר אנשים שפותרים בעיות באופן פחות יעיל.  אנשים שפותרים בעיות ביעילות יודעים מה לחפש וממה להתעלם.  זה נובע מנסיון רב יותר שיש להם עם בעיות דומות ומיכולת להשתמש טוב יותר בנסיון העבר שלהם. 

חשיבה טובה על נושאים מורכבים תלויה בידע.  מומחיות מבוססת על ידע, ומומחים חושבים על בעיות אחרת מאשר מתחילים.  יכולת הסקה טובה יותר גורמת לארגון טוב יותר של הידע בזיכרון.  כל תהליך הסקה שאנו מבצעים תלוי ביעילות תהליכי ההסקה שביצענו בעבר, ובדרך בה אחסנו את תוצרי התהליכים הללו בזיכרון.   ככל שתהליכי ההסקה שלנו טובים יותר, כך ניצור קשרים אסוציאטיבים עשירים יותר ומופשטים יותר בין מושגים, וכך ניצור ונאחסן ידע מטא- קוגניטיבי שמקשר בין מטרות לאסטרטגיות להשגתן.  כלומר, ככל שתהליכי ההסקה שלנו טובים יותר, כך גוף הידע המגובש שלנו, הנוצר מתהליכי הסקה אלה, יהיה מורכב יותר. 

כישורי ההסקה באים לידי ביטוי אפילו במבחן כמו אוצר מלים.  הבדלים בינאישיים במבחן אוצר מלים עשויים לנבוע מהמידה בה אנו משתמשים בתהליכים מטא קוגניטיבים כאשר אנו לומדים מלים.   למשל, האם אנו בוחנים באופן שיטתי פירושים אלטרנטיבים למלה כאשר אנו שומעים אותה בהקשר בלתי מוכר, או נשארים עם הבנה עמומה של משמעות המלה בהקשר החדש?  כאשר אנו מצליחים להסיק שיש למלה משמעויות נוספות, ולעמוד עליהן במדויק, אנו מארגנים מחדש את הידע המגובש שלנו, באופן שיסייע לנו בלמידה עתידית.  חוקרים טוענים, שהיכולת להסיק משמעויות של מלים מתוך ההקשרים שבהם הן נשמעות היא הגורם למתאם הגבוה שקיים בדרך כלל בין אוצר מלים לבין מבחני הסקה (וגם בין אוצר מלים לבין ה- g).  אוצר מלים רחב מאפשר הבנה וביטוי למגוון רחב יותר של רעיונות, שבתורו מסייע ללמידה של מלים ומשגים חדשים.  כך השפה מתפקדת ככלי להבעה, לעידון ולרכישה של חשיבה, ומבחן אוצר המלים הצנוע דורש תהליכי הסקה והוא תוצר של תהליכי הסקה. 

הבחירה באיזו פיסת מידע בדיוק, מבין אוצר הידע הרלוונטי שיש לנו, כדאי לנו להשתמש כדי לפתור בעיה חדשה מוסיפה מורכבות לתהליכי הסקה.  תהליכי ההסקה של ילדים נחשפים באמצעות באמצעות הדרך בה הם ממיינים אובייקטים (למשל, במבחן צד שווה):  לפי אסוציאציה שרירותית, באמצעות מאפיינים חיצוניים נתפסים, או באמצעות מושגים מופשטים.  תהליכי ההסקה שלהם רומזים על הדרך בה הידע המגובש שלהם מאורגן.  ההחלטה כיצד לתאר את הקשר בין שני מושגים או יותר היא  שלב קריטי בתהליך הסקה.  אנשים עם קושי בתהליכי הסקה לעתים יוצרים קשרים עמומים ולא מדוייקים בין מושגים.  זה עלול לנבוע מכך שהם עוצרים את החיפוש אחר כלל או קשר מהר מדי, או מכיוון שהם לא מבצעים תהליכי בקרה על המסקנות הראשוניות שלהם, או מכיוון שהם מתקשים לעמוד על הקשר או הכלל. 

ניתן לתרגל ולאמן את החשיבה הדדוקטיבית (הסקת מסקנות על מקרים פרטיים מתוך כללים נתונים), או לכל הפחות, ניתן לשפר באמצעות תירגול את הביצוע משימות ספציפיות שבודקות חשיבה דדוקטיבית.  לכן מבחני חשיבה דדוקטיבית בודקים דברים שונים אצל אנשים שלמדו ותרגלו אסטרטגיות לפתרון בעיות דומות ואצל אנשים שלא למדו ולא תרגלו.  אצל האנשים שתרגלו, משימות כאלה נשענות הרבה יותר על שליפה של האסטרטגיה שנלמדה מגוף הידע המגובש.   אצל אנשים שלא תרגלו, אלה משימות הרבה יותר פלואידיות.

תהליכי הסקה דורשים הפעלה שוטפת של תהליכים ניהוליים כמו בקרה, משוב, תכנון, התאמה של אסטרטגיות קיימות למצב החדש והמצאת אסטרטגיות חדשות, יכולת ללמוד מנסיונות קודמים לפתור את הבעיה.  הבנת הנקרא, למשל, דורשת עדכון שוטף של המודל המנטלי של הטקסט שאנו יוצרים לעצמנו עם מידע חדש שמתקבל מהטקסט.  אם למשל, היה לנו דימוי של אחת הדמויות כטיפוס מרושע, ואנו קוראים לפתע על מעשה טוב שאותה דמות עשתה, אנחנו מעדכנים את המודל המנטלי של אותה דמות.  ילדים עם קושי בבקרה מתקשים לעשות זאת, ועלולים לדבוק ברושם הראשוני שהם קיבלו מהטקסט על הדמות, למרות מידע סותר שיתקבל בשלבים מאוחרים יותר של הקריאה. 

פרשנים נאיבים של מבחני הסקה יחשבו שיכולת ההסקה משפיעה על רמת ההישגים (כלומר שחיצי הסיבתיות נעים רק מיכולת ההסקה אל ההישגים).  אבל הן יכולת ההסקה והן רמת ההישגים הם תוצרים של למידה והתנסות.  ראינו זאת היטב במחקר של מיכל שני, שהראה כיצד ילדים ממוצא אתיופי וממיצב סוציו אקונומי נמוך מתקשים יותר ויותר במטריצות רייבן עם העליה בגיל.  אחת הסיבות המשוערות לכך היתה העדר למידה והתנסות במשימות דומות. 

הבנת סיפור, הסקת משמעות של מלה לא מוכרת, זיהוי דפוסים וכללים במידע, הפשטת המידע הנתון כדי ליצור כללים או עקרונות, יישום מושגים מתמטים כדי לפתור בעיה – בדרכים אלה ובדרכים רבות אחרות, למידה מוצלחת דורשת אסטרטגיות הסקה.  הדרך הטובה ביותר לפתח את יכולת ההסקה היא באמצעות הוראה מאתגרת שדורשת מהתלמידים לתרגל אסטרטגיות הסקה מוכרות ולהמציא או ללמוד אסטרטגיות חדשות.  כלומר:  למידה דורשת יכולת הסקה, אבל תהליך הלמידה עצמו מפתח את יכולת ההסקה. 

בעבר חשבו שכדאי להתאים את שיטת ההוראה לסגנון הלמידה (למשל, לתת הוראה מילולית יותר לאדם שמעדיף למידה מילולית לעומת הוראה עם יותר גראפים ואמצעים חזותיים לאדם שמעדיף למידה באמצעות דימויים חזותיים).  כאשר בדקו את זה, ראו שהתאמה כזו לא משפרת מאד את התוצאות של התלמידים.  לעומת זאת כן כדאי להתאים את סגנון ההוראה לרמת היכולות הקוגניטיביות של הלומד.   למשל, לילד עם קושי בתהליכי הסקה, אפשר ללמד את החומר בדרכים שדורשות פחות הסקה (להדגים יותר, לומר את הדברים באופן מפורש יותר).  לילד עם ידע מגובש נמוך, אפשר ללמד את החומר בדרכים שדורשות ידע מגובש פחות עשיר (לנסח בשפה פשוטה יותר או ללמד את אוצר המלים והמושגים הנדרש, ללמד באופן מפורש את הידע הכללי הנדרש). 

ברוח הדברים שנאמרו למעלה, גם אצל ילדים עם יכולת הסקה נמוכה, עדיין נרצה לאמן את יכולות ההסקה כדי לשפרן.   

תהליכי הסקה וזיכרון עבודה

תאוריות שמנסות להסביר תהליכי הסקה מניחות שקיימים מספר שלבים בתהליך ההסקה שכוללים:  א.  ייצוג ההנחות בזיכרון העבודה, ב. יצירת מודלים מנטלים של מספר פתרונות אפשריים שנובעים מההנחות, החזקתם של המודלים זה לצד זה בזיכרון העבודה והשוואה ביניהם. התהליכים הללו דורשים משאבים משמעותיים של זיכרון עבודה.  לכן מגבלות בזיכרון עבודה גורמות להבדלים בינאישיים ביכולת ההסקה.
  מכיוון שזיכרון העבודה מגביל את מספר המודלים המנטלים שניתן להחזיק בעת ובעונה אחת, אנשים עם קיבולת מוגבלת של זיכרון עבודה עלולים לא להצליח ליצור מספיק מודלים כדי להעריך את התקפות של מסקנה. 

במחקרים מוצאים חפיפה גדולה בין היכולת הפלואידית לזיכרון עבודה.  מחברי המאמר טוענים, שחפיפה זו נובעת ממדידה צרה מדי של היכולת הפלואידית מחד, וממדידה רחבה מדי של הזיכרון לטווח קצר מאידך.

מבחני מטריצות שדורשים הסקה לא מילולית כמו הרייבן הם, לדברי המחברים, מנבאים פחות טובים של למידה והישגים אקדמים בעולם האמיתי מאשר מדדים של הסקה מילולית וכמותית (למשל, מבחנים של אנלוגיות מילוליות או מבחנים בהם צריך להמשיך סדרות חשבוניות).  כך, כאשר אנו מודדים את יכולת ההסקה באמצעות מבחן אחד, כמו הרייבן, או כמה מבחנים דומים לו באופיים, אנו לא מייצגים במדידה שלנו את כל ההיבטים של תהליכי ההסקה. 

מצד שני, מבחני זיכרון עבודה מורכבים יותר מכפי שנדמה לנו.  מבחנים אלה דורשים להבין הוראות די מורכבות (למשל, במבחן סדרת אותיות ומספרים),  ליצור אסטרטגיה ולעתים לשנות אותה, לבצע משימה קשה עם דרישות קשב רבות, לשמור על רמה גבוהה של מאמץ מעבר לזמן.  משימות אלה דורשות גם תפקודים ניהוליים  - בקרה על התהליך ואינהיביציה של תגובות לא נכונות, וגמישות במעבר בין סטים.  כלומר במבחני זיכרון עבודה קיימים מרכיבים פלואידים רבים. 

לסיכום:  יכולות ההסקה אינן סטטיות.  הן מתפתחות באמצעות ההתנסות וקל יותר לבצען לאחר תירגול.  הבדלים בינאישיים בהסקה נמצאים במתאם משמעותי עם כמות המידע שהאנשים יכולים להחזיק בזיכרון העבודה בעודם מבצעים בו מניפולציה.  היכולת לעשות זאת תלויה במשאבי הקשב שיש לאדם, במידת ההיכרות שלו עם המידע, ובנסיון שלו בביצוע המניפולציה הנדרשת.  כך, ידע מוקדם וכישורים קובעים מאד את רמת ההסקה שניתן להגיע אליה הן במבחני הסקה והן במצבי הסקה בחיי היומיום. 

כאשר אנו בודקים את היכולת הפלואידית, חשוב לכלול מגוון רחב של מבחנים, לא רק מבחני מטריצות שמנסים לנקות את התרומה של הידע המגובש לתהליכי הסקה, אלא גם מבחנים הדורשים הסקה מילולית וכמותית, הקרובים יותר לדרך בה היכולת הפלואידית עובדת בחיים. 

המאמר הזה מדגיש את החשיבות שבהסתכלות קלינית על היכולת הפלואידית -  על הדרכים בהן היא באה לידי ביטוי גם במבחנים שלא בודקים אותה באופן ישיר (למשל, עד כמה הילד מגדיר מלים באופן מופשט, עד כמה הוא מצליח להבין מסר סמוי בטקסט).  כמו כן הוא מדגיש את התלות של היכולת הפלואידית ביכולות אחרות כמו זיכרון עבודה וידע מגובש, ואת האינטראקציה ביניהן.