קוגניציה חשבונית חלק שני: הקוד המילולי

 

 

 

כאן תוכלו למצוא את המצגת השניה בסדרת המצגות על קוגניציה חשבונית, העוסקת בקוד המילולי.

מטרת המצגות היא להניח תשתית תיאורטית לאבחון ילדים עם קשיים בחשבון.

המצגות מיועדות ללמידה עצמית.

תוכן המצגת:

•       מהו הקוד המילולי של המספר?

•       כיצד מתפתחת המניה ומהן אסטרטגיות החישוב? 

•       כיצד ילדים דיסקלקולים מונים ומחשבים?

•       האם שפה משפיעה על הישגים מתמטים? או: למה אסיאתים חזקים בחשבון?

•       נלכדים ברשת: למה אנשים טועים בשליפה של עובדות חשבון?

•       האם פגיעה בשפה מובילה גם לפגיעה בחשבון?

  

 

The number sense – how the mind creates mathematics – by Stanislas Dehaene

איך יתכן שתינוקות בני יומם יודעים לבצע חיבור וחיסור, ולהשוות בין כמויות?

למה יש לסינים טווח זיכרון של 10 ספרות במשימת "זכירת ספרות קדימה"? ולמה הם מחשבים מהר יותר מאנשים מערביים?

אילו איזורים במוח פעילים כאשר אנו שולפים תרגיל כפל פשוט?  כאשר אנו פותרים תרגיל חיבור? כאשר אנו מעריכים כמויות ומשווים ביניהן?  כאשר אנו ממקמים מספר על ציר המספרים?

האם קיומן של מלות מספר בשפה הוא תנאי הכרחי ליכולת לבצע חישוב מדויק?  ומה קורה בתרבויות שעדיין קיימות בעולם, בהן אין מלות מספר לעשר הספרות 0-9?

מה הקשר בין תפיסת מספרים לבין תפיסה של מרחב (גודל ומיקום)?

על שאלות אלה ואחרות עונה הספר 

The number sense: How the mind creates mathematics.

ספר זה נכתב ועודכן בשנת 2011 על ידי Stanislas Dehaene, מגדולי החוקרים בתחום הקוגניציה המתמטית. הספר כתוב לקהל הרחב, והוא מומלץ מאד.  

האם אנו מעבדים גירויים מתמטים וגירויים שפתיים באותם איזורים במוח?

Prof. Stanislas Dehaene - A Close Look at the Mathematician's Brain

https://www.youtube.com/watch?v=EMAsQeLfr3o&t=445s

מה הקשר בין שפה טבעית למתמטיקה?  האם היכולת המתמטית שלנו התפתחה מתוך השפה? או מתוך יכולות קוגניטיביות לא לשוניות?  בהרצאה מרתקת זו מתייחס פרופ' סטניסלאס דהאן לשאלות מעניינות אלה.   

לדעת נועם חומסקי (מאבות המהפכה הקוגניטיבית בפסיכולוגיה, שטען לקיומה של יכולת מולדת לשפה), "המקור של היכולת המתמטית הוא בהפשטה של פעולות לשוניות".  כלומר, היכולת המתמטית נשענת על שפה. 

איינשטיין לעומתו טען ש"מלים ושפה – מדוברות או כתובות – לא משחקות שום תפקיד בתהליך החשיבה (המתמטית) שלי.  הישויות הפסיכולוגיות המשמשות כאבני הבנין לחשיבה שלי הם סמלים ודימויים, ברורים פחות או יותר, שאני יכול ליצור מחדש ולשלב מחדש כרצוני".

דהאן נוטה להסכים עם איינשטיין. הוא טוען שבמהלך האבולוציה, המוח שלנו צויד בייצוגים לא מילוליים של מרחב, זמן ומספר.  אנו חולקים ייצוגים אלה עם חיות.  כדי לבצע מתמטיקה אנו הופכים את הייצוגים הללו לפורמלים, באמצעות שימוש בסמלים.  אבל הסמלים הללו נשארים קשורים למערכת הייצוג הבסיסית, שאינה מילולית.  אנחנו יכולים אחר כך להשתמש גם בשפה כדי לבטא רעיונות מתמטים. 

דהאן וחבריו בדקו מהם האזורים הפעילים במוחותיהם של פרופסורים למתמטיקה לעומת פרופסורים במקצועות שאינם מתמטים, בעת עיבוד משפטים מתמטים ומשפטים שאינם מתמטים.  הם הכניסו כל אחד מהפרופסורים לסורק וביקשו מהם לקבוע (או לנחש) אם משפטים שהם שומעים הם נכונים או לא.   הפרופסורים שמעו ארבעה סוגים של משפטים:  משפטים מתמטים נכונים (למשל:  "סינוס הוא פונקציה מחזורית"), משפטים מתמטים שגויים, משפטי ג'יבריש שנשמעים כמו משפטים מתמטים (כוללים אוצר מלים מתמטי), ומשפטי ידע כללי ("אתונה היא ביוון").  המשפטים היו מורכבים יותר מכפי שהדגמתי כאן.  מסתבר, שמשפטים מתמטים עוררו אזורים שונים במוח ממשפטים שאינם מתמטים.  אזורים אלה עוררו בעוצמה גבוהה יותר אצל המתמטיקאים מאשר אצל הלא-מתמטיקאים.  אצל המתמטיקאים אזורים אלה במוח היו גדולים יותר.  אותם אזורים במוח מעוררים באמצעות כל גירוי מתמטי, החל מהפשוט ביותר וכלה במורכב ביותר. 

כאשר ילדים לומדים לקרוא, האזור במוח שמזהה פנים FACES ואובייקטים עובר ראורגניזציה והסבה לקריאה.  התגובה שלו לפנים ולאובייקטים הולכת ויורדת, והתגובה שלו לאותיות ולמלים הולכת ועולה.  היכולת לזהות פנים עוברת מאזור זה, הנמצא בהמיספרה שמאל והנקרא WORD FORM AREA  ,VISUAL  לאזור אחר בהמיספרה ימין.   מסתבר שאצל מתמטיקאים, אזור זיהוי הפנים בהמיספרה ימין הוא קטן יותר.  ייתכן שהמתמטיקאים משתמשים באזור זה כדי לבצע מתמטיקה.

כך, האזורים הפעילים במוח כאשר אנו מבצעים מתמטיקה שונים מהאזורים הפעילים במוח כאשר אנו מעבדים שפה.  אזורי המתמטיקה במוח אינם שפתיים, ומצד שני התפתחותם אינה תלויה בגירויים חזותיים.  דהאן וחבריו בדקו את הפעילות המוחית אצל שלושה מתמטיקאים עיוורים.  הם גילו שמתמטיקאים אלה משתמשים באותם אזורים במוח שבהם משתמשים אנשים רואים.  יתרה מזו:  גם חלק מהקורטקסט האוקציפיטלי (אזור קליפת המוח הקשור לראיה) אצל מתמטיקאים עיוורים משמש לעיבוד מתמטי. 

עדויות נוספות לכך שמושגים מתמטים בסיסיים אינם קשורים בשפה ניתן למצוא במחקר בקופים, אצלם הצליחו חוקרים למצוא נוירונים ספציפים המגיבים לכמויות ספציפיות ולא לאחרות.  חיות מסוגלות לעבד ולהבחין בין כמויות קטנות (עד ארבעה אובייקטים), וכך גם תינוקות בני יומם. 

לסיכום, דהאן טוען שהמתמטיקה בנויה על יסודות מוחיים קדומים, לא לשוניים:  ידע בסיסי על כמות, מרחב וזמן.  זה ידע שהאדם חולק עם יצורים רבים נוספים.  המיוחד באדם הוא שרק האדם יכול לחשוב על מספרים מדויקים (מעל 4) – למשל על 11, ולהבחין בינו לבין 12.  רק האדם יכול לשלב בין המושגים המתמטים וליצור מהם שפת חשיבה. 

What is the relationship between reading words and numbers?

Joel is an engineer who has aphasia following a stroke he underwent at the age of 72.  Since the stroke, Joel expresses himself mostly in single words or in single utterances; He can't produce whole sentences.  He also can't read single words.  Does he have difficulty reading numbers as well?

Stanislas Dehaene, a renowned scholar of numerical cognition, developed in 1992 the Triple Code Model of numbers (Dehaene and Cohen, 1995).  According to this model, numbers are represented in the brain in three ways:  a)  Verbal Code:  numbers are represented as a series of words with a specific syntactic order ("one thousand and twenty four").  Basic arithmetic facts are coded in verbal form as well ("nine times nine equals eighty one").  Impaired verbal code affects a person's ability to name digits and numbers and to retrieve basic arithmetic facts.  b)  Visual Code:  numbers are represented as a series of digits (for instance, 4521).  This code underlies an internal representation of a number line.  This is akin to an orthographic representation.  c)  Analogical/Quantitative Code:  here the quantitative meaning of number is represented (this is actually a semantic representation).  This code enables one to determine that 9 is greater than 3.

The three codes are separate and there are dissociations between them (one of them may be impaired while the others are intact).  They are supervised by different brain areas.  However they are closely related and there are interactions between them.  Dehaene argues that there are direct "translation" paths between each pair of representations.  This means that when we process a number we don't always represent it in all three codes.  For example, the direct path between the verbal and the visual representation enables people to read or write numbers even without processing their semantic, quantitative meaning;  the direct path between the quantitative and the visual representations does not take syntactic information into account, etc.  We move between codes in order to perform tasks that can be performed only in a specific code.  For example, magnitude comparisons ("which is larger, 9 or 3?") are done using the quantitative code;  in order to retrieve the answer to the problem 2x3 one has to transform it to verbal code (Dehaene argues that arithmetic facts are stored in a verbal code).

Dehaene's model reminds me of the single word reading model (Friedmann and Coltheart, 2017).  According to this model, when a typical reader reads a familiar word, he activates three lexicons:  the Orthographic Lexicon (which stores the written form of words), the Semantic Lexicon (which stores word meanings) and the Phonological Lexicon (which stores the oral form of words – the sequence of sounds that make them up).  The Orthographic Lexicon may be analogous to the Visual Code in Dehaene's model; the Semantic Lexicon may be analogous to the Quantitative Code; and the Phonological Lexicon can roughly be analogous to the Verbal Code.

To what extent do these models overlap?

I'm sure they don't fully overlap.  Not every person who has difficulty reading single words also has difficulty reading numbers, and vice versa.  The linkage between the models may be strained, but I still find it interesting to think about:

The Orthographic Lexicon enables us to identify known words.  Is there a relation between the Orthographic Lexicon and the Visual Code of numbers?  Alexia is an acquired disorder which renders people unable to read written words but able to write words (!).  Their other language skills are intact as well.  One of the features of Alexia is slow and effortful but mostly accurate word reading.  The longer the word, the longer it takes for a person with Alexia to read it.  Even people with pure alexia tend to be less impaired in reading digits than in reading letters and words.  Under short exposure times, all people identify digits better than letters.  It is possible that the difference pure Alexics have between known word recognition and digit and number reading is an amplification of the normal difference between letter and digit processing (Behrmann and Starrfelt, 2011).  We said earlier that the Orthographic Lexicon enables us to recognize familiar words.  I wonder if the ability to recognize "familiar numbers" like 1492, 1776, also resides in the Orthographical Lexicon (this means that a familiar number is processed like a known word).

The Phonological Lexicon stores the phonological code of words.  A person with disability in the Phonological Lexicon can read words silently but has a difficulty reading words out-loud, or reads them incorrectly (for example, switches between phonemes).  An impaired Phonological Lexicon also affects speech.  Is there a connection between the Phonological Lexicon and the Verbal Code of numbers?  Since the verbal representation of a multidigit number is made out of several words ("three hundred and forty two") there are syntactic relations between the words.  In this aspect the single word reading model cannot be an exact parallel of the Triple Code model.  On the other hand, reading single words requires a grammatical analysis (parsing the word into a prefix, a suffix and a stem;  Work+ed).  Prof. Naama Friedman writes that the initial morphological analysis of a word is made in the Orthographic Input Buffer - that is, at a very early stage before the word reaches any of the lexicons.

The verbal code represents numbers as series of words in a specific syntactical order ("three hundred and twenty four").  Syntax is the meaning derived from the order of words in a sentence.  When the order of words is changed, the meaning is also changed (a dog bit a man vs. a man bit a dog).  Likewise in arithmetic:  the order of digits in a number has meaning, and when it is altered, the meaning of the number is altered (1984-1948).  People with Broca's Aphasia understand the meaning of words and sentences (their semantics is intact) but their syntax is impaired.  These people might make syntactical errors in reading and writing numbers.  For instance, they may read 14 as 4.  When they read "three hundred twenty six thousand four hundred fifty one" they have difficulty distinguishing the different meanings of each of the words "hundred".  They find it hard to translate from verbal code to visual code and vice versa (Ardila and  Rosselli,  2002).

Going back to "Joel", we've seen that he finds it hard to express himself in sentences and to read.  Prof. Naama Friedman, Dror Dotan and prof. Dehaene tested his number processing abilities.  Apparently, Joel has a difficult time reading multidigit numbers out loud.  He reads them digit by digit (for example, he reads the number "47" as "four, seven").  He has difficulty producing the tens form (eg.  Forty)  and the "teen" form (thirteen, fourteen etc.).  This means that he has difficulty translating multidigit numbers into number words.  His arithmetic disability has a syntactic character, but Joel did not lose all his syntactic abilities: in number reading tasks Joel never said the units digit before the tens digit.  This means than he successfully codes the relative order of the digits, an information that can be conceptualized as syntactic.

Joel's visual code of numbers is intact.  Contrary to his word writing difficulty, Joel can write numbers correctly, even by dictation.  This means that despite his difficulty translating visual code to verbal code, he can transform verbal code to visual code.  Joel understands the quantitative meaning of number, and his quantitative representation is intact (for example, he successfully places numbers on a number line and solves double digit addition problems, as long as he does not have to say the answer out loud).

The Semantic Lexicon stores word meanings.  An impaired semantic lexicon badly affects a person's ability to understand the meaning of words he reads.  Such an impairment affects not only reading but also the ability to understand spoken words.  Is there a connection between the semantic lexicon and the analogic/quantitative representation of numbers?  The main feature of dyscalculia is impaired number sense – an impaired grasp of quantity and the quantitative meaning of number.  Impaired number sense can be seen in several ways:  an adolescent computes the answer to simple math facts, sometimes using his fingers; an adolescent solves 22+5 by drawing 22 lines, drawing 5 more lines and then counting all drawn lines from 1 to 27; an adolescent doesn't use the Commutative law of addition (doesn't know that 7+5=5+7); an adolescent does not feel that the result he got is utterly unreasonable; an adolescent can't put a number on the number line  (I used the word "adolescent" in this paragraph to clarify that this does not apply to the performance of young children whose basic arithmetic skills are still developing). 

People with Wernicke's Apasia have difficulty understanding the meaning of words and sentences.  Consequently, they make very significant lexical and semantic mistakes.  This is apparent both in their use of language and in their reading and writing of numbers.  For example, when they write numbers from dictation, they may write entirely different numbers (a person is asked to write 257. He says "820" and writes "193"); people with Wernicke's Aphasia may read 37 as 27 or 1527 as 15,27  ( Ardila and  Rosselli,  2002). The scant descriptions I found in the literature of arithmetic mistakes committed by people with Wernicke's Aphasia are not very similar to the descriptions of mistakes committed by people with impaired number sense.

Prof. Naama Friedman describes different kinds of dyslexia caused by impairments in different components of the model for single word reading.  Is it possible to describe different kinds of arithmetic disabilities caused by impairments in each code/representation or by impairments in the translation processes between representations?  I did not find literature that presents this subject in a systematic way.  In addition, the boundaries between the three representations are permeable (naturally, since they work together).  For example, the visual representation of number (say 1948) is built according to a specific syntax (8 is the units digit, 4 is the tens digit etc.) but the syntactic aspect is related to the verbal code.

  

Ardila, A., & Rosselli, M. (2002). Acalculia and dyscalculia. Neuropsychology review, 12(4), 179-231.

Dotan, D., Friedmann, N., & Dehaene, S. (2014). Breaking down number syntax: Spared comprehension of multi-digit numbers in a patient with impaired digit-to-word conversion. Cortex, 59, 62-73.‏

(I actually read the Hebrew version of this paper):

פרידמן, נ., דותן, ד., ודהאן, ס. (2014)  הבנה לא מילולית של מספרים רב ספרתיים.  שפה ומוח, 11, 25-47.

http://www.language-brain.com/journal/docs/Dotan_Friedmann_Dehaene_LanguageBrain11_number_comprehension.pdf

Dehaene, S., & Cohen, L. (1995). Towards an anatomical and functional model of number processing. Mathematical cognition, 1(1), 83-120.‏

Friedmann, N., & Coltheart, M. (2016). Types of developmental dyslexia. Handbook of communication disorders: Theoretical, empirical, and applied linguistics perspectives.‏https://pdfs.semanticscholar.org/b100/09373f19aba3f68d3568fc25a5352e1e42e5.pdf

(I actually read the Hebrew version of this paper):

פרידמן, נ וקולטהארט, מ.  (2017).  דיסלקסיות התפתחותיות.  שפה ומוח, 12, 1-34.  http://www.tau.ac.il/~naamafr/hebmain.html

Starrfelt, R., & Behrmann, M. (2011). Number reading in pure alexia—A review. Neuropsychologia, 49(9), 2283-2298.‏

מה הקשר בין קריאת מלים לקריאת מספרים?

לפוסט זה הוכנס תיקון בתאריך 14.4.19.  כתבתי שהיצוג החזותי של מספרים מאפשר יצוג פנימי של ישר המספרים, אך זה אינו מדויק.  ישר המספרים המנטלי קשור כנראה יותר ליצוג האנלוגי של מספרים.  

יואל הוא מהנדס שסובל מאפזיה בעקבות ארוע מוחי שקיבל בגיל 72.  בעקבות הפגיעה המוחית, יואל מביע את עצמו בעיקר במילים בודדות או בצירופים קצרים ולא במשפטים שלמים, והוא מתקשה לקרוא מלים בודדות.  האם הוא מתקשה גם לקרוא מספרים?

סטניסלאס דהאן, חוקר נודע של הקוגניציה בכלל ושל קוגניציה מספרית בפרט, פיתח בשנת 1992 את מודל שלושת הקודם לקידוד המשמעות של מספרים   ( Dehaene and Cohen, 1995)    Triple code model   .  על פי מודל זה, מספרים מיוצגים במוח בשלוש דרכים:   א.  ייצוג ורבלי:  מספרים מיוצגים כרצפים של מלים בסדר תחבירי מסויים ("אלף שלוש מאות עשרים וארבע").  גם עובדות חשבון בסיסיות מיוצגות כמו משפט לשוני ("תשע כפול תשע שווה שמונים ואחת").  קשיים בייצוג הורבלי יכולים לפגוע ביכולת לשיים ספרות ולשלוף עובדות חשבון בסיסיות.    ב.  ייצוג חזותי:  המספרים מיוצגים כרצף של ספרות (למשל4521).   זהו בעצם ייצוג אורתוגרפי למיטב הבנתי.    ג.  ייצוג אנלוגי, של כמות.  ייצוג של המשמעות הכמותית של המספר (בעצם, ייצוג סמנטי).  בעזרת ייצוג זה ניתן, למשל, לקבוע שהמספר 9 גדול מהמספר 3. 

שלושת הייצוגים הינם נפרדים וקיימות דיסוציאציות ביניהם (כלומר אחד מהם יכול להיות פגוע אבל לא האחרים).  הם מנוהלים ע"י אזורים נפרדים במוח.  עם זאת, הם קשורים באופן הדוק זה לזה, וקיימת ביניהם אינטראקציה.  דהאן טוען שקיימים מסלולי "תרגום" ישירים בין כל זוג של ייצוגים (כלומר, לא בכל פעם שאנו מתייחסים למספר אנו מייצגים אותו בכל שלושת הייצוגים).  למשל, המסלול הישיר שבין הייצוג הורבלי לחזותי מאפשר לאנשים לקרוא או לכתוב מספרים גם מבלי לעבד את הייצוג הסמנטי שלהם (את המשמעות הכמותית שלהם).  המסלול הישיר בין הייצוג הכמותי לייצוג החזותי אינו לוקח בחשבון מידע תחבירי וכו'.  אנחנו עוברים מייצוג לייצוג כדי לבצע משימות שניתן לבצע רק בייצוג מסוים.  למשל, כדי להשוות בין ספרות (לומר מי יותר גדול, 9 או 3), צריך לתרגם את השאלה לייצוג כמותי, ואילו כדי לשלוף את הפתרון לתרגיל 3X2 צריך לתרגם את התרגיל לייצוג ורבלי (לדעת דהאן, עובדות החשבון כמו "שתיים כפול שלוש שווה שש" מאוחסנות בייצוג ורבלי).

מודל זה של דהאן מזכיר לי מאד את המודל לקריאה של מלים בודדות שהוצג כאן בעבר (פרידמן וקולטהארט, 2017).  על פי מודל זה, קריאת מלה בודדת מוכרת, אצל קוראים תקינים, נשענת על הפעלה של שלושה לקסיקונים:  לקסיקון אורתוגרפי (בו מצויה המלה בצורתה הכתובה), לקסיקון סמנטי (בו מצויה משמעות המלה) ולקסיקון פונולוגי (בו מצוי הצורה הדבורה של המלה – רצפי הצלילים המרכיבים אותה).   הלקסיקון האורתוגרפי עשוי להיות מקביל לייצוג החזותי במודל של דהאן; הלקסיקון הסמנטי עשוי להקביל לייצוג האנלוגי – כמותי; והלקסיקון הפונולוגי עשוי להקביל (באופן גס) לייצוג הורבלי. 

עד כמה קיימת באמת חפיפה בין שני המודלים? 

ראשית, אני בטוחה שלא קיימת חפיפה מלאה.  לא כל אדם שמתקשה לקרוא מלים בודדות מתקשה גם לקרוא מספרים, ולהיפך.  הקישור בין המודלים עשוי להיות מאד מאולץ, אך עדיין מעניין לחשוב עליו:

הלקסיקון האורתוגרפי מאפשר לנו לזהות מלים מוכרות.  האם יש קשר בין הלקסיקון האורתוגרפי לייצוג החזותי של מספרים?  אלקסיה ALEXIA היא הפרעה נרכשת שבה האדם לא מסוגל לקרוא מלים כתובות אבל כן מסוגל לכתוב מלים(!) ושאר כישורי השפה שלו אף הם תקינים.  אלקסיה מאופיינת בקריאה איטית ומאומצת אבל מדויקת ברובה.  ככל שהמלה ארוכה יותר נדרש לאדם עם אלקסיה זמן רב יותר כדי לקרוא אותה.  גם אנשים עם אלקסיה טהורה נוטים להיות פחות פגועים בקריאת ספרות מאשר בזיהוי אותיות ובקריאת מלים.  בתנאים של חשיפה מהירה של הגירוי, אנשים מזהים ספרות טוב יותר מאשר אותיות.  ייתכן שההבדל שקיים אצל אלקסים טהורים בין זיהוי מלים מוכרות לבין זיהוי ספרות וקריאת מספרים הוא העצמה של ההבדל הנורמלי בין עיבוד ספרות לאותיות Starrfelt)   Behrmann and (2011 .  אמרנו קודם שהלקסיקון האורתוגרפי מאפשר לנו לזהות מלים מוכרות.  מעניין אם זיהוי של "מספרים מוכרים" כמו 1948, 1492 מתבצע אף הוא בלקסיקון האורתוגרפי (כלומר שמספר מוכר מעובד כמו מלה מוכרת).

הלקסיקון הפונולוגי מאחסן את הקוד הפונולוגי של מלים.  אדם עם לקות בלקסיקון הפונולוגי יכול לקרוא מלים בקריאה דמומה אך מתקשה לקרוא מלים בקריאה קולית, או משבש את  קריאתן הקולית (למשל, משכל אותיות בקריאה קולית). פגיעה בלקסיקון הפונולוגי מתבטאת לא רק בקריאה אלא פוגעת גם בדיבור.  האם יש קשר בין הלקסיקון הפונולוגי לייצוג הורבלי של מספרים?  מכיוון שהייצוג הורבלי של מספר רב ספרתי מורכב ממספר מלים ולא ממלה אחת ("שלוש מאות ארבעים ושתיים"), מתקיימים בין המלים יחסי תחביר.  לכן בהיבט הזה, המודל לקריאת מלים בודדות לא יכול להיות לגמרי חופף למודל לקריאת מספרים.  מאידך, קריאת מלים בודדות דורשת פענוח של ההיבטים הדקדוקיים של המלה (למשל, פענוח המלה "התלבשתי" דורש את פענוח של מרכיבי השורש ומרכיבי הבניין).  פרופ' נעמה פרידמן כותבת שבמודל קריאת מלים בודדות, ניתוח מורפולוגי ראשוני של מלה (פירוק המלה מהמוספיות שלה והפרדה בין אותיות השורש לאותיות התבנית (למשל, מעבורות:  עבר +מ (מכשיר) +ות (נקבה, רבים)) מתבצע בבאפר הקלט האורתוגרפי, כלומר בשלב מוקדם מאד, עוד לפני שהמלה מגיעה אל כל אחד משלושת הלקסיקונים. 

הייצוג הורבלי מקודד מספרים כרצפי מלים בסדר תחבירי מסויים ("שלוש מאות עשרים וארבע").   תחביר מתייחס למשמעות הנובעת מסדר המלים במשפט.   כאשר משנים את סדר המלים במשפט משתנה גם המשמעות (כלב נשך אדם – אדם נשך כלב).  כך גם בחשבון.  לסדר הספרות במספר יש משמעות, וכאשר משנים את הסדר משמעות המספר משתנה (1984 – 1948).   אנשים עם אפזית ברוקה (פגיעה מוחית באזור ברוקה) מבינים את המשמעות של מלים ומשפטים (הסמנטיקה שלהם תקינה) אך התחביר שלהם פגוע.  אנשים אלה עלולים לבצע שגיאות תחביריות בקריאת מספרים ובכתיבתם.  למשל, הם עלולים לקרוא 14 כ – 4.   כאשר הם קוראים "שלוש מאות אלף וארבע מאות" קשה להם להבין שלכל אחת מהמלים "מאות" יש משמעות שונה.   לאנשים אלה קשה לעבור מקוד ורבלי ("שלוש מאות ארבעים ושתיים") לקוד חזותי (342) ולהיפך  (  Ardila and  Rosselli,  2002 ).

נחזור לאדם המכונה "יואל" שהוצג בראשית הפוסט.  ראינו, שיואל מתקשה להביע את עצמו במשפטים ומתקשה לקרוא מלים בודדות.  פרופ' נעמה פרידמן, דרור דותן ופרופ' סטניסלאס דהאן בדקו את יכולות עיבוד המספרים שלו.   התברר, שיואל מתקשה מאד לקרוא מספרים רב ספרתיים בקול, וקורא אותם ספרה ספרה (למשל, את המספר 47 הוא קורא "ארבע, שבע").  הוא מתקשה להפיק בדיבור את מלת העשרות ואת צורת העשרה ("ארבע עשרה").  כלומר הוא מתקשה להמיר מספרים דו ספרתיים ומעלה למלות מספר (לייצוג מילולי – פונולוגי).  הליקוי שלו בחשבון הוא בעל אופי תחבירי, אך יואל לא איבד את כל יכולותיו התחביריות: במטלות של קריאת מספרים יואל מעולם לא אומר את מילת היחידות לפני מילת העשרות. מכאן שהוא מצליח לקודד את הסדר היחסי בין הספרות, מידע שניתן להגדיר בתור מידע תחבירי.

הייצוג החזותי של מספרים תקין אצל יואל.  בניגוד לקושי שלו בכתיבת מלים, יואל מצליח לכתוב מספרים באופן תקין, גם על פי הכתבה.  זה מעיד על כך שלמרות הקושי שלו להמיר ספרות למלות מספר, הוא מצליח לבצע את המשימה בכיוון ההפוך:  להמיר מלות מספר לספרות.   יואל מבין את המשמעות הכמותית של המספר, והייצוג הכמותי שלו תקין (למשל, הוא מצליח למקם מספרים על ציר המספרים ומצליח לבצע חיבור דו-ספרתי כל עוד אינו נדרש לומר את התשובה במילים).  

הלקסיקון הסמנטי מאחסן את מאגר המשמעויות של המלים.  פגיעה בלקסיקון הסמנטי מפריעה לאדם להבין את משמעותן של מלים שהוא קורא.  פגיעה כזו מתבטאת לא רק בקריאה אלא פוגעת גם בהבנת מלים דבורות.  האם יש קשר בין הלקסיקון הסמנטי לייצוג האנלוגי / כמותי של מספרים? המאפיין המרכזי של דיסקלקוליה הוא פגיעה בחוש המספר – NUMBER SENSE – פגיעה בתפיסת כמות, במשמעות הכמותית של המספר.  קושי בתפיסת כמות יכול להתבטא, למשל, כך:  מתבגר מחשב תרגילים פשוטים באמצעות האצבעות; כאשר מתבגרת מנסה לפתור את התרגיל 22+5 היא מציירת 22 קווים, מציירת 5 קווים, וסופרת את כל הקווים שציירה מ – 1 עד 27; מתבגרת אינה משתמשת בחוק החילוף (אינה יודעת ש:   5+7=7+5); מתבגר אינו חש שהתוצאה שקיבל בלתי הגיונית בעליל; למתבגר יש קושי בסיסי מאד באומדן; מתבגרת מתקשה לשלוף ממאגר הידע עובדות חשבון בסיסיות, כמו חיבור, חיסור וכפל במספרים קטנים; מתבגר מתקשה למקם מספר על ציר המספרים (השתמשתי במלה "מתבגר" בפיסקה זו כדי שיהיה ברור שלא מדובר בתפקוד של ילדים צעירים שכישורי החשבון הבסיסיים עדיין מתפתחים אצלם).   

 אנשים עם אפזית ורניקה (פגישת ראש באזור ורניקה) מתקשים להבין את המשמעות של מלים ומשפטים, ולכן מבצעים טעויות לקסיקליות וסמנטיות משמעותיות מאד.  הדבר מתבטא הן בשימוש בשפה והן באמירה, קריאה וכתיבה של מספרים.   למשל, כאשר הם כותבים מספרים המוכתבים להם, הם עשויים לכתוב מספרים אחרים לגמרי (למשל האדם מתבקש לכתוב 257, הוא אומר בקול רם 820 וכותב 193);  אנשים עם אפזית ורניקה עשויים לקרוא 37 כ – 27, או לקרוא 1527 כ – 15,27)    ( Ardila and  Rosselli,  2002).

התיאורים המעטים שמצאתי בספרות של שגיאות בחשבון שמבצעים אנשים עם אפזית ורניקה אינם לגמרי דומים לתיאורי השגיאות שמבצעים אנשים עם פגיעה בחוש המספר/בתפיסת כמות.

פרופ' נעמה פרידמן מצביעה על סוגים שונים של דיסלקסיה שנגרמים כתוצאה מפגיעות במרכיבים שונים של המודל לקריאת מלים בודדות.  האם ניתן להצביע על סוגים שונים של לקות בחשבון שנגרמים כתוצאה מפגיעות בכל אחד משלושת הייצוגים או בכל אחד ממסלולי התרגום ביניהם?  לא מצאתי עדיין ספרות מקצועית שמציגה נושא זה בצורה שיטתית.  בנוסף, הגבולות בין שלושת הייצוגים אינם חדים (באופן טבעי, כי הייצוגים עובדים ביחד).  למשל, הייצוג החזותי של מספר (למשל, 1948) בנוי על פי תחביר מסוים (8 היא ספרת היחידות, 4 היא ספרת העשרות וכו'), אבל ההיבט התחבירי קשור לייצוג הורבלי.  

פרידמן, נ וקולטהארט, מ.  (2017).  דיסלקסיות התפתחותיות.  שפה ומוח, 12, 1-34.  http://www.tau.ac.il/~naamafr/hebmain.html

פרידמן, נ., דותן, ד., ודהאן, ס. (2014)  הבנה לא מילולית של מספרים רב ספרתיים.  שפה ומוח, 11, 25-47.

http://www.language-brain.com/journal/docs/Dotan_Friedmann_Dehaene_LanguageBrain11_number_comprehension.pdf

Ardila, A., & Rosselli, M. (2002). Acalculia and dyscalculia. Neuropsychology review, 12(4), 179-231.

Dehaene, S., & Cohen, L. (1995). Towards an anatomical and functional model of number processing. Mathematical cognition, 1(1), 83-120.‏

Starrfelt, R., & Behrmann, M. (2011). Number reading in pure alexia—A review. Neuropsychologia, 49(9), 2283-2298.‏

VWFA – Visual Word Form Area

How the Brain Learns to Read - Prof. Stanislas Dehaene https://www.youtube.com/watch?v=25GI3-kiLdo

בפוסט קודם הצגתי מודל לקריאת מלים בודדות שמפותח (בין השאר) על ידי פרידמן וגביעון.  בהרצאה זו מדבר פרופ' סטניסלאס דהאן Stanislas Dehaene       על ההיבט המוחי של מודלים כדוגמת מודל זה, ומוסיף כמה דברים מעניינים על קריאה.  כדאי במיוחד לצפות בהרצאה בין הדקות 9:20 ו -   14:15.

את פרופ' דהאן פגשנו כבר בבלוג בנושא הקשר האפשרי בין זיכרון העבודה והמודעות.  דהאן הוא נוירופסיכולוג נודע, שעוסק הרבה גם בעיבוד קוגניטיבי של מתמטיקה.

דהאן מציג ממצאים לפיהם לאחר קליטה חזותית ראשונית של מלה באזורים חזותיים (אוקסיפיטלים) של המוח, המידע עובר לאיזור שנקרא VWFA – Visual Word Form Area.  אזור זה מתמחה בעיבוד מלים (ולא בעיבוד של גירויים חזותיים אחרים).  מה שמעניין זה, שאצל אנשים שאינם קוראים וכותבים, וגם אצל ילדים שטרם למדו לקרוא ולכתוב, אזור זה מגיב לפנים FACES ולאובייקטים.  כאשר לומדים לקרוא, האזור משנה את ייעודו.  התגובה שלו לפנים ולאובייקטים הולכת ויורדת, והתגובה שלו לאותיות ולמלים הולכת ועולה.  היכולת לזהות פנים עוברת מה - VWFA, הנמצא בהמיספרה שמאל, לאזור אחר בהמיספרה ימין. 

מעורבות אזור VWFA בקריאה יכולה להסביר מדוע ילדי גן וילדים שנמצאים בראשית תהליך רכישת הקריאה והכתיבה כותבים בכתב ראי: בכיוון ההפוך (בעברית, משמאל לימין) ו/או באותיות הפוכות (בהיפוך אופקי).  על פי דהאן, אזור VWFA אינו מבחין בין אובייקט לבין תמונת הראי שלו.  זאת כדי לאפשר לנו לזהות את האובייקט כזהה לעצמו גם אם אנו רואים תמונת ראי שלו.  כך, מבחינת ה - VWFA, odil=libo.  כאשר אנו לומדים לקרוא, האזור הזה עובר שינוי המתבטא בדיכוי התכונה של ראיית גירויים שהם תמונת ראי אחד של השני כגירויים זהים.

ייתכן שאזור VWFA מקביל לנתח הויזואלי אורתוגרפי או ללקסיקון האורתוגרפי אותם פגשנו במודל הקריאה המוצג בתרשים למטה (הסברים נוספים על המודל תמצאו כאן  וכאן ).

Is working memory consciousness?

SIGNATURES OF CONSCIOUSNESS

A Talk by Stanislas Dehaene [11.24.09]

https://www.edge.org/conversation/stanislas_dehaene-signatures-of-consciousness

On October 17, Edge organized a meeting at The Hotel Ritz in Paris to allow neuroscientist Stanislas Dehaene to present his new theory on how consciousness arises in the brain to a group of Parisian scientists and thinkers. The theory, based on Dehaene's past twelve years of brain-imaging research is called the global neuronal workspace.

Dehaene is a Professor at the Collège de France and Chair of Experimental Cognitive Psychology. His research focuses on the cerebral bases of specifically human cognitive functions such as language, calculation, and reasoning. His work centers on the cognitive neuropsychology of language and reading, and his main scientific contributions include the study of the organization of the cerebral system for number processing.

Consciousness is a difficult subject which is highly philosophical.  We assume consciousness is biological, a result of the brain's activity.  But how can the activity of a network of neurons in the brain give rise to a conscious experience?  We are far from answering this question.  Cognitive studies like Dehaene's give us modest insights that can inform our thinking about this subject.

At all times the brain is constantly bombarded with stimulation— and yet, we are only conscious of a very small part of it.  When you read this post you are probably in a room at home, at work or maybe in a coffee shop. You probably haven't noticed the color of the doorpost.  This information has been present on your retina, and you may have processed it to some level, but it had not become conscious. Dehaene talks about the differences between what happens in the brain before and after a stimulus becomes conscious.

If you flash words on a screen for a period of roughly 30 milliseconds, you see them perfectly. If, however, just after the word, you present another string of letters at the same location, you only see the string, not the word. This surprising invisibility occurs in a range of delays between the word and the consonant string (the mask) that are on the order of 50 milliseconds. If the delay is shorter than 50 milliseconds, you do not see the hidden word. It's a well-known perceptual phenomenon called masking. 

In the masking procedure, even when subjects claim to be unaware of the word and report that they cannot see any word at all, they still do better than chance on classification tasks like guessing if the word is the name of an animal or not, or if it's a word in the lexicon or not.  The brain can take a pattern of shapes on the retina, and successively turn it into a set of letters, recognize it as word, and access a certain meaning — all of that without any form of consciousness.

In a similar way, it's possible to flash a digit on a screen, and this digit is subliminal because it was masked. Now suppose you are asked, "Is it larger or smaller than five?"  You get two buttons, one for larger and one for smaller, and you are forced to respond.  Although you claim that you have not seen anything, and you have to force yourself to respond, you do much better than chance. You are typically around 60 percent correct, while pure chance would be 50 percent. So this is subliminal processing. Some information gets through, but not enough to trigger a global state of consciousness.

However, if you are given a task that involves two serial processing steps, you cannot do it. If you are asked to give the number plus two, you can do it — but if you are asked to compute the initial number plus two, and then decide if the result of that +2 operation is larger or smaller than five, you cannot do it. It's a strange result, because the initial experiments show that you possess a lot of information about this subliminal digit. If you just named it, you would have enough information to do so correctly, much better than chance alone would predict. However when you are engaged in a chain of processing, where you have to compute x+2, and then decide if the outcome is larger or smaller than five, there are two successive steps that make performance fall back down to chance. Presumably, this is because you haven't had access to the workspace system that allows you to execute this kind of serial mental rule.  Access to the global neuronal workspace requires consciousness.

The way Dehaene describes the global neuronal workspace reminds me of working memory, to which Dehaene explicitly refers: "When you are conscious of information… you can hold on to it essentially for as long as you wish. It is now in your working memory, and is now meta-stable. The claim is that conscious information is reverberating in your brain, and this reverberating state includes a self-stabilizing loop that keeps the information stable over a long duration. Think of repeating a telephone number. If you stop attending to it, you lose it. But as long as you attend to it, you can keep it in mind…Our model proposes that this is really one of the main functions of consciousness: to provide an internal space where you can perform thought experiments, as it were, in an isolated way, detached from the external world. You can select a stimulus that comes from the outside world, and then lock it into this internal global workspace. You may stop other inputs from getting in, and play with this mental representation in your mind for as long as you wish".

Dehaene used masking procedures like those described with subjects in an fMRI machine.  This machine is able to identify changes in blood flow in different areas in the brain. These changes inform us about the activity in these areas at a specific point in time. 

fMRI

Dehaene learned from such experiments that subliminal stimuli can create a small and quickly decaying P3 wave in the brain, whereas a very big and nonlinear increase in activation, leading to a large event-related potential, can be seen when the same stimuli cross the threshold and become conscious.  Prior to conscious ignition, processing is essentially modular, with several simultaneous activations occurring independently and in parallel. However, at the point where scientists begin to see conscious access, their records show a synchronization of many areas that begin to work together.  Dehaene thinks that we become aware of a stimulus when different areas in the brain share the products of the stimulus' processing with each other.  Synchronization is probably a signal for agreement between different brain areas. The areas begin to agree with each other. They converge onto a single mental object. The global neuronal workspace is needed for this sharing process to happen.