Attention (בינה מלאכותית)

attention (בעברית: קשב) הינה טכניקה שנועדה לחקות קשב קוגניטיבי, על ידיי חיזוק המידע הרלוונטי ביותר מתוך כלל המידע וחלשת המידע הפחות רלוונטי. המטרה הנה בעצם לתת לרשת להתרכז במידע ההכי חשוב גם אם הוא רק חלק קטן מהמידע.

Attention-like mechanisms were introduced in the 1990s under names like multiplicative modules, sigma pi units, and hyper-networks. Its flexibility comes from its role as "soft weights" that can change during runtime, in contrast to standard weights that must remain fixed at runtime. Uses of attention include memory in fast weight controllers , neural Turing machines, reasoning tasks in differentiable neural computers, language processing in transformers, and LSTMs, and multi-sensory data processing (sound, images, video, and text) in perceivers.

אופן פעולה[עריכה]

השימוש בattention יכול לעזור ליצור הקשר למשל במשפט "מיכאל הכי מהיר בגן ראו כמה מהר הוא רץ" הattention יכול להבין שהכוונה במילה "הוא" היא למיכאל שהוזכר בתחילת המשפט.

**Self-Attention**(קשב עצמי) X- מטריצה בגודל 4x300 המייצגת קידוד של המשפט כולוQ_w - משקולות של הqueryK_w - משקולות של הkeyV_w - משקולות של הvalue

גגדגדגשדגשג

ראו גם[עריכה]

שם ערך

לקריאה נוספת[עריכה]

שם סופר, שם ספר, שם הוצאה, תאריך הוצאה

קישורים חיצוניים[עריכה]

התוכן בקישור, באתר (שם האתר)

הערות שוליים[עריכה]

שגיאת לואה ביחידה package.lua בשורה 80: module 'יחידה:PV-options' not found.

This article "Attention (בינה מלאכותית)" is from Wikipedia. The list of its authors can be seen in its historical and/or the page Edithistory:Attention (בינה מלאכותית). Articles copied from Draft Namespace on Wikipedia could be seen on the Draft Namespace of Wikipedia and not main one.