קונטקסט (Context) בבינה מלאכותית ואיך הוא משפיע על תשובות מודלים של שפה

קונטקסט (Context) הוא כלל המידע הזמין למודל שפה של בינה מלאכותית ברגע שבו הוא מייצר תשובה: היסטוריית השיחה עד כה, הנחיית מערכת (System Prompt), מסמכים שאוחזרו מבסיס ידע, נתוני משתמש ורקע נוסף שצורף לבקשה. מודל שפה אינו זוכר דבר מעבר למה שמוזן בפועל בטקסט שהוא מקבל בכל קריאה, ולכן היקף ואיכות הקונטקסט קובעים במידה רבה עד כמה התשובה תהיה מדויקת ורלוונטית לצורך האמיתי של המשתמש.

יש להבחין בין קונטקסט לבין פרומפטהטקסט או ההוראה שמזין המשתמש למודל בינה מלאכותית כדי לקבל ממנו תשובה או פלט: הפרומפט הוא הבקשה הספציפית שמופנית למודל ברגע נתון, ואילו הקונטקסט הוא כלל המידע הרחב יותר שסובב אותה בקשה, כולל שיחות קודמות ומסמכים נלווים.

חלון הקונטקסט וגבולותיו

כל מודל שפה מוגבל ב"חלון קונטקסט" (Context Window), כלומר בכמות מקסימלית של טוקנים שהוא יכול לעבד בקריאה אחת, כולל גם את הבקשה עצמה וגם את התשובה שהוא מייצר. כאשר כמות המידע חורגת מהחלון, חלק מהתוכן, בדרך כלל ההתחלה של השיחה, נחתך או מסוכם מחדש כדי שהמודל יוכל להמשיך לעבוד. חלון גדול יותר מאפשר לצרף היסטוריית שיחה ארוכה יותר או מסמכים שלמים, אך גם מייקר ומאט את העיבוד, ולכן מערכות רבות משתמשות בטכניקות אחזור ממוקד כדי להזין למודל רק את הקטעים הרלוונטיים באמת, ולא את כל מאגר המידע בבת אחת.

למה קונטקסט חשוב לתוכן שנועד להיקרא על ידי מודלים ומנועי AI

מעבר לשימוש היומיומי בכלים כמו ChatGPT או Claude, לקונטקסט יש חשיבות ישירה גם לאופן שבו מנועי חיפוש מבוססי בינה מלאכותית קוראים תוכן אתר. עמוד שמנוסח בצורה ברורה, עם כותרות מדויקות, הגדרות מפורשות וישויות שמזוהות בקלות, מספק למודל קונטקסט "נקי" יותר כשהוא נשלף כחלק ממענה, מה שמגדיל את הסיכוי שהמידע ייקרא נכון ויצוטט בהתאם למקור. תוכן מבולבל, כללי מדי או חסר הקשר ברור, לעומת זאת, מקשה על מודל בינה מלאכותית להבין במדויק במה עוסק העמוד, גם אם התוכן עצמו נכון עובדתית.