BM25 היא פונקציית דירוג נפוצה באחזור מידע. היא משקללת את תדירותם של מונחי השאילתה במסמך, את שכיחות כל מונח באוסף ואת אורך המסמך ביחס לאורך הממוצע. הנוסחה הבאה מציגה גרסה בסיסית של BM25 לפי הספר Introduction to Information Retrieval מאת Manning, Raghavan ו Schütze.
הנוסחה של BM25
BM25(D,Q) = סכום עבור כל מונח t בשאילתה: ln(N / df_t) × ((k1 + 1) × f(t,D)) / (k1 × (1 פחות b + b × |D| / avgdl) + f(t,D))
- D: המסמך שמקבל ציון, ו Q: שאילתת המשתמש.
- f(t,D): מספר הפעמים שהמונח t מופיע במסמך D.
- N: מספר המסמכים באוסף, ו df_t: מספר המסמכים שבהם מופיע המונח t.
- |D|: אורך המסמך, ו avgdl: אורך המסמך הממוצע באוסף.
- k1: קובע עד כמה תדירות חוזרת של מונח מוסיפה לציון. b: קובע את עוצמת נרמול אורך המסמך.
החישוב נעשה לכל מונח בנפרד, משקל ה IDF שלו מוכפל בתרומת תדירות המונח ואורך המסמך, ולבסוף התרומות נסכמות. לכן אין להציב את תדירות הביטוי המלא במקום תדירות כל מונח. מימושים יכולים להשתמש בווריאציות של רכיב IDF ושל עיבוד המילים.
דוגמה מספרית
נניח אוסף של שלושה מסמכים: D1 הוא "how to train a dog", D2 הוא "the benefits of owning a dog", ו D3 הוא "how to care for your dog". השאילתה היא "how to care for a dog". בדוגמה זו לא מסירים מילות עצירה, וכל המילים מופרדות לפי רווח.
נבחר k1 = 1.2 ו b = 0.75. אורכי המסמכים הם 5, 6 ו 6 מילים, ולכן avgdl הוא 5.67. לכל מונח מחשבים f(t,D) ואת df_t באוסף, מכפילים בתרומת ה IDF, ואז מסכמים.
- D1: ציון משוער 1.278.
- D2: ציון משוער 0.396.
- D3: ציון משוער 2.938.
לפי ההנחות האלה, D3 מקבל את הציון הגבוה ביותר משום שהוא מכיל יותר ממונחי השאילתה. שינוי בפיצול מילים, הסרת מילות עצירה, נוסחת IDF או פרמטרים עשוי לשנות את הציונים. זו דוגמת לימוד קטנה, לא תחזית לדירוג של מנוע חיפוש.
המקורות המתארים את BM25 מבססים את השימוש בה באחזור מידע, אך אינם מוכיחים ש Google משתמשת בנוסחה זו לדירוג תוצאות. לכן אין לייחס לה שימוש ב BM25 ללא מקור אמין.
המידע הזה נשמע לכם מדעי? אנחנו עוסקים בקידום אתרים ויכולים לעזור להבין את הנתונים והכלים שמתאימים לאתר שלכם.
