כלי חינמי · רץ בדפדפן שלכם

חלוקת טקסט ל־RAG

חלקו מסמך למקטעים עבור RAG, בגודל ובחפיפה שתבחרו, וצפו בכל מקטע.

מסמך

גודל מקטע: 400 טוקניםחפיפה: 50 טוקנים

תשובה קצרה

ב־RAG מחלקים מסמכים למקטעים שהופכים ל־embeddings ונשמרים לחיפוש וקטורי. מקטעים של 200 עד 800 טוקנים עם 10 עד 20% חפיפה הם נקודת התחלה נפוצה. הכלי מחלק לפי פסקאות ומשפטים כדי לא לחתוך רעיון באמצע, וחוזר על סוף כל מקטע בתחילת הבא כחפיפה.

איך משתמשים

הדביקו את המסמך. טקסט רגיל או Markdown.
קבעו גודל מקטע וחפיפה. בטוקנים משוערים (כ־4 תווים לטוקן).
בדקו והעתיקו. צפו בכל מקטע ובגודלו, ואז העתיקו את כולם כ־JSON.

דוגמה

מדריך שחולק לקטעים חופפים והועתק כ־JSON:

קלט

מדריך של 6,000 מילים באנגלית (כ־8,000 טוקנים)
גודל קטע: 400 טוקנים · חפיפה: 50 טוקנים

פלט

[
  "1. Introduction. This handbook explains how support requests are handled…",
  "…are handled from first contact to resolution. 2. Opening hours…",
  …
]

כ־23 קטעים של עד 400 טוקנים כל אחד

שגיאות נפוצות ואיך לתקן אותן

הקלט ארוך מדי למודל ה־embedding: קטע גדול ממה שמודל ה־embedding מקבל. הקטינו את גודל הקטע כך שהקטע הגדול ביותר ייכנס עם מרווח.
התשובות מפספסות מידע שנמצא במסמך: הקטעים קטנים מכדי לשאת הקשר, או שהמשפט החשוב נחתך. נסו קטעים גדולים יותר או יותר חפיפה, והוסיפו את כותרת המסמך לכל קטע.
החיפוש מחזיר את אותו טקסט פעמיים: חפיפה גדולה שמה את אותם משפטים בקטעים שכנים. הורידו את החפיפה ל־10 עד 20% או הסירו כפילויות אחרי השליפה.
טבלאות וקוד יוצאים שבורים: חלוקה לפי משפטים חותכת שורות ובלוקי קוד. שמרו טבלאות ובלוקי קוד כקטעים נפרדים.

שאלות נפוצות

מה גודל המקטע הטוב ביותר ל־RAG?

אין גודל אחד נכון. 200 עד 800 טוקנים הם התחלה נפוצה; מקטעים קטנים נותנים התאמות מדויקות, גדולים שומרים יותר הקשר. בדקו על השאלות שלכם.

למה צריך חפיפה בין מקטעים?

כדי שמשפט או רעיון בקצה של מקטע יופיעו גם בבא, ולא ילכו לאיבוד כששולפים רק אחד מהם.

מקטעים צריכים ללכת לפי פסקאות?

כן, כשאפשר. חלוקה לפי פסקאות ומשפטים שומרת כל מקטע קריא ובעל משמעות.

תמיד צריך RAG?

לא. אם המסמכים נכנסים לחלון הקונטקסט של המודל, שליחה ישירה עם קאש פשוטה יותר ולעיתים מדויקת יותר.

המסמך שלי מועלה?

לא. החלוקה רצה בדפדפן שלכם.

מה זה RAG?

Retrieval-augmented generation: לכל שאלה מוצאים את הקטעים הרלוונטיים ביותר במסמכים שלכם ונותנים אותם למודל, כך שהתשובה מבוססת על הנתונים שלכם.

מה זה embeddings?

רשימות של מספרים שמייצגות את המשמעות של טקסט. טקסטים דומים מקבלים מספרים דומים, וכך חיפוש וקטורי מוצא את המקטעים הרלוונטיים.

כדאי להוסיף כותרות או מטא־דאטה לכל מקטע?

כן. הוספת שם המסמך, כותרת הסעיף או המקור לכל מקטע משפרת את השליפה ומאפשרת לתשובות לציין מאיפה הן הגיעו.

כמה מקטעים לשלוף לכל שאלה?

לרוב 3 עד 10: מספיק כדי לכסות את התשובה בלי למלא את הפרומפט בטקסט לא קשור. בדקו על שאלות אמיתיות.

גודל המקטע משפיע על העלות?

כן. מקטעים גדולים יותר ושליפה של יותר מקטעים פירושם יותר טוקני קלט בכל שאלה.