# ספירת טוקנים ל־LLM

URL: https://byshahid.com/he/tools/llm-token-counter/
Author: Muhammad Shahid (https://byshahid.com/)
כלי חינמי · רץ בדפדפן שלכם

הדביקו טקסט כדי להעריך כמה טוקנים יש בו, לראות מילים ותווים ולבדוק איזה חלק מחלון הקונטקסט של מודל הוא תופס.

**תשובה קצרה:** מודלי AI קוראים טקסט כטוקנים: חלקי מילים. באנגלית טוקן הוא בערך 4 תווים או שלושה רבעים של מילה; קוד, מספרים ושפות אחרות, כולל עברית, תופסים בדרך כלל יותר. לכל משפחת מודלים יש tokenizer משלה, ולכן הכלי נותן הערכה. לספירה מדויקת השתמשו ב־API לספירת טוקנים של הספק, כמו count_tokens של Anthropic.

## איך משתמשים

1. **הדביקו את הטקסט.** פרומפט, מסמך או שיחה.
2. **קראו את ההערכה.** תקבלו טוקנים משוערים, מילים, תווים ושורות.
3. **בדקו את חלון הקונטקסט.** ראו איזה חלק מקונטקסט של 200K או 1M טוקנים הטקסט תופס.

## דוגמה

משפט קצר באנגלית (כ־4 תווים לטוקן):

קלט:

```
The quick brown fox jumps over the lazy dog.
```

פלט:

```
טוקנים משוערים: 11
מילים: 9
תווים: 44
שורות: 1
קונטקסט של 200K: ‏0.01%
```

## שגיאות נפוצות ואיך לתקן אותן

- **prompt is too long / context_length_exceeded**: הפרומפט, השיחה והפלט המבוקש לא נכנסים לחלון הקונטקסט. קצרו הודעות ישנות, סכמו אותן, או שלחו רק את החלקים הרלוונטיים של מסמכים.
- **התשובה נעצרת באמצע (stop_reason: max_tokens)**: הגעתם למגבלת הפלט. העלו את max_tokens או בקשו תשובה קצרה יותר.
- **החשבון גבוה בהרבה מהספירה**: הספירה מכסה הודעה אחת, אבל ה־system prompt וכל השיחה נשלחים בכל בקשה. ספרו את כולם.
- **ההערכה שונה מה־API**: לכל מודל יש tokenizer משלו. לספירה מדויקת השתמשו בנקודת הקצה לספירת טוקנים של הספק.

## שאלות נפוצות

### כמה טוקנים יש במילה?

באנגלית בערך 1.3 טוקנים למילה בממוצע, או כ־4 תווים לטוקן. בעברית, בשפות אחרות ובקוד יש יותר.

### למה מודלים שונים נותנים ספירות שונות?

לכל משפחת מודלים יש tokenizer משלה שמחלק את הטקסט אחרת. אותו טקסט יכול להשתנות ב־10 עד 35% בין מודלים.

### איך סופרים טוקנים במדויק?

בעזרת ה־tokenizer או ה־API לספירת טוקנים של הספק; ל־Claude יש ב־Messages API נקודת קצה count_tokens.

### מה זה חלון קונטקסט?

המספר המרבי של טוקנים שמודל יכול לקרוא בבקשה אחת, כולל הפרומפט, השיחה והתשובה.

### הטקסט שלי מועלה?

לא. ההערכה מחושבת בדפדפן שלכם.

### רווחים וסימני פיסוק נספרים כטוקנים?

כן. הם חלק מהטקסט שה־tokenizer מחלק, ולרוב הם מוצמדים למילה שאחריהם.

### למה טקסט בעברית או בסינית תופס יותר טוקנים?

tokenizers מאומנים בעיקר על טקסט באנגלית, ולכן כתבים אחרים מתחלקים לחלקים קטנים יותר ותופסים יותר טוקנים לאותה משמעות.

### תמונות נספרות כטוקנים?

כן. מודלים שקוראים תמונות הופכים גם אותן לטוקנים, לפי גודל התמונה. הכלי הזה מעריך רק טקסט.

### טוקני הפלט נספרים בחלון הקונטקסט?

כן. הפרומפט, השיחה והתשובה של המודל, כולל החשיבה, צריכים כולם להיכנס לחלון הקונטקסט.

### איך מקטינים את מספר הטוקנים בפרומפט?

הסירו חזרות ודוגמאות מיותרות, שלחו רק את החלקים הרלוונטיים של מסמכים, והשתמשו בקאש לטקסט ארוך שחוזר.

## קשור

- [מחשבון עלויות API של AI](https://byshahid.com/he/tools/ai-api-cost-calculator/)
- [חלוקת טקסט ל־RAG](https://byshahid.com/he/tools/rag-text-chunker/)
- [מחולל פרומפטים ל־AI](https://byshahid.com/he/tools/ai-prompt-generator/)

## מקורות

- [Anthropic Docs: Token counting](https://platform.claude.com/docs/en/build-with-claude/token-counting)