Herramienta gratis · funciona en tu navegador
Chunker de texto para RAG
Divide un documento en chunks para generación aumentada por recuperación (RAG), con el tamaño y el solapamiento que elijas, y revisa cada chunk.
Respuesta rápida
En RAG, los documentos se dividen en chunks que se convierten en embeddings y se guardan para búsqueda vectorial. Chunks de unos 200 a 800 tokens con un 10 a 20% de solapamiento son un punto de partida habitual. Esta herramienta divide por párrafos y frases para no cortar ideas por la mitad, y repite el final de cada chunk al principio del siguiente como solapamiento.
Cómo usarla
- Pega tu documento. Texto plano o Markdown.
- Ajusta el tamaño y el solapamiento. En tokens estimados (unos 4 caracteres cada uno).
- Revisa y copia. Mira cada chunk con su tamaño y cópialos todos como JSON.
Ejemplo
Un manual dividido en fragmentos con solapamiento, copiado como JSON:
Entrada
Un manual en inglés de 6.000 palabras (unos 8.000 tokens)
Tamaño de fragmento: 400 tokens · Solapamiento: 50 tokensSalida
[
"1. Introduction. This handbook explains how support requests are handled…",
"…are handled from first contact to resolution. 2. Opening hours…",
…
]
Unos 23 fragmentos de hasta 400 tokens cada unoErrores comunes y cómo solucionarlos
La entrada es demasiado larga para el modelo de embeddings- Un fragmento supera lo que acepta el modelo de embeddings. Baja el tamaño de fragmento para que el mayor quepa con margen.
Las respuestas omiten información que está en el documento- Los fragmentos son demasiado pequeños para llevar contexto, o la frase clave quedó cortada. Prueba fragmentos más grandes o más solapamiento, y añade el título del documento a cada fragmento.
La búsqueda devuelve el mismo texto dos veces- Un solapamiento grande pone las mismas frases en fragmentos vecinos. Bájalo al 10–20 % o elimina duplicados tras la recuperación.
Las tablas y el código salen rotos- Dividir por frases corta filas y bloques de código. Mantén tablas y bloques de código como fragmentos propios.
Preguntas frecuentes
¿Cuál es el mejor tamaño de chunk para RAG?
No hay uno único. De 200 a 800 tokens es un inicio habitual; los chunks pequeños dan coincidencias más precisas y los grandes conservan más contexto. Pruébalo con tus propias preguntas.
¿Por qué solapar los chunks?
Para que una frase o idea en el borde de un chunk también aparezca en el siguiente y no se pierda si solo se recupera uno de ellos.
¿Los chunks deben seguir los párrafos?
Sí, cuando sea posible. Dividir por párrafos y frases mantiene cada chunk legible y con sentido.
¿Siempre necesito RAG?
No. Si tus documentos caben en la ventana de contexto del modelo, enviarlos directamente con caché de prompts es más sencillo y a menudo más preciso.
¿Se sube mi documento?
No. La división se hace en tu navegador.
¿Qué es RAG?
Generación aumentada por recuperación: para cada pregunta se buscan los fragmentos más relevantes de tus documentos y se dan al modelo, para que la respuesta se base en tus datos.
¿Qué son los embeddings?
Listas de números que representan el significado de un texto. Los textos parecidos obtienen números parecidos, y así la búsqueda vectorial encuentra los chunks relevantes.
¿Debo añadir títulos o metadatos a cada chunk?
Sí. Añadir el título del documento, el encabezado de la sección o la fuente a cada chunk mejora la recuperación y permite citar de dónde sale cada respuesta.
¿Cuántos chunks debo recuperar por pregunta?
Normalmente de 3 a 10: suficientes para cubrir la respuesta sin llenar el prompt de texto que no viene al caso. Pruébalo con preguntas reales.
¿El tamaño del chunk influye en el coste?
Sí. Chunks más grandes y más chunks recuperados significan más tokens de entrada en cada pregunta.
Fuentes
Relacionado
- Contador de tokens para LLM
- Por qué un bot pequeño puede prescindir de la base de datos vectorial
- Contratar a un desarrollador de RAG y agentes de IA
- Todas las herramientas gratis