O Divisor de Arquivos é responsável por fragmentar grandes documentos em partes menores e semanticamente coerentes, facilitando o processamento por modelos de linguagem e o armazenamento em Vector Stores.
Por que dividir documentos
Modelos de linguagem possuem limite de tokens
Fragmentos menores melhoram a precisão da busca semântica
Reduz custo e melhora performance
Estratégias de divisão
Por tamanho fixo de tokens
Por parágrafos ou seções
Com sobreposição (overlap) para preservar contexto
Exemplo de uso
Dividir um manual de 200 páginas em blocos reutilizáveis
