Codificação de Par de Bytes (BPE): Algoritmo de Compressão de Dados

Byte Pair Encoding (BPE) é um algoritmo de compressão de dados que reduz o tamanho de arquivos de texto substituindo iterativamente os pares de bytes adjacentes mais frequentes por bytes únicos não utilizados.

Como Funciona

1. Conte todos os pares de bytes adjacentes nos dados.
2. Substitua o par mais frequente por um novo byte não presente nos dados.
3. Repita até que não reste pares frequentes ou o nível de compressão desejado seja alcançado.

Resultado

Pode reduzir o tamanho do arquivo em até 50%. Amplamente usado em tokenização moderna para processamento de linguagem natural (ex.: modelos GPT) como um método de segmentação de subpalavras.