Palavra em PLN: Unidade Fundamental de Processamento de Linguagem

Em Processamento de Linguagem Natural (PLN), uma palavra é uma sequência de caracteres (letras, números, símbolos) que representa uma unidade linguística significativa. É o menor elemento autônomo que transmite conteúdo semântico.

Aspectos Principais

• Tokenização: divisão de texto em palavras (tokens) – primeiro passo crítico de PLN.
• Partes do discurso: substantivos, verbos, adjetivos, advérbios, etc., cada um com papéis gramaticais.
• Representações: one-hot, TF-IDF, word embeddings (Word2Vec, GloVe, BERT) capturando relações semânticas.
• Ambiguidade: polisemia (múltiplos significados) e homonímia desafiam a desambiguação.

Palavras são os blocos de construção de frases, parágrafos e documentos; compreender sua estrutura e significado fundamenta todas as tarefas de PLN.