O significado do <em>token</em> na engrenagem que move a inteligência artificial

Quando escrevemos uma mensagem no ChatGPT ou pedimos a um assistente digital para resumir um documento, a resposta surge de forma quase instantânea no ecrã. O sistema parece conversar connosco como se fosse outra pessoa, mas a realidade tecnológica é diferente. Os computadores continuam sem conseguir processar o alfabeto humano da mesma forma que nós. Para os grandes modelos linguísticos, o mundo não é feito de letras ou de palavras completas, mas sim de pequenas parcelas de informação que os engenheiros informáticos designam por tokens.Compreender este conceito ajuda a perceber como funciona a inteligência artificial (IA) e a razão pela qual os serviços digitais apresentam limites de capacidade e custos associados. O token funciona como a unidade básica de medida e de processamento que a tecnologia utiliza para ler e gerar texto. Pode corresponder a uma palavra inteira, a uma única sílaba ou até a um mero espaço em branco.A divisão da linguagem assemelha-se a um jogo de blocos de construção. Em inglês, a eficiência do processo é elevada, estimando-se que cada unidade equivalha a cerca de quatro caracteres. Na língua portuguesa, devido às regras gramaticais e à abundância de acentuação gráfica, as palavras são frequentemente divididas em mais pedaços. Isto significa que o mesmo texto consome mais recursos computacionais em português do que no idioma original em que a tecnologia foi desenvolvida (o inglês).A matemática por detrás do códigoPara que o sistema consiga analisar a informação recebida, cada um destes fragmentos de texto é convertido num número específico. Quando enviamos uma pergunta, os servidores traduzem a frase numa sequência numérica, analisam os padrões estatísticos que aprenderam durante a fase de treino e calculam quais são os números seguintes mais prováveis para constituir a resposta, convertendo-os depois, novamente, em palavras legíveis.Este mecanismo implica que cada interacção acarreta um custo de processamento muito concreto. Se solicitarmos a elaboração de um roteiro de férias com base num texto extenso, o modelo terá de ler todos os fragmentos do pedido e gerar outros tantos para a resposta.É por este motivo que as empresas limitam o tamanho das mensagens. A chamada janela de contexto de um sistema representa a quantidade máxima destas unidades que a tecnologia consegue manter na memória ao mesmo tempo durante uma sessão. Se essa capacidade for ultrapassada ao longo do diálogo, o programa simplesmente esquece as primeiras frases que foram trocadas com o utilizador.O custo real de cada instruçãoUm exemplo prático ajuda a ilustrar o impacto deste funcionamento. Um pedido simples, como solicitar uma receita culinária rápida, consome habitualmente cerca de trinta unidades na pergunta e pode gerar perto de trezentas ou quatrocentas na resposta detalhada. No total, uma única interacção breve gasta perto de meio milhar destas fracções de processamento.Para as empresas que integram estas ferramentas nos seus serviços, o acesso aos servidores de desenvolvimento é facturado com base em pacotes de um milhão de tokens. Nos modelos mais avançados, o preço pode rondar cerca de 15 euros por cada milhão de unidades geradas na resposta. Embora pareça um valor reduzido à escala individual, a automação de milhares de contratos ou o atendimento contínuo de clientes faz com que as facturas tecnológicas subam com facilidade.As versões gratuitas destes modelos, as mais utilizadas, podem acarretar prejuízos gigantescos para as criadoras da tecnologia. Vários relatórios do sector apontam que empresas como a OpenAI e a Anthropic enfrentam custos operacionais avultados, uma vez que a capacidade computacional exigida pelos servidores para processar milhares de milhões de pedidos diários supera largamente as receitas das assinaturas. Estima-se que estas companhias percam milhares de milhões de dólares anualmente para manter os sistemas em funcionamento, o que levanta dúvidas sobre a sustentabilidade a longo prazo do modelo actual de gratuitidade.À medida que a tecnologia evolui, os investigadores procuram criar formas mais eficientes de codificação, permitindo que os sistemas processem volumes de informação maiores sem disparar os custos de energia e de servidores. No final, o motor que suporta a IA continua a depender de uma veloz operação de contagem de pedaços de texto.