TOON: um novo formato para falar a língua dos LLMs

Se você já tentou passar um JSON longo para um modelo de linguagem, sabe que a estrutura tradicional não ajuda: tokens demais, redundância desnecessária, validação incerta e ambiguidade em strings.

TOON (Token-Oriented Object Notation) parte de uma premissa clara: dados estruturados precisam de um formato que modele bem a linguagem dos LLMs. JSON nasceu para máquinas. TOON nasceu para LLMs.

A proposta é pragmática. TOON não quer substituir o JSON no backend nem rivalizar com YAML em legibilidade. Seu foco é um só: gerar representações token-eficientes e semanticamente explícitas para prompts e saídas de modelos de linguagem.

O que muda, na prática

TOON combina três ideias que sozinhas já funcionam bem — mas aqui atuam em conjunto:

1. Indentação baseada em escopo, como YAML, eliminando colchetes e chaves.
2. Declaração tabular de arrays uniformes, como CSV, com cabeçalhos de campos e contagem explícita de itens.
3. Quoting e escaping sensível ao delimitador, evitando ambiguidade sem exagerar nas aspas.

Exemplo:

{
  "users": [
    { "id": 1, "name": "Alice", "role": "admin" },
    { "id": 2, "name": "Bob", "role": "user" }
  ]
}

vira, em TOON:

users[2]{id,name,role}:
  1,Alice,admin
  2,Bob,user

Sem colchetes, sem chaves repetidas, sem aspas supérfluas. A contagem [2] e o cabeçalho {id,name,role} tornam o parsing confiável mesmo para modelos não determinísticos.

Tokenização: os dados contam

O time por trás do TOON rodou benchmarks com 209 perguntas de recuperação de dados em 4 modelos (GPT-5-nano, Claude, Gemini, Grok). TOON foi o único formato que combinou eficiência de tokens com alta acurácia.

• TOON: 73,9% de acerto com 2.744 tokens
• JSON compactado: 70,7% com 3.081 tokens
• JSON formatado: 69,7% com 4.545 tokens
• YAML: 69,0% com 3.719 tokens
• XML: 67,1% com 5.167 tokens

A diferença não está só no tamanho. Está na estrutura que permite ao modelo raciocinar com menos ruído.

TOON também entrega mais por token em datasets grandes:

• Em arrays tabulares 100% planos, como logs e cadastros, chega a superar JSON em até 60% de economia.
• Mesmo em estruturas mistas ou aninhadas, como configs e eventos, segue mais compacto que YAML e XML.
• 

Casos de uso reais

TOON se destaca em três contextos operacionais:

• Preenchimento de prompt com dados tabulares: mais controle sobre delimitadores e contagem de itens evita hallucinations.
• Output supervisionado de modelos: TOON força consistência e facilita validação posterior.
• Intercâmbio entre ferramentas baseadas em LLMs: melhora a interoperabilidade sem custar legibilidade.

Vale a pena trocar JSON por TOON?

Depende.

Para consumo humano, JSON ainda vence em ubiquidade. Para serialização generalista, ele é suficiente. Mas quando o cliente é um LLM — e o orçamento é contado em tokens — TOON se paga rápido.

A vantagem não é só de compressão. É de robustez na inferência: o modelo entende melhor, com menos.

E o projeto já vem pronto para produção:

• SDK TypeScript com encode() e decode()
• CLI que converte JSON ↔ TOON, com suporte a delimitadores alternativos (vírgula, tab, pipe)
• Key folding para simplificar paths longos (data.metadata.items vira data.metadata.items[2]:)

Está tudo no repositório: toon-format/toon

Um novo padrão?

TOON não é só um formato. É um ajuste fino na interface homem-modelo: menos tokens, mais estrutura, menos erro.

Num ecossistema onde cada token custa — e cada erro escala — TOON surge como alternativa técnica e econômica à altura do desafio.

A pergunta que fica: qual parte do seu pipeline ainda fala JSON com quem já pensa em TOON?

Link do projeto no Github: https://github.com/toon-format/toon?tab=readme-ov-file