Smart zone: os primeiros 100K tokens do seu LLM valem ouro

Você já sentiu que o LLM fica mais burro depois de uma conversa longa? Aquela sensação de que as primeiras respostas foram certeiras e, de repente, o modelo começa a ignorar instruções, esquecer detalhes ou produzir slop (termo cunhado por Simon Willison para descrever texto gerado por IA sem esforço ou qualidade)?

Não é impressão sua. Tem nome, e tem como monitorar.

Matt Pocock — criador da Total TypeScript e figura conhecida na comunidade dev — cunhou o conceito de smart zone (área inteligente) para descrever uma janela de ouro de aproximadamente 100 mil tokens onde o modelo mantém foco total. Depois disso a conversa entra na dumb zone (área burra), e as respostas começam a fazer cada vez menos sentido conforme o contexto vai se acumulando.

Neste post você vai entender o fenômeno, o que a pesquisa diz sobre ele e como usar o CLI npx apiario para monitorar sua smart zone em tempo real e não ser pego de surpresa. Se ainda não configurou o ambiente, comece pelo guia de primeiros passos com npx apiario.

O que é a smart zone?

A smart zone é o período de uma sessão LLM em que o modelo opera com máxima atenção aos seus prompts. Matt Pocock cunhou o termo ao observar experimentalmente que, em sessões longas, o modelo responde com nível de qualidade alto até aproximadamente 100 mil tokens de entrada acumulados — e que, depois desse limite, a qualidade degrada, não de forma discreta, mas numa curva descendente. Esta é a dumb zone.

Importante: os 100K são uma observação empírica, não uma constante da arquitetura. Matt observou esse comportamento nos modelos que usava; modelos diferentes podem ter smart zones diferentes — para alguns, maiores; para outros, bem menores. Trate os 100K como ponto de partida, não como regra universal.

Um ponto crucial: a smart zone não é um percentual da janela de contexto. Modelos que anunciam janelas enormes — de 1 milhão de tokens ou mais — na prática costumam manter a alta qualidade apenas numa fração dela. O resto da janela existe tecnicamente — os tokens estão lá — mas o modelo dá sinais de “perder o rumo”: ignora instruções do system prompt, embaralha informações do meio da conversa e gera respostas inconsistentes. De acordo com Matt, modelos com contextos enormes apenas esticam a dumb zone. Já modelos de janela curta, como o GPT-4 (8K), tendem a operar bem durante a janela inteira — para eles, toda a janela costuma estar na smart zone.

Por que isso acontece?

Não existe uma “física” da smart zone: a degradação em contextos longos é um comportamento empírico, documentado em benchmarks e observado na prática — e varia de modelo para modelo. Uma boa analogia, de Matt Pocock, é a de um campeonato de futebol: nas primeiras rodadas (smart zone), o modelo consegue manter o time inteiro em mente. Conforme o torneio avança e mais partidas acontecem (mais tokens), fica impossível lembrar de todos os jogadores, resultados e jogadas. O modelo começa a generalizar, achatar e eventualmente ignorar informação antiga.

A observação de Matt é corroborada pela pesquisa. O estudo Lost in the Middle: How Language Models Use Long Contexts (Liu et al., 2023) demonstrou que modelos performam significativamente pior quando a informação relevante está no meio de um contexto longo — um cenário parecido com o de uma sessão extensa. O benchmark RULER: What’s the Real Context Size of Your Long-Context LMs? (Hsieh et al., 2024) documentou que a performance cai drasticamente conforme o contexto cresce, com effective length muito abaixo da janela anunciada na maioria dos modelos. E o LongBench v2 (Bai et al., 2024) confirmou a queda de qualidade em tarefas longas realistas mesmo em modelos de janela gigante.

A conclusão prática: a degradação existe e é real, mas onde exatamente cada modelo perde qualidade só dá para descobrir testando — a smart zone de um modelo não vale para outro.

Janela de contexto por modelo

Como a smart zone varia por modelo, o primeiro passo é saber a janela total de cada um — lembrando que janela total não é smart zone. Abaixo, as janelas de contexto anunciadas oficialmente pelos providers:

Modelo	Janela Total (oficial)
Claude Sonnet 5	1M
Claude Opus	1M
GPT-4	8K
Gemini Pro	1M
DeepSeek V3	128K
DeepSeek V4	1M

Repare na variação: do GPT-4 (8K) ao Gemini Pro (1M) são mais de 100x de diferença na janela — e a smart zone de cada modelo acompanha essa variação. O que a pesquisa mostra é que, em janelas muito grandes, o modelo degrada antes do fim; onde exatamente isso acontece é específico de cada modelo. Saber disso muda completamente como você planeja suas sessões.

Fontes da tabela: janelas oficiais nas documentações de cada provider: Anthropic Models, OpenAI Models (GPT-4), Google Gemini, DeepSeek-V3. Smart zones não são documentadas pelos providers — são observações empíricas (como a de Matt) e por isso não aparecem na tabela.

Monitorando o contexto com npx apiario

Agora a parte prática: como saber se você está saindo da smart zone? Você pode sentir a degradação (subjetivo), ou pode monitorar com dados (objetivo).

O CLI npx apiario já te dá essa informação em tempo real, sem nenhum comando extra. Na parte inferior da TUI, uma status line mostra o estado atual da sessão:

A status line exibe algo como:

↑32.5k ↓21.7k ctx:6% R$ 0.057

Isso significa:

• ↑32.5k — tokens de entrada (input) acumulados na sessão
• ↓21.7k — tokens de saída (output) gerados na sessão
• ctx:6% — porcentagem da janela de contexto do modelo que já foi preenchida
• R$ 0,057 — custo acumulado da sessão

A porcentagem de contexto (ctx) é uma referência útil, mas com uma ressalva: ela é relativa à janela total do modelo. Em um modelo de 200K, ctx:50% representa ~100K tokens; em um modelo de 1M, os mesmos 50% representam ~500K — muito além de qualquer smart zone razoável. Como a smart zone varia por modelo, a bússola mais confiável é o contador de tokens de entrada (↑): compare-o com o comportamento que você já conhece do seu modelo. Para modelos de janela longa, os ~100K da observação de Matt são um bom ponto de partida; para modelos de janela curta, como o GPT-4 (8K), a janela inteira costuma estar na smart zone.

A solução? Use /new para iniciar uma nova sessão com contexto fresco:

A estratégia recomendada é simples: divida tarefas complexas em múltiplas fases. Para cada fase, abra uma nova sessão. Exemplo:

1. Ao iniciar uma sessão você desenha o escopo do seu problema
2. O agente vai fazer pesquisa no código, na internet, gerar um entendimento
3. Antes de iniciar a implementação, escreve um arquivo, tarefa ou issue
4. Inicia uma nova sessão que lê este arquivo/tarefa/issue e implementa

Assim você garante que cada fase recebe o melhor do modelo, sem contaminação da dumb zone.

Estratégias para maximizar a smart zone

Saber que a smart zone existe é meio caminho andado. O outro meio é agir:

• Desmembrar tarefas: quebre um problema grande em subproblemas independentes. Cada subproblema vira uma sessão separada e recebe o modelo no auge.
• Planos com diferentes fases com /new: planeje o trabalho em fases e use o comando /new entre cada uma. O custo de reiniciar é quase zero comparado ao ganho de qualidade.
• Contexto fresco vence compactação: tentar “resumir o contexto até agora” e continuar na mesma sessão raramente funciona bem. Resumir perde nuance. Melhor recomeçar com um prompt bem escrito que carregue só o essencial.
• Agentes em paralelo: para tarefas que podem rodar em paralelo (gerar múltiplos arquivos, explorar alternativas de solução), abra terminais separados com sessões independentes (técnica de paralelização de tarefas exploratórias em workers isolados, como Docker + git worktree). Cada uma opera na smart zone do começo ao fim.

Se quiser aprofundar, a Anthropic publicou um guia sobre como gerenciar o contexto de agentes na prática — recomendo a leitura: Effective context engineering for AI agents.

Conclusão

A smart zone não é um bug — é um comportamento empírico, documentado na pesquisa e observado na prática, que varia de modelo para modelo. Saber disso coloca você na frente: em vez de lutar contra a degradação do contexto, você trabalha com ela, planejando sessões curtas e focadas.

O CLI npx apiario te dá visibilidade sobre onde você está na curva de atenção — direto na status line, sem precisar de comando extra. Com um olhar você vê os tokens de entrada (↑32.5k), saída (↓21.7k), a porcentagem de contexto preenchido (ctx:6%) e o custo da sessão; quando chegar ao limite, um /new renova a smart zone.

Experimente monitorar sua smart zone hoje mesmo: rode npx apiario no terminal, faça algumas perguntas e observe a status line — veja os tokens de entrada acumulados e a porcentagem de contexto preenchido subir em tempo real. Quando notar degradação de qualidade (ou os tokens de entrada se aproximarem da smart zone do seu modelo), use /new e compare a primeira resposta — você vai sentir a diferença.

Agora vá lá, monitore sua smart zone, e que a abelha esteja com você. 🐝

Referências

1. Matt Pocock — The Smart Zone & AI Coding Workflow (AI Engineer Europe 2026). YouTube
2. Liu et al. (2023) — Lost in the Middle: How Language Models Use Long Contexts. arXiv
3. Hsieh et al. (2024) — RULER: What’s the Real Context Size of Your Long-Context LMs? (COLM 2024). arXiv
4. Bai et al. (2024) — LongBench v2: Towards Deeper Understanding and Reasoning on Realistic Long-Context Multilingual Tasks. arXiv
5. Simon Willison (2024) — Slop is the new name for unwanted AI-generated content. Blog
6. Anthropic (2025) — Effective context engineering for AI agents. Blog