Preços
agropecuários (CEPEA/ESALQ-USP).

Motivação

Produtor, cooperativa, corretor, jornalista e analista acompanham os indicadores do CEPEA todo dia, mas o site só mostra os últimos dias de cada um e o robô comum é barrado por um desafio de verificação. O DataX lê as páginas públicas como um leitor, uma vez por dia, e guarda a série em formato estável, com API, para que o histórico e o último valor estejam sempre à mão.

Composição

Unidade

Uma série por tabela da página do indicador (ex.: soja Paranaguá, soja Paraná, café arábica, café robusta, etanol hidratado e anidro), em um dia, uma semana ou um mês. Séries com várias praças (suíno, ovos, mandioca, leite) trazem o campo dim com o estado ou a região.

Campos

data (AAAA-MM-DD; fim do período nas semanais, dia 01 nas mensais) e uma coluna por valor, com nome seguro como chave JSON: brl e usd (reais e dólares), brl_litro, brl_t, centavos_brl_lp, a_prazo, pmp... As variações do dia e do mês da página não são guardadas: derivam do valor.

Unidade de medida

Vem nas notas de cada indicador (ex.: boi por arroba de 15 kg; soja por saca de 60 kg; açúcar por saca de 50 kg) e no nome da coluna. A API devolve as notas junto da série.

Cobertura: 13 indicadores pedidos (mais arroz e bezerro), com os últimos dias da página desde a primeira leitura e, quando a carga histórica roda, o histórico público do CEPEA (o boi vem desde 23/07/1997). A cobertura de cada série está em "desde" e "ate".

Como é coletado

Fonte oficial

CEPEA/ESALQ-USP, páginas públicas cepea.org.br/br/indicador/<indicador>.aspx e arquivos de "Série de preços" (.xls) linkados nelas.

Método

O site responde com o desafio "Um momento…" da Cloudflare ao acesso sem navegador. A coleta abre a página num Chromium sem janela (Playwright, no contêiner pnc_renderer, via docker exec, o mesmo caminho da ferramenta navega), como um leitor, e lê as tabelas. Sem contornar desafio interativo: se aparecer um, o indicador é pulado e a falha registrada (duas seguidas encerram a rodada).

Cadência

Uma visita por indicador por dia, depois que o CEPEA publica (fim da tarde), ~25 s entre visitas, navegador novo a cada visita. O bruto do dia fica em disco e rodar de novo no mesmo dia não visita de novo.

Orçamento de requisições

15 páginas por dia. A carga histórica baixa cada série pública uma única vez (um .xls por tabela), de madrugada.

Túnel

Não há.

Pré-processamento e limpeza

• Números no formato brasileiro (1.610,19) convertidos para decimal; "-" e vazio viram ausência, nunca zero. Zero publicado em coluna de preço (dia sem dado) também vira ausência.
• Rótulos de período ("27/10/2026", "19 - 23/10/2026", "26/10 a 27/10", "ago/26") viram AAAA-MM-DD do fim do período, com a periodicidade da série.
• Nomes de coluna padronizados entre a página e o arquivo histórico ("VALOR R$*" e "À vista R$" viram brl; "VALOR US$*", usd).

Checks de qualidade aplicados

• Esquema e unicidade: data válida, ao menos um valor numérico por linha, sem data/praça repetida; tabela com rótulo de período desconhecido é recusada e registrada, não adivinhada.
• Faixa: preço positivo.
• Câmbio implícito: reais divididos por dólares entre 0,8 e 9 (o real quase na paridade em 1997) em ao menos 99% dos períodos.
• Salto: um período novo que varie mais de 30% (diários) ou 60% (semanais e mensais) sobre o anterior da mesma praça fica retido.
• Pipeline de qualidade: área de espera, checks e promoção por série; a reprovada vai para quarentena e a API segue entregando a última versão boa. Valor já servido que o CEPEA revisar vira errata em /erratas.

Licença e usos

Licença

CEPEA (CC BY-NC 4.0), declarada nas páginas dos indicadores: uso não comercial, com atribuição "CEPEA/ESALQ-USP" e link para o indicador de origem. Uso comercial exige autorização do CEPEA.

Usos

Acompanhar preço de commodity e de insumo, comparar praças, séries históricas para estudo e jornalismo, pautas de mercado agropecuário. Não é cotação de bolsa nem recomendação de negócio.

Limitações conhecidas

• Indicadores de referência do CEPEA, apurados por pesquisa com agentes; não são preço de fechamento de bolsa.
• A licença do CEPEA é CC BY-NC 4.0 (uso não comercial): o uso comercial do dado exige autorização do CEPEA.
• O dia útil só entra depois da publicação do CEPEA (fim da tarde); fim de semana e feriado não têm valor.
• Se o site do CEPEA pedir verificação interativa, o indicador fica sem atualização até a próxima leitura; a página /dados/agro mostra isso.

Distribuição

Metadados (DCAT / schema.org Dataset)

dct:identifier

agro-cepea

dct:publisher

PIRANOT

dct:source

CEPEA/ESALQ-USP

dct:license

CC BY-NC 4.0 (CEPEA)

dct:accrualPeriodicity

diária (dias úteis)

Histórico de versões

Reportar erro

POST /api/v1/qualidade/reportar com dataset, chave_registro, valor_visto, valor_esperado e fonte_esperada (detalhes em /docs/qualidade). Correções confirmadas aparecem em /erratas. Sem chave, escreva para [email protected].

Aviso. O DataX PIRANOT organiza dados de fontes oficiais e pode conter erros ou atrasos. Confira na fonte oficial, indicada em cada dado, antes de qualquer decisão importante. Respostas geradas por IA podem errar.DataX PIRANOT organises data from official sources and may contain errors or delays. Check the official source, linked with each dataset, before any important decision. AI-generated answers can be wrong.