O Langfuse publicou em 24 de outubro a versão 4.70.0, que adiciona uma ferramenta MCP para executar avaliações em lote. O recurso integra uma prévia que precisa estar habilitada na instalação. Notas da versão e código da ferramenta.
Execução e limites
Com o runBatchEvaluation, agentes podem aplicar avaliadores salvos às observações já registradas no projeto. O processamento entra em uma fila e devolve um identificador para acompanhar o lote. As notas e os registros gerados recebem o campo batch_action_id.
A execução exige permissão para criar ou alterar avaliações, respeita a janela de dados do plano e pode gerar custos de modelos ou código. O projeto orienta conferir a seleção antes do disparo. Condições da prévia.
A atualização também inclui consultas experimentais de Topics, somente para leitura, e volta a exigir segredos quando muda o destino de um webhook ou da integração com PostHog.
O que está sendo avaliado
Na documentação do Langfuse, um avaliador LLM-as-a-Judge usa um modelo para pontuar a saída de uma aplicação segundo critérios definidos. Essa definição reúne instruções, modelo, tipo de nota e mapeamento dos dados recebidos.
O material distingue observações de produção e experimentos com conjuntos de teste. Também recomenda comparar as notas automáticas com exemplos avaliados por pessoas antes de confiar no julgamento. São conceitos de funcionamento anteriores à versão anunciada. Documentação de avaliação.
Como acompanhar o uso em automações
Na análise da Nextags, a mudança aproxima avaliação e automação: uma equipe pode repetir uma verificação sobre respostas armazenadas sem selecionar cada item manualmente. O valor desse processo depende dos critérios escolhidos e da qualidade da amostra.
Num fluxo de atendimento, por exemplo, faz sentido definir primeiro o que será medido: aderência às informações da empresa, clareza ou cumprimento de uma instrução. Depois, é possível comparar resultados entre períodos ou versões de um assistente. O recorte precisa ser consistente para que a comparação ajude a orientar uma decisão.
A nota produzida por um modelo continua exigindo revisão e calibração. Antes de ampliar a quantidade de registros processados, a equipe precisa conhecer a seleção, o orçamento e as permissões de quem dispara a tarefa. Esses cuidados dão contexto ao uso de uma ferramenta que executa trabalho e consome recursos.
Captura da configuração de avaliadores do Langfuse, incorporada à documentação em março de 2025. Crédito: Langfuse GmbH, licença MIT. Recorte da seção superior, redimensionamento, margens e conversão WebP. Origem · Licença e copyright.
Fontes e referências
As informações foram verificadas nas fontes abaixo. Novos fatos podem atualizar esta notícia.
Conteúdo de Angelo Sebastião Silva Goncalves. Preparado com apoio de IA. Consulte as fontes e os critérios editoriais. Conheça nossos critérios editoriais e como solicitar uma correção.
