Kitaru: Um Servidor MCP para Avaliação de Agentes de IA e Execução Durável
Kitaru, da Zenml IO, é um servidor MCP projetado para avaliar agentes de IA por meio de métodos baseados em replay. Construído principalmente com Python, oferece SDKs e adaptadores em TypeScript, distribuindo componentes Python via PyPI. Kitaru integra-se com repositórios de rastreamento existentes como Langfuse e LangSmith, importando dados em vez de substituir pilhas de observabilidade. Ele suporta equipes com agentes de IA em produção, fornecendo ferramentas para testes de regressão e depuração. O servidor opera como um serviço FastAPI respaldado por Postgres, facilitando a interação do agente e o gerenciamento de sessões.
O que o Kitaru conecta?
O Kitaru funciona como um servidor MCP, conectando-se a agentes de IA para avaliações baseadas em replay. Ele se integra a armazéns de rastreamento existentes, como Langfuse, LangSmith, Braintrust, Logfire e Arize Phoenix, importando rastros sem substituir esses sistemas. O servidor em si é um serviço FastAPI, utilizando Postgres para seu backend. Ele suporta comunicação com clientes de IA compatíveis e assistentes de codificação como Claude Code, Codex e Cursor. Adaptadores de framework estão disponíveis para PydanticAI, LangGraph e o OpenAI Agents SDK em Python, juntamente com Mastra e o Vercel AI SDK em TypeScript.
Recursos e ferramentas principais
O Kitaru fornece várias ferramentas chamáveis, incluindo comandos CLI como "kitaru login", "kitaru status" e "kitaru agent register". As primitivas do SDK incluem @flow e @checkpoint para agentes Python, além de funções como kitaru.llm() e kitaru.get_secret(). O modelo de objeto central, que abrange agentes, sessões, coortes, avaliadores, experimentos, replays, segredos e tags, é exposto através de uma API REST versionada em "/api/v1/...". Esta API serve como o protocolo de transporte principal para o servidor Kitaru.
Para quem é?
O Kitaru é direcionado a equipes com agentes de IA em produção que requerem avaliação e testes de regressão além da inspeção manual. Ele também atende equipes que desenvolvem sistemas autônomos destinados a operação prolongada. Essas equipes se beneficiam de sua capacidade de transformar rastros problemáticos de produção em sessões replays para depuração. A plataforma ajuda a comparar sessões replays com alterações de código para identificar melhorias ou regressões. Isso não é adequado se sua equipe não trabalha com agentes de IA ou sistemas autônomos.
Como começar
O servidor autentica usando uma chave de API passada como uma variável de ambiente ou um token de login. Isso pode ser configurado através da variável de ambiente KITARU_API_KEY, sendo o protocolo de transporte principal uma API REST versionada simples (HTTP/HTTPS).
Casos de uso
- Avaliação e testes de regressão baseados em replay: Grave ou importe execuções de produção como sessões, reproduza-as contra alterações de código e compare para identificar melhorias ou regressões.
- Depuração e investigação de falhas de agentes: Transforme rastros problemáticos de produção em sessões replays e use assistentes de codificação para revisar e anotar problemas.
- Execução durável para agentes Python assíncronos: Fornece recuperação de falhas, capacidades de humano no loop e a capacidade de reproduzir a partir de qualquer ponto de verificação.
Kitaru oferece uma plataforma especializada para gerenciar e avaliar agentes de IA em produção, apoiando fluxos de trabalho críticos desde testes de regressão até execução durável. Sua integração com repositórios de rastreamento existentes e o uso de APIs padrão a tornam uma adição prática para equipes de desenvolvimento de IA. O sistema fornece ferramentas claras para gerenciamento do ciclo de vida do agente e avaliação de desempenho.
