Pular para conteúdo

Validação externa de providers — v1.9.8

Execução local opt-in em 28/07/2026 com chaves temporárias lidas exclusivamente de SOTUHIRE_TEST_GEMINI_API_KEY e SOTUHIRE_TEST_OPENAI_API_KEY. Nenhum valor foi impresso ou persistido. Modelos: gemini-2.5-flash e gpt-4.1-mini.

Resultado final

Execução Gemini OpenAI Local
pytest -m external_ai ping aprovado; structured output falhou MODEL_UNAVAILABLE 503 após tentativas dois casos BLOCKED_EXTERNAL_ACCOUNT / INSUFFICIENT_QUOTA N/A
provider-diagnostic 1/1 diagnóstico válido, 3.080 ms, 7 tokens de entrada/1 de saída 0/1, quota insuficiente, request ID sanitizado presente, sem retry 1/1
provider-structured-output 0/1, RATE_LIMIT 429, Retry-After=6,409s, 2 tentativas, 32.866 ms 0/1, quota insuficiente, 1 tentativa, 5.663 ms 4/4 schemas válidos
release-smoke 0/1, RATE_LIMIT 429, Retry-After=21,863s, 2 tentativas, 33.573 ms 0/1, quota insuficiente, 1 tentativa, 6.489 ms 12/12 schemas válidos

Relatórios: 20260728T082607Z-provider-diagnostic-197, 20260728T082620Z-provider-structured-output-197 e 20260728T082703Z-release-smoke-197.

Gemini não atingiu a meta externa de 0,98 nesta janela porque a conta atingiu o limite de requisições durante as tasks github_repo_analysis e wishlist_builder; não foi falha de schema retornado e nenhum reparo foi iniciado. O caso structured do external_ai encontrou 503 de alta demanda. A validação externa completa de Gemini permanece pendente até uma janela de quota estável.

OpenAI foi classificada como INSUFFICIENT_QUOTA, não como rate limit temporário, billing ativo ou project limit. Não houve retry, structured output válido nem baseline. OpenAI não está validada nesta conta.

O smoke agregado teve 14 casos e schema validity 0,857 porque inclui 12 locais válidos e os dois providers externos bloqueados. Não se declara vencedor: as amostras externas são n=1 por suite.

Checklist oficial

Esses links são de configuração; nenhuma chave acompanha a documentação.