Pular para conteúdo

Checklist de testes externos de IA da v1.9.7

Testes externos são opt-in e usam somente SOTUHIRE_TEST_GEMINI_API_KEY, SOTUHIRE_TEST_OPENAI_API_KEY e, opcionalmente, as variáveis de Ollama. Nunca passe chave por CLI.

  1. confirme somente a presença booleana das variáveis;
  2. execute pytest -m external_ai;
  3. execute python scripts/run_ai_benchmark.py --suite release-smoke --providers available;
  4. confira schema, provider/modelo usado, trace, tokens e custo quando disponíveis;
  5. execute o scan sem imprimir correspondências secretas;
  6. remova relatórios temporários que não serão publicados;
  7. limpe as quatro variáveis do processo ao concluir.

O smoke usa fixtures fictícias e até 10 chamadas por provider. Se uma variável estiver ausente, o provider correspondente deve ser marcado como skipped, nunca simulado como teste real.