Checklist de testes externos de IA da v1.9.7¶
Testes externos são opt-in e usam somente SOTUHIRE_TEST_GEMINI_API_KEY, SOTUHIRE_TEST_OPENAI_API_KEY e, opcionalmente, as variáveis de Ollama. Nunca passe chave por CLI.
- confirme somente a presença booleana das variáveis;
- execute
pytest -m external_ai; - execute
python scripts/run_ai_benchmark.py --suite release-smoke --providers available; - confira schema, provider/modelo usado, trace, tokens e custo quando disponíveis;
- execute o scan sem imprimir correspondências secretas;
- remova relatórios temporários que não serão publicados;
- limpe as quatro variáveis do processo ao concluir.
O smoke usa fixtures fictícias e até 10 chamadas por provider. Se uma variável estiver ausente, o provider correspondente deve ser marcado como skipped, nunca simulado como teste real.