# Avaliação com o Inspect AI
<a name="nova-eval-inspect-ai"></a>

É possível avaliar modelos personalizados do Amazon Nova usando o [Inspect AI](https://github.com/UKGovernmentBEIS/inspect_ai), um framework de avaliação de código aberto. O Inspect AI é compatível com avaliações comparativas padronizadas da comunidade de pesquisa em IA, permitindo mensurar a performance do modelo em tarefas de conhecimento, raciocínio, programação e segurança.

Escolha a abordagem de avaliação que melhor se adapta ao seu fluxo de trabalho:
+ **SDK do Inspect AI**: execute avaliações de forma interativa de um caderno ou ambiente local para o endpoint de inferência do SageMaker. É a abordagem ideal para desenvolvimento, iteração e testes rápidos.
+ **Contêiner do Inspect AI**: execute avaliações em grande escala, como Tarefas de Treinamento do SageMaker. É a abordagem ideal para pipelines de avaliação de produção, encadeamento de diversas avaliações comparativas e fluxos de trabalho automatizados.

**Fluxo de trabalho recomendado:** comece com o SDK do Inspect AI para criar e testar as avaliações comparativas de avaliação personalizadas usando o [prompt de integração do assistente de IA](https://github.com/aws-samples/amazon-nova-samples/blob/main/customization/sagemaker-inspect-ai/ai_assisted_benchmark_creation.md) e, em seguida, execute avaliações na solução de inferência de sua preferência. Assim que as avaliações comparativas estiverem totalmente validadas, você poderá alternar de forma fluida para a avaliação baseada em tarefas usando o contêiner do Inspect AI, sem necessidade de alterações no código. Basta mover os arquivos de avaliação comparativa e o arquivo de receita para o S3, e iniciar o trabalho.

**Topics**
+ [Avaliação com o SDK do Inspect AI](nova-eval-on-sagemaker-inference.md)
+ [Avaliação com o contêiner do Inspect AI](nova-eval-inspect-ai-container.md)