As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Avaliar e comparar o desempenho do modelo

Avalie seus modelos de classificação de texto implantados usando o framework de avaliação. O framework permite o uso dos modos de avaliação supervisionada e não supervisionada por meio de uma abordagem baseada em caderno.

Usar conjuntos de dados integrados

Recomendamos usar o conjunto de dados de avaliação supervisionado integrado para este tutorial, pois a maioria dos usuários não tem dados de avaliação rotulados prontamente disponíveis. Os conjuntos de dados integrados fornecem uma análise abrangente de desempenho em diferentes cenários:

A avaliação gera métricas importantes, incluindo exatidão, precisão, recall F1-score, coeficiente de correlação de Matthews (MCC) e pontuações das características operacionais do receptor Area Under the Curve com curvas visuais para comparação de modelos.

Usar dados personalizados

Se você tiver seu próprio conjunto de dados rotulados, poderá substituí-lo no caderno. O framework se adapta automaticamente ao seu formato de dados e gera as mesmas métricas abrangentes.

Formatos de dados compatíveis:

Configurar o ambiente de avaliação

Crie um JupyterLab espaço no SageMaker Amazon SageMaker Studio para executar o caderno de avaliação.

Acessar o caderno de avaliação

Baixe o arquivo zip e descompacte-o em sua máquina local. Carregue toda a pasta extraída em seu JupyterLab espaço para começar a testar seus modelos. O pacote contém o caderno de avaliação principal, conjuntos de dados de amostra, módulos Python de suporte e instruções detalhadas para o framework de avaliação completo.

Continue em Interpretar seus resultados para aprender a analisar o resultado da avaliação e tomar decisões de seleção de modelos orientadas por dados.