View a markdown version of this page

Evaluación con Inspect AI - Amazon Nova

Evaluación con Inspect AI

Puede evaluar sus modelos personalizados de Amazon Nova con Inspect AI, un marco de evaluación de código abierto. Inspect AI es compatible con los puntos de referencia estandarizados de la comunidad de investigadores de IA, lo que le permite medir el rendimiento de los modelos en función del conocimiento, el razonamiento, la codificación y las tareas de seguridad.

Elija el enfoque de evaluación que mejor se adapte a su flujo de trabajo:

  • Inspect AI SDK: Ejecute evaluaciones de forma interactiva desde un cuaderno o un entorno local en el punto de conexión de inferencia de SageMaker. Ideal para el desarrollo, la iteración y las pruebas rápidas.

  • Contenedor Inspect AI: Ejecute evaluaciones a escala como trabajos de entrenamiento de SageMaker. Ideal para procesos de evaluación de la producción, ya que permite encadenar múltiples puntos de referencia y flujos de trabajo automatizados.

Flujo de trabajo recomendado: Comience con el Inspect AI SDK para crear y probar los puntos de referencia de evaluación personalizados mediante la petición de incorporación del asistente de IA y, a continuación, ejecute las evaluaciones con la solución de inferencias que prefiera. Una vez que los puntos de referencia estén completamente validados, podrá pasar sin problemas a la evaluación basada en el trabajo usando el contenedor Inspect AI, sin necesidad de cambiar el código. Solo tiene que trasladar los archivos de referencia y el archivo de la fórmula a S3 e iniciar el trabajo.

Temas