View a markdown version of this page

RESCALE_OUTLIERS_WITH_SKEW - AWS Glue DataBrew Guide du développeur

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

RESCALE_OUTLIERS_WITH_SKEW

Renvoie une nouvelle colonne avec une valeur aberrante redimensionnée dans chaque ligne, en fonction des paramètres définis. Cette action permet de réduire l'asymétrie de distribution en appliquant le log ou la transformation racine spécifiée. Nous recommandons cette action pour traiter les données asymétriques.

Parameters
  • sourceColumn— Spécifie le nom d'une colonne numérique existante susceptible de contenir des valeurs aberrantes.

  • targetColumn— Spécifie le nom d'une colonne numérique existante susceptible de contenir des valeurs aberrantes.

  • outlierStrategy— Spécifie l'approche à utiliser pour détecter les valeurs aberrantes. Les valeurs valides sont les suivantes :

    • Z_SCORE— Identifie une valeur comme valeur aberrante lorsqu'elle s'écarte de la moyenne d'un écart supérieur au seuil d'écart type.

    • MODIFIED_Z_SCORE— Identifie une valeur comme valeur aberrante lorsqu'elle s'écarte de la médiane d'une valeur supérieure au seuil d'écart absolu médian.

    • IQR— Identifie une valeur comme une valeur aberrante lorsqu'elle se situe au-delà du premier et du dernier quartile des données de colonne. L'intervalle interquartile (IQR) mesure où se situent les 50 % intermédiaires des points de données.

  • threshold— Spécifie la valeur de seuil à utiliser lors de la détection des valeurs aberrantes. La sourceColumn valeur est identifiée comme une valeur aberrante si le score calculé avec le outlierStrategy dépasse ce nombre. La valeur par défaut est 3.

  • skewFunction— Spécifie la méthode à utiliser lors du remplacement des valeurs aberrantes. Les valeurs valides sont les suivantes :

    • LOG — Applique une transformation forte pour réduire les biais positifs et négatifs. Il s'agit d'un logarithme naturel (2,718281828).

    • ROOT (withvalue = 3) — Applique une transformation assez forte pour réduire les biais positifs et négatifs. (Racine cubique)

    • ROOT (withvalue = 2) — Applique une transformation modérée pour réduire uniquement l'inclinaison positive. (Racine carrée)

    • SQUARE — Applique une transformation modérée pour réduire l'inclinaison négative. (Carré)

    • Transformation personnalisée — Applique la transformation spécifiée LOG ou la ROOT transformation à l'aide du numéro personnalisé fourni dans le value paramètre.

  • value— Spécifie la valeur à utiliser pour la transformation personnalisée. S'il s'skewFunctionagit de LOG, cette valeur représente la base du journal. S'il s'skewFunctionagit de ROOT, cette valeur représente la puissance de la racine.

Les exemples suivants montrent la syntaxe d'une seule RecipeActionopération. Une recette contient au moins une RecipeStepopération et une étape de recette contient au moins une action de recette. Une action de recette exécute la transformation des données que vous spécifiez. Un groupe d'actions de recette s'exécute dans un ordre séquentiel pour créer le jeu de données final.

JSON

Voici un exemple RecipeAction à utiliser en tant que membre d'un RecipeStep exemple de DataBrew recette, en utilisant la syntaxe JSON. Pour des exemples de syntaxe présentant une liste d'actions de recette, consultezDéfinition de la structure d'une recette.

Exemple Exemple en JSON
{ "Action": { "Operation": "RESCALE_OUTLIERS_WITH_SKEW", "Parameters": { "outlierStrategy": "Z_SCORE", "threshold": "3", "skewFunction": "ROOT", "sourceColumn": "name-of-existing-column", "targetColumn": "name-of-new-column", "value": "4" } } }

Pour plus d'informations sur l'utilisation de cette action de recette dans une opération d'API, consultez CreateRecipeou UpdateRecipe. Vous pouvez utiliser ces opérations d'API ainsi que d'autres dans votre propre code.

YAML

Voici un exemple RecipeAction à utiliser en tant que membre d'un RecipeStep exemple de DataBrew recette, en utilisant la syntaxe YAML. Pour des exemples de syntaxe présentant une liste d'actions de recette, consultezDéfinition de la structure d'une recette.

Exemple Exemple en YAML
- Action: Operation: RESCALE_OUTLIERS_WITH_SKEW Parameters: outlierStrategy: Z_SCORE threshold: '3' skewFunction: ROOT sourceColumn: name-of-existing-column targetColumn: name-of-new-column value: '4'

Pour plus d'informations sur l'utilisation de cette action de recette dans une opération d'API, consultez CreateRecipeou UpdateRecipe. Vous pouvez utiliser ces opérations d'API ainsi que d'autres dans votre propre code.