View a markdown version of this page

RESCALE_OUTLIERS_WITH_SKEW - AWS Glue DataBrew Guia do Desenvolvedor

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

RESCALE_OUTLIERS_WITH_SKEW

Retorna uma nova coluna com um valor atípico redimensionado em cada linha, com base nas configurações dos parâmetros. Essa ação funciona para reduzir a distorção da distribuição aplicando a transformação de log ou raiz especificada. Recomendamos essa ação para lidar com dados distorcidos.

Parâmetros
  • sourceColumn— Especifica o nome de uma coluna numérica existente que pode conter valores discrepantes.

  • targetColumn— Especifica o nome de uma coluna numérica existente que pode conter valores discrepantes.

  • outlierStrategy— Especifica a abordagem a ser usada na detecção de valores discrepantes. Os valores válidos incluem:

    • Z_SCORE— Identifica um valor como um valor atípico quando ele se desvia da média em mais do que o limite de desvio padrão.

    • MODIFIED_Z_SCORE— Identifica um valor como um valor atípico quando ele se desvia da mediana em mais do que o limite médio de desvio absoluto.

    • IQR— identifica um valor como discrepante quando ele ultrapassa o primeiro e o último quartil dos dados da coluna. O intervalo interquartil (IQR) mede onde estão os 50% médios dos pontos de dados.

  • threshold— Especifica o valor limite a ser usado ao detectar valores discrepantes. O sourceColumn valor é identificado como um valor atípico se a pontuação calculada com o outlierStrategy exceder esse número. O padrão é 3.

  • skewFunction— Especifica o método a ser usado ao substituir valores discrepantes. Os valores válidos incluem:

    • LOG — Aplica uma forte transformação para reduzir a inclinação positiva e negativa. Esse é um logaritmo natural (2.718281828).

    • RAIZ (comvalue = 3) — Aplica uma transformação bastante forte para reduzir a inclinação positiva e negativa. (Raiz cúbica)

    • RAIZ (comvalue = 2) — Aplica uma transformação moderada para reduzir somente a inclinação positiva. (Raiz quadrada)

    • QUADRADO — Aplica uma transformação moderada para reduzir a inclinação negativa. (Quadrado)

    • Transformação personalizada — Aplica a ROOT transformação especificada LOG ou usando o número personalizado fornecido no value parâmetro.

  • value— Especifica o valor a ser usado para a transformação personalizada. Se skewFunction for LOG, esse valor representa a base do log. Se skewFunction for ROOT, esse valor representa o poder da raiz.

Os exemplos a seguir exibem a sintaxe de uma única RecipeActionoperação. Uma receita contém pelo menos uma RecipeStepoperação e uma etapa de receita contém pelo menos uma ação de receita. Uma ação de receita executa a transformação de dados que você especifica. Um grupo de ações de receita é executado em ordem sequencial para criar o conjunto de dados final.

JSON

Veja a seguir um exemplo RecipeAction para usar como membro de um exemplo RecipeStep para uma DataBrew receita, usando a sintaxe JSON. Para exemplos de sintaxe que mostram uma lista de ações de receitas, consulteDefinindo uma estrutura de receita.

exemplo Exemplo em JSON
{ "Action": { "Operation": "RESCALE_OUTLIERS_WITH_SKEW", "Parameters": { "outlierStrategy": "Z_SCORE", "threshold": "3", "skewFunction": "ROOT", "sourceColumn": "name-of-existing-column", "targetColumn": "name-of-new-column", "value": "4" } } }

Para obter mais informações sobre como usar essa ação de receita em uma operação de API, consulte CreateRecipeou UpdateRecipe. Você pode usar essas e outras operações de API em seu próprio código.

YAML

Veja a seguir um exemplo RecipeAction para usar como membro de um exemplo RecipeStep para uma DataBrew receita, usando a sintaxe YAML. Para exemplos de sintaxe que mostram uma lista de ações de receitas, consulteDefinindo uma estrutura de receita.

exemplo Exemplo em YAML
- Action: Operation: RESCALE_OUTLIERS_WITH_SKEW Parameters: outlierStrategy: Z_SCORE threshold: '3' skewFunction: ROOT sourceColumn: name-of-existing-column targetColumn: name-of-new-column value: '4'

Para obter mais informações sobre como usar essa ação de receita em uma operação de API, consulte CreateRecipeou UpdateRecipe. Você pode usar essas e outras operações de API em seu próprio código.