View a markdown version of this page

REMOVE_OUTLIERS - AWS Glue DataBrew Guia do Desenvolvedor

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

REMOVE_OUTLIERS

Remove pontos de dados que são classificados como discrepantes, com base nas configurações dos parâmetros.

Parâmetros
  • sourceColumn— Especifica o nome de uma coluna numérica existente que pode conter valores discrepantes.

  • outlierStrategy— Especifica a abordagem a ser usada na detecção de valores discrepantes. Os valores válidos incluem:

    • Z_SCORE— Identifica um valor como um valor atípico quando ele se desvia da média em mais do que o limite de desvio padrão.

    • MODIFIED_Z_SCORE— Identifica um valor como um valor atípico quando ele se desvia da mediana em mais do que o limite médio de desvio absoluto.

    • IQR— identifica um valor como discrepante quando ele ultrapassa o primeiro e o último quartil dos dados da coluna. O intervalo interquartil (IQR) mede onde estão os 50% médios dos pontos de dados.

  • threshold— Especifica o valor limite a ser usado ao detectar valores discrepantes. O sourceColumn valor é identificado como um valor atípico se a pontuação calculada com o outlierStrategy exceder esse número. O padrão é 3.

  • removeType— Especifica a forma de remover os dados. Os valores válidos são DELETE_ROWS e CLEAR.

  • trimValue— Especifica se todos ou alguns dos valores discrepantes devem ser removidos. Esse valor booleano é padronizado como. FALSE

    • FALSE— Remove todos os valores discrepantes

    • TRUE— Remove valores discrepantes que estão fora do limite de percentil especificado em e. minValue maxValue

  • minValue— Indica o valor mínimo do percentil para a faixa de valores atípicos. O intervalo válido é de 0 a 100.

  • maxValue— Indica o valor máximo do percentil para a faixa de valores atípicos. O intervalo válido é de 0 a 100.

Os exemplos a seguir exibem a sintaxe de uma única RecipeActionoperação. Uma receita contém pelo menos uma RecipeStepoperação e uma etapa de receita contém pelo menos uma ação de receita. Uma ação de receita executa a transformação de dados que você especifica. Um grupo de ações de receita é executado em ordem sequencial para criar o conjunto de dados final.

JSON

Veja a seguir um exemplo RecipeAction para usar como membro de um exemplo RecipeStep para uma DataBrew receita, usando a sintaxe JSON. Para exemplos de sintaxe que mostram uma lista de ações de receitas, consulteDefinindo uma estrutura de receita.

exemplo Exemplo em JSON
{ "Action": { "Operation": "REMOVE_OUTLIERS", "Parameters": { "sourceColumn": "name-of-existing-column", "outlierStrategy": "Z_SCORE", "threshold": "3", "removeType": "DELETE_ROWS", "trimValue": "TRUE", "minValue": "5", "maxValue": "95" } } }

Para obter mais informações sobre como usar essa ação de receita em uma operação de API, consulte CreateRecipeou UpdateRecipe. Você pode usar essas e outras operações de API em seu próprio código.

YAML

Veja a seguir um exemplo RecipeAction para usar como membro de um exemplo RecipeStep para uma DataBrew receita, usando a sintaxe YAML. Para exemplos de sintaxe que mostram uma lista de ações de receitas, consulteDefinindo uma estrutura de receita.

exemplo Exemplo em YAML
- Action: Operation: REMOVE_OUTLIERS Parameters: sourceColumn: name-of-existing-column outlierStrategy: Z_SCORE threshold: '3' removeType: DELETE_ROWS trimValue: 'TRUE' minValue: '5' maxValue: '95'

Para obter mais informações sobre como usar essa ação de receita em uma operação de API, consulte CreateRecipeou UpdateRecipe. Você pode usar essas e outras operações de API em seu próprio código.