View a markdown version of this page

RESCALE_OUTLIERS_WITH_SKEW - AWS Glue DataBrew開發人員指南

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

RESCALE_OUTLIERS_WITH_SKEW

根據參數中的設定,傳回每一列中具有重新縮放極端值的新資料欄。此動作可套用指定的日誌或根轉換,以減少分佈扭曲。我們建議使用此動作來處理扭曲的資料。

Parameters
  • sourceColumn – 指定可能包含極端值的現有數值資料欄的名稱。

  • targetColumn – 指定可能包含極端值的現有數值資料欄的名稱。

  • outlierStrategy – 指定用於偵測極端值的方法。有效值包括下列項目:

    • Z_SCORE – 當值偏離平均值超過標準差閾值時,將值識別為極端值。

    • MODIFIED_Z_SCORE – 當值偏離中位數超過中位數絕對偏差閾值時,將值識別為極端值。

    • IQR – 當值超過欄資料的第一分位數和最後一分位數時,將值識別為極端值。四分位數範圍 (IQR) 測量資料點中間 50% 的位置。

  • threshold – 指定偵測極端值時要使用的閾值。如果以 計算的分數outlierStrategy超過此數字,則sourceColumn值會識別為極端值。預設為 3。

  • skewFunction – 指定取代極端值時要使用的方法。有效值包括下列項目:

    • LOG – 套用強大的轉換,以減少正面和負面扭曲。這是自然對數 (2.718281828)。

    • ROOT (使用 value = 3 ) – 套用相當強大的轉換,以減少正面和負面扭曲。(立方體根)

    • ROOT (使用 value = 2 ) – 套用中度轉換,僅減少正偏斜。(方形根)

    • SQUARE – 套用中度轉換以減少負偏斜。(方形)

    • 自訂轉換 – 使用 value 參數中提供的自訂編號套用指定的 LOGROOT 轉換。

  • value – 指定用於自訂轉換的值。如果 skewFunction是 LOG,則此值代表日誌的基礎。如果 skewFunction是 ROOT,則此值代表根的強大功能。

下列範例顯示單一RecipeAction操作的語法。配方至少包含一個RecipeStep操作,而配方步驟至少包含一個配方動作。配方動作會執行您指定的資料轉換。一組配方動作會依序執行,以建立最終資料集。

JSON

以下顯示使用 JSON 語法做為 RecipeStep DataBrew Recipe 範例RecipeAction成員的範例。如需顯示配方動作清單的語法範例,請參閱 定義配方結構

範例 JSON 中的範例
{ "Action": { "Operation": "RESCALE_OUTLIERS_WITH_SKEW", "Parameters": { "outlierStrategy": "Z_SCORE", "threshold": "3", "skewFunction": "ROOT", "sourceColumn": "name-of-existing-column", "targetColumn": "name-of-new-column", "value": "4" } } }

如需在 API 操作中使用此配方動作的詳細資訊,請參閱 CreateRecipeUpdateRecipe。您可以在自己的程式碼中使用這些和其他 API 操作。

YAML

以下顯示RecipeAction使用 YAML 語法做為 RecipeStep DataBrew Recipe 範例成員的範例。如需顯示配方動作清單的語法範例,請參閱 定義配方結構

範例 YAML 中的範例
- Action: Operation: RESCALE_OUTLIERS_WITH_SKEW Parameters: outlierStrategy: Z_SCORE threshold: '3' skewFunction: ROOT sourceColumn: name-of-existing-column targetColumn: name-of-new-column value: '4'

如需在 API 操作中使用此配方動作的詳細資訊,請參閱 CreateRecipeUpdateRecipe。您可以在自己的程式碼中使用這些和其他 API 操作。