トークン化

パラメータ

• sourceColumn - 既存の列の名前。

• delimiter — トークン化された単語の間に表示されるカスタム区切り文字。(デフォルトの動作では、各トークンをスペースで区切ります）。

• expandContractions — の場合ENABLED、契約語を展開します。例えば、「いいえ」は「いいえ」になります。

• stemmingMode — 個々の小文字の単語や用語など、テキストを小さな単位またはトークンに分割します。PORTER | の 2 つのステミングモードを使用できますLANCASTER。

• stopWordRemovalMode — 、、 などの一般的な単語を削除します。

• customStopWords — の場合StopWordRemovalMode、 ではストップワードのカスタムリストを指定できます。

• targetColumn — 結果を含む列の名前。

{
    "Action": {
        "Operation": "TOKENIZATION",
        "Parameters": {
            "customStopWords": "[]",
            "delimiter": "- ",
            "expandContractions": "ENABLED",
            "sourceColumn": "dimensions",
            "stemmingMode": "PORTER",
            "stopWordRemovalMode": "DEFAULT",
            "targetColumn": "dimensions_tokenized"
        }
    }

}