TOKENIZAÇÃO

Parâmetros

• sourceColumn: o nome de uma coluna existente.

• delimiter— Um delimitador personalizado que aparece entre palavras tokenizadas. (O comportamento padrão é separar cada token por um espaço.)

• expandContractions— SeENABLED, expande as palavras contraídas. Por exemplo: “não” se torna “não faça”.

• stemmingMode— Divide o texto em unidades ou símbolos menores, como palavras ou termos individuais em minúsculas. Dois modos de derivação estão disponíveis: PORTER |. LANCASTER

• stopWordRemovalMode— Remove palavras comuns como a, an, the e muito mais.

• customStopWords— ParaStopWordRemovalMode, permite que você especifique uma lista personalizada de palavras irrelevantes.

• targetColumn— O nome de uma coluna para conter os resultados.

{
    "Action": {
        "Operation": "TOKENIZATION",
        "Parameters": {
            "customStopWords": "[]",
            "delimiter": "- ",
            "expandContractions": "ENABLED",
            "sourceColumn": "dimensions",
            "stemmingMode": "PORTER",
            "stopWordRemovalMode": "DEFAULT",
            "targetColumn": "dimensions_tokenized"
        }
    }

}