TOKENIZACIÓN

Parameters

• sourceColumn: el nombre de una columna existente.

• delimiter— Un delimitador personalizado que aparece entre las palabras tokenizadas. (El comportamiento predeterminado es separar cada ficha por un espacio).

• expandContractions— SiENABLED, expande las palabras contraídas. Por ejemplo: «no» se convierte en «no hacer».

• stemmingMode— Divide el texto en unidades o símbolos más pequeños, como palabras o términos individuales en minúscula. Hay dos modos de derivación disponibles: |. PORTER LANCASTER

• stopWordRemovalMode— Elimina palabras comunes como a, an, the y más.

• customStopWords— ParaStopWordRemovalMode, permite especificar una lista personalizada de palabras vacías.

• targetColumn— El nombre de la columna que contiene los resultados.

{
    "Action": {
        "Operation": "TOKENIZATION",
        "Parameters": {
            "customStopWords": "[]",
            "delimiter": "- ",
            "expandContractions": "ENABLED",
            "sourceColumn": "dimensions",
            "stemmingMode": "PORTER",
            "stopWordRemovalMode": "DEFAULT",
            "targetColumn": "dimensions_tokenized"
        }
    }

}