TOKENISIERUNG

Parameters

• sourceColumn – Der Name einer vorhandenen Spalte.

• delimiter— Ein benutzerdefiniertes Trennzeichen, das zwischen Wörtern mit einem Token angezeigt wird. (Das Standardverhalten besteht darin, jedes Token durch ein Leerzeichen zu trennen.)

• expandContractions— WennENABLED, erweitert zusammengefasste Wörter. Zum Beispiel: Aus „nicht“ wird „nicht“.

• stemmingMode— Teilt Text in kleinere Einheiten oder Zeichen auf, z. B. einzelne Wörter oder Begriffe in Kleinbuchstaben. Zwei Stemming-Modi sind verfügbar: |. PORTER LANCASTER

• stopWordRemovalMode— Entfernt gebräuchliche Wörter wie a, an, the und mehr.

• customStopWords— FürStopWordRemovalMode, ermöglicht es Ihnen, eine benutzerdefinierte Liste von Stoppwörtern anzugeben.

• targetColumn— Der Name einer Spalte, die die Ergebnisse enthalten soll.

{
    "Action": {
        "Operation": "TOKENIZATION",
        "Parameters": {
            "customStopWords": "[]",
            "delimiter": "- ",
            "expandContractions": "ENABLED",
            "sourceColumn": "dimensions",
            "stemmingMode": "PORTER",
            "stopWordRemovalMode": "DEFAULT",
            "targetColumn": "dimensions_tokenized"
        }
    }

}