토큰화

파라미터

• sourceColumn – 기존 열의 이름입니다.

• delimiter - 토큰화된 단어 사이에 나타나는 사용자 지정 구분 기호입니다. (기본 동작은 각 토큰을 공백으로 구분하는 것입니다.)

• expandContractions - ENABLED인 경우는 계약된 단어를 확장합니다. 예: '하지 않음'은 '하지 않음'이 됩니다.

• stemmingMode - 텍스트를 개별 소문자 또는 용어와 같은 더 작은 단위 또는 토큰으로 분할합니다. | PORTER의 두 가지 어간 추출 모드를 사용할 수 있습니다LANCASTER.

• stopWordRemovalMode - a, a,와 같은 일반적인 단어를 제거합니다.

• customStopWords -의 경우 StopWordRemovalMode중지 단어의 사용자 지정 목록을 지정할 수 있습니다.

• targetColumn - 결과를 포함할 열의 이름입니다.

{
    "Action": {
        "Operation": "TOKENIZATION",
        "Parameters": {
            "customStopWords": "[]",
            "delimiter": "- ",
            "expandContractions": "ENABLED",
            "sourceColumn": "dimensions",
            "stemmingMode": "PORTER",
            "stopWordRemovalMode": "DEFAULT",
            "targetColumn": "dimensions_tokenized"
        }
    }

}