기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

Nextflow 워크플로 정의 세부 정보

HealthOmics는 Nextflow DSL1 및 DSL2를 지원합니다. 자세한 내용은 Nextflow 버전 지원을 참조하세요.

Nextflow DSL2는 Groovy 프로그래밍 언어를 기반으로 하므로 파라미터는 동적이며 Groovy와 동일한 규칙을 사용하여 강제 유형을 지정할 수 있습니다. 입력 JSON에서 제공하는 파라미터와 값은 워크플로의 파라미터(params) 맵에서 사용할 수 있습니다.

nf-schema 및 nf-validation 플러그인 사용

HealthOmics는 Nextflow 플러그인에 대해 다음과 같은 지원을 제공합니다.

스토리지 URIs 지정

Amazon S3 또는 HealthOmics URI를 사용하여 Nextflow 파일 또는 경로 객체를 구성하는 경우 읽기 액세스 권한이 부여되는 한 워크플로에서 일치하는 객체를 사용할 수 있습니다. Amazon S3 URIs. 예시는 Amazon S3 입력 파라미터 형식 섹션을 참조하세요.

HealthOmics는 Amazon S3 URIs 또는 HealthOmics 스토리지 URIs에서 glob 패턴 사용을 부분적으로 지원합니다. 워크플로 정의에서 path 또는 file 채널 생성에 Glob 패턴을 사용합니다. 예상되는 동작과 정확한 사례는 단원을 참조하십시오Amazon S3 입력에서 Glob 패턴의 Nextflow 처리.

Nextflow 지시문

Nextflow 구성 파일 또는 워크플로 정의에서 Nextflow 지시문을 구성합니다. 다음 목록은 HealthOmics가 구성 설정을 적용하는 데 사용하는 우선 순위의 순서를 가장 낮은 우선 순위부터 가장 높은 우선 순위까지 보여줍니다.

를 사용한 작업 재시도 전략 errorStrategy

errorStrategy 지시문을 사용하여 작업 오류에 대한 전략을 정의합니다. 기본적으로 작업이 오류 표시(종료 상태가 0이 아님)와 함께 반환되면 작업이 중지되고 HealthOmics가 전체 실행을 종료합니다. 를 errorStrategy로 설정하면 retry HealthOmics는 실패한 작업을 한 번 재시도합니다. 재시도 횟수를 늘리려면 섹션을 참조하세요를 사용하여 작업 재시도 maxRetries.

process {
    label 'my_label'
    errorStrategy 'retry'

    script:
    """
    your-command-here
    """
}   

HealthOmics가 실행 중에 작업 재시도를 처리하는 방법에 대한 자세한 내용은 섹션을 참조하세요작업 재시도.

를 사용하여 작업 재시도 maxRetries

기본적으로 HealthOmics는 실패한 작업의 재시도를 시도하지 않거나를 구성한 경우 한 번의 재시도를 시도합니다errorStrategy. 최대 재시도 횟수를 늘리려면를 retry errorStrategy로 설정하고 maxRetries 명령을 사용하여 최대 재시도 횟수를 구성합니다.

다음 예제에서는 글로벌 구성에서 최대 재시도 횟수를 3으로 설정합니다.

process {
    errorStrategy = 'retry'
    maxRetries = 3
}     

다음 예제에서는 워크플로 정의maxRetries의 작업 섹션에서를 설정하는 방법을 보여줍니다.

process myTask {
    label 'my_label'
    errorStrategy 'retry'
    maxRetries 3
    
    script:
    """
    your-command-here
    """
}   

다음 예제에서는 이름 또는 레이블 선택기를 기반으로 Nextflow 구성 파일에서 작업별 구성을 지정하는 방법을 보여줍니다.

process {
    withLabel: 'my_label' {
        errorStrategy = 'retry'
        maxRetries = 3
    }

    withName: 'myTask' {
        errorStrategy = 'retry'
        maxRetries = 3
    }
}   

를 사용하여 작업 재시도 옵트아웃 omicsRetryOn5xx

Nextflow v23 이상의 경우 HealthOmics는 서비스 오류(5XX HTTP 상태 코드)로 인해 작업이 실패한 경우 작업 재시도를 지원합니다. 기본적으로 HealthOmics는 실패한 작업을 최대 2회 재시도합니다.

서비스 오류에 대한 작업 재시도를 옵트아웃omicsRetryOn5xx하도록를 구성할 수 있습니다. HealthOmics의 작업 재시도에 대한 자세한 내용은 섹션을 참조하세요작업 재시도.

다음 예제에서는 글로벌 구성omicsRetryOn5xx에서를 구성하여 작업 재시도를 옵트아웃합니다.

process {
    omicsRetryOn5xx = false
}     

다음 예제에서는 워크플로 정의omicsRetryOn5xx의 작업 섹션에서를 구성하는 방법을 보여줍니다.

process myTask {
    label 'my_label'
    omicsRetryOn5xx = false
    
    script:
    """
    your-command-here
    """
}   

다음 예제에서는 이름 또는 레이블 선택기를 기반으로 Nextflow 구성 파일에서 작업별 구성omicsRetryOn5xx으로를 설정하는 방법을 보여줍니다.

process {
    withLabel: 'my_label' {
        omicsRetryOn5xx = false
    }

    withName: 'myTask' {
        omicsRetryOn5xx = false
    }
}   

time 지시문을 사용한 작업 기간

HealthOmics는 조정 가능한 할당량( 참조HealthOmics 서비스 할당량)을 제공하여 실행의 최대 기간을 지정합니다. Nextflow v23 이상 워크플로의 경우 Nextflow time 명령을 사용하여 최대 작업 기간을 지정할 수도 있습니다.

새 워크플로 개발 중에 최대 작업 기간을 설정하면 런어웨이 작업과 장기 실행 작업을 포착하는 데 도움이 됩니다.

Nextflow 시간 명령에 대한 자세한 내용은 Nextflow 참조의 시간 명령을 참조하세요.

HealthOmics는 Nextflow 시간 명령에 대해 다음과 같은 지원을 제공합니다.

ms, , 또는 단위 중 하나 이상을 사용하여 제한 시간을 지정합니다smhd.

다음 예제에서는 Nextflow 구성 파일에서 전역 구성을 지정하는 방법을 보여줍니다. 전역 제한 시간을 1시간 30분으로 설정합니다.

process {
    time = '1h30m'
}     

다음 예제에서는 워크플로 정의의 작업 섹션에서 시간 지시문을 지정하는 방법을 보여줍니다. 이 예제에서는 제한 시간을 3일, 5시간 및 4분으로 설정합니다. 이 값은 구성 파일의 전역 값보다 우선하지만 구성 my_label 파일의에 대한 작업별 시간 지시문보다 우선하지는 않습니다.

process myTask {
    label 'my_label'
    time '3d5h4m'
        
    script:
    """
    your-command-here
    """
}     

다음 예제에서는 이름 또는 레이블 선택기를 기반으로 Nextflow 구성 파일에서 작업별 시간 지시문을 지정하는 방법을 보여줍니다. 이 예제에서는 글로벌 작업 제한 시간 값을 30분으로 설정합니다. 작업에 대해 2시간의 값을 설정하고 레이블이 인 작업에 대해 3시간의 값을 myTask 설정합니다my_label. 선택기와 일치하는 작업의 경우 이러한 값이 워크플로 정의의 전역 값 및 값보다 우선합니다.

process {
    time = '30m'
    
    withLabel: 'my_label' {
        time = '3h'  
    }

    withName: 'myTask' {
        time = '2h'  
    }
}     

Nextflow 프로파일 사용

Nextflow 프로파일은 런타임 시 선택할 수 있는 구성 설정 세트입니다. nextflow.config 파일 profiles 블록에서 프로필을 정의합니다.

profiles {
    standard {
        process.cpus = 2
        process.memory = '4 GB'
    }

    production {
        process.cpus = 16
        process.memory = '64 GB'
        params.input = 's3://bucket/production-data.bam'
    }
}

실행을 시작할 때 engineSettings 파라미터를 사용하여 하나 이상의 프로파일을 지정합니다. HealthOmics는 -profile 플래그를 Nextflow 엔진에 전달합니다. 자세한 내용은 엔진 설정 지정 단원을 참조하십시오.

aws omics start-run \
  --workflow-id workflow-id \
  --role-arn role-arn \
  --output-uri s3://bucket/prefix/ \
  --engine-settings '{"profile": "production"}'

여러 프로파일이 지정되면(예: "test,docker") Nextflow는 명령줄에 지정된 순서대로 프로파일을 적용합니다. 이후 프로파일은 충돌하는 설정에 대해 이전 프로파일을 재정의합니다. 26보다 낮은 Nextflow 버전의 경우 프로파일은 명령줄 순서 대신 구성 파일에 정의된 순서대로 적용됩니다.

다음 사항에 유의하세요.

워크플로 수준 콘텐츠 내보내기

Nextflow v25.10 이상에서는 산지 보고서 또는 파이프라인 DAGs. 이러한 파일을 내보내려면에 기록합니다/mnt/workflow/output/. HealthOmics는이 디렉터리에 배치된 파일을 실행의 Amazon S3 출력 위치의 output/ 접두사로 내보냅니다.

다음 예제에서는에 산지 보고서를 작성하도록 nf-prov 플러그인을 구성하는 방법을 보여줍니다/mnt/workflow/output/.

prov {
    formats {
        bco {
            file = "/mnt/workflow/output/pipeline_info/manifest.bco.json"
        }
    }
}

실행의 입력 JSON에서이 경로를 파라미터로 전달할 수도 있습니다. 이 접근 방식은를 사용하는 nf-core 워크플로에서 일반적입니다params.outdir.

{
    "outdir": "/mnt/workflow/output/"
}

작업 콘텐츠 내보내기

Nextflow에 작성된 워크플로의 경우 publishDir 명령을 정의하여 작업 콘텐츠를 출력 Amazon S3 버킷으로 내보냅니다. 다음 예제와 같이 publishDir 값을 로 설정합니다/mnt/workflow/pubdir. Amazon S3로 파일을 내보내려면 파일이이 디렉터리에 있어야 합니다.

 nextflow.enable.dsl=2
              
  workflow {
    CramToBamTask(params.ref_fasta, params.ref_fasta_index, params.ref_dict, params.input_cram, params.sample_name)
    ValidateSamFile(CramToBamTask.out.outputBam)
  }
  
  process CramToBamTask {
    container "<account>.dkr.ecr.us-west-2.amazonaws.com/genomes-in-the-cloud"
  
    publishDir "/mnt/workflow/pubdir"
  
    input:
        path ref_fasta
        path ref_fasta_index
        path ref_dict
        path input_cram
        val sample_name
  
    output:
        path "${sample_name}.bam", emit: outputBam
        path "${sample_name}.bai", emit: outputBai
  
    script:
    """
        set -eo pipefail
  
        samtools view -h -T $ref_fasta $input_cram |
        samtools view -b -o ${sample_name}.bam -
        samtools index -b ${sample_name}.bam
        mv ${sample_name}.bam.bai ${sample_name}.bai
    """
  }
  
  process ValidateSamFile {
    container "<account>.dkr.ecr.us-west-2.amazonaws.com/genomes-in-the-cloud"
  
    publishDir "/mnt/workflow/pubdir"
  
    input:
        file input_bam
  
    output:
        path "validation_report"
  
    script:
    """
        java -Xmx3G -jar /usr/gitc/picard.jar \
        ValidateSamFile \
        INPUT=${input_bam} \
        OUTPUT=validation_report \
        MODE=SUMMARY \
        IS_BISULFITE_SEQUENCED=false
    """
  }   

Nextflow v25.10 이상의 경우 publishDir의 대안으로 워크플로 출력을 사용하여 작업 콘텐츠를 내보낼 수 있습니다. 다음 예제에서는 작업 결과를 Amazon S3로 내보내는 워크플로 output 블록을 정의하는 방법을 보여줍니다.

process myTask {
    input:
    val data

    output:
    path 'result.txt'

    script:
    """
    echo ${data} > result.txt
    """
}

workflow {
    main:
    output_file = myTask('hello')

    publish:
    results = output_file
}

output {
    results {
        path '.'
    }
}

워크플로 출력에 대한 자세한 내용은 Nextflow 설명서의 워크플로 출력을 참조하세요.

Nextflow 구문 버전 지정

Nextflow v26.04.0은 기본적으로 엄격한(v2) 구문 구문 분석기를 사용합니다. 이는 Nextflow v25.10.0 이하의 기본값인 레거시(v1) 구문을 사용하여 작성된 워크플로에 대한 주요 변경 사항입니다. v2 구문에 대한 자세한 내용은 Seqera Nextflow 설명서의 엄격한 구문을 참조하세요.

레거시 (v1) 구문 분석기에 대해 작성된 워크플로를 실행하려면 StartRun 요청v1에서를 engineSettings.syntaxVersion로 설정합니다.

{
  "engineSettings": {
    "syntaxVersion": "v1"
  }
}

Nextflow v25.10.0 이하의 경우 HealthOmics는 v2 구문 분석기를 지원하지 않습니다.

Nextflow v26.04 릴리스 정보

다음 표에는 Nextflow 버전 26.04에서 릴리스된 새로운 기능, 개선 사항 및 사용 중단에 대한 HealthOmics 지원이 요약되어 있습니다.

새로운 기능 및 개선 사항

사용 중단