라이트 평가란 무엇인가요?#

워크플로를 구축할 때, 몇 가지 예시로 테스트해보고 성능을 파악한 뒤 개선하고 싶을 때가 많습니다. 워크플로 개발의 이 단계에서는 각 예시에 대한 워크플로 출력을 살펴보는 것만으로도 충분한 경우가 많습니다. 더 정식화된 스코어링이나 지표를 설정하는 것은 아직 그만한 노력을 들일 가치가 없습니다.

라이트 평가를 사용하면 테스트 데이터셋의 예시들을 워크플로를 통해 하나씩 실행하고, 그 출력을 데이터셋에 다시 기록할 수 있습니다. 그런 다음 이러한 출력들을 나란히 놓고 살펴보며, (있는 경우) 예상 출력과 시각적으로 비교할 수 있습니다.

작동 방식#

라이트 평가는 워크플로의 'Editor' 탭에서 이루어지지만, 이를 설정하는 방법에 대한 안내는 'Evaluations' 탭에서 찾을 수 있습니다.

단계:

1. 데이터셋 생성
2. 데이터셋을 워크플로에 연결
3. 워크플로 출력을 데이터셋에 다시 기록
4. 평가 실행

다음 설명에서는 들어오는 지원 티켓에 카테고리와 우선순위를 할당하는 샘플 워크플로를 사용합니다.

1. 데이터셋 생성#

워크플로를 위한 몇 가지 예시가 포함된 데이터 테이블 또는 Google Sheet를 생성하세요. 데이터셋에는 다음에 대한 열이 포함되어야 합니다:

• 워크플로 입력
• (선택 사항) 예상되는 또는 올바른 워크플로 출력
• 실제 출력

실제 출력 열은 평가 중에 채워질 것이므로 비워 두세요.

2. 데이터셋을 워크플로에 연결#

데이터셋을 가져오기 위한 평가 트리거 삽입#

평가 트리거가 실행될 때마다, 데이터셋의 한 행을 나타내는 단일 아이템을 출력합니다.

평가 트리거 왼쪽에 있는 'Evaluate all' 버튼을 클릭하면 데이터셋의 각 행에 대해 한 번씩, 워크플로를 순차적으로 여러 번 실행합니다. 이는 평가 트리거의 특별한 동작입니다.

트리거를 연결하는 동안에는 한 번만 실행하고 싶은 경우가 많습니다. 다음 중 한 가지 방법으로 이렇게 할 수 있습니다:

• 트리거의 'Max rows to process'를 1로 설정
• 'Evaluate all' 버튼 대신 트리거의 'Execute node' 버튼 클릭

트리거를 워크플로에 연결#

이제 평가 트리거를 워크플로의 나머지 부분에 연결하고, 트리거가 출력하는 데이터를 참조할 수 있습니다. 최소한, 워크플로 뒷부분에서 데이터셋의 입력 열을 사용해야 합니다.

워크플로에 트리거가 여러 개 있다면 해당 브랜치들을 병합해야 합니다.

3. 워크플로 출력을 데이터셋에 다시 기록#

평가가 실행될 때 데이터셋의 출력 열을 채우려면:

• 평가 노드의 'Set outputs' 액션을 삽입하세요
• 평가하려는 출력을 생성한 이후 지점에서 워크플로에 연결하세요
• 노드의 파라미터에서 워크플로 출력을 올바른 데이터셋 열에 매핑하세요

4. 평가 실행#

평가 트리거 왼쪽에 있는 Execute workflow 버튼을 클릭하세요. 워크플로는 데이터셋의 각 행에 대해 한 번씩, 여러 번 실행됩니다:

데이터 테이블 또는 Google Sheet에서 각 실행의 출력을 검토하고, 필요하다면 워크플로의 'executions' 탭을 사용해 실행 세부 정보를 살펴보세요.

데이터셋이 몇 가지 예시를 넘어 커지면, 성능에 대한 수치적 관점을 얻기 위해 지표 기반 평가를 고려하세요. 팁 및 일반적인 문제도 참고하세요.