간단 평가(Light Evaluations)

개발 단계에서 간단 평가를 사용하여 알려진 테스트 케이스의 결과를 확인함으로써 신뢰할 수 있는 LLM 기반 워크플로를 구축하는 방법을 설명합니다.

등록된 커뮤니티 및 유료 플랜에서 사용 가능 간단 평가는 등록된 커뮤니티 사용자와 모든 유료 플랜에서 사용할 수 있습니다. 간단 평가란 무엇인가? # 워크플로를 구축하는 과정에서 소수의 예시를 통해 성능을 파악하고 개선 사항을 찾아보고 싶을 때가 있습니다. 워크플로 개발의 이 단계에서는 각 예시에 대한 워크플로 출력 결과를 직접 살펴보는 것만으로도 충분한 경우가 많습니다. 이 단계에서는 보다 공식적인 점수 산정 또는 메트릭 을 설정하는 것이 투입 노력 대비 아직 효과적이지 않을 수 있습니다. 간단 평가를 사용하면 테스트 데이터셋의 예시를 워크플로에 하나씩 실행하면서 출력 결과를 데이터셋에 다시 기록할 수 있습니다. 그런 다음 해당 출력 결과를 나란히 놓고 예상 출력 결과(있는 경우)와 시각적으로 비교할 수 있습니다. 작동 방식 # Google Sheets 자격증명 평가 기능은 테스트 데이터셋을 저장하기 위해 데이터 테이블 또는 Google Sheets를 사용합니다. Google Sheets를 데이터셋 소스로 사용하려면 Google Sheets 자격증명 을 설정하세요. 간단 평가는 워크플로의 'Editor' 탭에서 수행되지만, 설정 방법에 대한 안내는 'Evaluations' 탭에서 확인할 수 있습니다. 단계: 데이터셋 생성 데이터셋을 워크플로에 연결 워크플로 출력 결과를 데이터셋에 기록 평가 실행 다음 설명에서는 들어오는 지원 티켓에 카테고리와 우선순위를 지정하는 샘플 워크플로를 사용합니다. 1. 데이터셋 생성 # 워크플로에 사용할 소수의 예시가 포함된 데이터 테이블 또는 Google Sheet를 생성합니다. 데이터셋에는 다음 항목의 열이 포함되어야 합니다: 워크플로 입력값 (선택 사항) 예상되는 또는 정확한 워크플로 출력값 실제 출력값 평가 실행 중에 채워질 예정이므로 실제 출력값 열은 비워 두십시오.  지원 티켓 분류 워크플로의 샘플 데이터셋 입니다. 2. 데이터셋을 워크플로에 연결 # 데이터셋을 가져오기 위한 평가 트리거 삽입 # 평가 트리거 가 실행될 때마다 데이터셋의 한 행을 나타내는 단일 항목을 출력합니다. 평가 트리거 왼쪽의 'Evaluate all' 버튼을 클릭하면 데이터셋의 각 행에 대해 한 번씩, 워크플로가 여러 번 순차적으로 실행됩니다. 이는 평가 트리거의 특수한 동작입니다. 트리거를 연결하는 동안에는 한 번만 실행하려는 경우가 많습니다. 다음 방법 중 하나를 사용할 수 있습니다: 트리거의 'Max rows to process'를 1로 설정 트리거의 'Execute node' 버튼 클릭 ('Evaluate all' 버튼 대신) 트리거를 워크플로에 연결 # 이제 평가 트리거를 나머지 워크플로에 연결하고 출력하는 데이터를 참조할 수 있습니다. 최소한 워크플로의 이후 단계에서 데이터셋의 입력 열을 사용해야 합니다. 워크플로에 여러 트리거가 있는 경우 분기들을