메트릭 기반 평가(Metric-based Evaluations)

메트릭 기반 평가를 사용하여 시간 경과에 따른 프로덕션 AI 기반 워크플로의 성능을 측정, 점수화 및 개선하는 방법을 설명합니다.

Pro 및 Enterprise 플랜에서 사용 가능 메트릭 기반 평가는 Pro 및 Enterprise 플랜에서 사용할 수 있습니다. 등록된 커뮤니티 및 Starter 플랜 사용자도 단일 워크플로에 대해 사용할 수 있습니다. 메트릭 기반 평가란 무엇인가? # 워크플로가 배포 준비가 되면 구축 단계 보다 더 많은 예시를 테스트하고 싶을 것입니다. 예를 들어, 프로덕션 실행에서 엣지 케이스가 발생하기 시작하면 이를 테스트 데이터셋에 추가하여 해당 케이스가 제대로 처리되는지 확인하고 싶을 것입니다. 프로덕션 데이터로 구축된 것과 같은 대규모 데이터셋에서는 결과를 시각적으로만 보고 성능을 파악하기 어렵습니다. 대신 성능을 측정해야 합니다. 메트릭 기반 평가는 각 테스트 실행에 하나 이상의 점수를 할당할 수 있으며, 이를 이전 실행과 비교할 수 있습니다. 개별 점수는 전체 데이터셋의 성능을 측정하기 위해 집계됩니다. 이 기능을 사용하면 메트릭을 계산하는 평가를 실행하고, 실행 간에 해당 메트릭이