평가

평가란 무엇인가요? # 평가(Evaluation)는 AI 워크플로가 신뢰할 수 있는지 확인하는 데 있어 매우 중요한 기법입니다. 불안정한 개념 증명(proof of concept)과 견고한 프로덕션 워크플로의 차이를 만들어낼 수 있습니다. 이는 워크플로를 구축하는 단계와 프로덕션에 배포한 이후 모두에서 중요합니다. 평가의 기초는 테스트 데이터셋을 워크플로에 통과시켜 실행하는 것입니다. 이 데이터셋에는 여러 개의 테스트 케이스가 포함됩니다. 각 테스트 케이스에는 워크플로에 대한 샘플 입력이 포함되며, 대개 예상 출력도 함께 포함됩니다. 평가를 통해 다음을 할 수 있습니다: 다양한 범위의 입력에 대해 워크플로를 테스트 하여 엣지 케이스에서 어떻게 동작하는지 파악할 수 있습니다 다른 곳에서 의도치 않게 상황을 악화시키지 않으면서 확신을 가지고 변경을 수행 할 수 있습니다 서로 다른 모델이나 프롬프트 간의 성능을 비교 할 수 있습니다 다음 영상에서는 평가가 무엇인지, 왜 유용한지, 그리고 어떻게 작동하는지 설명합니다: 왜 평가가 필요한가요? # AI 모델은 코드와 근본적으로 다릅니다. 코드는 결정론적이어서 그 동작을 추론할 수 있습니다. 하지만 LLM은 블랙박스이기 때문에 이렇게 하기가 어렵습니다. 대신 데이터를 통과시켜 실행하고 출력을 관찰함으로써 LLM의 출력을 측정 해야 합니다. 프로덕션에서 마주하게 될 모든 엣지 케이스를 정확히 반영하는 여러 입력에 대해 모델을 실행해본 후에야 비로소 모델이 신뢰할 수 있게 동작한다는 확신을 쌓을 수 있습니다. 두 가지 평가 유형 # 경량 평가 (배포 전) # 깔끔하고 포괄적인 데이터셋을 구축하는 일은 어렵습니다. 초기 구축 단계에서는 소수의 예시만 생성하는 것이 합리적인 경우가 많습니다. 이 정도만으로도 워크플로를 릴리스 가능한 상태(또는 개념 증명 수준)로 반복 개선하기에 충분할 수 있습니다. 공식적인 지표를 설정하지 않고도 결과를 시각적으로 비교하여 워크플로의 품질을 대략적으로 파악할 수 있습니다. 지표 기반 평가 (배포 후) # 워크플로를 배포하고 나면 프로덕션 실행 결과로부터 더 크고 대표성 있는 데이터셋을 구축하기가 더 쉬워집니다. 버그를 발견하면 해당 버그를 일으킨 입력을 데이터셋에 추가할 수 있습니다. 버그를 수정할 때는 회귀 테스트 로서 전체 데이터셋을 워크플로에 다시 실행하여, 수정으로 인해 다른 부분이 의도치 않게 나빠지지 않았는지 확인하는 것이 중요합니다. 개별적으로 확인하기에는 테스트 케이스가 너무 많으므로, 평가는 특정 특성을 나타내는 수치 값인 지표(metric)를 사용하여 출력의 품질을 측정합니다. 이를 통해 실행 간 품질 변화도 추적할 수 있습니다. 평가 유형 비교 # 경량 평가 (배포 전) 지표 기반 평가 (배포 후) 반복마다 나타나는 성능 향상 큼 작음 데이터셋 크기 작음 큼 데이터셋 출처 수작업 생성 AI 생성 기타 프로덕션 실행 결과 AI 생성 기타 실제 출력 필수 필수 예상 출력 선택 필수 (대개) 평가 지표 선택 필수 더 알아보기 # 경량 평가 : 개발 중 수작업