Evaluation runner

GitLab AI 기능에 대한 평가를 원클릭으로 실행할 수 있는 Evaluation runner의 구조와 사용 방법을 설명합니다.

Evaluation runner( evaluation-runner )를 사용하면 GitLab 직원이 특정 GitLab AI 기능에 대한 평가를 원클릭으로 실행할 수 있습니다. GitLab.com과 GitLab이 지원하는 셀프 호스티드 모델에서 평가를 실행할 수 있습니다. 현재 지원되는 AI 기능을 확인하려면 Evaluation pipelines 를 참조하세요. Evaluation runner는 원격 환경에 새로운 GDK 인스턴스를 생성하고, 평가를 실행한 후 결과를 보고합니다. 자세한 내용은 evaluation-runner 리포지터리 를 참조하세요. 아키텍처 # flowchart LR subgraph EV["Evaluators"] PL(["PromptLibrary/ELI5"]) DSIN(["Input Dataset"]) end subgraph ER["EvaluationRunner"] CI["CI/CD pipelines"] subgraph GDKS["Remote GDKs"] subgraph GDKM["GDK-master"] bl1["GitLab Duo features on master branch"] fi1["fixtures (Issue,MR,etc)"] end subgraph GDKF["GDK-feature"] bl2["GitLab Duo features on feature branch"] fi2["fixtures (Issue,MR,etc)"] end end end subgraph MR["MergeRequests"] GRMR["GitLab-Rails MR"] GRAI["AI Gateway MR"] end MR -- [1] trigger --- CI CI -- [2] spins up --- GDKS PL -- [3] get responses and evaluate --- GDKS