Evaluation runner(evaluation-runner)를 사용하면 GitLab 직원이 특정 GitLab AI 기능에 대한 평가를 원클릭으로 실행할 수 있습니다.

• GitLab.com과 GitLab이 지원하는 셀프 호스티드 모델에서 평가를 실행할 수 있습니다.

• 현재 지원되는 AI 기능을 확인하려면 Evaluation pipelines를 참조하세요.

Evaluation runner는 원격 환경에 새로운 GDK 인스턴스를 생성하고, 평가를 실행한 후 결과를 보고합니다.

자세한 내용은 evaluation-runner 리포지터리를 참조하세요.

아키텍처#

flowchart LR subgraph EV["Evaluators"] PL(["PromptLibrary/ELI5"]) DSIN(["Input Dataset"]) end

subgraph ER["EvaluationRunner"] CI["CI/CD pipelines"] subgraph GDKS["Remote GDKs"] subgraph GDKM["GDK-master"] bl1["GitLab Duo features on master branch"] fi1["fixtures (Issue,MR,etc)"] end subgraph GDKF["GDK-feature"] bl2["GitLab Duo features on feature branch"] fi2["fixtures (Issue,MR,etc)"] end end end

subgraph MR["MergeRequests"] GRMR["GitLab-Rails MR"] GRAI["AI Gateway MR"] end

MR -- [1] trigger --- CI CI -- [2] spins up --- GDKS PL -- [3] get responses and evaluate --- GDKS