InfoGrab DocsInfoGrab Docs

AI 기능 개발 플레이북

요약

이 플레이북은 GitLab에서 AI 기능을 개발하는 접근 방식을 설명하며, 제품 개발 플로의 Build 트랙과 유사하고 이와 병행하여 운영됩니다. AI 기반 Stage 개요로 시작하세요. 로컬 개발 환경에서 기존 기능을 직접 사용해 보세요.

이 플레이북은 GitLab에서 AI 기능을 개발하는 접근 방식을 설명하며, 제품 개발 플로의 Build 트랙과 유사하고 이와 병행하여 운영됩니다. AI 기능 개발 및 운영 고려사항에 대한 플레이북으로 활용됩니다.

시작하기#

AI 기능 개발 플로#

AI 기능 개발 프로세스는 서로 연결되고 반복적인 5개의 핵심 단계로 구성됩니다:

Plan(계획)#

이 단계는 AI 기능이 엔지니어링팀에 의해 빌드될 준비를 갖추도록 합니다. 제품 개발 플로의 Build 트랙 Plan 단계를 보완합니다.

이 시점에서 고객 문제는 명확하게 기술된 요구사항을 통해, 또는 제품 개발 플로 검증 트랙을 통해 충분히 이해된 상태여야 합니다.

이 단계의 일환으로, 팀은 승인된 모델이 새 기능의 요구사항을 충족하는지 판단하거나, 다른 모델의 승인을 위한 제안을 제출합니다. 또한 팀은 필요한 데이터셋 식별을 포함한 테스트 및 평가 전략을 설계하거나 채택합니다.

주요 활동#

  • AI 기능 요구사항 및 성공 기준 정의

  • 모델 선택 및 역량 평가

  • 테스트 및 평가 전략 계획

리소스#

Develop(개발)#

Develop 단계와 이와 밀접하게 연계된 Test & Evaluate 단계는 AI 기능을 빌드하고, 버그 또는 기술 부채를 해결하며, 출시 전에 솔루션을 테스트하는 단계입니다. 제품 개발 플로의 Build 트랙 Develop & Test 단계를 보완합니다.

이 단계에는 프롬프트 엔지니어링이 포함되며, 팀은 원하는 AI 모델 동작을 달성하기 위해 프롬프트를 작성하고 개선합니다. 이 과정은 정확성, 일관성, 사용자 경험을 최적화하기 위해 여러 번의 반복을 필요로 하는 경우가 많습니다.

개발에는 AI Gateway를 통해 선택한 모델을 GitLab 인프라와 통합하고 API 인터페이스를 구현하는 작업이 포함될 수 있습니다. 팀은 GitLab Duo Self-Hosted 지원 요구사항을 고려해야 합니다.

주요 활동#

AI 사용 추적 메트릭

리소스#

Test & Evaluate(테스트 및 평가)#

Test & Evaluate 단계에서는 전통적인 자동화 테스트 방법과 AI 생성 콘텐츠 평가를 활용하여 AI 기능의 품질, 성능, 보안을 검증합니다. 제품 개발 플로의 Build 트랙 Develop & Test 단계를 보완합니다.

평가는 기능 동작의 포괄적인 커버리지를 보장하기 위해 실제 사용 시나리오를 나타내는 데이터셋을 생성하는 것을 포함합니다. 팀은 AI 생성 콘텐츠의 품질 여러 측면과 성능 특성을 다루는 평가 전략을 구현합니다.

주요 활동#

Launch & Monitor(출시 및 모니터링)#

이 단계는 제어된 롤아웃과 포괄적인 모니터링을 통해 프로덕션에 AI 기능을 안전하게 도입하는 데 중점을 둡니다. 제품 개발 플로의 Build 트랙 Launch 단계를 보완합니다.

기능 플래그를 활용하여 접근을 제어하고 사용자 노출을 점진적으로 확대하며, 더 넓은 단계적 릴리즈 전에 내부 팀부터 시작합니다. 모니터링은 기술 메트릭(지연 시간, 오류율, 리소스 사용량)과 AI 특화 지표(모델 성능, 응답 품질, 사용자 만족도)를 추적합니다. 알림 시스템은 즉각적인 주의가 필요한 성능 저하, 비정상적인 패턴, 또는 안전 문제를 감지하는 데 활용될 수 있습니다.

주요 활동#

리소스#

Improve(개선)#

이 단계는 데이터, 사용자 피드백, 변경된 요구사항을 기반으로 기능을 반복적으로 개선하는 데 중점을 둡니다. 제품 개발 플로의 Build 트랙 Improve 단계를 보완합니다.

실제 사용 패턴과 성능 메트릭을 분석하여 프롬프트 엔지니어링, 모델 선택, 시스템 아키텍처, 기능 설계 등에서 개선 기회를 식별합니다. 사용자 피드백은 사용자 만족도에 대한 정성적 인사이트를 포착해야 합니다. 팀은 사용자 상호작용과 피드백을 기반으로 프롬프트를 반복적으로 개선할 수 있습니다.

이 단계에는 더 새롭고 더 유능한 모델이 출시될 때의 모델 마이그레이션이 포함됩니다.

주요 활동#

단계 간 상호 의존성#

각 단계는 개발이 진행되면서 이전 단계 중 하나 이상으로 피드백될 수 있습니다. Develop 단계와 Test & Evaluate 단계는 특히 밀접하게 연결되어 있습니다. 상호 의존성의 예시는 다음과 같습니다:

  • 평가 인사이트는 새로운 개발 반복을 필요로 할 수 있습니다.

  • 프로덕션 모니터링 결과는 아키텍처 재계획을 시사할 수 있습니다.

  • 사용자 피드백은 평가 전략 변경을 유도할 수 있습니다.

AI 기능 개발 플레이북

GitLab v19.1
원문 보기
요약

이 플레이북은 GitLab에서 AI 기능을 개발하는 접근 방식을 설명하며, 제품 개발 플로의 Build 트랙과 유사하고 이와 병행하여 운영됩니다. AI 기반 Stage 개요로 시작하세요. 로컬 개발 환경에서 기존 기능을 직접 사용해 보세요.

이 플레이북은 GitLab에서 AI 기능을 개발하는 접근 방식을 설명하며, 제품 개발 플로의 Build 트랙과 유사하고 이와 병행하여 운영됩니다. AI 기능 개발 및 운영 고려사항에 대한 플레이북으로 활용됩니다.

시작하기#

AI 기능 개발 플로#

AI 기능 개발 프로세스는 서로 연결되고 반복적인 5개의 핵심 단계로 구성됩니다:

Plan(계획)#

이 단계는 AI 기능이 엔지니어링팀에 의해 빌드될 준비를 갖추도록 합니다. 제품 개발 플로의 Build 트랙 Plan 단계를 보완합니다.

이 시점에서 고객 문제는 명확하게 기술된 요구사항을 통해, 또는 제품 개발 플로 검증 트랙을 통해 충분히 이해된 상태여야 합니다.

이 단계의 일환으로, 팀은 승인된 모델이 새 기능의 요구사항을 충족하는지 판단하거나, 다른 모델의 승인을 위한 제안을 제출합니다. 또한 팀은 필요한 데이터셋 식별을 포함한 테스트 및 평가 전략을 설계하거나 채택합니다.

주요 활동#

  • AI 기능 요구사항 및 성공 기준 정의

  • 모델 선택 및 역량 평가

  • 테스트 및 평가 전략 계획

리소스#

Develop(개발)#

Develop 단계와 이와 밀접하게 연계된 Test & Evaluate 단계는 AI 기능을 빌드하고, 버그 또는 기술 부채를 해결하며, 출시 전에 솔루션을 테스트하는 단계입니다. 제품 개발 플로의 Build 트랙 Develop & Test 단계를 보완합니다.

이 단계에는 프롬프트 엔지니어링이 포함되며, 팀은 원하는 AI 모델 동작을 달성하기 위해 프롬프트를 작성하고 개선합니다. 이 과정은 정확성, 일관성, 사용자 경험을 최적화하기 위해 여러 번의 반복을 필요로 하는 경우가 많습니다.

개발에는 AI Gateway를 통해 선택한 모델을 GitLab 인프라와 통합하고 API 인터페이스를 구현하는 작업이 포함될 수 있습니다. 팀은 GitLab Duo Self-Hosted 지원 요구사항을 고려해야 합니다.

주요 활동#

AI 사용 추적 메트릭

리소스#

Test & Evaluate(테스트 및 평가)#

Test & Evaluate 단계에서는 전통적인 자동화 테스트 방법과 AI 생성 콘텐츠 평가를 활용하여 AI 기능의 품질, 성능, 보안을 검증합니다. 제품 개발 플로의 Build 트랙 Develop & Test 단계를 보완합니다.

평가는 기능 동작의 포괄적인 커버리지를 보장하기 위해 실제 사용 시나리오를 나타내는 데이터셋을 생성하는 것을 포함합니다. 팀은 AI 생성 콘텐츠의 품질 여러 측면과 성능 특성을 다루는 평가 전략을 구현합니다.

주요 활동#

Launch & Monitor(출시 및 모니터링)#

이 단계는 제어된 롤아웃과 포괄적인 모니터링을 통해 프로덕션에 AI 기능을 안전하게 도입하는 데 중점을 둡니다. 제품 개발 플로의 Build 트랙 Launch 단계를 보완합니다.

기능 플래그를 활용하여 접근을 제어하고 사용자 노출을 점진적으로 확대하며, 더 넓은 단계적 릴리즈 전에 내부 팀부터 시작합니다. 모니터링은 기술 메트릭(지연 시간, 오류율, 리소스 사용량)과 AI 특화 지표(모델 성능, 응답 품질, 사용자 만족도)를 추적합니다. 알림 시스템은 즉각적인 주의가 필요한 성능 저하, 비정상적인 패턴, 또는 안전 문제를 감지하는 데 활용될 수 있습니다.

주요 활동#

리소스#

Improve(개선)#

이 단계는 데이터, 사용자 피드백, 변경된 요구사항을 기반으로 기능을 반복적으로 개선하는 데 중점을 둡니다. 제품 개발 플로의 Build 트랙 Improve 단계를 보완합니다.

실제 사용 패턴과 성능 메트릭을 분석하여 프롬프트 엔지니어링, 모델 선택, 시스템 아키텍처, 기능 설계 등에서 개선 기회를 식별합니다. 사용자 피드백은 사용자 만족도에 대한 정성적 인사이트를 포착해야 합니다. 팀은 사용자 상호작용과 피드백을 기반으로 프롬프트를 반복적으로 개선할 수 있습니다.

이 단계에는 더 새롭고 더 유능한 모델이 출시될 때의 모델 마이그레이션이 포함됩니다.

주요 활동#

단계 간 상호 의존성#

각 단계는 개발이 진행되면서 이전 단계 중 하나 이상으로 피드백될 수 있습니다. Develop 단계와 Test & Evaluate 단계는 특히 밀접하게 연결되어 있습니다. 상호 의존성의 예시는 다음과 같습니다:

  • 평가 인사이트는 새로운 개발 반복을 필요로 할 수 있습니다.

  • 프로덕션 모니터링 결과는 아키텍처 재계획을 시사할 수 있습니다.

  • 사용자 피드백은 평가 전략 변경을 유도할 수 있습니다.