TeleportInferenceModel
요약
이 가이드는 Teleport Kubernetes 오퍼레이터를 설치한 후 적용할 수 있는 TeleportInferenceModel 리소스의 필드에 대한 종합 참조 문서입니다. apiVersion: resources.teleport.dev/v1
이 가이드는 Teleport Kubernetes 오퍼레이터를 설치한 후 적용할 수 있는 TeleportInferenceModel
리소스의 필드에 대한 종합 참조 문서입니다.
resources.teleport.dev/v1#
apiVersion: resources.teleport.dev/v1
| 필드 | 타입 | 설명 |
|---|---|---|
| apiVersion | string | APIVersion은 이 객체 표현의 버전화된 스키마를 정의합니다. 서버는 인식된 스키마를 최신 내부 값으로 변환해야 하며, 인식되지 않는 값을 거부할 수 있습니다. 자세한 정보: https://git.k8s.io/community/contributors/devel/sig-architecture/api-conventions.md#resources |
| kind | string | Kind는 이 객체가 나타내는 REST 리소스를 나타내는 문자열 값입니다. 서버는 클라이언트가 요청을 제출하는 엔드포인트에서 이를 유추할 수 있습니다. 업데이트할 수 없습니다. CamelCase 형식입니다. 자세한 정보: https://git.k8s.io/community/contributors/devel/sig-architecture/api-conventions.md#types-kinds |
| metadata | object | |
| spec | object | Teleport의 InferenceModel 리소스 정의 v1 |
spec#
| 필드 | 타입 | 설명 |
|---|---|---|
| bedrock | object | Bedrock는 이 모델이 Amazon Bedrock을 추론 공급자로 사용함을 나타내며 Bedrock 관련 파라미터를 지정합니다. |
| max_session_length_bytes | integer | MaxSessionLengthBytes는 추론 공급자에게 전송할 수 있는 최대 세션 길이입니다. 현재는 모델의 컨텍스트 창 크기로 결정됩니다. Teleport의 미래 버전에서는 더 큰 세션을 청크로 분할하여 요약할 수 있게 할 예정입니다. 추론 공급자는 주어진 모델의 컨텍스트 창보다 큰 요청을 거부합니다. 컨텍스트 창은 일반적으로 토큰 단위로 크기가 지정되므로 이 값은 근사치입니다. 입력 토큰당 2바이트를 가정하면 안전합니다. 현재 Teleport는 이 한도보다 큰 세션을 즉시 거부합니다. 미래 버전에서는 세션을 청크로 분할하여 이 크기를 최대값으로 처리할 것입니다. 설정되지 않거나 0으로 설정된 경우 기본값은 1MB입니다. |
| openai | object | Openai는 이 모델이 OpenAI를 추론 공급자로 사용함을 나타내며 OpenAI 관련 파라미터를 지정합니다. |
spec.bedrock#
| 필드 | 타입 | 설명 |
|---|---|---|
| bedrock_model_id | string | BedrockModelId는 Bedrock API가 인식하는 모델 ID 또는 추론 프로파일을 지정합니다. |
| integration | string | Integration은 AWS OIDC 통합 이름입니다. 설정되지 않은 경우 Teleport는 Auth Service 머신에서 사용 가능한 AWS 자격 증명을 사용합니다. 설정된 경우 적절한 역할을 가정하기 위해 지정된 OIDC 통합을 사용합니다. |
| region | string | Region은 추론에 사용될 AWS 리전입니다. |
| temperature | number | Temperature는 모델 출력의 무작위성을 제어합니다. |
spec.openai#
| 필드 | 타입 | 설명 |
|---|---|---|
| api_key_secret_ref | string | ApiKeySecretRef는 OpenAI API 키를 포함하는 InferenceSecret에 대한 참조입니다. |
| base_url | string | BaseUrl은 OpenAI API 기본 URL입니다. 선택 사항이며, 기본값은 공개 OpenAI API URL입니다. LiteLLM과 같은 맞춤형 OpenAI 호환 API를 가리키는 데 사용할 수 있습니다. 이 경우 api_key_secret_ref는 해당 맞춤형 API의 API 키를 포함하는 시크릿을 가리켜야 합니다. |
| openai_model_id | string | OpenaiModelId는 OpenAI API가 인식하는 모델 ID를 지정합니다. |
| temperature | number | Temperature는 모델 출력의 무작위성을 제어합니다. |