추론 모델 리소스 레퍼런스

Teleport 추론 모델 리소스의 포괄적인 필드 목록을 제공합니다.

추론 모델 리소스는 어떤 서드파티 추론 공급자에 접근해야 하는지 구성하며, 세션 녹화 요약을 제어하는 일반 옵션과 공급자별 옵션을 포함합니다. 여러 모델을 구성할 수 있습니다. kind: inference_model version: v1 metadata: name: example-model spec: # openai는 Teleport가 이 모델을 사용하여 세션 녹화를 요약하는 데 OpenAI를 사용하도록 지시합니다. openai: # openai_model_id는 공급자별 모델 이름입니다. 이 모델이 실제 OpenAI API에 # 연결되는 경우 유효한 OpenAI 모델 이름이어야 합니다. OpenAI 호환 프록시에 # 연결되는 경우 이 ID는 해당 프록시에서 사용하는 공개 모델 이름입니다. 필수입니다. openai_model_id: gpt-4o # temperature는 모델의 선택적 온도입니다. 기본값은 모델의 기본값입니다. temperature: 0.4 # api_key_secret_ref는 OpenAI API 키(OpenAI에 직접 연결하는 경우) 또는 # LLM 프록시에 인증하는 데 필요한 다른 시크릿을 포함하는 # inference_secret 리소스의 이름입니다. 필수입니다. api_key_secret_ref: example-openai-key # base_url을 사용하면 Teleport가 대체 OpenAI 호환 API(예: 프록시)를 가리키도록 # 기본 URL을 변경할 수 있습니다. 선택적, 기본값은 공개 OpenAI API 엔드포인트입니다. base_url: "http://my-llm-proxy:4000/" # max_session_length_bytes는 이 모델 구성을 사용하여 처리할 세션 녹화의 # 최대 길이입니다. 모델의 컨텍스트 창 제한으로 인해 실패하는 요약 시도에서 # 추가 비용이 발생하는 것을 방지합니다. 선택적, 기본값은 200kB입니다. max_session_length_bytes: 235000 # bedrock은 Teleport가 이 모델을 사용하여 세션 녹화를 요약하는 데 # Amazon Bedrock을 사용하도록 지시합니다. bedrock: # region은 추론에 사용될 AWS 리전입니다. 필수입니다. region: eu-central-1 # bedrock_model_id는 Bedrock API가 이해하는 모델 ID 또는 추론 프로파일을 지정합니다. 필수입니다. bedrock_model_id: "anthropic.claude-3-5-sonnet-20240620-v1:0" # temperature는 모델의 선택적 온도입니다. 기본값은 모델의 기본값입니다. temperature: 0.6