Hugging Face Inference Model 노드를 사용하여 Hugging Face의 모델을 사용하세요.

이 페이지에서는 Hugging Face Inference Model 노드의 노드 매개변수와 추가 리소스 링크를 확인할 수 있습니다.

이 노드는 도구(tools) 지원이 없으므로 AI Agent 노드와는 함께 작동하지 않습니다. 대신 Basic LLM Chain 노드와 연결하세요.

노드 매개변수#

• Model: 완성(completion)을 생성하는 데 사용할 모델을 선택합니다.

노드 옵션#

• Custom Inference Endpoint: 사용자 지정 추론 엔드포인트 URL을 입력합니다.
• Frequency Penalty: 이 옵션을 사용하여 모델이 스스로 반복할 가능성을 제어합니다. 값이 높을수록 모델이 반복할 가능성이 줄어듭니다.
• Maximum Number of Tokens: 사용할 최대 토큰 수를 입력합니다. 이는 완성 길이를 설정합니다.
• Presence Penalty: 이 옵션을 사용하여 모델이 새로운 주제에 대해 이야기할 가능성을 제어합니다. 값이 높을수록 모델이 새로운 주제에 대해 이야기할 가능성이 늘어납니다.
• Sampling Temperature: 이 옵션을 사용하여 샘플링 프로세스의 무작위성을 제어합니다. 온도가 높을수록 더 다양한 샘플링이 생성되지만, 환각(hallucination) 위험이 증가합니다.
• Top K: 모델이 다음 토큰을 생성할 때 사용하는 토큰 선택 수를 입력합니다.
• Top P: 이 옵션을 사용하여 완성에 사용할 확률을 설정합니다. 확률이 낮은 옵션을 무시하려면 더 낮은 값을 사용하세요.

템플릿 및 예제#

Hugging Face Inference Model 노드 문서 통합 템플릿 둘러보기 또는 모든 템플릿 검색하기

관련 리소스#

이 서비스에 대한 자세한 내용은 LangChain의 Hugging Face Inference Model 문서를 참조하세요.