벡터 데이터베이스는 정보를 숫자로 저장합니다.

벡터 데이터베이스는 특징이나 속성의 수학적 표현인 고차원 벡터로 데이터를 저장하는 데이터베이스 유형입니다. (출처)

이를 통해 빠르고 정확한 유사도 검색이 가능해집니다. 벡터 데이터베이스를 사용하면 기존의 데이터베이스 쿼리 대신 의미론적, 문맥적 의미를 기반으로 관련 데이터를 검색할 수 있습니다.

간단한 예시#

벡터 데이터베이스는 "n8n is a source-available automation tool that you can self-host"라는 문장을 저장할 수 있지만, 이를 텍스트로 저장하는 대신 그 특징을 나타내는 차원 배열(0과 1 사이의 숫자)로 저장합니다. 이는 문장의 각 글자를 숫자로 바꾼다는 의미가 아닙니다. 대신 벡터 데이터베이스의 벡터는 문장을 묘사합니다.

벡터 스토어에서 0.1은 automation tool을, 0.2는 source available을, 0.3은 can be self-hosted를 나타낸다고 가정해 보겠습니다. 그러면 다음과 같은 벡터를 얻을 수 있습니다.

유사도 검색의 힘을 보여주는 예시#

Qdrant는 사용자가 벡터 데이터베이스의 힘을 이해하도록 돕기 위해 벡터 검색 데모를 제공합니다. 음식 발견 데모는 벡터 스토어가 시각적 유사성을 기반으로 이미지를 매칭하는 데 어떻게 도움이 되는지 보여줍니다.

이 데모는 Delivery Service의 데이터를 사용합니다. 사용자는 요리 사진에 좋아요 또는 싫어요를 표시할 수 있으며, 앱은 외관을 기준으로 더 유사한 요리를 추천합니다. 배달 반경 내 레스토랑의 결과만 볼 수 있도록 선택하는 것도 가능합니다. (출처)

전체 기술적 세부 사항은 Qdrant demo-food-discovery GitHub 리포지터리를 참고하세요.

임베딩, 리트리버, 텍스트 분할기, 문서 로더#

벡터 데이터베이스가 작동하려면 다른 도구가 필요합니다.

• 문서 로더 및 텍스트 분할기: 문서 로더는 문서와 데이터를 가져와 임베딩¹을 위해 준비합니다. 문서 로더는 텍스트 분할기를 사용해 문서를 청크로 나눌 수 있습니다.
• 임베딩: 데이터(텍스트, 이미지 등)를 벡터로 바꾸고, 다시 원시 데이터로 되돌리는 도구입니다. n8n은 텍스트 임베딩만 지원한다는 점에 유의하세요.
• 리트리버: 리트리버는 벡터 데이터베이스에서 문서를 가져옵니다. 벡터를 다시 데이터로 변환하려면 임베딩과 짝을 이루어야 합니다.

Footnotes

1. 임베딩은 벡터를 사용한 데이터의 숫자 표현입니다. AI는 여러 차원에 걸쳐 값을 매핑함으로써 복잡한 데이터와 관계를 해석하는 데 임베딩을 사용합니다. 벡터 데이터베이스(또는 벡터 스토어)는 임베딩을 저장하고 접근하도록 설계된 데이터베이스입니다. ↩