Amazon Bedrock 지식 기반에 단발 RAG와 검색 전용 모드 추가, 질문 난이도에 따라 검색 방식 선택 가능

무슨 일이 있었나

AWS는 공식 블로그에서 Amazon Bedrock Managed Knowledge Base가 이제 AgenticRetrieveStream을 통해 단발 검색 증강 생성(RAG)과 검색 전용 요청을 지원한다고 발표했습니다. RAG는 기업 문서에서 관련 구절을 먼저 찾은 뒤, AI 모델이 그 구절을 바탕으로 답을 작성하는 방식입니다. 지식 기반은 이런 문서를 저장해 AI가 조회할 수 있게 하는 데이터베이스입니다.

AWS에 따르면 단발 RAG는 지식 기반을 한 번만 검색하고, 파운데이션 모델(질문을 이해하고 텍스트를 생성하는 대형 AI 모델)이 찾은 구절로 답을 만듭니다. 검색 전용은 일치하는 구절만 반환하고 답은 생성하지 않아, 애플리케이션이나 사용자가 원문을 직접 처리합니다. 이 두 모드는 기존 에이전트형 검색, 즉 서비스가 스스로 여러 번의 검색을 계획하고 실행한 뒤 답하는 방식에 추가되었습니다.

AWS 설명에 따르면 에이전트형 검색에서는 파운데이션 모델이 질문을 하위 쿼리로 나누고, 관련 지식 기반을 검색하며, 결과가 충분한지 평가합니다. 필요하면 설정된 반복 한도 안에서 검색을 조정하고, 구절의 맥락이 부족하면 전체 문서를 가져올 수도 있습니다. 응답 생성을 켜면 서비스가 검색된 정보를 통합해 인용을 붙이며, 추적 이벤트에는 계획과 검색 단계가 표시됩니다.

세 가지 모드 선택 방법

AWS에 따르면 maxAgentIteration의 범위는 이제 0~5이며, 이 매개변수 하나로 요청마다 어떤 모드를 쓸지 정할 수 있습니다. 한 번의 반복은 파운데이션 모델 호출 1회에 해당합니다. 값 n은 최대 n-1회의 에이전트형 계획을 허용하며, 마지막 반복은 답변 생성에 할당됩니다. AWS는 첫 계획 전에 실행되는 초기 추측성 검색은 반복 횟수에 포함되지 않는다고도 밝혔습니다.

일반 사용자와 개발자에게 미치는 실질적 영향

사내 질의응답 어시스턴트에서는 단순 질의와 복잡한 비교를 이제 같은 API로 처리할 수 있습니다. AWS는 단발 RAG가 파운데이션 모델을 한 번만 호출하므로 에이전트형 검색보다 지연 시간과 모델 사용량을 줄일 수 있고, 검색 전용은 파운데이션 모델을 전혀 호출하지 않는다고 밝혔습니다.

AWS는 세 가지 사용 예를 들었습니다. '개인사업자가 사업자 계좌를 개설하는 데 필요한 서류는 무엇인가'라는 질문에는 maxAgentIteration=1과 응답 생성을 켜는 설정을 쓸 수 있습니다. 개인사업자와 유한책임회사의 계좌 개설 요건을 비교하는 질문에는 maxAgentIteration=4를 쓸 수 있습니다. 정책 원문을 읽어야 할 때는 0으로 설정하고 응답 생성을 끕니다.

제한 사항과 유의점

• AWS는 모드 선택이 애플리케이션 로직의 몫이며, 이 매개변수가 요청을 자동으로 라우팅하지는 않는다고 밝혔습니다.
• maxAgentIteration=0에서 generateResponse를 true로 설정하면 유효하지 않은 설정이며 4xx 오류가 반환됩니다.
• 검색 전용의 구절은 스트림의 result 이벤트에 나타나며 score나 location 필드가 없어, Retrieve를 직접 호출한 응답과 형식이 다릅니다.
• AWS는 예시 어시스턴트가 계좌를 승인하지 않으며 은행의 심사와 승인 절차를 대체하지 않는다고 밝혔습니다.
• AWS는 반복 한도가 높다고 항상 더 나은 답이 나오는 것은 아니므로 대표적인 질문으로 평가해야 한다고 당부했습니다.

시작하는 방법(AWS 설명 기준)

1. 자사 문서에서 대표적인 질문과 기대 답변 세트를 준비합니다. 여러 문서를 가로질러야 답할 수 있는 질문과 문서로는 답할 수 없는 질문도 포함합니다.
2. AgenticRetrieveStream API 참조에 따라 요청에 maxAgentIteration과 generateResponse를 설정합니다.
3. 같은 지식 기반에서 단발 RAG와 기존 에이전트형 설정을 비교해 응답 지연 시간과 요청 비용을 측정하고, 답이 정확한지, 검색된 구절이 뒷받침하는지 확인합니다.
4. 결과에 따라 각 워크플로에 품질 요건을 충족하는 가장 낮은 반복 한도를 선택합니다.

이 주제의 최신 뉴스 보기

• AI 뉴스