LangChain을 이용한 RAG - (4) 검색 편

2024.07.11 - [데이터 분석/LLM] - LangChain을 이용한 RAG - (3) 벡터 DB 편

Retrieve

드디어 RAG의 R을 수행한다. LangChain에서는 벡터스토어를 통해 검색을 하게 되며, 3편을 보면 벡터스토어를 선언할 때 임베딩 모델을 함께 넣어주기 때문에 사용자 입력(쿼리)을 벡터스토어가 알아서 임베딩해주고 그 결과를 가지고 검색을 수행한다.

vectorstore_faiss = FAISS.from_documents(
    documents=split_docs, embedding=hf # HuggingFaceBge 임베딩 모델
)

 

 

벡터스토어를 통해 바로 검색하는 방법이 있고, 벡터스토어를 retriever(검색기)로 변환한 후 검색하는 방법이 있다.

query = "리셀은 암표와 유사하다."

# 벡터스토어를 통해 바로 검색하는 방법
sim_doc = vectorstore_faiss.similarity_search(query, k=3)
[doc.page_content for doc in sim_doc]

# 검색 결과
['5. 암표상과 유사한 효과: 리셀 활동이 합법적일지라도, 빈번한 리셀로 인한 희소성 조작과 가격 상승은 암표상 활동이 초래하는 시장 왜곡과 유사한 결과를 낳습니다.\n\n6. 창작자의 의도 무시: 한정판 제품의 창작자 및 제작자는 종종 팬들과 진심을 나누거나 특별한 경험을 제공하려는 의도로 제품을 만듭니다. 리셀 활동은 이러한 의도와 노력을 무시하고 순수한 상업적 이익만을 추구하는 행위로 비춰질 수 있습니다.\n\n결국, 리셀 시장에 대한 반대 입장은 제품에 대한 접근성, 공정한 가격 책정, 그리고 소비자와 창작자의 이익을 보호하려는 시장의 근본적인 목적에 근거합니다. 이러한 반대 입장은 공정한 경쟁과 시장의 투명성 유지를 위해 리셀 활동에 대한 규제가 필요하다고 주장합니다.',
 '이처럼 리셀 시장에 찬성하는 입장은 시장 자율성과 개별 소비자의 권리를 중요시하며, 리셀 활동을 경제적인 기회 극대화와 시장 다양성 증진의 창구로 간주합니다. 그러나, 리셀 시장의 영향을 받는 다양한 이해관계자의 균형 잡힌 이익을 고려하며, 필요한 경우 합리적인 규제를 도입하여 시장이 건강하게 유지될 수 있도록 하는 것이 중요할 것입니다.\n\n\n\n[반대]\n리셀 시장에 찬성하는 입장에 대한 반대는, 리셀 활동의 제한적 규제와 시장 내 불공정성을 해소하려는 입장에서 다음과 같이 주장할 수 있습니다:\n\n1. 윤리적 시장 운영: 투명하고 공정한 시장 체계는 모든 소비자에게 동일한 기회를 제공해야 합니다. 리셀 시장의 무제한적인 활동은 일부 리셀러들에게 유리한 시장 조건을 생성하여 다른 소비자들의 기회를 제한합니다.',
 '[찬성]\n한정 수량 제품의 리셀 행위와 암표상의 활동을 함께 생각할 때, 일견 비슷한 현상처럼 보일 수 있습니다. 그러나 몇몇 핵심적인 차이점으로 인해, 리셀러(re-seller)의 활동은 정당한 권리로 볼 수 있고, 장기적인 관점에서는 시장에 긍정적인 기능을 제공할 수 있다는 점을 이해해야 합니다. 다음은 리셀 행위를 옹호하는 몇 가지 논점입니다:\n\n1. 소유권 이전의 자유: 소비자가 제품을 구입함으로써 그 제품에 대한 소유권을 얻게 됩니다. 즉, 소비자는 자신이 법적으로 소유한 제품을 자유롭게 처분할 권리가 있습니다. 이는 시장경제 체제의 기본 원칙 중 하나로, 판매 후 구매자의 재정거래를 제한하는 것은 개인의 자유를 부당하게 침해하는 것일 수 있습니다.']

 

 

Vector Store Retriever

retriever = vectorstore.as_retriever(search_type='similarity', k=4)
sim_doc = retriever.invoke(query)

- `search_type`: 유사도 검색 방법을 지정한다. ('similarity', 'similarity_score_threshold', 'mmr')
    - `similarity`: 코사인 유사도 기반으로 유사 문서를 찾는다. `k` 파라미터를 통해 상위 `k`개의 문서만 가져온다.
    - `similarity_score_threshold`: 코사인 유사도의 점수를 기반으로 문서를 가져온다. `score_threshold` 파라미터를 통해 `score_threshold` 이상의 점수인 문서만 가져온다.
    - `mmr`: Maximum marginal relevance search로, 유사한 것만이 아닌 다양성을 추가하여 검색 결과를 향상시킨다. `fetch_k`개의 문서를 뽑은 뒤 `lambda_mult` 파라미터의 MMR을 통해 선택된 `k`개의 문서만 가져온다.
        - $\text{MMR} = \lambda \cdot \text{Sim}(d, Q) - (1 - \lambda) \cdot \max \limits_{d' \in D'} \text{Sim}(d, d')$
        - $\text{Sim}(d, Q)$: 문서($d$)와 쿼리($Q$) 사이의 유사성
        - $\max \limits_{d' \in D'} \text{Sim}(d, d')$: 문서($d$)와 이미 선택된 문서 집합($D'$) 중 가장 유사한 문서와의 유사성
        - $\lambda$: 유사성과 다양성의 상대적 중요도를 조절하는 매개변수로, $\lambda=0$이면 다양성만 고려하며 $\lambda=1$이면 유사성만 고려한다.

 

retriever_sim = vectorstore_faiss.as_retriever(search_type="similarity", k=3)
retriever_score = vectorstore_faiss.as_retriever(search_type="similarity_score_threshold", search_kwargs=dict(score_threshold=0.8))
retriever_mmr = vectorstore_faiss.as_retriever(search_type="mmr", search_kwargs=dict(k=3, fetch_k=10, lambda_mult=0.5))

 

각 방식으로 뽑은 결과는 다르다.

 

# similarity
['5. 암표상과 유사한 효과: 리셀 활동이 합법적일지라도, 빈번한 리셀로 인한 희소성 조작과 가격 상승은 암표상 활동이 초래하는 시장 왜곡과 유사한 결과를 낳습니다.\n\n6. 창작자의 의도 무시: 한정판 제품의 창작자 및 제작자는 종종 팬들과 진심을 나누거나 특별한 경험을 제공하려는 의도로 제품을 만듭니다. 리셀 활동은 이러한 의도와 노력을 무시하고 순수한 상업적 이익만을 추구하는 행위로 비춰질 수 있습니다.\n\n결국, 리셀 시장에 대한 반대 입장은 제품에 대한 접근성, 공정한 가격 책정, 그리고 소비자와 창작자의 이익을 보호하려는 시장의 근본적인 목적에 근거합니다. 이러한 반대 입장은 공정한 경쟁과 시장의 투명성 유지를 위해 리셀 활동에 대한 규제가 필요하다고 주장합니다.',
 '이처럼 리셀 시장에 찬성하는 입장은 시장 자율성과 개별 소비자의 권리를 중요시하며, 리셀 활동을 경제적인 기회 극대화와 시장 다양성 증진의 창구로 간주합니다. 그러나, 리셀 시장의 영향을 받는 다양한 이해관계자의 균형 잡힌 이익을 고려하며, 필요한 경우 합리적인 규제를 도입하여 시장이 건강하게 유지될 수 있도록 하는 것이 중요할 것입니다.\n\n\n\n[반대]\n리셀 시장에 찬성하는 입장에 대한 반대는, 리셀 활동의 제한적 규제와 시장 내 불공정성을 해소하려는 입장에서 다음과 같이 주장할 수 있습니다:\n\n1. 윤리적 시장 운영: 투명하고 공정한 시장 체계는 모든 소비자에게 동일한 기회를 제공해야 합니다. 리셀 시장의 무제한적인 활동은 일부 리셀러들에게 유리한 시장 조건을 생성하여 다른 소비자들의 기회를 제한합니다.',
 '[찬성]\n한정 수량 제품의 리셀 행위와 암표상의 활동을 함께 생각할 때, 일견 비슷한 현상처럼 보일 수 있습니다. 그러나 몇몇 핵심적인 차이점으로 인해, 리셀러(re-seller)의 활동은 정당한 권리로 볼 수 있고, 장기적인 관점에서는 시장에 긍정적인 기능을 제공할 수 있다는 점을 이해해야 합니다. 다음은 리셀 행위를 옹호하는 몇 가지 논점입니다:\n\n1. 소유권 이전의 자유: 소비자가 제품을 구입함으로써 그 제품에 대한 소유권을 얻게 됩니다. 즉, 소비자는 자신이 법적으로 소유한 제품을 자유롭게 처분할 권리가 있습니다. 이는 시장경제 체제의 기본 원칙 중 하나로, 판매 후 구매자의 재정거래를 제한하는 것은 개인의 자유를 부당하게 침해하는 것일 수 있습니다.',
 '[찬성]\n리셀 시장에 찬성하는 입장에서 위와 같은 반대 의견에 대응을 한다면, 시장의 자율성, 개인의 자유로운 경제 활동, 그리고 리셀 시장의 필요성 및 정당성에 대한 주장을 강화하면서 다음과 같이 말할 수 있습니다:\n\n1. 경제 활동에 대한 자유: 개인은 자신이 소유한 재화를 자유롭게 처분할 권리가 있으며, 이는 법적으로 보장된 재산권의 기본입니다. 리셀 시장은 이러한 개인의 권리를 현실적으로 실현한 것입니다.\n\n2. 시장 메커니즘의 역할: 높은 재판매 가격은 과도하게 보일 수 있으나, 이는 곧 제품에 대한 높은 수요와 제한적인 공급 상태를 반영합니다. 시장 메커니즘은 이를 조정하는 역할을 하며, 장기적으로는 가격 안정화로 이어질 수도 있습니다.\n\n3. 소비자의 선택권 확대: 리셀 시장은 구매하지 못한 소비자들에게 또 다른 기회를 제공합니다. 시장 원리에 따라만 판매되는 것이 아니라, 제품을 진정으로 원하는 사람이 소유할 기회를 넓혀주는 효과가 있습니다.']
 
 
 # score
 ['5. 암표상과 유사한 효과: 리셀 활동이 합법적일지라도, 빈번한 리셀로 인한 희소성 조작과 가격 상승은 암표상 활동이 초래하는 시장 왜곡과 유사한 결과를 낳습니다.\n\n6. 창작자의 의도 무시: 한정판 제품의 창작자 및 제작자는 종종 팬들과 진심을 나누거나 특별한 경험을 제공하려는 의도로 제품을 만듭니다. 리셀 활동은 이러한 의도와 노력을 무시하고 순수한 상업적 이익만을 추구하는 행위로 비춰질 수 있습니다.\n\n결국, 리셀 시장에 대한 반대 입장은 제품에 대한 접근성, 공정한 가격 책정, 그리고 소비자와 창작자의 이익을 보호하려는 시장의 근본적인 목적에 근거합니다. 이러한 반대 입장은 공정한 경쟁과 시장의 투명성 유지를 위해 리셀 활동에 대한 규제가 필요하다고 주장합니다.']
 
 
 # MMR
 ['5. 암표상과 유사한 효과: 리셀 활동이 합법적일지라도, 빈번한 리셀로 인한 희소성 조작과 가격 상승은 암표상 활동이 초래하는 시장 왜곡과 유사한 결과를 낳습니다.\n\n6. 창작자의 의도 무시: 한정판 제품의 창작자 및 제작자는 종종 팬들과 진심을 나누거나 특별한 경험을 제공하려는 의도로 제품을 만듭니다. 리셀 활동은 이러한 의도와 노력을 무시하고 순수한 상업적 이익만을 추구하는 행위로 비춰질 수 있습니다.\n\n결국, 리셀 시장에 대한 반대 입장은 제품에 대한 접근성, 공정한 가격 책정, 그리고 소비자와 창작자의 이익을 보호하려는 시장의 근본적인 목적에 근거합니다. 이러한 반대 입장은 공정한 경쟁과 시장의 투명성 유지를 위해 리셀 활동에 대한 규제가 필요하다고 주장합니다.',
 '이처럼 리셀 시장에 찬성하는 입장은 시장 자율성과 개별 소비자의 권리를 중요시하며, 리셀 활동을 경제적인 기회 극대화와 시장 다양성 증진의 창구로 간주합니다. 그러나, 리셀 시장의 영향을 받는 다양한 이해관계자의 균형 잡힌 이익을 고려하며, 필요한 경우 합리적인 규제를 도입하여 시장이 건강하게 유지될 수 있도록 하는 것이 중요할 것입니다.\n\n\n\n[반대]\n리셀 시장에 찬성하는 입장에 대한 반대는, 리셀 활동의 제한적 규제와 시장 내 불공정성을 해소하려는 입장에서 다음과 같이 주장할 수 있습니다:\n\n1. 윤리적 시장 운영: 투명하고 공정한 시장 체계는 모든 소비자에게 동일한 기회를 제공해야 합니다. 리셀 시장의 무제한적인 활동은 일부 리셀러들에게 유리한 시장 조건을 생성하여 다른 소비자들의 기회를 제한합니다.',
 '[주제]\n한정 수량 판매 제품을 사서 비싼 값에 파는 "리셀" 행위는 소비자의 정당한 권리이며, 암표상과는 다른 문제이다.\n\n\n[화두]\n최근 어떤 게임에서 1000개 한정 수량 굿즈를 1인 1개 한정으로 판매하였다. 그런데 해당 게임을 플레이하면서 굿즈를 구매하고 싶어도 구매하지 못한 소비자가 있는 한편, 게임을 하지 않는 사람들이 굿즈를 구매하고서 정가보다 2배 이상 비싼 값에 되파는 모습이 나타나 논란이 일었다. 심지어 정부는 이렇게 한정 수량 제품을 산 뒤 더 비싼 값에 되파는 사람들을 리셀러(re-seller)라고 부르고 재태크라며 부추기는 모습을 보이는 한편 스포츠 경기나 공연 등 티켓 암표상에 대해서는 법적으로 대응하고 있다. 이에 "한정 수량 제품을 사고 비싼 값에 판다"는 사실은 암표상과 리셀러는 동일한데 암표상만 잡고 리셀러는 방치하여 모순된다는 비판을 사고 있다.']

볼 수 있다시피 score 방식은 기준 점수를 넘지 않으면 문서를 가져오지 않기 때문에 아무것도 가져오지 않을 경우가 생긴다. 질문과 관계 없는 내용을 차단해버린다는 점에서 어쩌면 이게 더 좋은 방식일 수 있다.

 

 

Multi Query Retriever

사용자의 질문(쿼리)을 LLM을 이용하여 다양한 모습으로 변화시켜 다각도의 유사 문서를 가져오는 방식이다. LLM 모델을 쓴다는 점에서 비용이 부담될 수 있으나 최대 토큰수를 제한하면 되기도 하고, 사례들을 보면 검색 성능이 좋아서 많이들 추천하는 방법인 것 같다.

from langchain.retrievers.multi_query import MultiQueryRetriever
from langchain_openai import ChatOpenAI

query = "리셀은 암표상과 어떤 점이 유사한가요?"

llm = ChatOpenAI(
    model='gpt-3.5-turbo-0125',
    temperature=0,
    max_tokens=500,
)

retriever_from_llm = MultiQueryRetriever.from_llm(
    retriever=vectorstore_faiss.as_retriever(k=3), llm=llm
)

# Set logging for the queries
import logging

logging.basicConfig()
logging.getLogger('langchain.retrievers.multi_query').setLevel(logging.INFO)

unique_docs = retriever_from_llm.invoke(query)
len(unique_docs) # 6

"리셀은 암표상과 어떤 점이 유사한가요?" → "리셀은 암표상과 어떤 부분이 비슷한가요?", "암표상과 어떤 측면에서 리셀이 유사한가요?", "리셀이 암표상과 어떤 면에서 닮았다고 볼 수 있을까요?"

 

 

BM25 Retriever

BM25 알고리즘을 사용하여 유사한 문서를 가져오는 방법으로 TF-IDF와 유사하며 Elastic Search에서 사용된다고 한다.

$\text{score}(D, Q) = \sum \limits_{i=1}^n IDF(q_i) \times \frac {f(q_i, D)\times(k_1+1)}{f(q_i, D) + k_1(1-b + b\times\frac{|D|}{avgdl})}$
- $q_i$: 쿼리의 $i$번째 토큰
- $b$: 일반적으로 0.75로 두며 값이 커지면 문서의 길이가 평균 대비 문서의 길이에 대한 항의 중요도가 커지고 반대로 0에 가까워지면 문서의 길이에 대한 부분은 무시됨.
- $f(q_i, D)$: 쿼리의 $i$번째 토큰이 문서 D에 얼마나 자주 나타나는지를 나타냄
- $k_1$: TF의 saturation을 결정하는 요소 (1.2~2.0의 값을 사용하는 것이 일반적). 하나의 쿼리 토큰이 문서 점수에 줄 수 있는 영향을 제한함.

from langchain.retrievers import BM25Retriever

bm25_retriever = BM25Retriever.from_documents(split_docs, bm25_params=dict(b=0.75, k1=1.6))
bm25_retriever.k = 3

query = "리셀은 암표와 유사하다."
[doc.page_content for doc in bm25_retriever.invoke(query)]

# 검색 결과
['5. 법적인 테두리 내의 활동: 리셀은 대부분 법적 테두리 내에서 이루어지며, 합법적인 거래를 통해 이뤄진다는 점에서 암표상의 불법적이고 부정적인 활동과는 분명하게 구분됩니다.\n\n6. 시장에서의 정정 능력: 리셀 시장이 일으키는 문제에 대응하기 위해, 제조사나 판매자는 할당량 제도, 구매자 인증, 봇 사용 방지 기술 등을 도입하여 시장을 정정할 수 있는 능력이 있습니다.\n\n이러한 찬성 입장의 논리는 리셀 시장이 자본주의 시장 경제의 일부로서 갖는 역할과 기능에 초점을 맞추고 있으며, 일부 문제점을 인정하면서도 이를 시장 메커니즘과 법적 규제를 통해 개선할 수 있다는 낙관적인 시각을 제공합니다.\n\n\n\n[반대]\n리셀 시장에 대한 찬성 입장에 반대하는 입장에서는 시장 원칙과 리셀 활동의 실질적인 영향 사이에 존재하는 긴장 관계를 강조하며, 리셀이 가져올 수 있는 부정적인 영향을 다음과 같이 지적할 수 있습니다:',
 '[반대]\n정확히 말씀해주셨습니다. 리셀 시장에 대한 적절한 접근은 시장 자유, 개인의 권리, 공정성, 그리고 소비자와 창작자의 보호라는 가치 사이에서 섬세한 균형을 찾아야 합니다. 향후 법적, 경제적, 그리고 윤리적 측면에서 이 문제를 지속적으로 평가하고 관리하는 것이 중요할 것입니다.\n\n이와 관련하여, 이해당사자들 간의 지속적인 대화와 협력을 통해 합리적인 규제와 권장 사항들을 마련할 수 있으며, 시장의 건전한 발전 및 모든 소비자와 창작자의 이익을 보호하기 위한 정책을 수립하는 데 주력해야 합니다. 리셀 시장이 가져올 수 있는 긍정적인 효과를 높이고 부정적인 영향을 최소화할 수 있는 충분한 정보와 교육도 중요한 요소입니다.\n\n마지막으로, 리셀 시장의 도덕적인 측면에 대한 공개적인 논의를 통해 사회적 합의와 공감대를 형성하는 것이 추후에 중요한 역할을 할 수 있습니다. 이는 시장 참여자 모두가 수용할 수 있는 지속 가능하고 투명한 시장 질서의 정립으로 이어질 것입니다.',
 '5. 창작가와 소비자 간의 관계 형성: 리셀 시장은 창작가의 작품이나 제품이 더 넓은 범위의 소비자에게 알려지기 위한 수단이 될 수 있으며, 창작가에게 추가적인 시장 가치와 인지도를 제공할 수 있다는 입장입니다.\n\n이 같은 찬성 입장은 개인의 자율성 및 창의성을 중시하는 경제 철학과 함께, 시장 메커니즘이 자연스럽게 불공정함과 시장 왜곡을 해결해 나갈 수 있다는 믿음에 기반하고 있습니다. 물론, 이 과정에서 공정한 경쟁과 소비자 보호라는 중요한 가치를 잊지 않으며, 규제가 필요하다면 이를 합리적으로 설계하고 적용해야 한다는 입장도 수용할 수 있습니다.\n\n토론을 진행해 주셔서 감사합니다. 리셀 시장에 대한 의견은 다양하고, 이에 대한 균형 잡힌 접근이 중요할 것입니다.']

앞서 유사도 기반과 MMR 검색과는 결과가 다르다.

 

 

Ensemble Retriever

여러 검색기에 가중치를 주고 문서를 검색한다.

from langchain.retrievers import EnsembleRetriever

ensemble_retriever = EnsembleRetriever(
    retrievers=[retriever_sim, retriever_mmr], weights=[0.5, 0.5]
)
query = "리셀은 암표와 유사하다."
[doc.page_content for doc in ensemble_retriever.invoke(query)]

# 검색 결과
['5. 암표상과 유사한 효과: 리셀 활동이 합법적일지라도, 빈번한 리셀로 인한 희소성 조작과 가격 상승은 암표상 활동이 초래하는 시장 왜곡과 유사한 결과를 낳습니다.\n\n6. 창작자의 의도 무시: 한정판 제품의 창작자 및 제작자는 종종 팬들과 진심을 나누거나 특별한 경험을 제공하려는 의도로 제품을 만듭니다. 리셀 활동은 이러한 의도와 노력을 무시하고 순수한 상업적 이익만을 추구하는 행위로 비춰질 수 있습니다.\n\n결국, 리셀 시장에 대한 반대 입장은 제품에 대한 접근성, 공정한 가격 책정, 그리고 소비자와 창작자의 이익을 보호하려는 시장의 근본적인 목적에 근거합니다. 이러한 반대 입장은 공정한 경쟁과 시장의 투명성 유지를 위해 리셀 활동에 대한 규제가 필요하다고 주장합니다.',
 '이처럼 리셀 시장에 찬성하는 입장은 시장 자율성과 개별 소비자의 권리를 중요시하며, 리셀 활동을 경제적인 기회 극대화와 시장 다양성 증진의 창구로 간주합니다. 그러나, 리셀 시장의 영향을 받는 다양한 이해관계자의 균형 잡힌 이익을 고려하며, 필요한 경우 합리적인 규제를 도입하여 시장이 건강하게 유지될 수 있도록 하는 것이 중요할 것입니다.\n\n\n\n[반대]\n리셀 시장에 찬성하는 입장에 대한 반대는, 리셀 활동의 제한적 규제와 시장 내 불공정성을 해소하려는 입장에서 다음과 같이 주장할 수 있습니다:\n\n1. 윤리적 시장 운영: 투명하고 공정한 시장 체계는 모든 소비자에게 동일한 기회를 제공해야 합니다. 리셀 시장의 무제한적인 활동은 일부 리셀러들에게 유리한 시장 조건을 생성하여 다른 소비자들의 기회를 제한합니다.',
 '[찬성]\n한정 수량 제품의 리셀 행위와 암표상의 활동을 함께 생각할 때, 일견 비슷한 현상처럼 보일 수 있습니다. 그러나 몇몇 핵심적인 차이점으로 인해, 리셀러(re-seller)의 활동은 정당한 권리로 볼 수 있고, 장기적인 관점에서는 시장에 긍정적인 기능을 제공할 수 있다는 점을 이해해야 합니다. 다음은 리셀 행위를 옹호하는 몇 가지 논점입니다:\n\n1. 소유권 이전의 자유: 소비자가 제품을 구입함으로써 그 제품에 대한 소유권을 얻게 됩니다. 즉, 소비자는 자신이 법적으로 소유한 제품을 자유롭게 처분할 권리가 있습니다. 이는 시장경제 체제의 기본 원칙 중 하나로, 판매 후 구매자의 재정거래를 제한하는 것은 개인의 자유를 부당하게 침해하는 것일 수 있습니다.',
 '[주제]\n한정 수량 판매 제품을 사서 비싼 값에 파는 "리셀" 행위는 소비자의 정당한 권리이며, 암표상과는 다른 문제이다.\n\n\n[화두]\n최근 어떤 게임에서 1000개 한정 수량 굿즈를 1인 1개 한정으로 판매하였다. 그런데 해당 게임을 플레이하면서 굿즈를 구매하고 싶어도 구매하지 못한 소비자가 있는 한편, 게임을 하지 않는 사람들이 굿즈를 구매하고서 정가보다 2배 이상 비싼 값에 되파는 모습이 나타나 논란이 일었다. 심지어 정부는 이렇게 한정 수량 제품을 산 뒤 더 비싼 값에 되파는 사람들을 리셀러(re-seller)라고 부르고 재태크라며 부추기는 모습을 보이는 한편 스포츠 경기나 공연 등 티켓 암표상에 대해서는 법적으로 대응하고 있다. 이에 "한정 수량 제품을 사고 비싼 값에 판다"는 사실은 암표상과 리셀러는 동일한데 암표상만 잡고 리셀러는 방치하여 모순된다는 비판을 사고 있다.',
 '[찬성]\n리셀 시장에 찬성하는 입장에서 위와 같은 반대 의견에 대응을 한다면, 시장의 자율성, 개인의 자유로운 경제 활동, 그리고 리셀 시장의 필요성 및 정당성에 대한 주장을 강화하면서 다음과 같이 말할 수 있습니다:\n\n1. 경제 활동에 대한 자유: 개인은 자신이 소유한 재화를 자유롭게 처분할 권리가 있으며, 이는 법적으로 보장된 재산권의 기본입니다. 리셀 시장은 이러한 개인의 권리를 현실적으로 실현한 것입니다.\n\n2. 시장 메커니즘의 역할: 높은 재판매 가격은 과도하게 보일 수 있으나, 이는 곧 제품에 대한 높은 수요와 제한적인 공급 상태를 반영합니다. 시장 메커니즘은 이를 조정하는 역할을 하며, 장기적으로는 가격 안정화로 이어질 수도 있습니다.\n\n3. 소비자의 선택권 확대: 리셀 시장은 구매하지 못한 소비자들에게 또 다른 기회를 제공합니다. 시장 원리에 따라만 판매되는 것이 아니라, 제품을 진정으로 원하는 사람이 소유할 기회를 넓혀주는 효과가 있습니다.']

각 검색기 결과의 합집합을 내놓는 것 같다.