58 lines
3.0 KiB
Python
58 lines
3.0 KiB
Python
from llama_index.core import Settings
|
||
from llama_index.llms.dashscope import DashScope
|
||
from llama_index.indices.managed.dashscope import DashScopeCloudIndex
|
||
from llama_index.core.postprocessor import SimilarityPostprocessor
|
||
from llama_index.postprocessor.dashscope_rerank import DashScopeRerank
|
||
|
||
'''
|
||
本例中构建检索引擎时，需要手动设置下列参数，请根据实际效果调整。
|
||
'''
|
||
Settings.llm = DashScope(model_name="qwen-max") # 设置检索引擎生成回答时调用的大模型。
|
||
similarity_top_k = 5 # 检索引擎找到的相似度最高的结果数
|
||
similarity_cutoff = 0.4 # 过滤检索结果时使用的最低相似度阈值
|
||
top_n = 1 # 进行重排后返回语义上相关度最高的结果数
|
||
|
||
'''
|
||
本例中构建RAG应用时，设置如下问答模板，请根据实际需求调整。
|
||
'''
|
||
init_chat = "\n您好，我是AI助手，可以回答关于百炼系列产品的提问。有什么可以帮您的？（请输入问题，退出请输入'q'）\n> "
|
||
resp_with_no_answer = "很抱歉，知识库未提供相关信息。" + "\n"
|
||
prompt_template = "回答如下问题: {0}\n如果根据提供的信息无法回答，请返回：{1}"
|
||
|
||
|
||
'''
|
||
格式化输出。
|
||
'''
|
||
def prettify_rag(resp):
|
||
output = ""
|
||
output += "\n回答：{0}\n".format(resp.response)
|
||
for j in range(len(resp.source_nodes)):
|
||
output += "\n产品知识库中的相关文本：\n{0}\n".format(resp.source_nodes[j].text)
|
||
return output
|
||
|
||
|
||
'''
|
||
基于云端知识库的向量索引，构建检索引擎，能够接收终端用户的提问，从云端知识库中检索相关的文本片段，再将提问和检索结果合并后输入到大模型，并生成回答。
|
||
RAG应用提供与终端用户的交互界面，如果无法检索到相关的文本片段，或根据检索到的文本片段无法回答终端用户的提问，则返回适当的错误信息。
|
||
'''
|
||
if __name__ == '__main__':
|
||
index = DashScopeCloudIndex("my_first_index") # 读取百炼平台上已创建的知识库索引
|
||
query_engine = index.as_query_engine( # 构建检索引擎
|
||
similarity_top_k=similarity_top_k,
|
||
node_postprocessors=[ # 默认检索结果可能不满足需求，本例中通过加入node_postprocessors对检索结果进行后处理。
|
||
SimilarityPostprocessor(similarity_cutoff=similarity_cutoff), # 过滤不满足最低相似度阈值的检索结果。
|
||
DashScopeRerank(top_n=top_n, model="gte-rerank") # 对检索结果进行重排，返回语义上相关度最高的结果。
|
||
],
|
||
response_mode="tree_summarize"
|
||
)
|
||
while True:
|
||
user_prompt = input(init_chat)
|
||
if user_prompt in ['q','Q']:
|
||
break
|
||
resp = query_engine.query(prompt_template.format(user_prompt, resp_with_no_answer))
|
||
if len(resp.source_nodes) == 0:
|
||
output = resp_with_no_answer # 如果未找到相关上下文信息，则返回适当的报错信息。
|
||
else:
|
||
output = prettify_rag(resp)
|
||
print(output)
|