25 lines
1.0 KiB
Python
25 lines
1.0 KiB
Python
|
import os
|
|||
|
|
|
|||
|
|
from llama_index.readers.dashscope.base import DashScopeParse
|
|||
|
|
from llama_index.readers.dashscope.utils import ResultType
|
|||
|
|
|
|||
|
|
# 设置业务空间 ID 将决定文档解析结果在”创建知识库“步骤中上传到哪个业务空间
|
|||
|
|
os.environ['DASHSCOPE_WORKSPACE_ID'] = "<Your Workspace id, Default workspace is empty.>"
|
|||
|
|
|
|||
|
|
# 第一种方式：使用文档解析器解析一个或多个文件
|
|||
|
|
file = [
|
|||
|
|
# 需要解析的文件，支持pdf,doc,docx
|
|||
|
|
]
|
|||
|
|
# 解析文件
|
|||
|
|
parse = DashScopeParse(result_type=ResultType.DASHSCOPE_DOCMIND)
|
|||
|
|
documents = parse.load_data(file_path=file)
|
|||
|
|
|
|||
|
|
# 第二种方式：使用文档解析器解析一个文件夹内指定类型的文件
|
|||
|
|
from llama_index.core import SimpleDirectoryReader
|
|||
|
|
parse = DashScopeParse(result_type=ResultType.DASHSCOPE_DOCMIND)
|
|||
|
|
# 定义不同文档类型的解析器
|
|||
|
|
file_extractor = {".pdf": parse, '.doc': parse, '.docx': parse}
|
|||
|
|
# 读取文件夹，提取和解析文件信息
|
|||
|
|
documents = SimpleDirectoryReader(
|
|||
|
|
"your_folder", file_extractor=file_extractor
|
|||
|
|
).load_data(num_workers=1)
|