数据加载#
LlamaIndex 数据摄取的核心在于加载与转换。加载文档后,您可以通过转换处理这些文档并输出节点。
在理解章节学习数据加载基础后,您可以继续深入了解:
加载工具#
- SimpleDirectoryReader:内置加载器,支持从本地目录加载各类文件
- LlamaParse:LlamaIndex 官方 PDF 解析工具,提供托管 API 服务
- LlamaHub:包含数百个数据加载库的注册中心,支持从任何数据源摄取数据
转换处理#
包含文本分割等常见操作:
整体应用#
- 摄取管道:可建立可重复、缓存优化的数据加载流程
抽象概念#
- 文档与节点对象:以及如何为高级用例进行自定义