Skip to content

文档管理#

大多数 LlamaIndex 索引结构都支持插入、删除、更新和刷新操作。

插入#

在初始构建索引后，您可以将新文档"插入"到任何索引数据结构中。该文档将被分解为节点并摄入索引中。

插入的底层机制取决于索引结构。例如，在摘要索引中，新文档会作为附加节点插入到列表中；而在向量存储索引中，新文档（及其嵌入向量）会被插入到底层的文档/嵌入存储中。

以下是一个示例代码片段：

from llama_index.core import SummaryIndex, Document

index = SummaryIndex([])
text_chunks = ["text_chunk_1", "text_chunk_2", "text_chunk_3"]

doc_chunks = []
for i, text in enumerate(text_chunks):
    doc = Document(text=text, id_=f"doc_id_{i}")
    doc_chunks.append(doc)

# insert
for doc_chunk in doc_chunks:
    index.insert(doc_chunk)

删除#

您可以通过指定 document_id 从大多数索引数据结构中"删除"文档（注意：树状索引目前不支持删除操作）。与该文档对应的所有节点都将被删除。

index.delete_ref_doc("doc_id_0", delete_from_docstore=True)

当您使用相同文档存储在不同索引间共享节点时，delete_from_docstore 默认为 False。不过当设置为 False 时，这些节点在查询时不会被使用，因为它们会从索引的 index_struct 中删除，该结构负责跟踪哪些节点可用于查询。

更新#

如果文档已存在于索引中，您可以使用相同的 doc id_ 来"更新"文档（例如当文档信息发生变化时）。

# 注意：该文档已指定了 `doc_id`
doc_chunks[0].text = "Brand new document text"
index.update_ref_doc(doc_chunks[0])

刷新#

如果在加载数据时为每个文档设置了 doc id_，您还可以自动刷新索引。

refresh() 函数只会更新那些具有相同 doc id_ 但文本内容不同的文档。任何尚未存在于索引中的文档也将被插入。

refresh() 还会返回一个布尔值列表，指示输入中的哪些文档已在索引中被刷新。

# 修改第一个文档，保持相同的 doc_id
doc_chunks[0] = Document(text="Super new document text", id_="doc_id_0")

# 添加新文档
doc_chunks.append(
    Document(
        text="This isn't in the index yet, but it will be soon!",
        id_="doc_id_3",
    )
)

# 刷新索引
refreshed_docs = index.refresh_ref_docs(doc_chunks)

# refreshed_docs[0] 和 refreshed_docs[-1] 应为 true

同样，我们传递了一些额外参数来确保文档从文档存储中删除。这当然是可选的。

如果您 print() 输出 refresh() 的结果，可以看到哪些输入文档被刷新：

print(refreshed_docs)
# > [True, False, False, True]

当您从不断更新新信息的目录中读取时，这个功能特别有用。

在使用 SimpleDirectoryReader 时，可以通过设置 filename_as_id 标志自动分配 doc id_。您可以在自定义文档中了解更多信息。

文档追踪#

对于任何使用文档存储的索引（即除大多数向量存储集成外的所有索引），您还可以查看已插入文档存储中的文档。

print(index.ref_doc_info)
"""
> {'doc_id_1': RefDocInfo(node_ids=['071a66a8-3c47-49ad-84fa-7010c6277479'], metadata={}),
   'doc_id_2': RefDocInfo(node_ids=['9563e84b-f934-41c3-acfd-22e88492c869'], metadata={}),
   'doc_id_0': RefDocInfo(node_ids=['b53e6c2f-16f7-4024-af4c-42890e945f36'], metadata={}),
   'doc_id_3': RefDocInfo(node_ids=['6bedb29f-15db-4c7c-9885-7490e10aa33f'], metadata={})}
"""

输出中的每个条目都显示摄入的 doc id_ 作为键，以及它们被拆分成的关联 node_ids。

最后，每个输入文档的原始 metadata 字典也会被追踪。您可以在自定义文档中了解更多关于 metadata 属性的信息。