Aim 回调函数¶

Aim 是一款易用且功能强大的开源 AI 元数据追踪器，它能记录所有 AI 元数据（实验、提示词等），提供可视化界面用于对比观察，并通过 SDK 实现编程式查询。更多信息请参阅 Github 页面。

本示例展示了 Aim 在 LlamaIndex 中执行查询时记录事件的功能。我们使用 AimCallback 存储输出结果，并演示如何通过 Aim 文本浏览器进行探索。

注意：此功能目前处于测试阶段。在不同类中的使用方式以及 CallbackManager 和 AimCallback 的 API 接口可能会发生变化！

安装¶

如果您在 Colab 上打开此 Notebook，可能需要安装 LlamaIndex 🦙。

In [ ]:

%pip install llama-index-callbacks-aim

%pip install llama-index-callbacks-aim

In [ ]:

!pip install llama-index

!pip install llama-index

In [ ]:

from llama_index.core.callbacks import CallbackManager
from llama_index.callbacks.aim import AimCallback
from llama_index.core import SummaryIndex
from llama_index.core import SimpleDirectoryReader

from llama_index.core.callbacks import CallbackManager from llama_index.callbacks.aim import AimCallback from llama_index.core import SummaryIndex from llama_index.core import SimpleDirectoryReader

让我们使用 SimpleDirectoryReader 从 'examples/data/paul_graham' 目录读取文档。

下载数据¶

In [ ]:

!mkdir -p 'data/paul_graham/'
!wget 'https://raw.githubusercontent.com/run-llama/llama_index/main/docs/docs/examples/data/paul_graham/paul_graham_essay.txt' -O 'data/paul_graham/paul_graham_essay.txt'

!mkdir -p 'data/paul_graham/' !wget 'https://raw.githubusercontent.com/run-llama/llama_index/main/docs/docs/examples/data/paul_graham/paul_graham_essay.txt' -O 'data/paul_graham/paul_graham_essay.txt'

In [ ]:

docs = SimpleDirectoryReader("./data/paul_graham").load_data()

docs = SimpleDirectoryReader("./data/paul_graham").load_data()

现在让我们初始化一个 AimCallback 实例，并将其添加到回调管理器列表中。

In [ ]:

aim_callback = AimCallback(repo="./")
callback_manager = CallbackManager([aim_callback])

aim_callback = AimCallback(repo="./") callback_manager = CallbackManager([aim_callback])

在此代码片段中，我们初始化了一个回调管理器。

接着，我们通过传入文档阅读器和回调函数，创建了 SummaryIndex 类的实例。之后我们创建了一个查询引擎，用于在索引上运行查询并获取相关结果。

In [ ]:

index = SummaryIndex.from_documents(docs, callback_manager=callback_manager)
query_engine = index.as_query_engine()

index = SummaryIndex.from_documents(docs, callback_manager=callback_manager) query_engine = index.as_query_engine()

最后让我们基于提供的文档向语言模型提出一个问题

In [ ]:

response = query_engine.query("What did the author do growing up?")

response = query_engine.query("What did the author do growing up?")

回调管理器会将 CBEventType.LLM 类型的事件记录为 Aim.Text 对象，我们可以在文本浏览器中查看语言模型接收的提示词及其输出结果。首先执行 aim up 命令，然后通过提供的 URL 进行导航。