贡献一个 LabelledRagDataset#
构建更健壮的 RAG 系统需要多样化的评估套件。这正是我们在 llama-hub 推出 LlamaDatasets 的原因。本页将讨论如何贡献 llama-hub 中提供的第一类 LlamaDataset,即 LabelledRagDataset。
贡献一个 LabelledRagDataset 包含两个高层级步骤:首先需要创建该数据集并保存为 json 文件,然后将该 json 文件与源文本文件一并提交至我们的 llama-datasets 代码库。此外,您还需发起拉取请求,将数据集的必要元数据上传至 llama-hub 代码库。
为简化提交流程,我们准备了模板笔记本,指导您从头创建 LabelledRagDataset(或将结构相似的问答数据集转换为该格式),并完成提交所需的其他步骤。请参阅下方链接的"LlamaDataset 提交模板笔记本"。
贡献其他 llama-datasets#
贡献其他 llama-datasets(如 LabelledEvaluatorDataset)的通用流程与前述 LabelledRagDataset 相同。这些数据集的提交模板即将推出!
提交示例#
查看完整的提交示例笔记本。