Skip to content

大语言模型#

常见问题#
  1. 如何使用自定义/本地嵌入模型？
  2. 如何使用本地Hugging Face嵌入模型？
  3. 如何自定义提示词？
  4. 是否需要微调模型？
  5. 我希望LLM用中文/意大利语/法语回答，但它只用英语回答，该怎么办？
  6. LlamaIndex支持GPU加速吗？
1. 如何定义自定义LLM？#

您可以访问自定义用法来定义自定义LLM。

2. 如何使用不同的OpenAI模型？#

要使用不同的OpenAI模型，您可以访问配置模型来设置您自己的自定义模型。

3. 如何自定义提示词？#

您可以访问提示词了解如何自定义提示词。

4. 是否需要微调模型？#

不需要。虽然某些独立模块可能会提供更好的结果，但并非必需，您可以在不微调模型的情况下使用LlamaIndex。

5. 我希望LLM用中文/意大利语/法语回答，但它只用英语回答，该怎么办？#

为了让LLM更准确地用其他语言回答，您可以更新提示词以强制指定输出语言。

response = query_engine.query("Rest of your query... \nRespond in Italian")

或者：

from llama_index.core import Settings
from llama_index.llms.openai import OpenAI

llm = OpenAI(system_prompt="Always respond in Italian.")

# set a global llm
Settings.llm = llm

query_engine = load_index_from_storage(
    storage_context,
).as_query_engine()
6. LlamaIndex支持GPU加速吗？#

是的，当本地运行时您可以在GPU上运行语言模型(LLM)。您可以在llama2设置文档中找到设置支持GPU的LLM的示例。