首页 » 排名链接 » 五行代码实现检索增强生成英文翻译(安装模型软件包环境示例)

五行代码实现检索增强生成英文翻译(安装模型软件包环境示例)

少女玫瑰心 2024-12-07 02:45:07 0

扫一扫用手机浏览

文章目录 [+]

https://docs.llamaindex.ai/en/stable/getting_started/starter_example_local/

conda设置虚拟环境的代码

列出虚拟环境:

conda env list

删除虚拟环境代码:

五行代码实现检索增强生成英文翻译(安装模型软件包环境示例) 排名链接
(图片来自网络侵删)

conda env remove --name myenv

创建虚拟环境代码:

conda create --name myenv python=3.11

进入虚拟环境

conda activate myenvOllama设置

列出所有模型

ollama list

删除模型

ollama rm <model_name>安装llama-index

LlamaIndex 生态系统采用命名包集合结构。

这对用户来说意味着 LlamaIndex 附带了一个核心启动包,并可根据需要安装其他集成。

LlamaHub 上有软件包和可用集成的完整列表。

从 Pip 快速开始安装

为了快速上手,您可以通过以下方式进行安装:

pip install llama-index

这是一套入门级软件包,包括:

llama-index-corellama-index-legacy # temporarily includedllama-index-llms-openaillama-index-embeddings-openaillama-index-program-openaillama-index-question-gen-openaillama-index-agent-openaillama-index-readers-filellama-index-multi-modal-llms-openai

注意:LlamaIndex 可能会下载并存储各种软件包(NLTK、HuggingFace...)的本地文件。
请使用环境变量 "LLAMA_INDEX_CACHE_DIR "来控制这些文件的保存位置。

重要: OpenAI 环境设置

默认情况下,我们使用 OpenAI gpt-3.5-turbo 模型生成文本,使用 text-embedding-ada-002 进行检索和嵌入。
要使用该模型,必须将 OPENAI_API_KEY 设置为环境变量。
您可以通过登录 OpenAI 账户并创建新的 API 密钥来获取 API 密钥。

(您也可以使用许多其他可用的 LLM。
根据 LLM 提供商的不同,您可能需要设置额外的环境密钥和令牌。
)

来自 Pip 的定制安装

如果不使用 OpenAI,或者想要更有选择性的安装,可以根据需要安装单个软件包。

例如,如果本地安装了 Ollama 和 HuggingFace 嵌入,安装过程可能如下:

pip install llama-index-core llama-index-readers-file llama-index-llms-ollama llama-index-embeddings-huggingface

使用和配置 LLM 的完整指南请点击此处。

https://docs.llamaindex.ai/en/stable/module_guides/models/llms/

关于使用和配置嵌入模型的完整指南,请点击此处。

https://docs.llamaindex.ai/en/stable/module_guides/models/embeddings/

从源头安装

Git 克隆该仓库:git clone https://github.com/jerryjliu/llama_index.git。
然后执行以下操作

安装 poetry--这将帮助你管理软件包的依赖关系

https://python-poetry.org/docs/#installing-with-pipx

poetry shell - 此命令将创建一个虚拟环境,将已安装的软件包保留在此项目中

poetry install--这将安装核心启动包需求

(可选)poetry install --with dev, docs--这将安装大多数本地开发所需的所有依赖包

在此基础上,你可以根据需要使用 pip 安装集成,例如

pip install -e llama-index-integrations/llms/llama-index-llms-ollamaLlamaIndex 入门教程(本地模型)

这是我们著名的 "5 行代码 "启动示例,使用本地 LLM 和嵌入模型。
我们将使用 BAAI/bge-base-en-v1.5 作为嵌入模型,并通过 Ollama 提供 Llama3。

下载数据

本示例使用了保罗-格雷厄姆(Paul Graham)的文章 "我的工作"(What I Worked On)。
本示例和其他示例可在我们的软件仓库的示例文件夹中找到。

最简单的方法是通过此链接

https://raw.githubusercontent.com/run-llama/llama_index/main/docs/docs/examples/data/paul_graham/paul_graham_essay.txt

下载,然后保存在名为 data 的文件夹中。

设置

Ollama 是一款帮助您在本地设置 LLM 的工具(目前支持 OSX 和 Linux。
您可以通过 WSL 2 在 Windows 上安装 Ollama)。

按照 README :

https://github.com/ollama/ollama

了解如何安装。

要下载 Llama3 模型,只需执行

ollama pull llama3

注意:您需要一台至少有 32GB 内存的电脑。

要导入 llama_index.llms.ollama,应运行

pip install llama-index-llms-ollama

要导入 llama_index.embeddings.huggingface,应运行

pip install llama-index-embeddings-huggingface

更多集成信息请访问 https://llamahub.ai。

在创建数据文件夹的同一文件夹中,创建一个名为 starter.py 的文件,内容如下:

from llama_index.core import VectorStoreIndex, SimpleDirectoryReader, Settingsfrom llama_index.embeddings.huggingface import HuggingFaceEmbeddingfrom llama_index.llms.ollama import Ollamadocuments = SimpleDirectoryReader("data").load_data()# bge-base embedding modelSettings.embed_model = HuggingFaceEmbedding(model_name="BAAI/bge-base-en-v1.5")# ollamaSettings.llm = Ollama(model="llama2:1.5b", request_timeout=360.0)index = VectorStoreIndex.from_documents( documents,)

这将为数据文件夹中的文档建立索引(在本例中,该文件夹仅包含文章文本,但可能包含许多文档)。

您的目录结构应该是这样的:

我们通过 HuggingFaceEmbedding 类和 Ollama LLM 封装器使用 BAAI/bge-base-en-v1.5 模型来加载 Llama3 模型。
更多信息,请参阅本地嵌入模型页面。

https://docs.llamaindex.ai/en/stable/module_guides/models/embeddings/#local-embedding-models

查询数据

在 starter.py 中添加以下几行

query_engine = index.as_query_engine()response = query_engine.query("What did the author do growing up?")print(response)

这将在您的索引上创建一个问答引擎,并提出一个简单的问题。
您应该会得到类似下面的回复: 作者曾写过短篇小说,并尝试在 IBM 1401 上编程。

您可以查看日志、持久化/加载索引,与我们的启动范例类似。

https://docs.llamaindex.ai/en/stable/getting_started/starter_example/

标签:

相关文章