https://docs.llamaindex.ai/en/stable/getting_started/starter_example_local/
conda设置虚拟环境的代码列出虚拟环境:
conda env list
删除虚拟环境代码:

conda env remove --name myenv
创建虚拟环境代码:
conda create --name myenv python=3.11
进入虚拟环境
conda activate myenv
Ollama设置
列出所有模型
ollama list
删除模型
ollama rm <model_name>
安装llama-index
LlamaIndex 生态系统采用命名包集合结构。
这对用户来说意味着 LlamaIndex 附带了一个核心启动包,并可根据需要安装其他集成。
LlamaHub 上有软件包和可用集成的完整列表。
从 Pip 快速开始安装
为了快速上手,您可以通过以下方式进行安装:
pip install llama-index
这是一套入门级软件包,包括:
llama-index-corellama-index-legacy # temporarily includedllama-index-llms-openaillama-index-embeddings-openaillama-index-program-openaillama-index-question-gen-openaillama-index-agent-openaillama-index-readers-filellama-index-multi-modal-llms-openai注意:LlamaIndex 可能会下载并存储各种软件包(NLTK、HuggingFace...)的本地文件。请使用环境变量 "LLAMA_INDEX_CACHE_DIR "来控制这些文件的保存位置。
重要: OpenAI 环境设置
默认情况下,我们使用 OpenAI gpt-3.5-turbo 模型生成文本,使用 text-embedding-ada-002 进行检索和嵌入。要使用该模型,必须将 OPENAI_API_KEY 设置为环境变量。您可以通过登录 OpenAI 账户并创建新的 API 密钥来获取 API 密钥。
(您也可以使用许多其他可用的 LLM。根据 LLM 提供商的不同,您可能需要设置额外的环境密钥和令牌。)
来自 Pip 的定制安装
如果不使用 OpenAI,或者想要更有选择性的安装,可以根据需要安装单个软件包。
例如,如果本地安装了 Ollama 和 HuggingFace 嵌入,安装过程可能如下:
pip install llama-index-core llama-index-readers-file llama-index-llms-ollama llama-index-embeddings-huggingface
使用和配置 LLM 的完整指南请点击此处。
https://docs.llamaindex.ai/en/stable/module_guides/models/llms/
关于使用和配置嵌入模型的完整指南,请点击此处。
https://docs.llamaindex.ai/en/stable/module_guides/models/embeddings/
从源头安装
Git 克隆该仓库:git clone https://github.com/jerryjliu/llama_index.git。然后执行以下操作
安装 poetry--这将帮助你管理软件包的依赖关系
https://python-poetry.org/docs/#installing-with-pipx
poetry shell - 此命令将创建一个虚拟环境,将已安装的软件包保留在此项目中
poetry install--这将安装核心启动包需求
(可选)poetry install --with dev, docs--这将安装大多数本地开发所需的所有依赖包
在此基础上,你可以根据需要使用 pip 安装集成,例如
pip install -e llama-index-integrations/llms/llama-index-llms-ollama
LlamaIndex 入门教程(本地模型)
这是我们著名的 "5 行代码 "启动示例,使用本地 LLM 和嵌入模型。我们将使用 BAAI/bge-base-en-v1.5 作为嵌入模型,并通过 Ollama 提供 Llama3。
下载数据
本示例使用了保罗-格雷厄姆(Paul Graham)的文章 "我的工作"(What I Worked On)。本示例和其他示例可在我们的软件仓库的示例文件夹中找到。
最简单的方法是通过此链接
https://raw.githubusercontent.com/run-llama/llama_index/main/docs/docs/examples/data/paul_graham/paul_graham_essay.txt
下载,然后保存在名为 data 的文件夹中。
设置
Ollama 是一款帮助您在本地设置 LLM 的工具(目前支持 OSX 和 Linux。您可以通过 WSL 2 在 Windows 上安装 Ollama)。
按照 README :
https://github.com/ollama/ollama
了解如何安装。
要下载 Llama3 模型,只需执行
ollama pull llama3
注意:您需要一台至少有 32GB 内存的电脑。
要导入 llama_index.llms.ollama,应运行
pip install llama-index-llms-ollama
要导入 llama_index.embeddings.huggingface,应运行
pip install llama-index-embeddings-huggingface
更多集成信息请访问 https://llamahub.ai。
在创建数据文件夹的同一文件夹中,创建一个名为 starter.py 的文件,内容如下:
from llama_index.core import VectorStoreIndex, SimpleDirectoryReader, Settingsfrom llama_index.embeddings.huggingface import HuggingFaceEmbeddingfrom llama_index.llms.ollama import Ollamadocuments = SimpleDirectoryReader("data").load_data()# bge-base embedding modelSettings.embed_model = HuggingFaceEmbedding(model_name="BAAI/bge-base-en-v1.5")# ollamaSettings.llm = Ollama(model="llama2:1.5b", request_timeout=360.0)index = VectorStoreIndex.from_documents( documents,)
这将为数据文件夹中的文档建立索引(在本例中,该文件夹仅包含文章文本,但可能包含许多文档)。
您的目录结构应该是这样的:
我们通过 HuggingFaceEmbedding 类和 Ollama LLM 封装器使用 BAAI/bge-base-en-v1.5 模型来加载 Llama3 模型。更多信息,请参阅本地嵌入模型页面。
https://docs.llamaindex.ai/en/stable/module_guides/models/embeddings/#local-embedding-models
查询数据
在 starter.py 中添加以下几行
query_engine = index.as_query_engine()response = query_engine.query("What did the author do growing up?")print(response)
这将在您的索引上创建一个问答引擎,并提出一个简单的问题。您应该会得到类似下面的回复: 作者曾写过短篇小说,并尝试在 IBM 1401 上编程。
您可以查看日志、持久化/加载索引,与我们的启动范例类似。
https://docs.llamaindex.ai/en/stable/getting_started/starter_example/