Ollama

炎扉集群集成了Ollama 它是一个开源的大型语言模型（LLM）平台，旨在让用户能够轻松地在本地运行、管理和与大型语言模型进行交互。它提供了丰富的预训练模型库，支持文本生成、翻译、代码编写等多种自然语言处理任务

开启服务

在炎扉集群开启大模型服务

开启成功后会将API和WebUI的端口分别映射出来

点击WebUI查看如何使用

如何使用离线大模型？

接入开发工具

想要将离线大模型接入开发工具，请参考以下文档进行配置。

值得注意的是，您需要将上图中获取的 IP:PORT 信息配置到您的开发工具中，以确保连接正确。

开发工具	配置指南
VS Code	点击配置 (Ollama Integration)
JetBrains (IntelliJ, PyCharm, WebStorm 等)	点击配置 (Ollama Integration)

接入 API

如果您需要通过 API 访问离线大模型，您可以通过配置环境变量或在代码中指定模型的地址和端口来实现。

核心前提是：您必须将上图中获取的 IP:PORT（即模型服务运行的地址）配置为 API 调用的目标地址。

典型 API 调用示例 (Python)

大多数与大模型交互的客户端库（如 Ollama 客户端 或 OpenAI 兼容客户端）都允许您通过指定 base_url 来连接到您的本地服务。

import openai # 假设使用与 OpenAI 兼容的客户端

# 替换为您的实际 IP 和 PORT
OLLAMA_API_BASE_URL = "http://您的IP:端口号/v1" 

client = openai.OpenAI(
    base_url=OLLAMA_API_BASE_URL,
    api_key="sk-...", # 离线服务通常不需要API Key，但部分客户端需要占位符
)

response = client.chat.completions.create(
    model="模型名称", # 替换为您实际部署的模型名称
    messages=[
        {"role": "user", "content": "请用Python写一个快速排序算法。"},
    ],
)

print(response.choices[0].message.content)

使用环境变量配置

为了方便在终端或脚本中调用，您可以将模型服务的地址设置为环境变量 OLLAMA_HOST 或 OPENAI_API_BASE (取决于您使用的客户端)：

# 假设您的模型服务运行在 192.168.1.100 的 11434 端口

# 方式一：设置 OLLAMA_HOST
export OLLAMA_HOST=192.168.1.100:11434

# 方式二：设置 OPENAI API 兼容的 Base URL
export OPENAI_API_BASE="http://192.168.1.100:11434/v1"

配置完成后，使用相应的客户端工具或代码即可自动连接到您指定的本地服务。