mirror of
https://github.com/open-webui/open-webui
synced 2025-06-26 18:26:48 +00:00
refac: PLEASE follow existing convention
This commit is contained in:
@@ -2194,15 +2194,10 @@ RAG_AZURE_OPENAI_API_KEY = PersistentConfig(
|
||||
"rag.azure_openai.api_key",
|
||||
os.getenv("RAG_AZURE_OPENAI_API_KEY", ""),
|
||||
)
|
||||
RAG_AZURE_OPENAI_DEPLOYMENT = PersistentConfig(
|
||||
"RAG_AZURE_OPENAI_DEPLOYMENT",
|
||||
"rag.azure_openai.deployment",
|
||||
os.getenv("RAG_AZURE_OPENAI_DEPLOYMENT", ""),
|
||||
)
|
||||
RAG_AZURE_OPENAI_VERSION = PersistentConfig(
|
||||
"RAG_AZURE_OPENAI_VERSION",
|
||||
"rag.azure_openai.version",
|
||||
os.getenv("RAG_AZURE_OPENAI_VERSION", ""),
|
||||
RAG_AZURE_OPENAI_API_VERSION = PersistentConfig(
|
||||
"RAG_AZURE_OPENAI_API_VERSION",
|
||||
"rag.azure_openai.api_version",
|
||||
os.getenv("RAG_AZURE_OPENAI_API_VERSION", ""),
|
||||
)
|
||||
|
||||
RAG_OLLAMA_BASE_URL = PersistentConfig(
|
||||
|
||||
@@ -209,8 +209,7 @@ from open_webui.config import (
|
||||
RAG_OPENAI_API_KEY,
|
||||
RAG_AZURE_OPENAI_BASE_URL,
|
||||
RAG_AZURE_OPENAI_API_KEY,
|
||||
RAG_AZURE_OPENAI_DEPLOYMENT,
|
||||
RAG_AZURE_OPENAI_VERSION,
|
||||
RAG_AZURE_OPENAI_API_VERSION,
|
||||
RAG_OLLAMA_BASE_URL,
|
||||
RAG_OLLAMA_API_KEY,
|
||||
CHUNK_OVERLAP,
|
||||
@@ -723,8 +722,7 @@ app.state.config.RAG_OPENAI_API_KEY = RAG_OPENAI_API_KEY
|
||||
|
||||
app.state.config.RAG_AZURE_OPENAI_BASE_URL = RAG_AZURE_OPENAI_BASE_URL
|
||||
app.state.config.RAG_AZURE_OPENAI_API_KEY = RAG_AZURE_OPENAI_API_KEY
|
||||
app.state.config.RAG_AZURE_OPENAI_DEPLOYMENT = RAG_AZURE_OPENAI_DEPLOYMENT
|
||||
app.state.config.RAG_AZURE_OPENAI_VERSION = RAG_AZURE_OPENAI_VERSION
|
||||
app.state.config.RAG_AZURE_OPENAI_API_VERSION = RAG_AZURE_OPENAI_API_VERSION
|
||||
|
||||
app.state.config.RAG_OLLAMA_BASE_URL = RAG_OLLAMA_BASE_URL
|
||||
app.state.config.RAG_OLLAMA_API_KEY = RAG_OLLAMA_API_KEY
|
||||
@@ -836,13 +834,8 @@ app.state.EMBEDDING_FUNCTION = get_embedding_function(
|
||||
)
|
||||
),
|
||||
app.state.config.RAG_EMBEDDING_BATCH_SIZE,
|
||||
(
|
||||
app.state.config.RAG_AZURE_OPENAI_DEPLOYMENT
|
||||
if app.state.config.RAG_EMBEDDING_ENGINE == "azure_openai"
|
||||
else None
|
||||
),
|
||||
(
|
||||
app.state.config.RAG_AZURE_OPENAI_VERSION
|
||||
azure_api_version=(
|
||||
app.state.config.RAG_AZURE_OPENAI_API_VERSION
|
||||
if app.state.config.RAG_EMBEDDING_ENGINE == "azure_openai"
|
||||
else None
|
||||
),
|
||||
|
||||
@@ -401,8 +401,7 @@ def get_embedding_function(
|
||||
url,
|
||||
key,
|
||||
embedding_batch_size,
|
||||
deployment=None,
|
||||
version=None,
|
||||
azure_api_version=None,
|
||||
):
|
||||
if embedding_engine == "":
|
||||
return lambda query, prefix=None, user=None: embedding_function.encode(
|
||||
@@ -417,8 +416,7 @@ def get_embedding_function(
|
||||
url=url,
|
||||
key=key,
|
||||
user=user,
|
||||
deployment=deployment,
|
||||
version=version,
|
||||
azure_api_version=azure_api_version,
|
||||
)
|
||||
|
||||
def generate_multiple(query, prefix, user, func):
|
||||
@@ -703,24 +701,23 @@ def generate_openai_batch_embeddings(
|
||||
|
||||
|
||||
def generate_azure_openai_batch_embeddings(
|
||||
deployment: str,
|
||||
model: str,
|
||||
texts: list[str],
|
||||
url: str,
|
||||
key: str = "",
|
||||
model: str = "",
|
||||
version: str = "",
|
||||
prefix: str = None,
|
||||
user: UserModel = None,
|
||||
) -> Optional[list[list[float]]]:
|
||||
try:
|
||||
log.debug(
|
||||
f"generate_azure_openai_batch_embeddings:deployment {deployment} batch size: {len(texts)}"
|
||||
f"generate_azure_openai_batch_embeddings:deployment {model} batch size: {len(texts)}"
|
||||
)
|
||||
json_data = {"input": texts, "model": model}
|
||||
json_data = {"input": texts}
|
||||
if isinstance(RAG_EMBEDDING_PREFIX_FIELD_NAME, str) and isinstance(prefix, str):
|
||||
json_data[RAG_EMBEDDING_PREFIX_FIELD_NAME] = prefix
|
||||
|
||||
url = f"{url}/openai/deployments/{deployment}/embeddings?api-version={version}"
|
||||
url = f"{url}/openai/deployments/{model}/embeddings?api-version={version}"
|
||||
|
||||
for _ in range(5):
|
||||
r = requests.post(
|
||||
@@ -855,27 +852,26 @@ def generate_embeddings(
|
||||
)
|
||||
return embeddings[0] if isinstance(text, str) else embeddings
|
||||
elif engine == "azure_openai":
|
||||
deployment = kwargs.get("deployment", "")
|
||||
version = kwargs.get("version", "")
|
||||
azure_api_version = kwargs.get("azure_api_version", "")
|
||||
if isinstance(text, list):
|
||||
embeddings = generate_azure_openai_batch_embeddings(
|
||||
deployment,
|
||||
model,
|
||||
text,
|
||||
url,
|
||||
key,
|
||||
model,
|
||||
version,
|
||||
azure_api_version,
|
||||
prefix,
|
||||
user,
|
||||
)
|
||||
else:
|
||||
embeddings = generate_azure_openai_batch_embeddings(
|
||||
deployment,
|
||||
model,
|
||||
[text],
|
||||
url,
|
||||
key,
|
||||
model,
|
||||
version,
|
||||
azure_api_version,
|
||||
prefix,
|
||||
user,
|
||||
)
|
||||
|
||||
@@ -242,8 +242,7 @@ async def get_embedding_config(request: Request, user=Depends(get_admin_user)):
|
||||
"azure_openai_config": {
|
||||
"url": request.app.state.config.RAG_AZURE_OPENAI_BASE_URL,
|
||||
"key": request.app.state.config.RAG_AZURE_OPENAI_API_KEY,
|
||||
"deployment": request.app.state.config.RAG_AZURE_OPENAI_DEPLOYMENT,
|
||||
"version": request.app.state.config.RAG_AZURE_OPENAI_VERSION,
|
||||
"version": request.app.state.config.RAG_AZURE_OPENAI_API_VERSION,
|
||||
},
|
||||
}
|
||||
|
||||
@@ -261,7 +260,6 @@ class OllamaConfigForm(BaseModel):
|
||||
class AzureOpenAIConfigForm(BaseModel):
|
||||
url: str
|
||||
key: str
|
||||
deployment: str
|
||||
version: str
|
||||
|
||||
|
||||
@@ -285,7 +283,11 @@ async def update_embedding_config(
|
||||
request.app.state.config.RAG_EMBEDDING_ENGINE = form_data.embedding_engine
|
||||
request.app.state.config.RAG_EMBEDDING_MODEL = form_data.embedding_model
|
||||
|
||||
if request.app.state.config.RAG_EMBEDDING_ENGINE in ["ollama", "openai", "azure_openai"]:
|
||||
if request.app.state.config.RAG_EMBEDDING_ENGINE in [
|
||||
"ollama",
|
||||
"openai",
|
||||
"azure_openai",
|
||||
]:
|
||||
if form_data.openai_config is not None:
|
||||
request.app.state.config.RAG_OPENAI_API_BASE_URL = (
|
||||
form_data.openai_config.url
|
||||
@@ -309,10 +311,7 @@ async def update_embedding_config(
|
||||
request.app.state.config.RAG_AZURE_OPENAI_API_KEY = (
|
||||
form_data.azure_openai_config.key
|
||||
)
|
||||
request.app.state.config.RAG_AZURE_OPENAI_DEPLOYMENT = (
|
||||
form_data.azure_openai_config.deployment
|
||||
)
|
||||
request.app.state.config.RAG_AZURE_OPENAI_VERSION = (
|
||||
request.app.state.config.RAG_AZURE_OPENAI_API_VERSION = (
|
||||
form_data.azure_openai_config.version
|
||||
)
|
||||
|
||||
@@ -348,13 +347,8 @@ async def update_embedding_config(
|
||||
)
|
||||
),
|
||||
request.app.state.config.RAG_EMBEDDING_BATCH_SIZE,
|
||||
(
|
||||
request.app.state.config.RAG_AZURE_OPENAI_DEPLOYMENT
|
||||
if request.app.state.config.RAG_EMBEDDING_ENGINE == "azure_openai"
|
||||
else None
|
||||
),
|
||||
(
|
||||
request.app.state.config.RAG_AZURE_OPENAI_VERSION
|
||||
azure_api_version=(
|
||||
request.app.state.config.RAG_AZURE_OPENAI_API_VERSION
|
||||
if request.app.state.config.RAG_EMBEDDING_ENGINE == "azure_openai"
|
||||
else None
|
||||
),
|
||||
@@ -376,8 +370,7 @@ async def update_embedding_config(
|
||||
"azure_openai_config": {
|
||||
"url": request.app.state.config.RAG_AZURE_OPENAI_BASE_URL,
|
||||
"key": request.app.state.config.RAG_AZURE_OPENAI_API_KEY,
|
||||
"deployment": request.app.state.config.RAG_AZURE_OPENAI_DEPLOYMENT,
|
||||
"version": request.app.state.config.RAG_AZURE_OPENAI_VERSION,
|
||||
"version": request.app.state.config.RAG_AZURE_OPENAI_API_VERSION,
|
||||
},
|
||||
}
|
||||
except Exception as e:
|
||||
@@ -1197,13 +1190,8 @@ def save_docs_to_vector_db(
|
||||
)
|
||||
),
|
||||
request.app.state.config.RAG_EMBEDDING_BATCH_SIZE,
|
||||
(
|
||||
request.app.state.config.RAG_AZURE_OPENAI_DEPLOYMENT
|
||||
if request.app.state.config.RAG_EMBEDDING_ENGINE == "azure_openai"
|
||||
else None
|
||||
),
|
||||
(
|
||||
request.app.state.config.RAG_AZURE_OPENAI_VERSION
|
||||
azure_api_version=(
|
||||
request.app.state.config.RAG_AZURE_OPENAI_API_VERSION
|
||||
if request.app.state.config.RAG_EMBEDDING_ENGINE == "azure_openai"
|
||||
else None
|
||||
),
|
||||
|
||||
Reference in New Issue
Block a user