459 lines
25 KiB
Python
459 lines
25 KiB
Python
"""
|
||
===============================================================================
|
||
MODULE: llm/agent.py
|
||
PROJECT: SCUD Orion AI Context API
|
||
ROLE: Главный оркестратор взаимодействия с Ollama LLM, обработки вызовов
|
||
инструментов (Tools) и сохранения диалогов.
|
||
|
||
DEPENDENCIES:
|
||
- llm/db_tools.py (доступ к SQLite)
|
||
- llm/schemas.py (схема функций TOOLS_SCHEMA)
|
||
|
||
CRITICAL INVARIANTS:
|
||
1. Tool Injector перехватывает фразы пользователя до/после запроса к LLM,
|
||
если Ollama вернула Tool calls: False или прислала JSON в content.
|
||
2. parse_relative_date_ru всегда отсчитывает относительные даты
|
||
('вчера', 'позавчера') от текущего серверного времени.
|
||
3. Опции llm_options содержат repeat_penalty и presence_penalty для
|
||
предотвращения урезания ответов моделью Qwen2.5.
|
||
===============================================================================
|
||
"""
|
||
|
||
import json
|
||
import urllib.request
|
||
import urllib.error
|
||
import logging
|
||
from typing import List, Dict, Any, Tuple, Optional
|
||
from datetime import datetime, timedelta
|
||
import re
|
||
|
||
# Импорт внутренних утилит работы с БД
|
||
from .db_tools import (
|
||
db_get_active_system_prompt,
|
||
db_add_system_prompt,
|
||
db_get_tasks,
|
||
db_update_task_status,
|
||
db_delete_task,
|
||
db_add_task,
|
||
db_get_rules,
|
||
db_set_session_state,
|
||
db_get_session_state,
|
||
db_get_snapshots,
|
||
db_delete_snapshots,
|
||
db_clear_session_state,
|
||
db_get_current_server_time,
|
||
db_save_chat_message,
|
||
db_get_chat_history,
|
||
db_get_stats,
|
||
db_get_anomalies,
|
||
db_get_session_states,
|
||
db_get_reference,
|
||
get_db_connection
|
||
)
|
||
|
||
from .schemas import TOOLS_SCHEMA
|
||
|
||
# --- [SECTION 1: LOGGING & CONSTANTS] ---
|
||
logging.basicConfig(level=logging.INFO, format="%(asctime)s [%(levelname)s] %(message)s")
|
||
logger = logging.getLogger("SCUD_AGENT")
|
||
|
||
OLLAMA_URL = "http://192.168.11.3:11434/api/chat"
|
||
|
||
# Модели
|
||
TEXT_MODEL = "qwen2.5:14b" # Основная модель для логики, вызовов тулов и текста
|
||
VISION_MODEL = "qwen2.5vl:7b-q8_0" # Модель для OCR документов и изображений
|
||
|
||
DAYS_RU = [
|
||
"понедельник", "вторник", "среда", "четверг",
|
||
"пятница", "суббота", "воскресенье"
|
||
]
|
||
|
||
|
||
# --- [SECTION 2: TEXT CLEANING & PARSING UTILS] ---
|
||
|
||
def clean_raw_tool_tags(text: str) -> str:
|
||
"""
|
||
⚠️ AI-INVARIANT: Очистка текста от сырых тегов и JSON-артефактов Ollama,
|
||
вываливающихся в поле message.content.
|
||
"""
|
||
if not text:
|
||
return ""
|
||
text = re.sub(r'\{"name":\s*"db_[^}]+\}\s*(</tool_call>)?', '', text)
|
||
text = re.sub(r'<tool_call>.*?</tool_call>', '', text, flags=re.DOTALL)
|
||
text = re.sub(r'</tool_call>\w*\[\]\(\)', '', text)
|
||
text = re.sub(r'</tool_call>', '', text)
|
||
return text.strip()
|
||
|
||
|
||
def clean_output(text: str) -> str:
|
||
"""Удаление слов-паразитов и склеек в начале ответа."""
|
||
if not text:
|
||
return text
|
||
artifacts = ["почемучто", "почто", "почему что"]
|
||
lower_text = text.lower()
|
||
for art in artifacts:
|
||
if lower_text.startswith(art):
|
||
text = text[len(art):].lstrip(",.!?:; -")
|
||
return text.strip()
|
||
|
||
|
||
def parse_relative_date_ru(text: str) -> str:
|
||
"""
|
||
⚠️ AI-INVARIANT: Определение точной даты ДД.ММ.ГГГГ для инструмента db_get_snapshots.
|
||
Защищает от галлюцинаций даты, когда модель не передает аргументы за 'вчера/сегодня'.
|
||
"""
|
||
now = datetime.now()
|
||
text_lower = text.lower() if text else ""
|
||
|
||
# 1. Поиск явной даты ДД.ММ.ГГГГ
|
||
match = re.search(r'(\d{2}\.\d{2}\.\d{4})', text)
|
||
if match:
|
||
return match.group(1)
|
||
|
||
# 2. Обработка относительно текущего дня
|
||
if "вчера" in text_lower:
|
||
return (now - timedelta(days=1)).strftime("%d.%m.%Y")
|
||
elif "позавчера" in text_lower:
|
||
return (now - timedelta(days=2)).strftime("%d.%m.%Y")
|
||
elif "сегодня" in text_lower:
|
||
return now.strftime("%d.%m.%Y")
|
||
|
||
return (now - timedelta(days=1)).strftime("%d.%m.%Y")
|
||
|
||
|
||
def get_dynamic_calendar_context() -> str:
|
||
"""Генерация справочника прошедших дат для системного промпта."""
|
||
now = datetime.now()
|
||
current_wd = now.weekday()
|
||
|
||
lines = [
|
||
f"СЕГОДНЯ: {DAYS_RU[current_wd].upper()}, {now.strftime('%d.%m.%Y')} (время сервера: {now.strftime('%H:%M:%S')}).",
|
||
"\nСПРАВОЧНИК ДАТ ДЛЯ ОТВЕТОВ (БЕРИ ДАТЫ СТРОГО ОТСЮДА):",
|
||
f"• Сегодня: {now.strftime('%d.%m.%Y')} ({DAYS_RU[current_wd]})",
|
||
f"• Вчера: {(now - timedelta(days=1)).strftime('%d.%m.%Y')} ({DAYS_RU[(current_wd - 1) % 7]})",
|
||
f"• Позавчера: {(now - timedelta(days=2)).strftime('%d.%m.%Y')} ({DAYS_RU[(current_wd - 2) % 7]})",
|
||
"\nПрошедшие дни недели:"
|
||
]
|
||
|
||
for days_back in range(1, 8):
|
||
dt = now - timedelta(days=days_back)
|
||
day_name = DAYS_RU[dt.weekday()]
|
||
|
||
if days_back == 7:
|
||
label = f"Прошлый {day_name}" if dt.weekday() in [0, 1, 3, 6] else f"Прошлая {day_name}"
|
||
lines.append(f"• {label} (ровно неделю назад): {dt.strftime('%d.%m.%Y')}")
|
||
else:
|
||
label = f"Ближайший прошедший {day_name}" if dt.weekday() in [0, 1, 3, 6] else f"Ближайшая прошедшая {day_name}"
|
||
lines.append(f"• {label} / {day_name}: {dt.strftime('%d.%m.%Y')}")
|
||
|
||
return "\n".join(lines)
|
||
|
||
|
||
# --- [SECTION 3: MAIN CHAT PROCESSING PIPELINE] ---
|
||
|
||
def process_chat_message(
|
||
user_id: int,
|
||
user_message: str,
|
||
file_context: str = "",
|
||
image_b64: Optional[str] = None,
|
||
chat_history: List[Dict[str, Any]] = None,
|
||
session_id: str = "web_session_main"
|
||
) -> Tuple[str, List[Dict[str, Any]]]:
|
||
"""Главный входной метод обработки пользовательского сообщения."""
|
||
logger.info(f"Получено сообщение от user_id={user_id}, session_id={session_id}: {user_message}")
|
||
|
||
# 3.1. Формирование контекста сообщения пользователя
|
||
full_user_content = user_message
|
||
if file_context:
|
||
full_user_content = f"{user_message}\n\n[СОДЕРЖИМОЕ ПРИКРЕПЛЕННОГО ФАЙЛА]:\n{file_context}"
|
||
|
||
db_history = db_get_chat_history(session_id, limit=20)
|
||
db_save_chat_message(session_id, "user", full_user_content)
|
||
|
||
dynamic_prompt_text = db_get_active_system_prompt()
|
||
calendar_context = get_dynamic_calendar_context()
|
||
|
||
# Check состояния превью системного промпта
|
||
session_state = db_get_session_state(session_id)
|
||
preview_status_note = ""
|
||
if session_state and session_state.get("state_type") == "PROMPT_PREVIEW":
|
||
preview_status_note = "\n\n[АКТИВНО ПРЕВЬЮ ПРОМПТА: Ожидается подтверждение или отмена изменений пользователем]."
|
||
|
||
user_info = f"Пользователь ID={user_id}" if user_id != 0 else "Гость"
|
||
|
||
# 3.2. Сборка системного контекста
|
||
system_prompt_content = (
|
||
f"[ТЕКУЩИЙ АВТОРИЗОВАННЫЙ ПОЛЬЗОВАТЕЛЬ]\n"
|
||
f"Вы общаетесь с пользователем: {user_info}.\n"
|
||
f"Все запрашиваемые задачи через инструмент db_get_tasks автоматически принадлежат ИМЕННО этому пользователю. "
|
||
f"Тебе НЕ НУЖНО уточнять, чьи это задачи или просить дополнительные идентификаторы. При запросах 'покажи мои задачи', 'список задач', 'мои дела' — СРАЗУ вызывай db_get_tasks.\n\n"
|
||
f"[СИСТЕМНЫЙ КАЛЕНДАРЬ СЕРВЕРА]\n"
|
||
f"{calendar_context}\n\n"
|
||
f"ПРАВИЛО РАБОТЫ С ДАТАМИ:\n"
|
||
f"При любых вопросах про дни недели ('прошлая среда', 'вторник', 'дата в прошлый понедельник') бери ГОТОВУЮ точную дату из справочника выше. Тебе ЗАПРЕЩЕНО вычислять даты самостоятельно!\n\n"
|
||
f"ТЕКУЩИЙ АКТИВНЫЙ СИСТЕМНЫЙ ПРОМПТ:\n{dynamic_prompt_text}{preview_status_note}"
|
||
)
|
||
|
||
user_msg_object = {"role": "user", "content": full_user_content}
|
||
|
||
# 3.3. Параметры инференса (Отказ от "ленивого вывода" Qwen)
|
||
llm_options = {
|
||
"num_predict": 8192,
|
||
"num_ctx": 8192,
|
||
"temperature": 0.1,
|
||
"repeat_penalty": 1.1, # Запрет на скомканное завершение ответа
|
||
"presence_penalty": 0.5, # Стимулирование полной генерации списков
|
||
"top_p": 0.9
|
||
}
|
||
|
||
# --- [SUB-SECTION 3.4: ROUTING & PAYLOAD BUILD] ---
|
||
if image_b64:
|
||
# Ветка Vision Model (Зрение/OCR)
|
||
user_msg_object["images"] = [image_b64]
|
||
messages = [
|
||
{
|
||
"role": "system",
|
||
"content": (
|
||
"Ты — строгий модуль OCR для документов. Твоя задача — дословно переписать весь печатный и рукописный текст с изображения.\n"
|
||
"ПРАВИЛА:\n"
|
||
"1. Переписывай рукописный текст СТРОГО буква в букву так, как он написан от руки. Не додумывай слова от себя!\n"
|
||
"2. Отдельно выдели блок с рукописными записями, подписями и датами.\n"
|
||
"3. Не добавляй лишних слов, которых нет в графической части."
|
||
)
|
||
},
|
||
user_msg_object
|
||
]
|
||
payload = {
|
||
"model": VISION_MODEL,
|
||
"messages": messages,
|
||
"stream": False,
|
||
"options": llm_options
|
||
}
|
||
else:
|
||
# Ветка Text & Tools Model
|
||
clean_db_history = []
|
||
for msg in db_history:
|
||
msg_copy = dict(msg)
|
||
msg_copy.pop("images", None)
|
||
clean_db_history.append(msg_copy)
|
||
|
||
system_prompt = {"role": "system", "content": system_prompt_content}
|
||
messages = [system_prompt] + clean_db_history + [user_msg_object]
|
||
payload = {
|
||
"model": TEXT_MODEL,
|
||
"messages": messages,
|
||
"tools": TOOLS_SCHEMA,
|
||
"stream": False,
|
||
"options": llm_options
|
||
}
|
||
|
||
# --- [SUB-SECTION 3.5: OLLAMA REQUEST & TOOL INJECTION] ---
|
||
try:
|
||
req = urllib.request.Request(
|
||
OLLAMA_URL,
|
||
data=json.dumps(payload).encode("utf-8"),
|
||
headers={"Content-Type": "application/json"}
|
||
)
|
||
with urllib.request.urlopen(req) as response:
|
||
res_data = json.loads(response.read().decode("utf-8"))
|
||
msg = res_data.get("message", {})
|
||
tool_calls = msg.get("tool_calls", [])
|
||
|
||
raw_text_content = msg.get("content", "")
|
||
user_msg_lower = user_message.lower()
|
||
|
||
# ⚠️ AI-INVARIANT: TOOL INJECTOR (Инжектор вызовов)
|
||
# Если модель проигнорировала вызов функции или вывела его текстом
|
||
is_snapshot_req = any(w in user_msg_lower for w in ["снапшот", "срез", "среза", "лог"])
|
||
is_prompt_req = any(w in user_msg_lower for w in ["покажи системный промпт", "покажи промпт", "весь промпт"])
|
||
|
||
# Снапшоты запрашиваем из БД только при явных командах выгрузки/обновления
|
||
is_snapshot_fetch_req = any(w in user_msg_lower for w in ["покажи снапшоты", "список снапшотов", "выведи снапшоты", "срезы за", "логи за"])
|
||
is_refresh_req = any(w in user_msg_lower for w in ["запроси из базы", "обнови из базы", "повторно запроси", "свежие данные"])
|
||
|
||
if not tool_calls:
|
||
if is_prompt_req:
|
||
tool_calls = [{"function": {"name": "db_get_system_prompt", "arguments": {}}}]
|
||
logger.info("ИНЖЕКТОР: Активирован вызов db_get_system_prompt.")
|
||
elif (is_snapshot_fetch_req or is_refresh_req) and "задач" not in user_msg_lower:
|
||
target_date = parse_relative_date_ru(user_message)
|
||
tool_calls = [{"function": {"name": "db_get_snapshots", "arguments": {"date_str": target_date}}}]
|
||
logger.info(f"ИНЖЕКТОР: Активирован принудительный вызов db_get_snapshots за {target_date}.")
|
||
elif '{"name":' in raw_text_content or '<tool_call>' in raw_text_content:
|
||
try:
|
||
match = re.search(r'\{"name":\s*"([^"]+)",\s*"(?:params|arguments|properties)":\s*(\{.*?\})\}', raw_text_content)
|
||
if match:
|
||
fn_name = match.group(1)
|
||
fn_args = json.loads(match.group(2))
|
||
tool_calls = [{"function": {"name": fn_name, "arguments": fn_args}}]
|
||
logger.info(f"ИНЖЕКТОР: Извлечен сырой Tool Call из текста: {fn_name}")
|
||
except Exception as parse_err:
|
||
logger.warning(f"Ошибка парсинга сырого tool call: {parse_err}")
|
||
|
||
logger.info(f"Ответ от Ollama получен. Tool calls: {bool(tool_calls)}")
|
||
|
||
# --- [SUB-SECTION 3.6: TOOL EXECUTION ROUTER] ---
|
||
if tool_calls:
|
||
messages.append(msg)
|
||
|
||
for tool in tool_calls:
|
||
fn_name = tool["function"]["name"]
|
||
fn_args = tool["function"].get("arguments", {})
|
||
logger.info(f"Вызов функции (Tool): {fn_name} с аргументами: {fn_args}")
|
||
tool_result_content = ""
|
||
|
||
if fn_name == "db_get_snapshots":
|
||
date_arg = fn_args.get("date_str")
|
||
snapshots_res = db_get_snapshots(session_id=session_id, date_str=date_arg, original_user_message=user_message)
|
||
tool_result_content = json.dumps(snapshots_res, ensure_ascii=False)
|
||
|
||
elif fn_name == "db_get_current_server_time":
|
||
time_res = db_get_current_server_time()
|
||
tool_result_content = json.dumps(time_res, ensure_ascii=False)
|
||
|
||
elif fn_name == "db_get_tasks":
|
||
tasks = db_get_tasks(user_id)
|
||
tool_result_content = json.dumps(tasks, ensure_ascii=False)
|
||
|
||
elif fn_name in ["db_get_system_prompt", "db_get_system_prompts"]:
|
||
prompt_content = db_get_active_system_prompt()
|
||
tool_result_content = json.dumps({"system_prompt": prompt_content}, ensure_ascii=False)
|
||
|
||
elif fn_name == "db_get_stats":
|
||
tool_result_content = json.dumps(db_get_stats(), ensure_ascii=False)
|
||
|
||
elif fn_name == "db_get_anomalies":
|
||
limit_arg = fn_args.get("limit", 100)
|
||
date_arg = fn_args.get("date_str")
|
||
tool_result_content = json.dumps(db_get_anomalies(limit=limit_arg, date_str=date_arg), ensure_ascii=False)
|
||
|
||
elif fn_name == "db_get_session_states":
|
||
tool_result_content = json.dumps(db_get_session_states(), ensure_ascii=False)
|
||
|
||
elif fn_name == "db_delete_snapshots":
|
||
snap_id = fn_args.get("snapshot_id")
|
||
day_arg = fn_args.get("day_str")
|
||
tool_result_content = json.dumps(db_delete_snapshots(snapshot_id=snap_id, day_str=day_arg), ensure_ascii=False)
|
||
|
||
elif fn_name == "db_get_reference":
|
||
cat_arg = fn_args.get("category")
|
||
tool_result_content = json.dumps(db_get_reference(category=cat_arg), ensure_ascii=False)
|
||
|
||
elif fn_name == "db_preview_prompt_merge":
|
||
# Обработка точечных правок системного промпта
|
||
proposed_text = fn_args.get("prompt_text") or fn_args.get("proposed_prompt") or fn_args.get("section_3_4") or ""
|
||
if isinstance(fn_args, str):
|
||
proposed_text = fn_args
|
||
|
||
if proposed_text:
|
||
if len(proposed_text) < 500:
|
||
current_prompt = db_get_active_system_prompt()
|
||
lines = current_prompt.splitlines()
|
||
new_lines = []
|
||
found_3_4 = False
|
||
|
||
clean_text = proposed_text.strip()
|
||
if clean_text.startswith("3.4."):
|
||
clean_text = clean_text[4:].strip()
|
||
|
||
for line in lines:
|
||
if line.strip().startswith("3.4."):
|
||
new_lines.append(f" 3.4. {clean_text}")
|
||
found_3_4 = True
|
||
else:
|
||
new_lines.append(line)
|
||
|
||
if not found_3_4:
|
||
final_lines = []
|
||
added = False
|
||
for l in new_lines:
|
||
final_lines.append(l)
|
||
if l.strip().startswith("3.3."):
|
||
final_lines.append(f" 3.4. {clean_text}")
|
||
added = True
|
||
if not added:
|
||
final_lines.append(f" 3.4. {clean_text}")
|
||
new_lines = final_lines
|
||
|
||
proposed_text = "\n".join(new_lines)
|
||
|
||
db_set_session_state(session_id, "PROMPT_PREVIEW", proposed_text)
|
||
preview_reply = f"Ваше изменение успешно предпросмотрено. Полный обновленный системный промпт теперь выглядит так:\n\n{proposed_text}\n\nДля применения изменений подтвердите действие («подтверждаю») или отмените («отмена»)."
|
||
db_save_chat_message(session_id, "assistant", preview_reply)
|
||
return clean_raw_tool_tags(preview_reply), db_get_chat_history(session_id)
|
||
else:
|
||
tool_result_content = json.dumps({"status": "error", "message": "Текст превью пуст."}, ensure_ascii=False)
|
||
|
||
elif fn_name == "db_confirm_prompt_preview":
|
||
if session_state and session_state.get("state_type") == "PROMPT_PREVIEW":
|
||
pending_text = session_state.get("pending_data", "")
|
||
res = db_add_system_prompt("main_agent", pending_text)
|
||
db_clear_session_state(session_id)
|
||
tool_result_content = json.dumps(res, ensure_ascii=False)
|
||
else:
|
||
tool_result_content = json.dumps({"status": "error", "message": "Нет активного превью для подтверждения."}, ensure_ascii=False)
|
||
|
||
elif fn_name == "db_cancel_prompt_preview":
|
||
db_clear_session_state(session_id)
|
||
tool_result_content = json.dumps({"status": "success", "message": "Превью отменено."}, ensure_ascii=False)
|
||
|
||
elif fn_name == "db_add_system_prompt":
|
||
try:
|
||
prompt_text = fn_args.get("prompt_text") if isinstance(fn_args, dict) else str(fn_args)
|
||
name = fn_args.get("name", "main_agent") if isinstance(fn_args, dict) else "main_agent"
|
||
res = db_add_system_prompt(name=name, prompt_text=prompt_text)
|
||
db_clear_session_state(session_id)
|
||
tool_result_content = json.dumps(res, ensure_ascii=False)
|
||
except Exception as e:
|
||
tool_result_content = json.dumps({"status": "error", "error": str(e)}, ensure_ascii=False)
|
||
|
||
elif fn_name == "db_get_rules":
|
||
tool_result_content = json.dumps(db_get_rules(), ensure_ascii=False)
|
||
|
||
elif fn_name == "db_add_task":
|
||
res = db_add_task(user_id=user_id, module=fn_args.get("module", "general"), title=fn_args.get("title"), priority=fn_args.get("priority", "MEDIUM"), due_date=fn_args.get("due_date"))
|
||
tool_result_content = json.dumps(res, ensure_ascii=False)
|
||
|
||
elif fn_name == "db_update_task_status":
|
||
res = db_update_task_status(user_id=user_id, task_id=str(fn_args.get("task_id")), status=fn_args.get("status", "COMPLETED"), due_date=fn_args.get("due_date"))
|
||
tool_result_content = json.dumps(res, ensure_ascii=False)
|
||
|
||
elif fn_name == "db_delete_task":
|
||
res = db_delete_task(user_id=user_id, task_id=str(fn_args.get("task_id", "")).upper())
|
||
tool_result_content = json.dumps(res, ensure_ascii=False)
|
||
|
||
messages.append({
|
||
"role": "tool",
|
||
"content": tool_result_content
|
||
})
|
||
|
||
# Вторичный вызов Ollama для формирования текстового ответа пользователя с учетом результатов Tool
|
||
second_payload = {
|
||
"model": TEXT_MODEL,
|
||
"messages": messages,
|
||
"stream": False,
|
||
"options": llm_options
|
||
}
|
||
sec_req = urllib.request.Request(
|
||
OLLAMA_URL,
|
||
data=json.dumps(second_payload).encode("utf-8"),
|
||
headers={"Content-Type": "application/json"}
|
||
)
|
||
with urllib.request.urlopen(sec_req) as sec_response:
|
||
sec_res_data = json.loads(sec_response.read().decode("utf-8"))
|
||
raw_content = sec_res_data.get("message", {}).get("content", "").strip().replace("**", "")
|
||
final_content = clean_raw_tool_tags(clean_output(raw_content))
|
||
db_save_chat_message(session_id, "assistant", final_content)
|
||
return final_content, db_get_chat_history(session_id)
|
||
|
||
# Если вызовов функций не было
|
||
raw_str = msg.get("content", "").strip().replace("**", "")
|
||
content_str = clean_raw_tool_tags(clean_output(raw_str))
|
||
final_reply = content_str or "Запрос обработан."
|
||
db_save_chat_message(session_id, "assistant", final_reply)
|
||
return final_reply, db_get_chat_history(session_id)
|
||
|
||
except Exception as ex:
|
||
logger.exception(f"Непредвиденная ошибка: {ex}")
|
||
error_reply = f"Внутренняя ошибка сервера: {ex}"
|
||
return error_reply, db_get_chat_history(session_id) |