""" =============================================================================== MODULE: llm/agent.py PROJECT: SCUD Orion AI Context API ROLE: Главный оркестратор взаимодействия с Ollama LLM, обработки вызовов инструментов (Tools) и сохранения диалогов. DEPENDENCIES: - llm/db_tools.py (доступ к SQLite) - llm/schemas.py (схема функций TOOLS_SCHEMA) CRITICAL INVARIANTS: 1. Tool Injector перехватывает фразы пользователя до/после запроса к LLM, если Ollama вернула Tool calls: False или прислала JSON в content. 2. parse_relative_date_ru всегда отсчитывает относительные даты ('вчера', 'позавчера') от текущего серверного времени. 3. Опции llm_options содержат repeat_penalty и presence_penalty для предотвращения урезания ответов моделью Qwen2.5. =============================================================================== """ import json import urllib.request import urllib.error import logging from typing import List, Dict, Any, Tuple, Optional from datetime import datetime, timedelta import re # Импорт внутренних утилит работы с БД from .db_tools import ( db_get_active_system_prompt, db_add_system_prompt, db_get_tasks, db_update_task_status, db_delete_task, db_add_task, db_get_rules, db_set_session_state, db_get_session_state, db_get_snapshots, db_delete_snapshots, db_clear_session_state, db_get_current_server_time, db_save_chat_message, db_get_chat_history, db_get_stats, db_get_anomalies, db_get_session_states, db_get_reference, get_db_connection ) from .schemas import TOOLS_SCHEMA # --- [SECTION 1: LOGGING & CONSTANTS] --- logging.basicConfig(level=logging.INFO, format="%(asctime)s [%(levelname)s] %(message)s") logger = logging.getLogger("SCUD_AGENT") OLLAMA_URL = "http://192.168.11.3:11434/api/chat" # Модели TEXT_MODEL = "qwen2.5:14b" # Основная модель для логики, вызовов тулов и текста VISION_MODEL = "qwen2.5vl:7b-q8_0" # Модель для OCR документов и изображений DAYS_RU = [ "понедельник", "вторник", "среда", "четверг", "пятница", "суббота", "воскресенье" ] # --- [SECTION 2: TEXT CLEANING & PARSING UTILS] --- def clean_raw_tool_tags(text: str) -> str: """ ⚠️ AI-INVARIANT: Очистка текста от сырых тегов и JSON-артефактов Ollama, вываливающихся в поле message.content. """ if not text: return "" text = re.sub(r'\{"name":\s*"db_[^}]+\}\s*()?', '', text) text = re.sub(r'.*?', '', text, flags=re.DOTALL) text = re.sub(r'\w*\[\]\(\)', '', text) text = re.sub(r'', '', text) return text.strip() def clean_output(text: str) -> str: """Удаление слов-паразитов и склеек в начале ответа.""" if not text: return text artifacts = ["почемучто", "почто", "почему что"] lower_text = text.lower() for art in artifacts: if lower_text.startswith(art): text = text[len(art):].lstrip(",.!?:; -") return text.strip() def parse_relative_date_ru(text: str) -> str: """ ⚠️ AI-INVARIANT: Определение точной даты ДД.ММ.ГГГГ для инструмента db_get_snapshots. Защищает от галлюцинаций даты, когда модель не передает аргументы за 'вчера/сегодня'. """ now = datetime.now() text_lower = text.lower() if text else "" # 1. Поиск явной даты ДД.ММ.ГГГГ match = re.search(r'(\d{2}\.\d{2}\.\d{4})', text) if match: return match.group(1) # 2. Обработка относительно текущего дня if "вчера" in text_lower: return (now - timedelta(days=1)).strftime("%d.%m.%Y") elif "позавчера" in text_lower: return (now - timedelta(days=2)).strftime("%d.%m.%Y") elif "сегодня" in text_lower: return now.strftime("%d.%m.%Y") return (now - timedelta(days=1)).strftime("%d.%m.%Y") def get_dynamic_calendar_context() -> str: """Генерация справочника прошедших дат для системного промпта.""" now = datetime.now() current_wd = now.weekday() lines = [ f"СЕГОДНЯ: {DAYS_RU[current_wd].upper()}, {now.strftime('%d.%m.%Y')} (время сервера: {now.strftime('%H:%M:%S')}).", "\nСПРАВОЧНИК ДАТ ДЛЯ ОТВЕТОВ (БЕРИ ДАТЫ СТРОГО ОТСЮДА):", f"• Сегодня: {now.strftime('%d.%m.%Y')} ({DAYS_RU[current_wd]})", f"• Вчера: {(now - timedelta(days=1)).strftime('%d.%m.%Y')} ({DAYS_RU[(current_wd - 1) % 7]})", f"• Позавчера: {(now - timedelta(days=2)).strftime('%d.%m.%Y')} ({DAYS_RU[(current_wd - 2) % 7]})", "\nПрошедшие дни недели:" ] for days_back in range(1, 8): dt = now - timedelta(days=days_back) day_name = DAYS_RU[dt.weekday()] if days_back == 7: label = f"Прошлый {day_name}" if dt.weekday() in [0, 1, 3, 6] else f"Прошлая {day_name}" lines.append(f"• {label} (ровно неделю назад): {dt.strftime('%d.%m.%Y')}") else: label = f"Ближайший прошедший {day_name}" if dt.weekday() in [0, 1, 3, 6] else f"Ближайшая прошедшая {day_name}" lines.append(f"• {label} / {day_name}: {dt.strftime('%d.%m.%Y')}") return "\n".join(lines) # --- [SECTION 3: MAIN CHAT PROCESSING PIPELINE] --- def process_chat_message( user_id: int, user_message: str, file_context: str = "", image_b64: Optional[str] = None, chat_history: List[Dict[str, Any]] = None, session_id: str = "web_session_main" ) -> Tuple[str, List[Dict[str, Any]]]: """Главный входной метод обработки пользовательского сообщения.""" logger.info(f"Получено сообщение от user_id={user_id}, session_id={session_id}: {user_message}") # 3.1. Формирование контекста сообщения пользователя full_user_content = user_message if file_context: full_user_content = f"{user_message}\n\n[СОДЕРЖИМОЕ ПРИКРЕПЛЕННОГО ФАЙЛА]:\n{file_context}" db_history = db_get_chat_history(session_id, limit=20) db_save_chat_message(session_id, "user", full_user_content) dynamic_prompt_text = db_get_active_system_prompt() calendar_context = get_dynamic_calendar_context() # Check состояния превью системного промпта session_state = db_get_session_state(session_id) preview_status_note = "" if session_state and session_state.get("state_type") == "PROMPT_PREVIEW": preview_status_note = "\n\n[АКТИВНО ПРЕВЬЮ ПРОМПТА: Ожидается подтверждение или отмена изменений пользователем]." user_info = f"Пользователь ID={user_id}" if user_id != 0 else "Гость" # 3.2. Сборка системного контекста system_prompt_content = ( f"[ТЕКУЩИЙ АВТОРИЗОВАННЫЙ ПОЛЬЗОВАТЕЛЬ]\n" f"Вы общаетесь с пользователем: {user_info}.\n" f"Все запрашиваемые задачи через инструмент db_get_tasks автоматически принадлежат ИМЕННО этому пользователю. " f"Тебе НЕ НУЖНО уточнять, чьи это задачи или просить дополнительные идентификаторы. При запросах 'покажи мои задачи', 'список задач', 'мои дела' — СРАЗУ вызывай db_get_tasks.\n\n" f"[СИСТЕМНЫЙ КАЛЕНДАРЬ СЕРВЕРА]\n" f"{calendar_context}\n\n" f"ПРАВИЛО РАБОТЫ С ДАТАМИ:\n" f"При любых вопросах про дни недели ('прошлая среда', 'вторник', 'дата в прошлый понедельник') бери ГОТОВУЮ точную дату из справочника выше. Тебе ЗАПРЕЩЕНО вычислять даты самостоятельно!\n\n" f"ТЕКУЩИЙ АКТИВНЫЙ СИСТЕМНЫЙ ПРОМПТ:\n{dynamic_prompt_text}{preview_status_note}" ) user_msg_object = {"role": "user", "content": full_user_content} # 3.3. Параметры инференса (Отказ от "ленивого вывода" Qwen) llm_options = { "num_predict": 8192, "num_ctx": 8192, "temperature": 0.1, "repeat_penalty": 1.1, # Запрет на скомканное завершение ответа "presence_penalty": 0.5, # Стимулирование полной генерации списков "top_p": 0.9 } # --- [SUB-SECTION 3.4: ROUTING & PAYLOAD BUILD] --- if image_b64: # Ветка Vision Model (Зрение/OCR) user_msg_object["images"] = [image_b64] messages = [ { "role": "system", "content": ( "Ты — строгий модуль OCR для документов. Твоя задача — дословно переписать весь печатный и рукописный текст с изображения.\n" "ПРАВИЛА:\n" "1. Переписывай рукописный текст СТРОГО буква в букву так, как он написан от руки. Не додумывай слова от себя!\n" "2. Отдельно выдели блок с рукописными записями, подписями и датами.\n" "3. Не добавляй лишних слов, которых нет в графической части." ) }, user_msg_object ] payload = { "model": VISION_MODEL, "messages": messages, "stream": False, "options": llm_options } else: # Ветка Text & Tools Model clean_db_history = [] for msg in db_history: msg_copy = dict(msg) msg_copy.pop("images", None) clean_db_history.append(msg_copy) system_prompt = {"role": "system", "content": system_prompt_content} messages = [system_prompt] + clean_db_history + [user_msg_object] payload = { "model": TEXT_MODEL, "messages": messages, "tools": TOOLS_SCHEMA, "stream": False, "options": llm_options } # --- [SUB-SECTION 3.5: OLLAMA REQUEST & TOOL INJECTION] --- try: req = urllib.request.Request( OLLAMA_URL, data=json.dumps(payload).encode("utf-8"), headers={"Content-Type": "application/json"} ) with urllib.request.urlopen(req) as response: res_data = json.loads(response.read().decode("utf-8")) msg = res_data.get("message", {}) tool_calls = msg.get("tool_calls", []) raw_text_content = msg.get("content", "") user_msg_lower = user_message.lower() # ⚠️ AI-INVARIANT: TOOL INJECTOR (Инжектор вызовов) # Если модель проигнорировала вызов функции или вывела его текстом is_snapshot_req = any(w in user_msg_lower for w in ["снапшот", "срез", "среза", "лог"]) is_prompt_req = any(w in user_msg_lower for w in ["покажи системный промпт", "покажи промпт", "весь промпт"]) # Снапшоты запрашиваем из БД только при явных командах выгрузки/обновления is_snapshot_fetch_req = any(w in user_msg_lower for w in ["покажи снапшоты", "список снапшотов", "выведи снапшоты", "срезы за", "логи за"]) is_refresh_req = any(w in user_msg_lower for w in ["запроси из базы", "обнови из базы", "повторно запроси", "свежие данные"]) if not tool_calls: if is_prompt_req: tool_calls = [{"function": {"name": "db_get_system_prompt", "arguments": {}}}] logger.info("ИНЖЕКТОР: Активирован вызов db_get_system_prompt.") elif (is_snapshot_fetch_req or is_refresh_req) and "задач" not in user_msg_lower: target_date = parse_relative_date_ru(user_message) tool_calls = [{"function": {"name": "db_get_snapshots", "arguments": {"date_str": target_date}}}] logger.info(f"ИНЖЕКТОР: Активирован принудительный вызов db_get_snapshots за {target_date}.") elif '{"name":' in raw_text_content or '' in raw_text_content: try: match = re.search(r'\{"name":\s*"([^"]+)",\s*"(?:params|arguments|properties)":\s*(\{.*?\})\}', raw_text_content) if match: fn_name = match.group(1) fn_args = json.loads(match.group(2)) tool_calls = [{"function": {"name": fn_name, "arguments": fn_args}}] logger.info(f"ИНЖЕКТОР: Извлечен сырой Tool Call из текста: {fn_name}") except Exception as parse_err: logger.warning(f"Ошибка парсинга сырого tool call: {parse_err}") logger.info(f"Ответ от Ollama получен. Tool calls: {bool(tool_calls)}") # --- [SUB-SECTION 3.6: TOOL EXECUTION ROUTER] --- if tool_calls: messages.append(msg) for tool in tool_calls: fn_name = tool["function"]["name"] fn_args = tool["function"].get("arguments", {}) logger.info(f"Вызов функции (Tool): {fn_name} с аргументами: {fn_args}") tool_result_content = "" if fn_name == "db_get_snapshots": date_arg = fn_args.get("date_str") snapshots_res = db_get_snapshots(session_id=session_id, date_str=date_arg, original_user_message=user_message) tool_result_content = json.dumps(snapshots_res, ensure_ascii=False) elif fn_name == "db_get_current_server_time": time_res = db_get_current_server_time() tool_result_content = json.dumps(time_res, ensure_ascii=False) elif fn_name == "db_get_tasks": tasks = db_get_tasks(user_id) tool_result_content = json.dumps(tasks, ensure_ascii=False) elif fn_name in ["db_get_system_prompt", "db_get_system_prompts"]: prompt_content = db_get_active_system_prompt() tool_result_content = json.dumps({"system_prompt": prompt_content}, ensure_ascii=False) elif fn_name == "db_get_stats": tool_result_content = json.dumps(db_get_stats(), ensure_ascii=False) elif fn_name == "db_get_anomalies": limit_arg = fn_args.get("limit", 100) date_arg = fn_args.get("date_str") tool_result_content = json.dumps(db_get_anomalies(limit=limit_arg, date_str=date_arg), ensure_ascii=False) elif fn_name == "db_get_session_states": tool_result_content = json.dumps(db_get_session_states(), ensure_ascii=False) elif fn_name == "db_delete_snapshots": snap_id = fn_args.get("snapshot_id") day_arg = fn_args.get("day_str") tool_result_content = json.dumps(db_delete_snapshots(snapshot_id=snap_id, day_str=day_arg), ensure_ascii=False) elif fn_name == "db_get_reference": cat_arg = fn_args.get("category") tool_result_content = json.dumps(db_get_reference(category=cat_arg), ensure_ascii=False) elif fn_name == "db_preview_prompt_merge": # Обработка точечных правок системного промпта proposed_text = fn_args.get("prompt_text") or fn_args.get("proposed_prompt") or fn_args.get("section_3_4") or "" if isinstance(fn_args, str): proposed_text = fn_args if proposed_text: if len(proposed_text) < 500: current_prompt = db_get_active_system_prompt() lines = current_prompt.splitlines() new_lines = [] found_3_4 = False clean_text = proposed_text.strip() if clean_text.startswith("3.4."): clean_text = clean_text[4:].strip() for line in lines: if line.strip().startswith("3.4."): new_lines.append(f" 3.4. {clean_text}") found_3_4 = True else: new_lines.append(line) if not found_3_4: final_lines = [] added = False for l in new_lines: final_lines.append(l) if l.strip().startswith("3.3."): final_lines.append(f" 3.4. {clean_text}") added = True if not added: final_lines.append(f" 3.4. {clean_text}") new_lines = final_lines proposed_text = "\n".join(new_lines) db_set_session_state(session_id, "PROMPT_PREVIEW", proposed_text) preview_reply = f"Ваше изменение успешно предпросмотрено. Полный обновленный системный промпт теперь выглядит так:\n\n{proposed_text}\n\nДля применения изменений подтвердите действие («подтверждаю») или отмените («отмена»)." db_save_chat_message(session_id, "assistant", preview_reply) return clean_raw_tool_tags(preview_reply), db_get_chat_history(session_id) else: tool_result_content = json.dumps({"status": "error", "message": "Текст превью пуст."}, ensure_ascii=False) elif fn_name == "db_confirm_prompt_preview": if session_state and session_state.get("state_type") == "PROMPT_PREVIEW": pending_text = session_state.get("pending_data", "") res = db_add_system_prompt("main_agent", pending_text) db_clear_session_state(session_id) tool_result_content = json.dumps(res, ensure_ascii=False) else: tool_result_content = json.dumps({"status": "error", "message": "Нет активного превью для подтверждения."}, ensure_ascii=False) elif fn_name == "db_cancel_prompt_preview": db_clear_session_state(session_id) tool_result_content = json.dumps({"status": "success", "message": "Превью отменено."}, ensure_ascii=False) elif fn_name == "db_add_system_prompt": try: prompt_text = fn_args.get("prompt_text") if isinstance(fn_args, dict) else str(fn_args) name = fn_args.get("name", "main_agent") if isinstance(fn_args, dict) else "main_agent" res = db_add_system_prompt(name=name, prompt_text=prompt_text) db_clear_session_state(session_id) tool_result_content = json.dumps(res, ensure_ascii=False) except Exception as e: tool_result_content = json.dumps({"status": "error", "error": str(e)}, ensure_ascii=False) elif fn_name == "db_get_rules": tool_result_content = json.dumps(db_get_rules(), ensure_ascii=False) elif fn_name == "db_add_task": res = db_add_task(user_id=user_id, module=fn_args.get("module", "general"), title=fn_args.get("title"), priority=fn_args.get("priority", "MEDIUM"), due_date=fn_args.get("due_date")) tool_result_content = json.dumps(res, ensure_ascii=False) elif fn_name == "db_update_task_status": res = db_update_task_status(user_id=user_id, task_id=str(fn_args.get("task_id")), status=fn_args.get("status", "COMPLETED"), due_date=fn_args.get("due_date")) tool_result_content = json.dumps(res, ensure_ascii=False) elif fn_name == "db_delete_task": res = db_delete_task(user_id=user_id, task_id=str(fn_args.get("task_id", "")).upper()) tool_result_content = json.dumps(res, ensure_ascii=False) messages.append({ "role": "tool", "content": tool_result_content }) # Вторичный вызов Ollama для формирования текстового ответа пользователя с учетом результатов Tool second_payload = { "model": TEXT_MODEL, "messages": messages, "stream": False, "options": llm_options } sec_req = urllib.request.Request( OLLAMA_URL, data=json.dumps(second_payload).encode("utf-8"), headers={"Content-Type": "application/json"} ) with urllib.request.urlopen(sec_req) as sec_response: sec_res_data = json.loads(sec_response.read().decode("utf-8")) raw_content = sec_res_data.get("message", {}).get("content", "").strip().replace("**", "") final_content = clean_raw_tool_tags(clean_output(raw_content)) db_save_chat_message(session_id, "assistant", final_content) return final_content, db_get_chat_history(session_id) # Если вызовов функций не было raw_str = msg.get("content", "").strip().replace("**", "") content_str = clean_raw_tool_tags(clean_output(raw_str)) final_reply = content_str or "Запрос обработан." db_save_chat_message(session_id, "assistant", final_reply) return final_reply, db_get_chat_history(session_id) except Exception as ex: logger.exception(f"Непредвиденная ошибка: {ex}") error_reply = f"Внутренняя ошибка сервера: {ex}" return error_reply, db_get_chat_history(session_id)