chore(checkpoint): save working state before clean state context refactoring

docs/development_roadmap.md

@@ -0,0 +1,50 @@
+# 🗺️ ДОРОЖНАЯ КАРТА И АРХИТЕКТУРНЫЙ РОАДМАП ПРОЕКТА SCUD ORION AI
+
+## 📌 Зафиксированные вехи и концептуальные архитектурные решения
+
+Схема веток Gitea для ближайшего развития проекта:
+
+main (100% стабильный релиз)
+  │
+  ├──► feature/tool-registry-db ──────┐ (Создание таблицы tool_action_registry в SQLite)
+  │                                   ▼
+  ├───────────────────────────────► merge to main
+  │
+  ├──► feature/interactive-buttons ───┐ (Подключение Да/Нет чипсов на фронтенде)
+  │                                   ▼
+  ├───────────────────────────────► merge to main
+  │
+  └──► feature/ephemeral-context ─────┐ (Внедрение флагов is_ephemeral для очистки памяти LLM)
+                                      ▼
+                                  merge to main
+
+
+
+
+### 1. Архитектура скользящего контекста и отслеживания смены темы (Intent / Topic Drift Tracking)
+* **Проблема:** При работе с длинными операциями (редактирование промптов, мастера табелей, снапшотов) оператор может отвлекаться на сторонние вопросы или уточнения. Жесткий сброс сессии уничтожает черновики, а вечное хранение засоряет память LLM.
+* **Решение (Сферическое / Фундаментальное):**
+  1. **Семантическая оценка моделью:** Модель через системный контекст определяет, относится ли вопрос оператора к активному черновику/инструменту или разговор ушел в сторону (`topic_shift = true`).
+  2. **Детерминированный счетчик в бэкенде:** Бэкенд фиксирует шаги отвлечения (`idle_turns`). Пока $N < 3$, оператор может свободно общаться, не теряя висящий контекст.
+  3. **Вежливый перехват и выбор (Guard):** На 3-м шаге отвлечения система отвечает на текущий вопрос оператора и мягко напоминает о незавершенной транзакции кнопками `[Применить / Сохранить]` или `[Отменить и сбросить]`.
+
+---
+
+## 🚀 Будущие модули и запланированный функционал (Backlog)
+
+### 2. Интерактивный модуль планирования и дорожных карт (Checklist & Task Planner Engine)
+* **Концепция:** Специализированный инструмент для LLM-агента, позволяющий вести динамические проектные чек-листы и планы с интерактивными чекбоксами прямо в диалоге и базе данных.
+* **Ключевые возможности:**
+  * Составление многоуровневых планов с чекбоксами (`[ ]` / `[x]`).
+  * Фиксация промежуточных комментариев и статусов выполнения по каждому пункту.
+  * Синхронизация задач плана с SQLite-таблицей `tasks`.
+  * Экспорт планов в Markdown/Excel и отображение на дашборде.
+
+
+### 3. Изолированная среда выполнения и песочница кода (Code Execution Sandbox Engine)
+* **Концепция:** Безопасный изолированный Docker-контейнер (или gVisor / Pyodide / nsjail окружение) для динамического выполнения кода, генерируемого моделью в процессе рассуждений и анализа данных.
+* **Ключевые возможности:**
+  * Запуск сложных вычислений, агрегаций и статистического анализа данных СКУД на лету (Pandas / NumPy).
+  * Выполнение тестовых сценариев и валидация скриптов перед их сохранением/применением на проде.
+  * Полная изоляция от хост-системы: read-only доступ к копиям данных, ограничение памяти/CPU (cgroups), отсутствие доступа к чувствительным сетевым интерфейсам.
+  * Возврат результатов вычислений (stdout, stderr, артефакты, сгенерированные таблицы/графики) обратно в контекст модели.

modules/web_api/llm/agent.py

@@ -5,27 +5,8 @@ PROJECT: SCUD Orion AI (Unified Architecture)
 MODULE: web_api / llm (Core Agent & Function Calling Dispatcher)
 ROLE: Главный оркестратор взаимодействия с Ollama LLM (Qwen 2.5), разбор вызовов 
       инструментов (Function Calling), интеграция с декларативным реестром 
-      действий SQLite (tool_action_registry) и управление сессионными кнопками.
+      действий SQLite (tool_action_registry), детерминированный Fast-Path
-
+      для подтверждений, отслеживание Topic Drift и Context Guard с кнопками.
-AI-CONTEXT-ANCHORS & INVARIANTS:
-  - ANCHOR[LOGGING_CONFIG]: Настройка StreamHandler в sys.stdout с propagate=False
-    для предотвращения дублирования строк в systemd journalctl.
-  - ANCHOR[DYNAMIC_CONTEXT]: Сборка системного контекста (календарь, сессия, промпт).
-  - ANCHOR[INFERENCE_OPTIONS]: Параметры инференса (repeat_penalty, ctx_size) для 
-    предотвращения урезания длинных списков моделью Qwen 2.5.
-  - ANCHOR[TOOL_ROUTER]: Диспетчеризация функций SQLite (CRUD задач, снапшотов, KB).
-  - ANCHOR[PROMPT_MERGE_LOGIC]: Универсальный парсер точечного добавления и 
-    удаления пунктов системного промпта в режиме предпросмотра (PROMPT_PREVIEW).
-  - ANCHOR[DATA_DRIVEN_ACTIONS]: Универсальная обработка инструментов на базе 
-    таблицы tool_action_registry (мгновенный возврат ответов и динамических кнопок).
-  - ANCHOR[SECONDARY_PASS]: Вторичный вызов LLM для формирования текстового ответа 
-    на основе полученного tool_result.
-
-DEPENDENCIES:
-  - modules/web_api/llm/db_tools.py (доступ к SQLite и реестру действий)
-  - modules/web_api/llm/schemas.py (TOOLS_SCHEMA)
-  - modules/web_api/llm/core/calendar_utils.py (get_dynamic_calendar_context)
-  - modules/web_api/llm/core/tool_injector.py (clean_raw_tool_tags, clean_output)
 ===============================================================================
 """
 
@@ -51,12 +32,14 @@ from .db_tools import (
     db_get_rules,
     db_set_session_state,
     db_get_session_state,
+    db_clear_session_state,
+    db_increment_session_idle,
     db_get_snapshots,
     db_delete_snapshots,
-    db_clear_session_state,
     db_get_current_server_time,
     db_save_chat_message,
     db_get_chat_history,
+    db_purge_ephemeral_messages,
     db_get_stats,
     db_get_anomalies,
     db_get_session_states,
@@ -70,7 +53,7 @@ from .core.tool_injector import clean_raw_tool_tags, clean_output, inject_tools_
 # --- [SECTION 2: LOGGING CONFIGURATION] --- # ANCHOR[LOGGING_CONFIG]
 logger = logging.getLogger("SCUD_AGENT")
 logger.setLevel(logging.INFO)
-logger.propagate = False  # Исключаем дублирование сообщений в родительском логгере Uvicorn
+logger.propagate = False
 
 if not logger.handlers:
     handler = logging.StreamHandler(sys.stdout)
@@ -94,11 +77,12 @@ def process_chat_message(
 ) -> Tuple[str, List[Dict[str, Any]], Optional[Dict[str, Any]]]:
     """
     Главный конвейер обработки входящего сообщения:
-    1. Сохранение сообщения пользователя.
+    1. Fast-Path перехват подтверждений/отмен при активном session_state.
-    2. Формирование системного контекста и вызов Ollama.
+    2. Перехват завершения работы ('нет, закончить настройку') с автоочисткой эфемерных сообщений.
-    3. Выполнение вызванного Tool (если сгенерирован).
+    3. Формирование системного контекста с учетом активного действия (черновика).
-    4. Опрос Data-Driven реестра действий (tool_action_registry) или вторичный проход LLM.
+    4. Выполнение вызванного Tool и опрос Data-Driven реестра действий.
-    5. Возврат кортежа: (reply_text, chat_history, action_metadata).
+    5. Проверка счетчика отвлечений (idle_turns) и Context Guard на 3-м шаге.
+    6. Возврат кортежа: (reply_text, chat_history, action_metadata).
     """
     logger.info(f"Получено сообщение от user_id={user_id}, session_id={session_id}: {user_message}")
     
@@ -107,34 +91,103 @@ def process_chat_message(
     if file_context:
         full_user_content = f"{user_message}\n\n[СОДЕРЖИМОЕ ПРИКРЕПЛЕННОГО ФАЙЛА]:\n{file_context}"
 
+    session_state = db_get_session_state(session_id)
+    user_msg_clean = user_message.lower().strip(" .!?:;")
+
+    # --- [FAST-PATH 1: ПЕРЕХВАТ ЗАВЕРШЕНИЯ НАСТРОЙКИ С ОЧИСТКОЙ ЭФЕМЕРНОЙ ПАМЯТИ] ---
+    if user_msg_clean in ["нет, спасибо", "нет, закончить настройку", "закончить настройку", "завершить", "нет"]:
+        db_clear_session_state(session_id)
+        deleted_count = db_purge_ephemeral_messages(session_id)
+        logger.info(f"Завершена работа с инструментом. Удалено эфемерных сообщений: {deleted_count}")
+        
+        reply_text = "Хорошо. Настройка завершена, контекст диалога чист. Чем я могу помочь дальше?"
+        db_save_chat_message(session_id, "assistant", reply_text, is_ephemeral=0)
+        return reply_text, db_get_chat_history(session_id), None
+
+    # --- [FAST-PATH 2: ПЕРЕХВАТ ПОДТВЕРЖДЕНИЯ / ОТМЕНЫ ПРЕВЬЮ ПРОМПТА] ---
+    if session_state and session_state.get("state_type") == "PROMPT_PREVIEW":
+        draft_text = ""
+        if session_state.get("data_json") and isinstance(session_state["data_json"], dict):
+            draft_text = session_state["data_json"].get("draft_text", "")
+        else:
+            draft_text = session_state.get("pending_data", "")
+
+        if user_msg_clean in ["подтверждаю", "подтвердить", "да", "сохранить", "применить", "ок", "хорошо"]:
+            db_add_system_prompt("main_agent", draft_text)
+            db_clear_session_state(session_id)
+            
+            action_cfg = db_get_tool_action("db_confirm_prompt_preview")
+            reply_text = action_cfg["success_template"] if action_cfg else "Системный промпт успешно сохранен и применен в базе данных."
+            if action_cfg and action_cfg.get("follow_up_question"):
+                reply_text += f"\n\n{action_cfg['follow_up_question']}"
+            
+            reply_text = reply_text.replace("✅", "").replace("❌", "").replace("**", "").replace("*", "").strip()
+
+            db_save_chat_message(session_id, "user", full_user_content, is_ephemeral=1)
+            db_save_chat_message(session_id, "assistant", reply_text, is_ephemeral=1)
+            return reply_text, db_get_chat_history(session_id), {
+                "type": action_cfg.get("action_type") if action_cfg else "FOLLOW_UP_ACTION",
+                "buttons": action_cfg.get("buttons", []) if action_cfg else []
+            }
+
+        elif user_msg_clean in ["отмена", "отменить", "отклонить", "назад", "стоп"]:
+            db_clear_session_state(session_id)
+            
+            action_cfg = db_get_tool_action("db_cancel_prompt_preview")
+            reply_text = action_cfg["success_template"] if action_cfg else "Изменения системного промпта отменены."
+            if action_cfg and action_cfg.get("follow_up_question"):
+                reply_text += f"\n\n{action_cfg['follow_up_question']}"
+            
+            reply_text = reply_text.replace("✅", "").replace("❌", "").replace("**", "").replace("*", "").strip()
+
+            db_save_chat_message(session_id, "user", full_user_content, is_ephemeral=1)
+            db_save_chat_message(session_id, "assistant", reply_text, is_ephemeral=1)
+            return reply_text, db_get_chat_history(session_id), {
+                "type": action_cfg.get("action_type") if action_cfg else "FOLLOW_UP_ACTION",
+                "buttons": action_cfg.get("buttons", []) if action_cfg else []
+            }
+
+    # 3.2. Сохраняем входящее сообщение в историю диалога
+    is_user_ephemeral = 1 if session_state else 0
+    db_save_chat_message(session_id, "user", full_user_content, is_ephemeral=is_user_ephemeral)
+
+    # 3.3. Извлекаем полную актуальную историю для передачи в LLM
     db_history = db_get_chat_history(session_id, limit=20)
-    db_save_chat_message(session_id, "user", full_user_content)
 
-    # 3.2. Сборка системного контекста и правил # ANCHOR[DYNAMIC_CONTEXT]
     dynamic_prompt_text = db_get_active_system_prompt()
     calendar_context = get_dynamic_calendar_context()
-    session_state = db_get_session_state(session_id)
-    
-    preview_status_note = ""
-    if session_state and session_state.get("state_type") == "PROMPT_PREVIEW":
-        preview_status_note = "\n\n[АКТИВНО ПРЕВЬЮ ПРОМПТА: Ожидается подтверждение ('подтверждаю') или отмена ('отмена') пользователем]."
-
     user_info = f"Пользователь ID={user_id}" if user_id != 0 else "Гость"
 
+    # Информируем модель о наличии незавершенного действия в сессии
+    active_state_context = ""
+    if session_state and session_state.get("state_type") == "PROMPT_PREVIEW":
+        active_state_context = (
+            "\n[АКТИВНОЕ ДЕЙСТВИЕ В СЕССИИ]\n"
+            "В данный момент оператор рассматривает подготовленный черновик системного промпта.\n"
+            "- Если оператор просит продолжить правки или уточняет детали по черновику — продолжай работу с ним.\n"
+            "- Если оператор переключился на другую тему или вызвал другой инструмент — выполни его команду штатно.\n"
+        )
+
     system_prompt_content = (
-        f"[ТЕКУЩИЙ АВТОРИЗОВАННЫЙ ПОЛЬЗОВАТЕЛЬ]\n"
+        f"Ты — интеллектуальный ассистент SCUD Orion AI. "
-        f"Вы общаетесь с пользователем: {user_info}.\n\n"
+        f"Ты управляешь задачами, аналитикой СКУД и системными настройками с помощью инструментов (tools).\n\n"
-        f"[СИСТЕМНЫЙ КАЛЕНДАРЬ СЕРВЕРА]\n"
+        f"[ОКРУЖЕНИЕ]\n"
-        f"{calendar_context}\n\n"
+        f"- Пользователь: {user_info}\n"
-        f"[ПРАВИЛА И СТРОГИЕ ТРИГГЕРЫ ВЫЗОВА ИНСТРУМЕНТОВ]\n"
+        f"- {calendar_context}\n"
-        f"1. ТРИГГЕРЫ ПРОСМОТРА: Если запрос содержит фразы 'покажи системный промпт', 'покажи промпт', 'выведи промпт' — ТЫ ОБЯЗАН СГЕНЕРИРОВАТЬ ToolCall: db_get_system_prompt(). Категорически ЗАПРЕЩЕНО выводить текст промпта из памяти без вызова этой функции!\n"
+        f"{active_state_context}\n"
-        f"2. ТРИГГЕРЫ ПРАВКИ: Если запрос содержит слова 'добавь пункт', 'удали пункт', 'измени промпт' — ТЫ ОБЯЗАН СГЕНЕРИРОВАТЬ ToolCall: db_preview_prompt_merge(prompt_text=...).\n"
+        f"[ПРАВИЛА ИСПОЛЬЗОВАНИЯ ИНСТРУМЕНТОВ]\n"
-        f"3. ТРИГГЕРЫ ЗАДАЧ: При фразах 'покажи задачи', 'мои задачи', 'список дел' — СРАЗУ генерируй ToolCall: db_get_tasks().\n"
+        f"1. Для любых изменений системного промпта (добавить, удалить, изменить пункт) ВСЕГДА вызывай функцию db_preview_prompt_merge(prompt_text=...).\n"
-        f"4. ЗАПРЕТ ТЕКСТА: Запрещено объяснять правила или писать названия функций текстом, если сработал триггер — просто вызывай функцию!\n\n"
+        f"2. Для просмотра системного промпта ВСЕГДА вызывай db_get_system_prompt().\n"
-        f"ТЕКУЩИЙ АКТИВНЫЙ СИСТЕМНЫЙ ПРОМПТ:\n{dynamic_prompt_text}{preview_status_note}"
+        f"3. Для просмотра задач ВСЕГДА вызывай db_get_tasks().\n"
+        f"4. Никогда не симулируй выполнение функций в виде обычного текста. Если требуется действие — сразу вызывай соответствующий инструмент.\n\n"
+        f"[ПРИМЕРЫ ВЫЗОВА ИНСТРУМЕНТОВ]:\n"
+        f"- Пользователь: 'добавь пункт 3.4. Работать от сюда и до заката.' -> Вызов: db_preview_prompt_merge(prompt_text='3.4. Работать от сюда и до заката.')\n"
+        f"- Пользователь: 'удали пункт 3.4' -> Вызов: db_preview_prompt_merge(prompt_text='3.4')\n"
+        f"- Пользователь: 'покажи системный промпт' -> Вызов: db_get_system_prompt()\n"
+        f"- Пользователь: 'покажи мои задачи' -> Вызов: db_get_tasks()\n\n"
+        f"[ТЕКУЩИЙ АКТИВНЫЙ СИСТЕМНЫЙ ПРОМПТ]:\n{dynamic_prompt_text}"
     )
 
-    # 3.3. Параметры инференса # ANCHOR[INFERENCE_OPTIONS]
     llm_options = {
         "num_predict": 8192,
         "num_ctx": 8192,
@@ -174,8 +227,7 @@ def process_chat_message(
             tool_calls = msg.get("tool_calls", [])
             raw_text_content = msg.get("content", "")
 
-            # Фоллбэк проверка через tool_injector
+            #tool_calls = inject_tools_if_needed(user_message, raw_text_content, tool_calls)
-            tool_calls = inject_tools_if_needed(user_message, raw_text_content, tool_calls)
 
             if tool_calls:
                 logger.info(f"Ответ от Ollama получен. Tool calls: True (кол-во: {len(tool_calls)})")
@@ -184,15 +236,20 @@ def process_chat_message(
                 for tool in tool_calls:
                     fn_name = tool["function"]["name"]
                     fn_args = tool["function"].get("arguments", {})
-                    logger.info(f"🚀 Вызов функции (Tool): {fn_name} с аргументами: {fn_args}")
+                    logger.info(f"Вызов функции (Tool): {fn_name} с аргументами: {fn_args}")
                     tool_result_content = ""
 
-                    # --- 5.1. УНИВЕРСАЛЬНАЯ ПРОВЕРКА DATA-DRIVEN РЕЕСТРА (tool_action_registry) --- # ANCHOR[DATA_DRIVEN_ACTIONS]
                     action_cfg = db_get_tool_action(fn_name)
                     
                     if fn_name == "db_confirm_prompt_preview":
                         if session_state and session_state.get("state_type") == "PROMPT_PREVIEW":
-                            db_add_system_prompt("main_agent", session_state.get("pending_data", ""))
+                            draft_text = ""
+                            if session_state.get("data_json") and isinstance(session_state["data_json"], dict):
+                                draft_text = session_state["data_json"].get("draft_text", "")
+                            else:
+                                draft_text = session_state.get("pending_data", "")
+
+                            db_add_system_prompt("main_agent", draft_text)
                             db_clear_session_state(session_id)
                             
                             if action_cfg and action_cfg.get("bypass_llm"):
@@ -200,15 +257,17 @@ def process_chat_message(
                                 if action_cfg.get("follow_up_question"):
                                     reply_text += f"\n\n{action_cfg['follow_up_question']}"
                                 
-                                db_save_chat_message(session_id, "assistant", reply_text)
+                                reply_text = reply_text.replace("✅", "").replace("❌", "").replace("**", "").replace("*", "").strip()
+                                is_eph = action_cfg.get("is_ephemeral", 1)
+                                db_save_chat_message(session_id, "assistant", reply_text, is_ephemeral=is_eph)
                                 return reply_text, db_get_chat_history(session_id), {
                                     "type": action_cfg.get("action_type"),
                                     "buttons": action_cfg.get("buttons", [])
                                 }
                             tool_result_content = json.dumps({"status": "success"}, ensure_ascii=False)
                         else:
-                            err_reply = "⚠️ Нет активного превью для подтверждения."
+                            err_reply = "Нет активного превью для подтверждения."
-                            db_save_chat_message(session_id, "assistant", err_reply)
+                            db_save_chat_message(session_id, "assistant", err_reply, is_ephemeral=1)
                             return err_reply, db_get_chat_history(session_id), None
 
                     elif fn_name == "db_cancel_prompt_preview":
@@ -218,14 +277,15 @@ def process_chat_message(
                             if action_cfg.get("follow_up_question"):
                                 reply_text += f"\n\n{action_cfg['follow_up_question']}"
                             
-                            db_save_chat_message(session_id, "assistant", reply_text)
+                            reply_text = reply_text.replace("✅", "").replace("❌", "").replace("**", "").replace("*", "").strip()
+                            is_eph = action_cfg.get("is_ephemeral", 1)
+                            db_save_chat_message(session_id, "assistant", reply_text, is_ephemeral=is_eph)
                             return reply_text, db_get_chat_history(session_id), {
                                 "type": action_cfg.get("action_type"),
                                 "buttons": action_cfg.get("buttons", [])
                             }
                         tool_result_content = json.dumps({"status": "cancelled"}, ensure_ascii=False)
 
-                    # --- 5.2. СТАНДАРТНЫЙ РОУТИНГ ИНСТРУМЕНТОВ ---
                     elif fn_name == "db_get_snapshots":
                         snapshots_res = db_get_snapshots(session_id=session_id, date_str=fn_args.get("date_str"), original_user_message=user_message)
                         tool_result_content = json.dumps(snapshots_res, ensure_ascii=False)
@@ -254,7 +314,9 @@ def process_chat_message(
                             reply_text = action_cfg["success_template"]
                             if action_cfg.get("follow_up_question"):
                                 reply_text += f"\n\n{action_cfg['follow_up_question']}"
-                            db_save_chat_message(session_id, "assistant", reply_text)
+                            reply_text = reply_text.replace("✅", "").replace("❌", "").replace("**", "").replace("*", "").strip()
+                            is_eph = action_cfg.get("is_ephemeral", 1)
+                            db_save_chat_message(session_id, "assistant", reply_text, is_ephemeral=is_eph)
                             return reply_text, db_get_chat_history(session_id), {
                                 "type": action_cfg.get("action_type"),
                                 "buttons": action_cfg.get("buttons", [])
@@ -273,7 +335,7 @@ def process_chat_message(
                         current_prompt = db_get_active_system_prompt()
                         user_msg_lower = user_message.lower()
 
-                        # 1. ОБРАБОТКА УДАЛЕНИЯ ПУНКТА
+                        # 1. Обработка удаления пункта
                         if any(w in user_msg_lower for w in ["удали", "стереть", "убрать", "вырежи", "удалить"]):
                             target_num_match = re.search(r'\d+(\.\d+)*', user_message)
                             target_num = target_num_match.group(0) if target_num_match else ""
@@ -285,7 +347,7 @@ def process_chat_message(
                                 new_lines = lines
                             proposed_text = "\n".join(new_lines)
 
-                        # 2. ОБРАБОТКА ДОБАВЛЕНИЯ / ИЗМЕНЕНИЯ ПУНКТА
+                        # 2. Обработка добавления / изменения пункта
                         elif proposed_text:
                             if len(proposed_text) < 500:
                                 clean_item = proposed_text.strip()
@@ -306,13 +368,19 @@ def process_chat_message(
                                     new_lines.append(f"   {clean_item}")
                                 proposed_text = "\n".join(new_lines)
 
-                        db_set_session_state(session_id, "PROMPT_PREVIEW", proposed_text)
+                        # Сохраняем черновик в структурированном виде с idle_turns = 0
+                        state_payload = {
+                            "draft_text": proposed_text,
+                            "idle_turns": 0
+                        }
+                        db_set_session_state(session_id, "PROMPT_PREVIEW", state_payload)
+                        
                         preview_reply = (
                             f"Ваше изменение успешно предпросмотрено. Полный обновленный системный промпт теперь выглядит так:\n\n"
                             f"{proposed_text}\n\n"
                             f"Для применения изменений подтвердите действие («подтверждаю») или отмените («отмена»)."
                         )
-                        db_save_chat_message(session_id, "assistant", preview_reply)
+                        db_save_chat_message(session_id, "assistant", preview_reply, is_ephemeral=1)
                         return clean_raw_tool_tags(preview_reply), db_get_chat_history(session_id), {
                             "type": "PROMPT_PREVIEW",
                             "buttons": [
@@ -338,7 +406,9 @@ def process_chat_message(
                             reply_text = action_cfg["success_template"]
                             if action_cfg.get("follow_up_question"):
                                 reply_text += f"\n\n{action_cfg['follow_up_question']}"
-                            db_save_chat_message(session_id, "assistant", reply_text)
+                            reply_text = reply_text.replace("✅", "").replace("❌", "").replace("**", "").replace("*", "").strip()
+                            is_eph = action_cfg.get("is_ephemeral", 1)
+                            db_save_chat_message(session_id, "assistant", reply_text, is_ephemeral=is_eph)
                             return reply_text, db_get_chat_history(session_id), {
                                 "type": action_cfg.get("action_type"),
                                 "buttons": action_cfg.get("buttons", [])
@@ -347,21 +417,55 @@ def process_chat_message(
 
                     messages.append({"role": "tool", "content": tool_result_content})
 
-                # --- [SECTION 7: SECONDARY LLM PASS] --- # ANCHOR[SECONDARY_PASS]
+                # --- [SECTION 7: SECONDARY LLM PASS & CONTEXT GUARD] --- # ANCHOR[SECONDARY_PASS]
                 second_payload = {"model": TEXT_MODEL, "messages": messages, "stream": False, "options": llm_options}
                 sec_req = urllib.request.Request(OLLAMA_URL, data=json.dumps(second_payload).encode("utf-8"), headers={"Content-Type": "application/json"})
                 with urllib.request.urlopen(sec_req) as sec_response:
                     sec_res_data = json.loads(sec_response.read().decode("utf-8"))
-                    raw_content = sec_res_data.get("message", {}).get("content", "").strip().replace("**", "")
+                    raw_content = sec_res_data.get("message", {}).get("content", "").strip().replace("**", "").replace("*", "")
                     final_content = clean_raw_tool_tags(clean_output(raw_content))
-                    db_save_chat_message(session_id, "assistant", final_content)
+
+                    # Если была активна фоновая транзакция, инкрементируем счетчик Topic Shift
+                    if session_state and session_state.get("state_type") == "PROMPT_PREVIEW":
+                        idle_count = db_increment_session_idle(session_id)
+                        logger.info(f"Выполнен инструмент вне черновика. Текущий idle_turns: {idle_count}")
+                        
+                        if idle_count >= 3:
+                            guard_note = "\n\nНапоминание: У вас остался непримененный черновик системного промпта. Сохранить его или сбросить?"
+                            final_content += guard_note
+                            db_save_chat_message(session_id, "assistant", final_content, is_ephemeral=1)
+                            return final_content, db_get_chat_history(session_id), {
+                                "type": "PROMPT_PREVIEW_GUARD",
+                                "buttons": [
+                                    {"label": "Применить черновик", "value": "подтверждаю", "style": "primary"},
+                                    {"label": "Сбросить черновик", "value": "отмена", "style": "danger"}
+                                ]
+                            }
+
+                    db_save_chat_message(session_id, "assistant", final_content, is_ephemeral=0)
                     return final_content, db_get_chat_history(session_id), None
 
-            # Если вызовов функций не было
+            # Если вызовов инструментов не было (обычный текстовый диалог)
-            raw_str = msg.get("content", "").strip().replace("**", "")
+            raw_str = msg.get("content", "").strip().replace("**", "").replace("*", "")
             content_str = clean_raw_tool_tags(clean_output(raw_str))
             final_reply = content_str or "Запрос обработан."
-            db_save_chat_message(session_id, "assistant", final_reply)
+
+            if session_state and session_state.get("state_type") == "PROMPT_PREVIEW":
+                idle_count = db_increment_session_idle(session_id)
+                logger.info(f"Текстовый диалог вне черновика. Текущий idle_turns: {idle_count}")
+                if idle_count >= 3:
+                    guard_note = "\n\nНапоминание: У вас остался непримененный черновик системного промпта. Сохранить его или сбросить?"
+                    final_reply += guard_note
+                    db_save_chat_message(session_id, "assistant", final_reply, is_ephemeral=1)
+                    return final_reply, db_get_chat_history(session_id), {
+                        "type": "PROMPT_PREVIEW_GUARD",
+                        "buttons": [
+                            {"label": "Применить черновик", "value": "подтверждаю", "style": "primary"},
+                            {"label": "Сбросить черновик", "value": "отмена", "style": "danger"}
+                        ]
+                    }
+
+            db_save_chat_message(session_id, "assistant", final_reply, is_ephemeral=0)
             return final_reply, db_get_chat_history(session_id), None
 
     except Exception as ex:

modules/web_api/llm/db/db_chat.py

@@ -1,29 +1,56 @@
 """
 FILE: modules/web_api/llm/db/db_chat.py
+ROLE: Управление историей сообщений и очисткой эфемерного контекста.
 """
 from typing import List, Dict, Any
 from .connection import get_db_connection
 
-def db_save_chat_message(session_id: str, role: str, content: str):
+def db_save_chat_message(session_id: str, role: str, content: str, is_ephemeral: int = 0) -> None:
-    if not content:
+    """Сохраняет сообщение в БД (is_ephemeral=1 для временных служебных шагов, 0 для постоянных)."""
-        return
     conn = get_db_connection()
     cursor = conn.cursor()
     cursor.execute("""
-        INSERT INTO chat_messages (session_id, role, content, created_at)
+        INSERT INTO chat_messages (session_id, role, content, is_ephemeral)
-        VALUES (?, ?, ?, CURRENT_TIMESTAMP)
+        VALUES (?, ?, ?, ?)
-    """, (session_id, role, content))
+    """, (session_id, role, content, is_ephemeral))
     conn.commit()
     conn.close()
 
+
 def db_get_chat_history(session_id: str, limit: int = 20) -> List[Dict[str, Any]]:
+    """Получает последние сообщения истории диалога в хронологическом порядке."""
     conn = get_db_connection()
     cursor = conn.cursor()
     cursor.execute("""
-        SELECT role, content FROM chat_messages 
+        SELECT role, content 
+        FROM chat_messages 
         WHERE session_id = ? 
-        ORDER BY id DESC LIMIT ?
+        ORDER BY id DESC 
+        LIMIT ?
     """, (session_id, limit))
     rows = cursor.fetchall()
     conn.close()
     return [{"role": r["role"], "content": r["content"]} for r in reversed(rows)]
+
+
+def db_purge_ephemeral_messages(session_id: str) -> int:
+    """
+    Физически удаляет все временные служебные сообщения выбранной сессии
+    после завершения сценария работы с инструментом.
+    """
+    conn = get_db_connection()
+    cursor = conn.cursor()
+    cursor.execute("DELETE FROM chat_messages WHERE session_id = ? AND is_ephemeral = 1", (session_id,))
+    deleted = cursor.rowcount
+    conn.commit()
+    conn.close()
+    return deleted
+
+
+def db_clear_chat_history(session_id: str) -> None:
+    """Полная очистка всех сообщений сессии."""
+    conn = get_db_connection()
+    cursor = conn.cursor()
+    cursor.execute("DELETE FROM chat_messages WHERE session_id = ?", (session_id,))
+    conn.commit()
+    conn.close()

modules/web_api/llm/db/db_prompts.py

@@ -1,5 +1,10 @@
 """
 FILE: modules/web_api/llm/db/db_prompts.py
+PROJECT: SCUD Orion AI
+MODULE: web_api / llm / db
+ROLE: Управление системными промптами, правилами базы знаний, 
+      декларативным реестром действий инструментов (tool_action_registry)
+      и расширенным сессионным состоянием (session_states + idle_turns).
 """
 import json
 import logging
@@ -8,7 +13,9 @@ from .connection import get_db_connection
 
 logger = logging.getLogger("DB_PROMPTS")
 
+
 def db_get_active_system_prompt() -> str:
+    """Извлекает актуальный активный системный промпт из SQLite."""
     conn = get_db_connection()
     cursor = conn.cursor()
     cursor.execute("SELECT prompt_text FROM system_prompts WHERE is_active = 1 ORDER BY id DESC LIMIT 1")
@@ -16,13 +23,14 @@ def db_get_active_system_prompt() -> str:
     conn.close()
     return row["prompt_text"] if row else "Ты — ИИ-ассистент SCUD Orion AI."
 
+
 def db_get_tool_action(tool_name: str) -> Optional[Dict[str, Any]]:
-    """Получение шаблона и кнопок действия для инструмента из SQLite."""
+    """Получение шаблона, кнопок и настроек эфемерности инструмента из SQLite."""
     conn = get_db_connection()
     cursor = conn.cursor()
     cursor.execute("""
         SELECT tool_name, category, bypass_llm, success_template, 
-               follow_up_question, action_type, buttons_json 
+               follow_up_question, action_type, buttons_json, is_ephemeral 
         FROM tool_action_registry 
         WHERE tool_name = ? AND is_active = 1
     """, (tool_name,))
@@ -35,7 +43,9 @@ def db_get_tool_action(tool_name: str) -> Optional[Dict[str, Any]]:
         return res
     return None
 
+
 def db_add_system_prompt(name: str, prompt_text: str) -> Dict[str, Any]:
+    """Сохраняет новую версию системного промпта и активирует её."""
     try:
         with get_db_connection() as conn:
             cursor = conn.cursor()
@@ -58,7 +68,9 @@ def db_add_system_prompt(name: str, prompt_text: str) -> Dict[str, Any]:
         logger.error(f"Ошибка при сохранении промпта в БД: {e}")
         return {"status": "error", "error": str(e)}
 
+
 def db_get_rules() -> List[Dict[str, Any]]:
+    """Извлекает список глобальных правил компании из ai_knowledge_base."""
     conn = get_db_connection()
     cursor = conn.cursor()
     cursor.execute("SELECT id, rule_text FROM ai_knowledge_base ORDER BY id ASC")
@@ -66,9 +78,24 @@ def db_get_rules() -> List[Dict[str, Any]]:
     conn.close()
     return [dict(r) for r in rows]
 
-def db_set_session_state(session_id: str, state_type: str, data: str):
+
+# =============================================================================
+# РАБОТА С СЕССИОННЫМИ СОСТОЯНИЯМИ, ЧЕРНОВИКАМИ И СЧЕТЧИКОМ ОТВЛЕЧЕНИЙ (IDLE_TURNS)
+# =============================================================================
+
+def db_set_session_state(session_id: str, state_type: str, data: Any) -> None:
+    """
+    Сохраняет состояние сессии в SQLite.
+    Если передан dict/list — автоматически сериализует его в JSON-строку.
+    """
     conn = get_db_connection()
     cursor = conn.cursor()
+    
+    if isinstance(data, (dict, list)):
+        payload_str = json.dumps(data, ensure_ascii=False)
+    else:
+        payload_str = str(data) if data is not None else ""
+
     cursor.execute("""
         INSERT INTO session_states (session_id, state_type, pending_data, updated_at)
         VALUES (?, ?, ?, CURRENT_TIMESTAMP)
@@ -76,26 +103,78 @@ def db_set_session_state(session_id: str, state_type: str, data: str):
             state_type = excluded.state_type,
             pending_data = excluded.pending_data,
             updated_at = CURRENT_TIMESTAMP
-    """, (session_id, state_type, data))
+    """, (session_id, state_type, payload_str))
     conn.commit()
     conn.close()
 
+
 def db_get_session_state(session_id: str) -> Optional[Dict[str, Any]]:
+    """
+    Извлекает состояние сессии из SQLite.
+    Если в pending_data лежит валидный JSON-объект — парсит его в data_json.
+    """
     conn = get_db_connection()
     cursor = conn.cursor()
-    cursor.execute("SELECT state_type, pending_data FROM session_states WHERE session_id = ?", (session_id,))
+    cursor.execute(
+        "SELECT session_id, state_type, pending_data, updated_at FROM session_states WHERE session_id = ?",
+        (session_id,)
+    )
     row = cursor.fetchone()
     conn.close()
-    return dict(row) if row else None
     
-def db_clear_session_state(session_id: str):
+    if not row:
+        return None
+
+    res = dict(row)
+    raw_data = res.get("pending_data") or ""
+    
+    try:
+        if raw_data.strip().startswith("{") or raw_data.strip().startswith("["):
+            res["data_json"] = json.loads(raw_data)
+        else:
+            res["data_json"] = None
+    except Exception:
+        res["data_json"] = None
+        
+    return res
+
+
+def db_increment_session_idle(session_id: str) -> int:
+    """
+    Инкрементирует счетчик idle_turns для активного черновика сессии.
+    Возвращает обновленное значение счетчика отвлечений.
+    """
+    state = db_get_session_state(session_id)
+    if not state:
+        return 0
+
+    data_meta = state.get("data_json")
+    if isinstance(data_meta, dict):
+        current_turns = data_meta.get("idle_turns", 0) + 1
+        data_meta["idle_turns"] = current_turns
+        db_set_session_state(session_id, state["state_type"], data_meta)
+        return current_turns
+    else:
+        # Если ранее данные были сохранены обычной строкой
+        new_meta = {
+            "draft_text": state.get("pending_data", ""),
+            "idle_turns": 1
+        }
+        db_set_session_state(session_id, state["state_type"], new_meta)
+        return 1
+
+
+def db_clear_session_state(session_id: str) -> None:
+    """Сбрасывает и удаляет активное состояние сессии."""
     conn = get_db_connection()
     cursor = conn.cursor()
     cursor.execute("DELETE FROM session_states WHERE session_id = ?", (session_id,))
     conn.commit()
     conn.close()
 
+
 def db_get_session_states() -> Dict[str, Any]:
+    """Возвращает реестр всех активных сессий."""
     conn = get_db_connection()
     cursor = conn.cursor()
     cursor.execute("SELECT session_id, state_type, updated_at FROM session_states")
@@ -103,10 +182,19 @@ def db_get_session_states() -> Dict[str, Any]:
     conn.close()
     return {"status": "success", "active_sessions": [dict(r) for r in rows]}
 
+
+# =============================================================================
+# СЛУЖЕБНАЯ ДИАГНОСТИКА И СТАТИСТИКА
+# =============================================================================
+
 def db_get_stats() -> Dict[str, Any]:
+    """Возвращает статистику по количеству записей в таблицах."""
     conn = get_db_connection()
     cursor = conn.cursor()
-    tables = ['scud_logs', 'zup_staff', 'zup_absences', 'anomalies_history', 'ai_knowledge_base', 'system_prompts', 'session_states', 'tasks']
+    tables = [
+        'scud_logs', 'zup_staff', 'zup_absences', 'anomalies_history', 
+        'ai_knowledge_base', 'system_prompts', 'session_states', 'tasks'
+    ]
     stats = {}
     for t in tables:
         try:
@@ -117,7 +205,9 @@ def db_get_stats() -> Dict[str, Any]:
     conn.close()
     return {"status": "success", "tables_stats": stats}
 
+
 def db_get_anomalies(limit: int = 100, date_str: Optional[str] = None) -> Dict[str, Any]:
+    """Извлекает журнал зафиксированных аномалий."""
     conn = get_db_connection()
     cursor = conn.cursor()
     query = "SELECT anomaly_date, fio, anomaly_type, details FROM anomalies_history"
@@ -132,7 +222,9 @@ def db_get_anomalies(limit: int = 100, date_str: Optional[str] = None) -> Dict[s
     conn.close()
     return {"status": "success", "count": len(rows), "anomalies": [dict(r) for r in rows]}
 
+
 def db_get_reference(category: Optional[str] = None) -> Dict[str, Any]:
+    """Извлекает справочные команды и примеры подсказок."""
     conn = get_db_connection()
     cursor = conn.cursor()
     query = "SELECT category, title, example_prompt, description FROM system_reference"

modules/web_api/llm/db_tools.py

@@ -3,7 +3,7 @@ FILE: modules/web_api/llm/db_tools.py
 """
 from datetime import datetime
 from .db.connection import DB_PATH, get_db_connection
-from .db.db_chat import db_save_chat_message, db_get_chat_history
+from .db.db_chat import db_save_chat_message, db_get_chat_history, db_purge_ephemeral_messages
 from .db.db_tasks import normalize_task_id, db_get_tasks, db_add_task, db_update_task_status, db_delete_task
 from .db.db_snapshots import db_get_snapshots, db_delete_snapshots
 from .db.db_prompts import (
@@ -14,11 +14,11 @@ from .db.db_prompts import (
     db_set_session_state,
     db_get_session_state,
     db_clear_session_state,
+    db_increment_session_idle,
     db_get_session_states,
     db_get_stats,
     db_get_anomalies,
-    db_get_reference,
+    db_get_reference
-    db_get_tool_action
 )
 
 def db_get_current_server_time():

modules/web_api/llm/schemas.py

@@ -189,13 +189,13 @@ TOOLS_SCHEMA = [
         "type": "function",
         "function": {
             "name": "db_preview_prompt_merge",
-            "description": "ВЫЗЫВАЙ ПРИ ЛЮБЫХ ИЗМЕНЕНИЯХ ПРОМПТА: добавление пункта ('добавь пункт...'), удаление пункта ('удали пункт 3.4', 'убери 3.4' или других номеров) или редактирование текста промпта. Передавай текст действия или номер удаляемого пункта в prompt_text.",
+            "description": "Сформировать предпросмотр изменения системного промпта. Вызывается при любых запросах на добавление ('добавь пункт...'), изменение или удаление пунктов системного промпта ('удали пункт...').",
             "parameters": {
                 "type": "object",
                 "properties": {
                     "prompt_text": {
                         "type": "string",
-                        "description": "Текст нового пункта или команда/номер удаляемого пункта (например '3.4' или 'удали пункт 3.4')"
+                        "description": "Полный текст добавляемого пункта или номер/описание удаляемого пункта."
                     }
                 },
                 "required": ["prompt_text"]

scripts/db_cli.py

@@ -280,7 +280,6 @@ def print_session_states():
     print("=" * 80 + "\n")    
 
 
-Python
 HELP_TEXT = """
 CLI-утилита инспекции и управления SQLite базой данных СКУД (scud_orion_ai.db)