feat(llm): двухфазный жизненный цикл сессий, двусторонний Diff, Topic Drift Guard и актуализация документации
This commit is contained in:
+30
-13
@@ -1,37 +1,54 @@
|
||||
# 📋 История изменений (CHANGELOG)
|
||||
|
||||
Все ключевые изменения архитектуры, инструментов и модулей проекта SCUD Orion AI фиксируются в данном файле.
|
||||
Все ключевые изменения архитектуры, инструментов и модулей проекта SCUD Orion AI фиксируются в данном файле[cite: 6].
|
||||
|
||||
---
|
||||
|
||||
## [2026-08-18] — Двухфазный жизненный цикл сессий, двусторонний Diff и Topic Drift Guard
|
||||
|
||||
### ✨ Добавлено
|
||||
* **Двусторонний клиентский Diff (`core.js`)**: Реализован алгоритм сравнения черновика с baseline-промптом. Удаленные строки остаются на экране с красным зачеркиванием `[УДАЛЕНИЕ]`, а добавленные/измененные строки выделяются красной рамкой с авто-отступами.
|
||||
* **Topic Drift Guard (`agent.py`)**: Внедрен двухуровневый контроль смены темы:
|
||||
- Мгновенный сброс стейта и зачистка эфемерных сообщений при вызове сторонних инструментов (задачи, снапшоты, база).
|
||||
- Мягкий счетчик отвлечений (`idle_turns` = 3) в свободном диалоге с выводом напоминания и кнопок из `tool_action_registry`.
|
||||
* **Команда `context purge` в CLI (`db_cli.py`)**: Добавлен флаг `--all` для полной очистки таблицы `chat_messages` и сброса стейтов сессий.
|
||||
|
||||
### 🔧 Изменено
|
||||
* **`modules/web_api/llm/agent.py`**:
|
||||
- Прямой просмотр промпта (`db_get_system_prompt`) переведен в прозрачный режим без блокировки строки ввода и без лишних кнопок.
|
||||
- В инструмент `db_prompt_node_edit` добавлена передача исходного `baseline_prompt` для точного сопоставления правок в UI.
|
||||
* **`modules/web_api/llm/core/fast_path.py`**: Оптимизирована зачистка эфемерных сообщений при кликах на кнопки фазы follow-up.
|
||||
|
||||
---
|
||||
|
||||
## [2026-08-17] — Внедрение CLI-инспекции контекста и переход на нативный Function Calling
|
||||
|
||||
### ✨ Добавлено
|
||||
* **`scripts/db_cli.py`**: Добавлена команда `context` для инспекции истории сообщений `chat_messages` по сессиям с визуальным отображением флагов `[ЭФЕМЕРНОЕ]`.
|
||||
* **`ROADMAP.md`**: Сформирована актуальная дорожная карта с планом отказа от регулярных выражений в пользу нативного Function Calling.
|
||||
* **`scripts/db_cli.py`**: Добавлена команда `context` для инспекции истории сообщений `chat_messages` по сессиям с визуальным отображением флагов `[ЭФЕМЕРНОЕ]`[cite: 6].
|
||||
* **`ROADMAP.md`**: Сформирована актуальная дорожная карта с планом отказа от регулярных выражений в пользу нативного Function Calling[cite: 6].
|
||||
|
||||
### 🔧 Изменено
|
||||
* **`modules/web_api/llm/db_tools.py`**: Удалены устаревшие неиспользуемые функции и заглушки счетчиков простоя.
|
||||
* **`modules/web_api/static/js/chat/core.js`**: Внедрена поддержка вызова инлайн-редактора черновика промпта прямо из окна диалога.
|
||||
* **`modules/web_api/llm/db_tools.py`**: Удалены устаревшие неиспользуемые функции и заглушки счетчиков простоя[cite: 6].
|
||||
* **`modules/web_api/static/js/chat/core.js`**: Внедрена поддержка вызова инлайн-редактора черновика промпта прямо из окна диалога[cite: 6].
|
||||
|
||||
---
|
||||
|
||||
## [2026-08-15] — Реляционная архитектура системного промпта
|
||||
|
||||
### ✨ Добавлено
|
||||
* **`system_prompt_nodes`**: Создана таблица реляционных узлов промпта с индексацией по разделам и пунктам (`section_id`, `item_id`).
|
||||
* **`db_prompt_node_edit`**: Добавлен инструмент точечного добавления, изменения и удаления пунктов системного промпта.
|
||||
* **Инлайн-редактор**: Добавлен визуальный diff-просмотр изменений с подсветкой и кнопкой `[✏️ Редактировать]`.
|
||||
* **`system_prompt_nodes`**: Создана таблица реляционных узлов промпта с индексацией по разделам и пунктам (`section_id`, `item_id`)[cite: 6].
|
||||
* **`db_prompt_node_edit`**: Добавлен инструмент точечного добавления, изменения и удаления пунктов системного промпта[cite: 6].
|
||||
* **Инлайн-редактор**: Добавлен визуальный diff-просмотр изменений с подсветкой и кнопкой `[✏️ Редактировать]`[cite: 6].
|
||||
|
||||
### 🔧 Изменено
|
||||
* **`modules/web_api/llm/agent.py`**: Генерация активного системного промпта переведена на динамическую сборку из реляционных узлов SQLite.
|
||||
* **`modules/web_api/llm/core/fast_path.py`**: Обработка кнопок «Подтвердить» и «Отменить» переведена на атомарную запись узлов в базу данных.
|
||||
* **`modules/web_api/llm/agent.py`**: Генерация активного системного промпта переведена на динамическую сборку из реляционных узлов SQLite[cite: 6].
|
||||
* **`modules/web_api/llm/core/fast_path.py`**: Обработка кнопок «Подтвердить» и «Отменить» переведена на атомарную запись узлов в базу данных[cite: 6].
|
||||
|
||||
---
|
||||
|
||||
## [2026-08-10] — Механизм эфемерных сообщений и очистки диалога
|
||||
|
||||
### ✨ Добавлено
|
||||
* **Эфемерные сообщения (`is_ephemeral`)**: Маркировка временных сервисных ответов и черновиков.
|
||||
* **`db_purge_ephemeral_messages`**: Механизм физической зачистки временных записей из SQLite при завершении операций.
|
||||
* **Интерактивные виджеты**: Поддержка карточек задач (`TASK_INTERACTIVE_CARD`) с кнопками быстрого действия.
|
||||
* **Эфемерные сообщения (`is_ephemeral`)**: Маркировка временных сервисных ответов и черновиков[cite: 6].
|
||||
* **`db_purge_ephemeral_messages`**: Механизм физической зачистки временных записей из SQLite при завершении операций[cite: 6].
|
||||
* **Интерактивные виджеты**: Поддержка карточек задач (`TASK_INTERACTIVE_CARD`) с кнопками быстрого действия[cite: 6].
|
||||
@@ -1,97 +0,0 @@
|
||||
# 🗺️ ДОРОЖНАЯ КАРТА И АРХИТЕКТУРНЫЙ РОАДМАП ПРОЕКТА SCUD ORION AI
|
||||
|
||||
## 📌 Зафиксированные вехи и концептуальные архитектурные решения
|
||||
|
||||
Схема веток Gitea для ближайшего развития проекта:
|
||||
|
||||
main (100% стабильный релиз)
|
||||
│
|
||||
├──► feature/tool-registry-db ──────┐ (Создание таблицы tool_action_registry в SQLite)
|
||||
│ ▼
|
||||
├───────────────────────────────► merge to main
|
||||
│
|
||||
├──► feature/interactive-buttons ───┐ (Подключение Да/Нет чипсов на фронтенде)
|
||||
│ ▼
|
||||
├───────────────────────────────► merge to main
|
||||
│
|
||||
└──► feature/ephemeral-context ─────┐ (Внедрение флагов is_ephemeral для очистки памяти LLM)
|
||||
▼
|
||||
merge to main
|
||||
|
||||
|
||||
|
||||
|
||||
### 1. Архитектура скользящего контекста и отслеживания смены темы (Intent / Topic Drift Tracking)
|
||||
* **Проблема:** При работе с длинными операциями (редактирование промптов, мастера табелей, снапшотов) оператор может отвлекаться на сторонние вопросы или уточнения. Жесткий сброс сессии уничтожает черновики, а вечное хранение засоряет память LLM.
|
||||
* **Решение (Сферическое / Фундаментальное):**
|
||||
1. **Семантическая оценка моделью:** Модель через системный контекст определяет, относится ли вопрос оператора к активному черновику/инструменту или разговор ушел в сторону (`topic_shift = true`).
|
||||
2. **Детерминированный счетчик в бэкенде:** Бэкенд фиксирует шаги отвлечения (`idle_turns`). Пока $N < 3$, оператор может свободно общаться, не теряя висящий контекст.
|
||||
3. **Вежливый перехват и выбор (Guard):** На 3-м шаге отвлечения система отвечает на текущий вопрос оператора и мягко напоминает о незавершенной транзакции кнопками `[Применить / Сохранить]` или `[Отменить и сбросить]`.
|
||||
|
||||
---
|
||||
|
||||
## 🚀 Будущие модули и запланированный функционал (Backlog)
|
||||
|
||||
### 2. Интерактивный модуль планирования и дорожных карт (Checklist & Task Planner Engine)
|
||||
* **Концепция:** Специализированный инструмент для LLM-агента, позволяющий вести динамические проектные чек-листы и планы с интерактивными чекбоксами прямо в диалоге и базе данных.
|
||||
* **Ключевые возможности:**
|
||||
* Составление многоуровневых планов с чекбоксами (`[ ]` / `[x]`).
|
||||
* Фиксация промежуточных комментариев и статусов выполнения по каждому пункту.
|
||||
* Синхронизация задач плана с SQLite-таблицей `tasks`.
|
||||
* Экспорт планов в Markdown/Excel и отображение на дашборде.
|
||||
|
||||
|
||||
### 3. Изолированная среда выполнения и песочница кода (Code Execution Sandbox Engine)
|
||||
* **Концепция:** Безопасный изолированный Docker-контейнер (или gVisor / Pyodide / nsjail окружение) для динамического выполнения кода, генерируемого моделью в процессе рассуждений и анализа данных.
|
||||
* **Ключевые возможности:**
|
||||
* Запуск сложных вычислений, агрегаций и статистического анализа данных СКУД на лету (Pandas / NumPy).
|
||||
* Выполнение тестовых сценариев и валидация скриптов перед их сохранением/применением на проде.
|
||||
* Полная изоляция от хост-системы: read-only доступ к копиям данных, ограничение памяти/CPU (cgroups), отсутствие доступа к чувствительным сетевым интерфейсам.
|
||||
* Возврат результатов вычислений (stdout, stderr, артефакты, сгенерированные таблицы/графики) обратно в контекст модели.
|
||||
|
||||
|
||||
### 1. Архитектура скользящего контекста и отслеживания смены темы (Intent / Topic Drift Tracking)
|
||||
* **Статус:** `MVP Реализован и протестирован` (на базе инструментов системного промпта: `db_preview_prompt_merge`, `db_confirm_prompt_preview`, `db_cancel_prompt_preview`).
|
||||
* **Концептуальное решение:**
|
||||
1. **Двухфазное состояние сессии:** Разделение жизненного цикла на фазу черновика (`PROMPT_PREVIEW`) и фазу интерактивного подтверждения/диалога (`PROMPT_FOLLOWUP`).
|
||||
2. **Эфемерный буфер:** Промежуточные экраны, подтверждения и тяжелые выводы помечаются `is_ephemeral = 1` и не засоряют постоянную историю диалога.
|
||||
3. **Детерминированный счетчик (Topic Drift):** Бэкенд инкрементирует `idle_turns` при отвлечении на сторонние темы. На шаге $N = 3$ срабатывает **Context Guard** с напоминанием и кнопками действий, а при $N > 3$ происходит автоматический сброс сессии и вызов `db_purge_ephemeral_messages`.
|
||||
4. **Fast-Path очистка:** Прямой перехват команд завершения (`нет, спасибо`, `закончить настройку`) моментально очищает эфемерный контекст.
|
||||
|
||||
---
|
||||
|
||||
### 1.1. План масштабирования механизма эфемерного контекста на все инструменты (Rollout Roadmap)
|
||||
|
||||
План:
|
||||
|
||||
[1. REST API (main.py)] ────► Добавляем POST, PATCH, DELETE для /api/v1/tasks
|
||||
│
|
||||
[2. Agent (agent.py)] ────► При db_get_tasks отдаем payload {type: "TASK_INTERACTIVE_CARD", tasks: [...]}
|
||||
│
|
||||
[3. UI (chat.js / CSS)] ────► Рендерим карточку с табами [Все] [В работе] [В планах] [Завершенные]
|
||||
|
||||
#### Этап 1. Модуль задач и бэклога (`tasks`)
|
||||
* **Целевые инструменты:** `db_get_tasks`, `db_add_task`, `db_update_task_status`, `db_delete_task`.
|
||||
* **Задачи реализации:**
|
||||
* Перевод вывода объемных плоских списков задач в эфемерный режим (`is_ephemeral = 1`), чтобы история диалога не забивалась длинными перечнями.
|
||||
* Реализация состояния сессии `TASKS_FOLLOWUP` после создания/изменения/удаления задачи.
|
||||
* Интеграция с Context Guard: напоминание о завершении работы с задачами на 3-м шаге отвлечения.
|
||||
* Автоочистка промежуточных диалоговых карточек задач при переключении на аналитику СКУД или общие вопросы.
|
||||
|
||||
#### Этап 2. Модуль срезов и архива СКУД (`snapshots`)
|
||||
* **Целевые инструменты:** `db_get_snapshots`, `db_delete_snapshots`.
|
||||
* **Задачи реализации:**
|
||||
* Маркировка объемных таблиц срезов и логов как эфемерных сообщений.
|
||||
* Внедрение интерактивного подтверждения при удалении снапшотов по ID или по дате (`SNAPSHOTS_PREVIEW` / `SNAPSHOTS_FOLLOWUP`).
|
||||
* Полная автоочистка временных таблиц срезов из памяти диалога после получения пользователем нужной информации.
|
||||
|
||||
#### Этап 3. Модуль базы знаний, правил и аномалий (`kb & anomalies`)
|
||||
* **Целевые инструменты:** `db_get_rules`, `db_get_anomalies`, `db_get_reference`.
|
||||
* **Задачи реализации:**
|
||||
* Вывод справочников команд, правил арбитража и списков аномалий исключительно во временный слой.
|
||||
* Предотвращение «залипания» модели на старых правилах из истории: гарантия того, что LLM всегда запрашивает актуальные правила через Tool Call, а не читает их из контекста предыдущих сообщений.
|
||||
|
||||
#### Этап 4. Декларативная унификация в `tool_action_registry`
|
||||
* **Целевые изменения:**
|
||||
* Расширение схемы `tool_action_registry` новыми декларативными полями: `followup_state_type`, `auto_purge_on_exit`, `guard_question_template`.
|
||||
* Устранение жестких проверок названий функций в `agent.py`: перевод всей логики жизненного цикла сессий и очистки памяти на декларативные параметры из базы данных SQLite.
|
||||
@@ -1,33 +1,72 @@
|
||||
# План реализации
|
||||
|
||||
## 1. Очистка от регулярок и костылей (`tool_injector.py`)
|
||||
- [ ] Полностью удалить принудительные перехваты текста регулярными выражениями для команд добавления, редактирования и удаления пунктов.
|
||||
- [ ] Оставить в модуле только базовую санитарную очистку сырых тегов (`<tool_call>`).
|
||||
- [x] Полностью удалить принудительные перехваты текста регулярными выражениями для команд добавления, редактирования и удаления пунктов[cite: 4].
|
||||
- [x] Оставить в модуле только базовую санитарную очистку сырых тегов (`<tool_call>`)[cite: 4].
|
||||
|
||||
---
|
||||
|
||||
## 2. Настройка контекста и инструкций сессии (`agent.py`)
|
||||
- [ ] Передать управление диалогом языковой модели через системный блок `role: "system"`.
|
||||
- [ ] При активном состоянии `PROMPT_PREVIEW` передавать модели инструкцию:
|
||||
- **Подтверждение / отмена / корректировка:** продолжать работу с превью и вызывать соответствующие инструменты.
|
||||
- **Смена темы:** вежливо напомнить об открытом изменении и запросить решение.
|
||||
- [ ] Обеспечить видимость эфемерных сообщений (`is_ephemeral = 1`) для модели во время активной работы с превью.
|
||||
- [x] Передать управление диалогом языковой модели через системный блок `role: "system"`[cite: 4].
|
||||
- [x] При активном состоянии `PROMPT_PREVIEW` передавать модели инструкцию:
|
||||
- **Подтверждение / отмена / корректировка:** продолжать работу с превью и вызывать соответствующие инструменты[cite: 4].
|
||||
- **Смена темы:** вежливо напомнить об открытом изменении и запросить решение[cite: 4].
|
||||
- [x] Обеспечить видимость эфемерных сообщений (`is_ephemeral = 1`) для модели во время активной работы с превью[cite: 4].
|
||||
- [x] Внедрить семантический Topic Drift Guard (`idle_turns` = 3) с вопросами и кнопками из `tool_action_registry`.
|
||||
- [x] Реализовать детерминированный мгновенный сброс сессии и зачистку эфемерного контекста при вызове сторонних инструментов.
|
||||
|
||||
---
|
||||
|
||||
## 3. Очистка эфемерных сообщений при завершении (`fast_path.py`)
|
||||
- [ ] Настроить удаление временных сообщений превью (`db_purge_ephemeral_messages`) строго в момент нажатия кнопок **«Подтвердить»** или **«Отменить»**.
|
||||
- [ ] Сбрасывать состояние сессии в базе данных после фиксации решения.
|
||||
- [x] Настроить удаление временных сообщений превью (`db_purge_ephemeral_messages`) строго в момент нажатия кнопок **«Подтвердить»** или **«Отменить»**[cite: 4].
|
||||
- [x] Сбрасывать состояние сессии в базе данных после фиксации решения[cite: 4].
|
||||
- [x] Внедрить прямое точечное применение изменений через `db_apply_prompt_node_action`[cite: 4].
|
||||
- [x] Добавить обработку фазы `PROMPT_FOLLOWUP` с кнопками завершения и очистки контекста.
|
||||
|
||||
---
|
||||
|
||||
## 4. Инлайн-редактор в окне диалога (`core.js`)
|
||||
- [ ] Проверить работу блока ручного редактирования (`inline-prompt-editor-container`) с кнопками **«Сохранить правки»** и **«Свернуть»**.
|
||||
- [ ] Обеспечить сохранение черновика через API (`/api/v1/chat/draft`) и отображение обновленного текста перед подтверждением.
|
||||
- [x] Проверить работу блока ручного редактирования (`inline-prompt-editor-container`) с кнопками **«Сохранить правки»** и **«Свернуть»**[cite: 4].
|
||||
- [x] Обеспечить сохранение черновика через API (`/api/v1/chat/draft`) и отображение обновленного текста перед подтверждением[cite: 4].
|
||||
- [x] Реализовать двусторонний клиентский Diff-рендерер (одновременная подсветка добавленных строк и зачеркивание удаленных `[УДАЛЕНИЕ]`).
|
||||
- [x] Добавить авто-форматирование и отступы подпунктов (`X.Y.`) при ручном сохранении черновика.
|
||||
|
||||
---
|
||||
|
||||
## 5. Тестирование и валидация
|
||||
- [ ] **Нативные вызовы:** проверить добавление, редактирование и удаление пунктов через нативные вызовы модели.
|
||||
- [ ] **Контекстные сценарии:** проверить поведение модели при смене темы диалога оператором.
|
||||
- [ ] **UI и очистка:** проверить ручное редактирование через кнопку в окне чата и последующую очистку контекста.
|
||||
## 5. Тестирование и валидация системного промпта
|
||||
- [x] **Нативные вызовы:** проверить добавление, редактирование и удаление пунктов через нативные вызовы модели (`db_prompt_node_edit`)[cite: 4].
|
||||
- [x] **Контекстные сценарии:** проверить поведение модели при смене темы диалога оператором (Guardrail)[cite: 4].
|
||||
- [x] **UI и очистка:** проверить ручное редактирование через кнопку в окне чата и последующую очистку контекста (`db_purge_ephemeral_messages`)[cite: 4].
|
||||
|
||||
---
|
||||
|
||||
## 6. Распространение архитектурного паттерна на модуль задач (`tasks`)
|
||||
- [ ] **Масштабирование UI задач:**
|
||||
- Увеличить размер окна/виджета просмотра и управления задачами (`TASK_INTERACTIVE_CARD`) по аналогии с окном редактирования системного промпта для удобного управления большим списком.
|
||||
- [ ] **Интерактивное управление и превью:**
|
||||
- Карточка предпросмотра параметров создаваемой задачи (`db_add_task`) с кнопками `[Подтвердить]`, `[Отменить]`, `[✏️ Редактировать]`.
|
||||
- Подтверждение опасных операций (удаление задачи `db_delete_task`) с кнопками валидации.
|
||||
- Follow-up фаза с выводом актуализированного списка задач из `tool_action_registry`.
|
||||
- [ ] **Доменная консолидация:**
|
||||
- Объединить `db_add_task`, `db_update_task_status`, `db_delete_task` в единый диспетчер `db_tasks_edit(action: ["ADD", "UPDATE", "DELETE"], ...)`[cite: 4].
|
||||
- Обновить `TOOLS_SCHEMA` в `schemas.py`[cite: 4].
|
||||
|
||||
---
|
||||
|
||||
## 7. Распространение на модуль снапшотов (`snapshots`) и правил (`rules`)
|
||||
- [ ] **Консолидация модуля `snapshots`:**
|
||||
- Интерактивное подтверждение массового удаления снапшотов за дату (`db_delete_snapshots`).
|
||||
- Объединить операции удаления и управления срезами в единый `db_snapshots_edit(action: ["DELETE"], ...)`[cite: 4].
|
||||
- Авто-зачистка тяжелых таблиц снапшотов из контекста при переходе к другим темам.
|
||||
- [ ] **Модуль правил арбитража (`rules`):**
|
||||
- Редактирование правил базы знаний через единый паттерн узлов с подсветкой diff.
|
||||
|
||||
---
|
||||
|
||||
## 8. Изолированная песочница кода (Code Execution Sandbox Engine)
|
||||
- [ ] **Docker/gVisor контур:**
|
||||
- Создание изолированного контейнера без доступа к внешней сети (network: none) с ограниченными лимитами по памяти и CPU (cgroups).
|
||||
- Настройка безопасного монтирования только необходимых CSV/Parquet-файлов данных в режиме Read-Only.
|
||||
- [ ] **Динамические Python/Pandas вычисления:**
|
||||
- Инструмент генерации и безопасного выполнения скриптов агрегации и аналитики данных СКУД / 1С на лету.
|
||||
- Перехват stdout/stderr, сбор результатов расчетов и графиков с передачей в UI-чата.
|
||||
Reference in New Issue
Block a user