diff --git a/core/database.py b/core/database.py index 3a622e6..09ac731 100644 --- a/core/database.py +++ b/core/database.py @@ -21,7 +21,7 @@ def init_db(): with get_connection() as conn: cursor = conn.cursor() - # 1. Таблица СКУД + # 1. Таблица СКУД (Добавлены first_activity, anomaly_flag, snapshot_time) cursor.execute(""" CREATE TABLE IF NOT EXISTS scud_logs ( id INTEGER PRIMARY KEY AUTOINCREMENT, @@ -31,9 +31,12 @@ def init_db(): department TEXT, position TEXT, time_in TEXT, + first_activity TEXT DEFAULT '—', time_out TEXT, time_in_building TEXT, is_present INTEGER NOT NULL, + anomaly_flag TEXT DEFAULT 'NONE', + snapshot_time TEXT DEFAULT NULL, created_at TIMESTAMP DEFAULT CURRENT_TIMESTAMP ); """) @@ -104,26 +107,32 @@ def sync_knowledge_base_to_db(): Автоматически мигрирует правила из knowledge_base.json и системный промпт в таблицу ai_knowledge_base SQLite. """ system_ai_prompt = ( - "СИСТЕМНЫЙ ПРОМПТ ИИ (MATCHING & VERIFICATION):\n" - "Ты — экспертный ИИ-аудитор СКУД и кадрового учета 1С. Твоя задача — проводить интеллектуальный анализ аномалий " - "и сопоставление (Fuzzy Matching) нераспознанных ФИО из СКУД с эталонным Штатным расписанием 1С.\n\n" - "1. ЗАЩИТА ОТ ПОЛНЫХ ТЁЗОК (FULL NAME COLLISION):\n" + "СИСТЕМНЫЙ ПРОМПТ ИИ (MATCHING, VERIFICATION & ANOMALY DETECTION):\n" + "Ты — экспертный ИИ-аудитор СКУД и кадрового учета 1С. Твоя задача — проводить интеллектуальный анализ аномалий, " + "выявление массовых сбоев оборудования и сопоставление (Fuzzy Matching) нераспознанных ФИО из СКУД с эталонным Штатным расписанием 1С.\n\n" + "1. ДЕТЕКТИРОВАНИЕ АНОМАЛИЙ И МАССОВЫХ СБОЕВ СКУД:\n" + " - Если у сотрудника 'Начало_дня' = 'Нет входа', но заполнено поле 'Первая_активность' (например, '14:11:06') или 'Конец_дня' != 'Нет выхода', " + "классифицируй случай как одиночную аномалию: '🚨 АНОМАЛИЯ СКУД: Присутствие/активность без утреннего входа'.\n" + " - Если процент сотрудников с подобной аномалией превышает 5% от смены (или >10 человек), СГЕНЕРИРУЙ КРИТИЧЕСКИЙ СИСТЕМНЫЙ АЛЕРТ: " + "'⚠️ ВНИМАНИЕ! Обнаружен массовый сбой регистраторов входа СКУД на главном КПП. Требуется проверка контроллеров.'\n\n" + "2. ЗАЩИТА ОТ ПОЛНЫХ ТЁЗОК (FULL NAME COLLISION):\n" " - Если в эталонном штате 1С присутствуют два или более сотрудников с ОДИНАКОВЫМИ ФИО (полные тёзки), " "ты ОБЯЗАН учитывать контекст: Подразделение и Должность.\n" " - Ни в коем случае не объединяй записи разных людей! Если контекст не позволяет однозначно определить, кто именно из тёзок совершил проход, ПОМЕТЬ СЛУЧАЙ КАК НЕОДНОЗНАЧНЫЙ и НЕ делай автоматическую подмену.\n\n" - "2. ПРАВИЛА СОПОСТАВЛЕНИЯ (MATCHING RULES):\n" + "3. ПРАВИЛА СОПОСТАВЛЕНИЯ (MATCHING RULES):\n" " - Допускаются исправления мелких опечаток, перестановки порядка (Имя Фамилия -> Фамилия Имя), замена букв Е/Ё, И/Й.\n" " - Учитывай сокращения инициалов (например, 'Иванов И.В.' -> 'Иванов Иван Васильевич').\n" " - Если уверенность в совпадении меньше 85% — НЕ сопоставляй, оставляй запись как нераспознанную.\n\n" - "3. ФОРМАТ ВЫХОДНЫХ ДАННЫХ:\n" - " Верни строго JSON-объект без вводных слов и Markdown-разметки: {\"mappings\": [...], \"unmatched\": [...]}" + "4. ФОРМАТ ВЫХОДНЫХ ДАННЫХ:\n" + " Верни строго JSON-объект без вводных слов и Markdown-разметки: {\"mappings\": [...], \"unmatched\": [...], \"alerts\": [...]}" ) rules_to_insert = [ system_ai_prompt, "ГЛОБАЛЬНОЕ ПРАВИЛО 1: Любое физическое присутствие сотрудника по СКУД при наличии в 1С документа отсутствия (отпуск, больничный, уход за ребенком и др.), КРОМЕ командировок и служебных поездок — ЯВЛЯЕТСЯ СТРОГОЙ ИСТИННОЙ АНОМАЛИЕЙ.", "ГЛОБАЛЬНОЕ ПРАВИЛО 2: Документы отсутствий из 1С:ЗУП имеют 100% высший приоритет над статическим реестром удалёнщиков.", - "ГЛОБАЛЬНОЕ ПРАВИЛО 3: Удалённые сотрудники имеют право беспрепятственно работать в офисе по СКУД в любое время (это не является аномалией)." + "ГЛОБАЛЬНОЕ ПРАВИЛО 3: Удалённые сотрудники имеют право беспрепятственно работать в офисе по СКУД в любое время (это не является аномалией).", + "ГЛОБАЛЬНОЕ ПРАВИЛО 4: Отсутствие утренней отметки входа при наличии дневных перемещений (первая активность) является аномалией оборудования и не должно автоматически превращать запись в подтверждённое присутствие." ] kb_path = os.path.join(os.path.dirname(DATA_DIR), "knowledge_base.json") @@ -148,8 +157,8 @@ def sync_knowledge_base_to_db(): conn.commit() -def save_scud_to_db(df_scud, date_str): - """Оптимизированное сохранение логов СКУД за дату.""" +def save_scud_to_db(df_scud, date_str, snapshot_time=None): + """Оптимизированное сохранение логов СКУД за дату с поддержкой первой активности, флага аномалии и метки выгрузки.""" if df_scud.empty: return @@ -162,17 +171,28 @@ def save_scud_to_db(df_scud, date_str): r.get('Подразделение', ''), r.get('Должность', ''), r.get('Начало_дня', 'Нет входа'), + r.get('Первая_активность', '—'), r.get('Конец_дня', 'Нет выхода'), r.get('Находился_в_здании', '00:00'), - 1 if r.get('Пришел', False) else 0 + 1 if r.get('Пришел', False) else 0, + r.get('anomaly_flag', 'NONE'), + snapshot_time )) with get_connection() as conn: cursor = conn.cursor() - cursor.execute("DELETE FROM scud_logs WHERE log_date = ?", (date_str,)) + if snapshot_time: + cursor.execute("DELETE FROM scud_logs WHERE log_date = ? AND snapshot_time = ?", (date_str, snapshot_time)) + else: + cursor.execute("DELETE FROM scud_logs WHERE log_date = ? AND snapshot_time IS NULL", (date_str,)) + cursor.executemany(""" - INSERT INTO scud_logs (log_date, fio, fio_clean, department, position, time_in, time_out, time_in_building, is_present) - VALUES (?, ?, ?, ?, ?, ?, ?, ?, ?) + INSERT INTO scud_logs ( + log_date, fio, fio_clean, department, position, + time_in, first_activity, time_out, time_in_building, + is_present, anomaly_flag, snapshot_time + ) + VALUES (?, ?, ?, ?, ?, ?, ?, ?, ?, ?, ?, ?) """, data_to_insert) conn.commit() diff --git a/data/scud_orion_ai.db b/data/scud_orion_ai.db index 8326b6e..b723b73 100644 Binary files a/data/scud_orion_ai.db and b/data/scud_orion_ai.db differ diff --git a/main.py b/main.py index 87a6c87..2743561 100644 --- a/main.py +++ b/main.py @@ -2,6 +2,7 @@ import os import sys import argparse import pandas as pd +from datetime import datetime sys.path.append(os.path.dirname(os.path.abspath(__file__))) @@ -11,7 +12,7 @@ from services.share_copier import copy_1c_files_from_share from services.data_validator import check_file_freshness from services.data_loader import load_all_data from services.excel_exporter import generate_summary_excel, generate_detailed_excel -from services.ai_verifier import ai_verify_scud_against_staff +from services.ai_verifier import ai_verify_scud_against_staff, analyze_scud_mass_failure_ai from services.text_reporter import generate_markdown_report from services.feedback_loop import review_ai_decisions from services.knowledge_base import load_knowledge_base @@ -42,12 +43,6 @@ def load_static_reason_workers(): def detect_all_anomalies(merged_df, static_reasons_dict, kb_rules): """ Автоматически находит ИСТИННЫЕ аномалии. - - ПРАВИЛА КОМПАНИИ: - 1. Удалённые сотрудники имеют право беспрепятственно работать в офисе (НЕ аномалия). - 2. Документы отсутствий из 1С имеют 100% приоритет над стат. реестром (НЕ аномалия). - 3. АНОМАЛИЯ — Физический выход по СКУД при наличии в 1С ЛЮБЫХ причин отсутствия - (отпуск, больничный, уход за ребенком и т.д.), КРОМЕ командировок и служебных поездок. """ anomalies = [] kb_rules_text = " ".join(kb_rules).lower() if kb_rules else "" @@ -60,9 +55,11 @@ def detect_all_anomalies(merged_df, static_reasons_dict, kb_rules): is_present = row.get('Пришел', False) reason_1c = str(row.get('Вид_отсутствия', '')).strip() has_1c_reason = pd.notna(row.get('Вид_отсутствия')) and reason_1c != '' + anom_flag = row.get('anomaly_flag', 'NONE') is_fio_whitelisted_in_kb = fio_clean.lower() in kb_rules_text + # АНОМАЛИЯ 1: Физическое присутствие при документе отсутствия 1С if is_present and has_1c_reason: reason_lower = reason_1c.lower() is_allowed_trip = any(kw in reason_lower for kw in ALLOWED_WORK_TRIP_KEYWORDS) @@ -74,6 +71,15 @@ def detect_all_anomalies(merged_df, static_reasons_dict, kb_rules): "details": f"Сотрудник пришел по СКУД, но в 1С оформлен документ: '{reason_1c}'" }) + # АНОМАЛИЯ 2: Перемещение внутри здания без отметки утреннего входа + if anom_flag == 'ANOMALY_NO_IN_HAS_ACTIVITY': + first_act = row.get('Первая_активность', '—') + anomalies.append({ + "type": "АНОМАЛИЯ СКУД: ПЕРЕМЕЩЕНИЕ БЕЗ ВХОДА", + "fio": fio, + "details": f"Отсутствует регистрация входа на КПП при зафиксированной первой активности в {first_act}" + }) + return anomalies @@ -106,6 +112,7 @@ def main(): args = parser.parse_args() DEBUG = args.debug + snapshot_time = datetime.now().strftime("%Y-%m-%d %H:%M:%S") print("=" * 60) print(f"ЗАПУСК СИСТЕМЫ МОДУЛЬНОГО КОНТРОЛЛИНГА СКУД ⟷ 1С {'[DEBUG MODE]' if DEBUG else ''}") @@ -116,7 +123,7 @@ def main(): kb_data = load_knowledge_base() kb_rules = kb_data.get("rules", []) - # 0.1 Выгрузка из БД СКУД напрямую в SQLite и Excel (save_xlsx=True требуется для data_loader) + # 0.1 Выгрузка из БД СКУД напрямую в SQLite и Excel if not args.skip_export: try: run_export(save_xlsx=True, debug=DEBUG) @@ -219,13 +226,12 @@ def main(): generate_detailed_excel(merged_df=merged_yesterday, date_str=DATE_YESTERDAY) # 💾 СОХРАНЕНИЕ ВЧЕРАШНИХ ДАННЫХ В SQLite: - save_scud_to_db(merged_yesterday, DATE_YESTERDAY) + save_scud_to_db(merged_yesterday, DATE_YESTERDAY, snapshot_time=snapshot_time) # ============================================================ # 🎯 ЧАСТЬ 2: ЕЖЕДНЕВНАЯ СВОДКА ЗА СЕГОДНЯ # ============================================================ - # 💾 СОХРАНЯЕМ СЕГОДНЯШНИЙ СКУД В SQLite (Даже если 1С еще не пришла): - save_scud_to_db(raw_scud_today_df, DATE_TODAY) + save_scud_to_db(raw_scud_today_df, DATE_TODAY, snapshot_time=snapshot_time) if has_today_1c and df_staff_today is not None and df_absent_today is not None: print("\n[4/5] Обработка данных за СЕГОДНЯ...") @@ -269,6 +275,14 @@ def main(): anomalies_list = detect_all_anomalies(merged_today, static_reasons_dict, kb_rules) + # ⭐️ ПРОВЕРКА МАССОВОГО СБОЯ ОБОРУДОВАНИЯ ЧЕРЕЗ ИИ + mass_failure_result = analyze_scud_mass_failure_ai(merged_today) + if mass_failure_result and mass_failure_result.get("is_mass_failure"): + print("\n" + "!" * 60) + print(f"🚨 ВНИМАНИЕ! ИИ ОБНАРУЖИЛ МАССОВЫЙ СБОЙ ТУРНИКЕТОВ ВХОДА ({mass_failure_result['anomaly_percent']}% СМЕНЫ)") + print(mass_failure_result["alert_text"]) + print("!" * 60 + "\n") + # 💾 СОХРАНЕНИЕ СЕГОДНЯШНИХ АНОМАЛИЙ В БАЗУ ДАННЫХ SQLite save_anomalies_to_db(anomalies_list, DATE_TODAY) diff --git a/migrate_structure.py b/migrate_structure.py index a3f9cb3..42500d5 100644 --- a/migrate_structure.py +++ b/migrate_structure.py @@ -28,14 +28,12 @@ def run_git_move(): open(init_file, 'w').close() for filename, dest in file_mapping.items(): - # Проверим, где файл может находиться: в корне или уже в папке назначения if os.path.exists(filename): src = filename elif os.path.exists(dest): print(f"[ℹ️ Уже на месте] {dest}") continue else: - # Попробуем поискать файл рекурсивно found = None for root, dirs, files in os.walk("."): if filename in files and "venv" not in root: diff --git a/scripts/db_cli.py b/scripts/db_cli.py index 63f2884..ea8470e 100644 --- a/scripts/db_cli.py +++ b/scripts/db_cli.py @@ -3,7 +3,6 @@ import os import sqlite3 import pandas as pd -# Добавляем корневую директорию проекта в sys.path SCRIPT_DIR = os.path.dirname(os.path.abspath(__file__)) PROJECT_ROOT = os.path.dirname(SCRIPT_DIR) sys.path.append(PROJECT_ROOT) diff --git a/services/ai_verifier.py b/services/ai_verifier.py index a1f0f79..71dc9d9 100644 --- a/services/ai_verifier.py +++ b/services/ai_verifier.py @@ -1,6 +1,7 @@ import json import re import requests +import pandas as pd from config import OLLAMA_URL, OLLAMA_MODEL from core.database import get_all_rules_from_db @@ -44,6 +45,50 @@ def get_system_rules_context(): return f"\nОБЯЗАТЕЛЬНЫЕ ГЛОБАЛЬНЫЕ ПРАВИЛА И ПРИОРИТЕТЫ КОМПАНИИ:\n{rules_text}\n" +def analyze_scud_mass_failure_ai(df_scud): + """ + Оценивает процент аномалий 'ANOMALY_NO_IN_HAS_ACTIVITY' в выгрузке. + Если процент аномалий превышает 5% от смены, вызывает ИИ для генерации критического алерта. + """ + if df_scud is None or df_scud.empty: + return None + + total_records = len(df_scud) + anomaly_rows = df_scud[df_scud.get('anomaly_flag', 'NONE') == 'ANOMALY_NO_IN_HAS_ACTIVITY'] + anomaly_count = len(anomaly_rows) + + if total_records == 0: + return None + + anomaly_percent = round((anomaly_count / total_records) * 100, 1) + + if anomaly_percent > 5.0 or anomaly_count >= 10: + rules_context = get_system_rules_context() + prompt = f""" +{rules_context} +ВНИМАНИЕ! Проведён анализ дневной смены СКУД: +- Всего записей за смену: {total_records} +- Выявлено сотрудников без утреннего входа, но с зафиксированной дневной активностью (первая активность): {anomaly_count} ({anomaly_percent}% от смены) + +Сформируй понятное предупреждение для Администратора СКУД и Руководителя. +Объясни, что это критический массовый сбой турникетов/контроллеров входа на КПП, и порекомендуй действия. +""" + alert_text = ask_ollama(prompt, system_prompt="Ты — ИИ-аналитик контроллинга СКУД. Отвечай кратко и строго по делу.") + return { + "is_mass_failure": True, + "anomaly_count": anomaly_count, + "anomaly_percent": anomaly_percent, + "alert_text": alert_text + } + + return { + "is_mass_failure": False, + "anomaly_count": anomaly_count, + "anomaly_percent": anomaly_percent, + "alert_text": "Массовых сбоев оборудования не зафиксировано." + } + + def ai_verify_scud_against_staff(unrecognized_scud_fios, staff_fios): """ ИИ-сверка опечаток и несовпадений ФИО между СКУД и 1С:ЗУП. diff --git a/services/data_loader.py b/services/data_loader.py index 56ca277..88af675 100644 --- a/services/data_loader.py +++ b/services/data_loader.py @@ -72,8 +72,74 @@ def load_absent_data(date_str): return None +def process_scud_anomalies(df_scud, exceptions=None): + """ + Вычисляет 'Первую активность' и маркирует аномалии СКУД. + Если 'Начало дня' == 'Нет входа', но есть любая физическая активность — + записывает первейшее время в 'Первая_активность', сбрасывает 'Пришел' в False и выставляет флаг аномалии. + """ + if exceptions is None: + exceptions = load_exceptions() + + start_col = 'Начало_дня' if 'Начало_дня' in df_scud.columns else ('Начало дня' if 'Начало дня' in df_scud.columns else None) + end_col = 'Конец_дня' if 'Конец_дня' in df_scud.columns else ('Конец дня' if 'Конец дня' in df_scud.columns else None) + status_col = 'Статус' if 'Статус' in df_scud.columns else None + + first_activities = [] + anomaly_flags = [] + is_present_flags = [] + + for _, row in df_scud.iterrows(): + fio = str(row.get('Сотрудник', row.get('fio_raw', ''))).strip() + fio_clean = normalize_fio(fio) + dept = str(row.get('Подразделение', '')).strip() + pos = str(row.get('Должность', '')).strip() + + val_start = str(row.get(start_col, '')).strip() if start_col else '' + val_end = str(row.get(end_col, '')).strip() if end_col else '' + val_status = str(row.get(status_col, '')).strip().lower() if status_col else '' + + # Извлечение первого зафиксированного события из сырых логов (pLogData), если передавалось + raw_first_event = row.get('raw_first_event', None) + if pd.isna(raw_first_event) or str(raw_first_event).strip() in ['', 'None', 'nan', '00:00:00']: + raw_first_event = None + + has_no_in = (val_start in ['нет входа', 'none', 'nan', '', '00:00:00', '00:00']) + has_no_out = (val_end in ['нет выхода', 'none', 'nan', '', '00:00:00', '00:00']) + + first_act = '—' + anom_flag = 'NONE' + + # Стандартная проверка присутствия + is_present = not ('отсутствовал' in val_status or has_no_in) + + # ЛОГИКА ВЫЧИСЛЕНИЯ ПЕРВОЙ АКТИВНОСТИ И ДЕТЕКТИРОВАНИЯ АНОМАЛИИ + if has_no_in: + # Если нет входа, но есть проход внутри или зафиксирован выход + if raw_first_event is not None or not has_no_out: + first_act = str(raw_first_event) if raw_first_event else val_end + anom_flag = 'ANOMALY_NO_IN_HAS_ACTIVITY' + + # ЖЕСТКАЯ ВАЛИДАЦИЯ: Если человек не исключен официально — сбрасываем фейковый Пришел = True + if not is_excluded(fio, dept, pos, exceptions): + is_present = False + else: + first_act = '—' + is_present = False + + first_activities.append(first_act) + anomaly_flags.append(anom_flag) + is_present_flags.append(is_present) + + df_scud['Первая_активность'] = first_activities + df_scud['anomaly_flag'] = anomaly_flags + df_scud['Пришел'] = is_present_flags + + return df_scud + + def load_scud_data(target_date_type="today"): - """Загружает файл СКУД за 'today' или 'yesterday'.""" + """Загружает файл СКУД за 'today' или 'yesterday' и выполняет валидацию аномалий.""" target_date = DATE_TODAY if target_date_type == "today" else DATE_YESTERDAY scud_path = find_dated_file("Сотрудники", target_date, search_dirs=[SCUD_DIR]) @@ -88,19 +154,9 @@ def load_scud_data(target_date_type="today"): df_scud['fio_raw'] = df_scud['Сотрудник'].astype(str) if 'Сотрудник' in df_scud.columns else df_scud[df_scud.columns[0]].astype(str) df_scud['fio_clean'] = df_scud['fio_raw'].apply(clean_scud_fio_light) - start_col = 'Начало_дня' if 'Начало_дня' in df_scud.columns else ('Начало дня' if 'Начало дня' in df_scud.columns else None) - status_col = 'Статус' if 'Статус' in df_scud.columns else None + # Применяем обработчик аномалий и первой активности + df_scud = process_scud_anomalies(df_scud, exceptions=exceptions) - def is_person_present(row): - val_status = str(row.get(status_col, '')).strip().lower() if status_col else '' - val_time = str(row.get(start_col, '')).strip() if start_col else '' - - if 'отсутствовал' in val_status or val_time in ['нет входа', 'none', 'nan', '', '00:00']: - return False - return True - - df_scud['Пришел'] = df_scud.apply(is_person_present, axis=1) - df_scud['is_excluded'] = df_scud.apply( lambda r: is_excluded(r.get('Сотрудник', ''), r.get('Подразделение', ''), r.get('Должность', ''), exceptions), axis=1 diff --git a/services/excel_exporter.py b/services/excel_exporter.py index 405192d..db6a6ca 100644 --- a/services/excel_exporter.py +++ b/services/excel_exporter.py @@ -16,6 +16,7 @@ MONTHS_RU = { 9: "сентября", 10: "октября", 11: "ноября", 12: "декабря" } + def format_date_ru(date_str): """Преобразует дату формата '27.07.2026' в '27 июля 2026'""" try: @@ -24,6 +25,7 @@ def format_date_ru(date_str): except Exception: return date_str + # Границы ячеек THIN_SIDE = Side(border_style="thin", color="D3D3D3") THIN_BORDER = Border(left=THIN_SIDE, right=THIN_SIDE, top=THIN_SIDE, bottom=THIN_SIDE) @@ -142,7 +144,7 @@ def generate_summary_excel(merged_df, date_str="27.07.2026", filename=None): ws.row_dimensions[current_row].hidden = False current_row += 1 - # 4. КАТЕГОРИИ ОТСУТСТВИЙ (Свернуты hidden=True, ИСКЛЮЧЕНИЯ ИСКЛЮЧЕНЫ) + # 4. КАТЕГОРИИ ОТСУТСТВИЙ (Свернуты hidden=True) absent_only = merged_df[ (merged_df['Пришел'] == False) & (merged_df['Вид_отсутствия'].notna()) & @@ -186,9 +188,12 @@ def generate_summary_excel(merged_df, date_str="27.07.2026", filename=None): current_row += 1 # 6. АНОМАЛИИ (Свернут hidden=True) - anomalies = merged_df[(merged_df['Пришел'] == True) & (merged_df['Вид_отсутствия'].notna())] + anomalies = merged_df[ + ((merged_df['Пришел'] == True) & (merged_df['Вид_отсутствия'].notna())) | + (merged_df.get('anomaly_flag', 'NONE') == 'ANOMALY_NO_IN_HAS_ACTIVITY') + ] - ws.cell(row=current_row, column=1, value="Аномалии") + ws.cell(row=current_row, column=1, value="Аномалии СКУД и 1С") ws.cell(row=current_row, column=2, value=len(anomalies)) format_row_cells(ws, current_row, FILL_ANOMALY, is_bold=True, bold_font=bold_font) current_row += 1 @@ -198,10 +203,16 @@ def generate_summary_excel(merged_df, date_str="27.07.2026", filename=None): if not anomalies.empty: for _, row in anomalies.iterrows(): fio = row.get('Сотрудник', '') - reason = row.get('Вид_отсутствия', 'Неизвестная причина') - reason_text = f"В 1С: {reason}" + reason = row.get('Вид_отсутствия', '') + anom_flag = row.get('anomaly_flag', 'NONE') + + if anom_flag == 'ANOMALY_NO_IN_HAS_ACTIVITY': + first_act = row.get('Первая_активность', '—') + reason_text = f"🚨 АНОМАЛИЯ СКУД: Нет входа (первая активность: {first_act})" + else: + reason_text = f"В 1С: {reason}" - cell_a = ws.cell(row=current_row, column=1, value=f"{fio} (На работе)") + cell_a = ws.cell(row=current_row, column=1, value=f"{fio}") cell_b = ws.cell(row=current_row, column=2, value=reason_text) cell_a.fill = FILL_ANOMALY @@ -223,7 +234,7 @@ def generate_summary_excel(merged_df, date_str="27.07.2026", filename=None): current_row += 1 ws.column_dimensions['A'].width = 45.0 - ws.column_dimensions['B'].width = 32.0 + ws.column_dimensions['B'].width = 38.0 try: wb.save(output_path) @@ -235,7 +246,7 @@ def generate_summary_excel(merged_df, date_str="27.07.2026", filename=None): print(f"[⚠️] Файл открыт в Excel! Сохранено как: {alt_path}") -# --- 2. ДЕТАЛЬНЫЙ ОТЧЕТ ЗА ВЧЕРА --- +# --- 2. ДЕТАЛЬНЫЙ ОТЧЕТ ЗА ВЧЕРА (С КОЛОНКОЙ 'первая активность' СРАЗУ ПОСЛЕ 'время входа') --- def generate_detailed_excel(merged_df, date_str="26.07.2026", filename=None): if not filename: filename = f"{format_date_ru(date_str)} отчет.xlsx" @@ -250,8 +261,9 @@ def generate_detailed_excel(merged_df, date_str="26.07.2026", filename=None): ws["B2"].font = Font(name="Arial", size=10, bold=True) ws["D2"].font = Font(name="Arial", size=10, bold=True) + # ⭐️ Порядок колонок: "первая активность" строго после "время входа" headers = [ - "№", "ФИО", "Подразделение", "время входа", "время выхода", + "№", "ФИО", "Подразделение", "время входа", "первая активность", "время выхода", "находился в здании", "причина отсутствия", "норма", "отклонение от нормы" ] ws.append([]) @@ -269,14 +281,16 @@ def generate_detailed_excel(merged_df, date_str="26.07.2026", filename=None): end_col = 'Конец дня' if 'Конец дня' in merged_df.columns else 'Конец_дня' hours_col = 'Часы' if 'Часы' in merged_df.columns else 'Находился_в_здании' - chars_per_line_g = 24 + chars_per_line_h = 24 for idx, row in merged_df.reset_index(drop=True).iterrows(): is_present = row.get('Пришел', False) absence_reason = row.get('Вид_отсутствия', '') has_reason = pd.notna(absence_reason) and str(absence_reason).strip() != '' + anom_flag = row.get('anomaly_flag', 'NONE') in_building_str = str(row.get(hours_col, '00:00')) + first_act_val = row.get('Первая_активность', '—') deviation_val = calculate_deviation(in_building_str, reason=absence_reason if has_reason else "", norm_hours=8, lunch_minutes=30) @@ -285,6 +299,7 @@ def generate_detailed_excel(merged_df, date_str="26.07.2026", filename=None): row.get('Сотрудник', ''), row.get('Подразделение', ''), row.get(start_col, 'Нет входа'), + first_act_val, # ⭐️ Колонки №5: "первая активность" row.get(end_col, 'Нет выхода'), in_building_str, absence_reason if has_reason else '', @@ -294,16 +309,19 @@ def generate_detailed_excel(merged_df, date_str="26.07.2026", filename=None): row_num = 5 + idx - if is_present and has_reason: + # Заливка строк по категориям + if anom_flag == 'ANOMALY_NO_IN_HAS_ACTIVITY': + row_fill = LIGHT_RED_FILL + elif is_present and has_reason: row_fill = GREEN_FILL elif not is_present: row_fill = YELLOW_FILL if has_reason else LIGHT_RED_FILL else: row_fill = None - val_g_str = str(absence_reason) if has_reason else "" - if len(val_g_str) > chars_per_line_g: - needed_lines = math.ceil(len(val_g_str) / chars_per_line_g) + val_h_str = str(absence_reason) if has_reason else "" + if len(val_h_str) > chars_per_line_h: + needed_lines = math.ceil(len(val_h_str) / chars_per_line_h) ws.row_dimensions[row_num].height = max(needed_lines * 18, 22) else: ws.row_dimensions[row_num].height = 20 @@ -314,17 +332,17 @@ def generate_detailed_excel(merged_df, date_str="26.07.2026", filename=None): if row_fill: cell.fill = row_fill - if col_idx == 7: + if col_idx == 8: cell.alignment = Alignment(horizontal="left", vertical="center", wrap_text=True) - elif col_idx in [1, 4, 5, 6, 8, 9]: + elif col_idx in [1, 4, 5, 6, 7, 9, 10]: cell.alignment = Alignment(horizontal="center", vertical="center") else: cell.alignment = Alignment(horizontal="left", vertical="center") for col in ws.columns: col_letter = get_column_letter(col[0].column) - if col_letter == 'G': - ws.column_dimensions['G'].width = 25.0 + if col_letter == 'H': + ws.column_dimensions['H'].width = 25.0 else: max_len = 0 for cell in col: diff --git a/services/scud_export.py b/services/scud_export.py index 84e21cf..bdab488 100644 --- a/services/scud_export.py +++ b/services/scud_export.py @@ -1,7 +1,6 @@ """ Модуль автоматического экспорта данных СКУД (Orion) из MS SQL Server в SQLite и Excel. -Исправлена логика определения направления проходов (Mode = 2 -> OUT). -Адаптирован для Linux (Ubuntu 24.04). +Добавлена фиксация Первой Активности (без учета направления) и среза по времени. """ import argparse @@ -82,11 +81,11 @@ WITH DailyLogs AS ( WHERE log.TimeVal BETWEEN @StartDate AND @EndDate AND log.HozOrgan IS NOT NULL AND log.HozOrgan > 0 - AND (log.Event IN (28, 29, 26, 27, 32, 33) OR log.Mode IN (1, 2)) ), Passages AS ( SELECT EmployeeID, + MIN(TimeVal) AS FirstRawEvent, -- ⭐️ Первое событие ДНЯ ВООБЩЕ (любая дверь/туалет/выход) MIN(CASE WHEN Direction = 'IN' THEN TimeVal END) AS FirstIn, MAX(CASE WHEN Direction = 'OUT' THEN TimeVal END) AS LastOut, MAX(CASE WHEN RowNumDesc = 1 THEN Direction END) AS LastEventType @@ -107,6 +106,14 @@ SELECT ISNULL(CAST(p.TabNumber AS NVARCHAR(50)), N'—') AS [Таб_№], CONVERT(VARCHAR(10), @TargetDate, 104) AS [Дата], ISNULL(CAST(CONVERT(VARCHAR(8), pass.FirstIn, 108) AS NVARCHAR(20)), N'Нет входа') AS [Начало_дня], + + -- ⭐️ НОВАЯ КОЛОНКА: "Первая активность" (если нет входа, но есть события в здании) + CASE + WHEN pass.FirstIn IS NULL AND pass.FirstRawEvent IS NOT NULL + THEN CAST(CONVERT(VARCHAR(8), pass.FirstRawEvent, 108) AS NVARCHAR(20)) + ELSE N'—' + END AS [Первая_активность], + CASE WHEN @TargetDate = CAST(GETDATE() AS DATE) AND (pass.LastEventType = 'IN' OR pass.LastOut IS NULL OR pass.LastOut <= pass.FirstIn) THEN N'Нет выхода' @@ -204,6 +211,7 @@ def run_export(input_date: str | None = None, save_xlsx: bool = True, debug: boo os.makedirs(SCUD_DIR, exist_ok=True) targets = get_targets(input_date) + snapshot_time = datetime.now().strftime("%Y-%m-%d %H:%M:%S") conn_str = ( f"DRIVER={{{ODBC_DRIVER}}};" @@ -235,11 +243,18 @@ def run_export(input_date: str | None = None, save_xlsx: bool = True, debug: boo if len(df) > 0: # 1. Готовим колонки для локальной БД df['fio_clean'] = df['Сотрудник'].apply(clean_scud_fio_light) - df['Пришел'] = df['Статус'].str.contains('Присутствовал', case=False, na=False) + + # Валидация прихода с учетом аномалии неявки на вход + df['anomaly_flag'] = 'NONE' + mask_anomaly = (df['Начало_дня'] == 'Нет входа') & (df['Первая_активность'] != '—') + df.loc[mask_anomaly, 'anomaly_flag'] = 'ANOMALY_NO_IN_HAS_ACTIVITY' - # 2. ПРЯМОЕ СОХРАНЕНИЕ В SQLite (scud_orion_ai.db) - save_scud_to_db(df, processing_date_str) - log(f"[✓] Записи за {processing_date_str} успешно сохранены в SQLite!", "SUCCESS") + # Флаг 'Пришел' ставится в True только если был вход + df['Пришел'] = df['Статус'].str.contains('Присутствовал', case=False, na=False) & (~mask_anomaly) + + # 2. ПРЯМОЕ СОХРАНЕНИЕ В SQLite (scud_orion_ai.db) С METКОЙ СРЕЗА snapshot_time + save_scud_to_db(df, processing_date_str, snapshot_time=snapshot_time) + log(f"[✓] Записи за {processing_date_str} успешно сохранены в SQLite с меткой {snapshot_time}!", "SUCCESS") # 3. Сохранение в Excel (если включен флаг save_xlsx) if save_xlsx: diff --git a/update_imports.py b/update_imports.py index 17ec348..fbbf5c8 100644 --- a/update_imports.py +++ b/update_imports.py @@ -19,7 +19,7 @@ def update_file_imports(filepath): for mod in service_modules: new_content = new_content.replace(f"from modules.{mod}", f"from services.{mod}") new_content = new_content.replace(f"import modules.{mod}", f"import services.{mod}") - # Также на случай относительных или прямых импортов внутри сервисов друг на друга + # Замена для прямых импортов между модулями внутри папки services/ new_content = new_content.replace(f"from {mod}", f"from services.{mod}") if content != new_content: @@ -33,9 +33,9 @@ def run_update(): if "venv" in root or ".git" in root: continue for file in files: - if file.endswith(".py") and file != "migrate_structure.py" and file != "update_imports.py": + if file.endswith(".py") and file not in ["migrate_structure.py", "update_imports.py"]: update_file_imports(os.path.join(root, file)) - print("=== Обновление завершено ===") + print("=== Обновление импортов успешно завершено ===") if __name__ == "__main__": run_update() \ No newline at end of file