промежуточный этап. Работает.

services/ai_verifier.py

@@ -1,6 +1,7 @@
 import json
 import re
 import requests
+import pandas as pd
 from config import OLLAMA_URL, OLLAMA_MODEL
 from core.database import get_all_rules_from_db
 
@@ -44,6 +45,50 @@ def get_system_rules_context():
     return f"\nОБЯЗАТЕЛЬНЫЕ ГЛОБАЛЬНЫЕ ПРАВИЛА И ПРИОРИТЕТЫ КОМПАНИИ:\n{rules_text}\n"
 
 
+def analyze_scud_mass_failure_ai(df_scud):
+    """
+    Оценивает процент аномалий 'ANOMALY_NO_IN_HAS_ACTIVITY' в выгрузке.
+    Если процент аномалий превышает 5% от смены, вызывает ИИ для генерации критического алерта.
+    """
+    if df_scud is None or df_scud.empty:
+        return None
+
+    total_records = len(df_scud)
+    anomaly_rows = df_scud[df_scud.get('anomaly_flag', 'NONE') == 'ANOMALY_NO_IN_HAS_ACTIVITY']
+    anomaly_count = len(anomaly_rows)
+
+    if total_records == 0:
+        return None
+
+    anomaly_percent = round((anomaly_count / total_records) * 100, 1)
+
+    if anomaly_percent > 5.0 or anomaly_count >= 10:
+        rules_context = get_system_rules_context()
+        prompt = f"""
+{rules_context}
+ВНИМАНИЕ! Проведён анализ дневной смены СКУД:
+- Всего записей за смену: {total_records}
+- Выявлено сотрудников без утреннего входа, но с зафиксированной дневной активностью (первая активность): {anomaly_count} ({anomaly_percent}% от смены)
+
+Сформируй понятное предупреждение для Администратора СКУД и Руководителя. 
+Объясни, что это критический массовый сбой турникетов/контроллеров входа на КПП, и порекомендуй действия.
+"""
+        alert_text = ask_ollama(prompt, system_prompt="Ты — ИИ-аналитик контроллинга СКУД. Отвечай кратко и строго по делу.")
+        return {
+            "is_mass_failure": True,
+            "anomaly_count": anomaly_count,
+            "anomaly_percent": anomaly_percent,
+            "alert_text": alert_text
+        }
+
+    return {
+        "is_mass_failure": False,
+        "anomaly_count": anomaly_count,
+        "anomaly_percent": anomaly_percent,
+        "alert_text": "Массовых сбоев оборудования не зафиксировано."
+    }
+
+
 def ai_verify_scud_against_staff(unrecognized_scud_fios, staff_fios):
     """
     ИИ-сверка опечаток и несовпадений ФИО между СКУД и 1С:ЗУП.

services/data_loader.py

@@ -72,8 +72,74 @@ def load_absent_data(date_str):
         return None
 
 
+def process_scud_anomalies(df_scud, exceptions=None):
+    """
+    Вычисляет 'Первую активность' и маркирует аномалии СКУД.
+    Если 'Начало дня' == 'Нет входа', но есть любая физическая активность —
+    записывает первейшее время в 'Первая_активность', сбрасывает 'Пришел' в False и выставляет флаг аномалии.
+    """
+    if exceptions is None:
+        exceptions = load_exceptions()
+
+    start_col = 'Начало_дня' if 'Начало_дня' in df_scud.columns else ('Начало дня' if 'Начало дня' in df_scud.columns else None)
+    end_col = 'Конец_дня' if 'Конец_дня' in df_scud.columns else ('Конец дня' if 'Конец дня' in df_scud.columns else None)
+    status_col = 'Статус' if 'Статус' in df_scud.columns else None
+
+    first_activities = []
+    anomaly_flags = []
+    is_present_flags = []
+
+    for _, row in df_scud.iterrows():
+        fio = str(row.get('Сотрудник', row.get('fio_raw', ''))).strip()
+        fio_clean = normalize_fio(fio)
+        dept = str(row.get('Подразделение', '')).strip()
+        pos = str(row.get('Должность', '')).strip()
+
+        val_start = str(row.get(start_col, '')).strip() if start_col else ''
+        val_end = str(row.get(end_col, '')).strip() if end_col else ''
+        val_status = str(row.get(status_col, '')).strip().lower() if status_col else ''
+
+        # Извлечение первого зафиксированного события из сырых логов (pLogData), если передавалось
+        raw_first_event = row.get('raw_first_event', None)
+        if pd.isna(raw_first_event) or str(raw_first_event).strip() in ['', 'None', 'nan', '00:00:00']:
+            raw_first_event = None
+
+        has_no_in = (val_start in ['нет входа', 'none', 'nan', '', '00:00:00', '00:00'])
+        has_no_out = (val_end in ['нет выхода', 'none', 'nan', '', '00:00:00', '00:00'])
+
+        first_act = '—'
+        anom_flag = 'NONE'
+        
+        # Стандартная проверка присутствия
+        is_present = not ('отсутствовал' in val_status or has_no_in)
+
+        # ЛОГИКА ВЫЧИСЛЕНИЯ ПЕРВОЙ АКТИВНОСТИ И ДЕТЕКТИРОВАНИЯ АНОМАЛИИ
+        if has_no_in:
+            # Если нет входа, но есть проход внутри или зафиксирован выход
+            if raw_first_event is not None or not has_no_out:
+                first_act = str(raw_first_event) if raw_first_event else val_end
+                anom_flag = 'ANOMALY_NO_IN_HAS_ACTIVITY'
+
+                # ЖЕСТКАЯ ВАЛИДАЦИЯ: Если человек не исключен официально — сбрасываем фейковый Пришел = True
+                if not is_excluded(fio, dept, pos, exceptions):
+                    is_present = False
+            else:
+                first_act = '—'
+                is_present = False
+
+        first_activities.append(first_act)
+        anomaly_flags.append(anom_flag)
+        is_present_flags.append(is_present)
+
+    df_scud['Первая_активность'] = first_activities
+    df_scud['anomaly_flag'] = anomaly_flags
+    df_scud['Пришел'] = is_present_flags
+
+    return df_scud
+
+
 def load_scud_data(target_date_type="today"):
-    """Загружает файл СКУД за 'today' или 'yesterday'."""
+    """Загружает файл СКУД за 'today' или 'yesterday' и выполняет валидацию аномалий."""
     target_date = DATE_TODAY if target_date_type == "today" else DATE_YESTERDAY
     scud_path = find_dated_file("Сотрудники", target_date, search_dirs=[SCUD_DIR])
 
@@ -88,19 +154,9 @@ def load_scud_data(target_date_type="today"):
     df_scud['fio_raw'] = df_scud['Сотрудник'].astype(str) if 'Сотрудник' in df_scud.columns else df_scud[df_scud.columns[0]].astype(str)
     df_scud['fio_clean'] = df_scud['fio_raw'].apply(clean_scud_fio_light)
 
-    start_col = 'Начало_дня' if 'Начало_дня' in df_scud.columns else ('Начало дня' if 'Начало дня' in df_scud.columns else None)
-    status_col = 'Статус' if 'Статус' in df_scud.columns else None
+    # Применяем обработчик аномалий и первой активности
+    df_scud = process_scud_anomalies(df_scud, exceptions=exceptions)
 
-    def is_person_present(row):
-        val_status = str(row.get(status_col, '')).strip().lower() if status_col else ''
-        val_time = str(row.get(start_col, '')).strip() if start_col else ''
-        
-        if 'отсутствовал' in val_status or val_time in ['нет входа', 'none', 'nan', '', '00:00']:
-            return False
-        return True
-
-    df_scud['Пришел'] = df_scud.apply(is_person_present, axis=1)
-    
     df_scud['is_excluded'] = df_scud.apply(
         lambda r: is_excluded(r.get('Сотрудник', ''), r.get('Подразделение', ''), r.get('Должность', ''), exceptions),
         axis=1

services/excel_exporter.py

@@ -16,6 +16,7 @@ MONTHS_RU = {
     9: "сентября", 10: "октября", 11: "ноября", 12: "декабря"
 }
 
+
 def format_date_ru(date_str):
     """Преобразует дату формата '27.07.2026' в '27 июля 2026'"""
     try:
@@ -24,6 +25,7 @@ def format_date_ru(date_str):
     except Exception:
         return date_str
 
+
 # Границы ячеек
 THIN_SIDE = Side(border_style="thin", color="D3D3D3")
 THIN_BORDER = Border(left=THIN_SIDE, right=THIN_SIDE, top=THIN_SIDE, bottom=THIN_SIDE)
@@ -142,7 +144,7 @@ def generate_summary_excel(merged_df, date_str="27.07.2026", filename=None):
         ws.row_dimensions[current_row].hidden = False
         current_row += 1
 
-    # 4. КАТЕГОРИИ ОТСУТСТВИЙ (Свернуты hidden=True, ИСКЛЮЧЕНИЯ ИСКЛЮЧЕНЫ)
+    # 4. КАТЕГОРИИ ОТСУТСТВИЙ (Свернуты hidden=True)
     absent_only = merged_df[
         (merged_df['Пришел'] == False) & 
         (merged_df['Вид_отсутствия'].notna()) & 
@@ -186,9 +188,12 @@ def generate_summary_excel(merged_df, date_str="27.07.2026", filename=None):
             current_row += 1
 
     # 6. АНОМАЛИИ (Свернут hidden=True)
-    anomalies = merged_df[(merged_df['Пришел'] == True) & (merged_df['Вид_отсутствия'].notna())]
+    anomalies = merged_df[
+        ((merged_df['Пришел'] == True) & (merged_df['Вид_отсутствия'].notna())) |
+        (merged_df.get('anomaly_flag', 'NONE') == 'ANOMALY_NO_IN_HAS_ACTIVITY')
+    ]
     
-    ws.cell(row=current_row, column=1, value="Аномалии")
+    ws.cell(row=current_row, column=1, value="Аномалии СКУД и 1С")
     ws.cell(row=current_row, column=2, value=len(anomalies))
     format_row_cells(ws, current_row, FILL_ANOMALY, is_bold=True, bold_font=bold_font)
     current_row += 1
@@ -198,10 +203,16 @@ def generate_summary_excel(merged_df, date_str="27.07.2026", filename=None):
     if not anomalies.empty:
         for _, row in anomalies.iterrows():
             fio = row.get('Сотрудник', '')
-            reason = row.get('Вид_отсутствия', 'Неизвестная причина')
-            reason_text = f"В 1С: {reason}"
+            reason = row.get('Вид_отсутствия', '')
+            anom_flag = row.get('anomaly_flag', 'NONE')
+
+            if anom_flag == 'ANOMALY_NO_IN_HAS_ACTIVITY':
+                first_act = row.get('Первая_активность', '—')
+                reason_text = f"🚨 АНОМАЛИЯ СКУД: Нет входа (первая активность: {first_act})"
+            else:
+                reason_text = f"В 1С: {reason}"
             
-            cell_a = ws.cell(row=current_row, column=1, value=f"{fio} (На работе)")
+            cell_a = ws.cell(row=current_row, column=1, value=f"{fio}")
             cell_b = ws.cell(row=current_row, column=2, value=reason_text)
             
             cell_a.fill = FILL_ANOMALY
@@ -223,7 +234,7 @@ def generate_summary_excel(merged_df, date_str="27.07.2026", filename=None):
             current_row += 1
 
     ws.column_dimensions['A'].width = 45.0
-    ws.column_dimensions['B'].width = 32.0
+    ws.column_dimensions['B'].width = 38.0
 
     try:
         wb.save(output_path)
@@ -235,7 +246,7 @@ def generate_summary_excel(merged_df, date_str="27.07.2026", filename=None):
         print(f"[⚠️] Файл открыт в Excel! Сохранено как: {alt_path}")
 
 
-# --- 2. ДЕТАЛЬНЫЙ ОТЧЕТ ЗА ВЧЕРА ---
+# --- 2. ДЕТАЛЬНЫЙ ОТЧЕТ ЗА ВЧЕРА (С КОЛОНКОЙ 'первая активность' СРАЗУ ПОСЛЕ 'время входа') ---
 def generate_detailed_excel(merged_df, date_str="26.07.2026", filename=None):
     if not filename:
         filename = f"{format_date_ru(date_str)} отчет.xlsx"
@@ -250,8 +261,9 @@ def generate_detailed_excel(merged_df, date_str="26.07.2026", filename=None):
     ws["B2"].font = Font(name="Arial", size=10, bold=True)
     ws["D2"].font = Font(name="Arial", size=10, bold=True)
 
+    # ⭐️ Порядок колонок: "первая активность" строго после "время входа"
     headers = [
-        "№", "ФИО", "Подразделение", "время входа", "время выхода",
+        "№", "ФИО", "Подразделение", "время входа", "первая активность", "время выхода",
         "находился в здании", "причина отсутствия", "норма", "отклонение от нормы"
     ]
     ws.append([])
@@ -269,14 +281,16 @@ def generate_detailed_excel(merged_df, date_str="26.07.2026", filename=None):
     end_col = 'Конец дня' if 'Конец дня' in merged_df.columns else 'Конец_дня'
     hours_col = 'Часы' if 'Часы' in merged_df.columns else 'Находился_в_здании'
 
-    chars_per_line_g = 24
+    chars_per_line_h = 24
 
     for idx, row in merged_df.reset_index(drop=True).iterrows():
         is_present = row.get('Пришел', False)
         absence_reason = row.get('Вид_отсутствия', '')
         has_reason = pd.notna(absence_reason) and str(absence_reason).strip() != ''
+        anom_flag = row.get('anomaly_flag', 'NONE')
 
         in_building_str = str(row.get(hours_col, '00:00'))
+        first_act_val = row.get('Первая_активность', '—')
         
         deviation_val = calculate_deviation(in_building_str, reason=absence_reason if has_reason else "", norm_hours=8, lunch_minutes=30)
 
@@ -285,6 +299,7 @@ def generate_detailed_excel(merged_df, date_str="26.07.2026", filename=None):
             row.get('Сотрудник', ''),
             row.get('Подразделение', ''),
             row.get(start_col, 'Нет входа'),
+            first_act_val,  # ⭐️ Колонки №5: "первая активность"
             row.get(end_col, 'Нет выхода'),
             in_building_str,
             absence_reason if has_reason else '',
@@ -294,16 +309,19 @@ def generate_detailed_excel(merged_df, date_str="26.07.2026", filename=None):
         
         row_num = 5 + idx
         
-        if is_present and has_reason:
+        # Заливка строк по категориям
+        if anom_flag == 'ANOMALY_NO_IN_HAS_ACTIVITY':
+            row_fill = LIGHT_RED_FILL
+        elif is_present and has_reason:
             row_fill = GREEN_FILL
         elif not is_present:
             row_fill = YELLOW_FILL if has_reason else LIGHT_RED_FILL
         else:
             row_fill = None
 
-        val_g_str = str(absence_reason) if has_reason else ""
-        if len(val_g_str) > chars_per_line_g:
-            needed_lines = math.ceil(len(val_g_str) / chars_per_line_g)
+        val_h_str = str(absence_reason) if has_reason else ""
+        if len(val_h_str) > chars_per_line_h:
+            needed_lines = math.ceil(len(val_h_str) / chars_per_line_h)
             ws.row_dimensions[row_num].height = max(needed_lines * 18, 22)
         else:
             ws.row_dimensions[row_num].height = 20
@@ -314,17 +332,17 @@ def generate_detailed_excel(merged_df, date_str="26.07.2026", filename=None):
             if row_fill:
                 cell.fill = row_fill
             
-            if col_idx == 7:
+            if col_idx == 8:
                 cell.alignment = Alignment(horizontal="left", vertical="center", wrap_text=True)
-            elif col_idx in [1, 4, 5, 6, 8, 9]:
+            elif col_idx in [1, 4, 5, 6, 7, 9, 10]:
                 cell.alignment = Alignment(horizontal="center", vertical="center")
             else:
                 cell.alignment = Alignment(horizontal="left", vertical="center")
 
     for col in ws.columns:
         col_letter = get_column_letter(col[0].column)
-        if col_letter == 'G':
-            ws.column_dimensions['G'].width = 25.0
+        if col_letter == 'H':
+            ws.column_dimensions['H'].width = 25.0
         else:
             max_len = 0
             for cell in col:

services/scud_export.py

@@ -1,7 +1,6 @@
 """
 Модуль автоматического экспорта данных СКУД (Orion) из MS SQL Server в SQLite и Excel.
-Исправлена логика определения направления проходов (Mode = 2 -> OUT).
-Адаптирован для Linux (Ubuntu 24.04).
+Добавлена фиксация Первой Активности (без учета направления) и среза по времени.
 """
 
 import argparse
@@ -82,11 +81,11 @@ WITH DailyLogs AS (
     WHERE log.TimeVal BETWEEN @StartDate AND @EndDate
       AND log.HozOrgan IS NOT NULL
       AND log.HozOrgan > 0
-      AND (log.Event IN (28, 29, 26, 27, 32, 33) OR log.Mode IN (1, 2))
 ),
 Passages AS (
     SELECT
         EmployeeID,
+        MIN(TimeVal) AS FirstRawEvent, -- ⭐️ Первое событие ДНЯ ВООБЩЕ (любая дверь/туалет/выход)
         MIN(CASE WHEN Direction = 'IN' THEN TimeVal END) AS FirstIn,
         MAX(CASE WHEN Direction = 'OUT' THEN TimeVal END) AS LastOut,
         MAX(CASE WHEN RowNumDesc = 1 THEN Direction END) AS LastEventType
@@ -107,6 +106,14 @@ SELECT
     ISNULL(CAST(p.TabNumber AS NVARCHAR(50)), N'—') AS [Таб_№],
     CONVERT(VARCHAR(10), @TargetDate, 104) AS [Дата],
     ISNULL(CAST(CONVERT(VARCHAR(8), pass.FirstIn, 108) AS NVARCHAR(20)), N'Нет входа') AS [Начало_дня],
+    
+    -- ⭐️ НОВАЯ КОЛОНКА: "Первая активность" (если нет входа, но есть события в здании)
+    CASE 
+        WHEN pass.FirstIn IS NULL AND pass.FirstRawEvent IS NOT NULL 
+            THEN CAST(CONVERT(VARCHAR(8), pass.FirstRawEvent, 108) AS NVARCHAR(20))
+        ELSE N'—'
+    END AS [Первая_активность],
+
     CASE
         WHEN @TargetDate = CAST(GETDATE() AS DATE) AND (pass.LastEventType = 'IN' OR pass.LastOut IS NULL OR pass.LastOut <= pass.FirstIn)
             THEN N'Нет выхода'
@@ -204,6 +211,7 @@ def run_export(input_date: str | None = None, save_xlsx: bool = True, debug: boo
     os.makedirs(SCUD_DIR, exist_ok=True)
 
     targets = get_targets(input_date)
+    snapshot_time = datetime.now().strftime("%Y-%m-%d %H:%M:%S")
 
     conn_str = (
         f"DRIVER={{{ODBC_DRIVER}}};"
@@ -235,11 +243,18 @@ def run_export(input_date: str | None = None, save_xlsx: bool = True, debug: boo
             if len(df) > 0:
                 # 1. Готовим колонки для локальной БД
                 df['fio_clean'] = df['Сотрудник'].apply(clean_scud_fio_light)
-                df['Пришел'] = df['Статус'].str.contains('Присутствовал', case=False, na=False)
+                
+                # Валидация прихода с учетом аномалии неявки на вход
+                df['anomaly_flag'] = 'NONE'
+                mask_anomaly = (df['Начало_дня'] == 'Нет входа') & (df['Первая_активность'] != '—')
+                df.loc[mask_anomaly, 'anomaly_flag'] = 'ANOMALY_NO_IN_HAS_ACTIVITY'
 
-                # 2. ПРЯМОЕ СОХРАНЕНИЕ В SQLite (scud_orion_ai.db)
-                save_scud_to_db(df, processing_date_str)
-                log(f"[✓] Записи за {processing_date_str} успешно сохранены в SQLite!", "SUCCESS")
+                # Флаг 'Пришел' ставится в True только если был вход
+                df['Пришел'] = df['Статус'].str.contains('Присутствовал', case=False, na=False) & (~mask_anomaly)
+
+                # 2. ПРЯМОЕ СОХРАНЕНИЕ В SQLite (scud_orion_ai.db) С METКОЙ СРЕЗА snapshot_time
+                save_scud_to_db(df, processing_date_str, snapshot_time=snapshot_time)
+                log(f"[✓] Записи за {processing_date_str} успешно сохранены в SQLite с меткой {snapshot_time}!", "SUCCESS")
 
                 # 3. Сохранение в Excel (если включен флаг save_xlsx)
                 if save_xlsx: