промежуточный положительный результат. Отчеты коррктно формируются. Перед автоматической загрузкой файлов 1С.

2026-07-30 12:42:41 +03:00
parent 2fc417f3a7
commit 9347c42d22
10 changed files with 477 additions and 237 deletions
@@ -44,12 +44,11 @@ def detect_all_anomalies(merged_df, static_reasons_dict, kb_rules):
        is_present = row.get('Пришел', False)
        reason_1c = str(row.get('Вид_отсутствия', '')).strip()
        has_1c_reason = pd.notna(row.get('Вид_отсутствия')) and reason_1c != ''
-        is_excluded = row.get('is_excluded', False)
        has_static_reason = fio_clean in static_reasons_dict

        is_fio_whitelisted_in_kb = fio_clean.lower() in kb_rules_text

-        # 🚨 АНОМАЛИЯ 1: Пришел по СКУД, но в 1С числится отсутствие
+        # 🚨 АНОМАЛИЯ 1: Пришел по СКУД, но в 1С числится отсутствие (Отпуск/Больничный)
        if is_present and has_1c_reason:
            if not is_fio_whitelisted_in_kb:
                anomalies.append({
@@ -119,17 +118,17 @@ def main():
    kb_data = load_knowledge_base()
    kb_rules = kb_data.get("rules", [])

-    # 0. Выгрузка из БД
+    # 0. Выгрузка из БД СКУД
    if not args.skip_export:
        print("[0/5] Экспорт свежих данных из базы СКУД 'Орион Pro'...")
        try:
            run_export(debug=DEBUG)
        except Exception as e:
-            print(f"[⚠️] Ошибка автоэкспорта из БД: {e}. Используем файлы в data/scud.")
+            print(f"[⚠️] Ошибка автоэкспорта из БД: {e}. Используем имеющиеся файлы в data/scud.")
    else:
        print("[0/5] Пропуск прямого экспорта из БД (--skip-export)...")

-    # 1. Валидация
+    # 1. Валидация файлов
    print("[1/5] Проверка актуальности и свежести входных файлов...")
    is_valid, warnings, errors = check_file_freshness()

@@ -149,22 +148,33 @@ def main():

    print("[✓] Проверка актуальности успешно пройдена!\n")

-    # 2. Загрузка данных
+    # 2. Раздельная загрузка данных (Сегодня и Вчера)
    print("[2/5] Загрузка данных из data/scud, data/1c, реестра причин и исключений...")
-    raw_scud_df, staff_fios_clean, df_absent = load_all_data()
+    raw_scud_today_df, raw_scud_yesterday_df, staff_fios_clean, df_absent = load_all_data()
    static_reasons_dict = load_static_reason_workers()

    # 3. ИИ-сверка ФИО (СКУД + 1С)
    print("[3/5] Проверка опечаток и сопоставление ФИО через ИИ...")
-    scud_unrecognized = raw_scud_df[~raw_scud_df['fio_clean'].isin(staff_fios_clean)]['fio_clean'].tolist()
-    fio_mapping_scud = ai_verify_scud_against_staff(scud_unrecognized, staff_fios_clean)
    
+    # Сверка СКУД (Сегодня)
+    scud_unrecognized = raw_scud_today_df[~raw_scud_today_df['fio_clean'].isin(staff_fios_clean)]['fio_clean'].tolist()
+    fio_mapping_scud = ai_verify_scud_against_staff(scud_unrecognized, staff_fios_clean)
    if fio_mapping_scud:
-        print(f"    [ИИ] Найдено совпадений в СКУД: {len(fio_mapping_scud)}")
-        raw_scud_df['fio_clean'] = raw_scud_df['fio_clean'].apply(
+        print(f"    [ИИ] Найдено совпадений в СКУД (Сегодня): {len(fio_mapping_scud)}")
+        raw_scud_today_df['fio_clean'] = raw_scud_today_df['fio_clean'].apply(
            lambda x: fio_mapping_scud[x]['staff_fio'] if x in fio_mapping_scud else x
        )

+    # Сверка СКУД (Вчера)
+    scud_yesterday_unrecognized = raw_scud_yesterday_df[~raw_scud_yesterday_df['fio_clean'].isin(staff_fios_clean)]['fio_clean'].tolist()
+    fio_mapping_scud_y = ai_verify_scud_against_staff(scud_yesterday_unrecognized, staff_fios_clean)
+    if fio_mapping_scud_y:
+        print(f"    [ИИ] Найдено совпадений в СКУД (Вчера): {len(fio_mapping_scud_y)}")
+        raw_scud_yesterday_df['fio_clean'] = raw_scud_yesterday_df['fio_clean'].apply(
+            lambda x: fio_mapping_scud_y[x]['staff_fio'] if x in fio_mapping_scud_y else x
+        )
+
+    # Сверка 1С:Отсутствий
    absent_unrecognized = df_absent[~df_absent['fio_clean'].isin(staff_fios_clean)]['fio_clean'].tolist()
    if absent_unrecognized:
        fio_mapping_absent = ai_verify_scud_against_staff(absent_unrecognized, staff_fios_clean)
@@ -174,60 +184,80 @@ def main():
                lambda x: fio_mapping_absent[x]['staff_fio'] if x in fio_mapping_absent else x
            )

-    raw_scud_df = aggregate_scud_by_employee(raw_scud_df, debug=DEBUG)
+    raw_scud_today_df = aggregate_scud_by_employee(raw_scud_today_df, debug=DEBUG)
+    raw_scud_yesterday_df = aggregate_scud_by_employee(raw_scud_yesterday_df, debug=DEBUG)

    # 4. Объединение и детекция
    print("[4/5] Объединение реестров 1С, СКУД, статических причин и исключений...")
-    merged = raw_scud_df[raw_scud_df['fio_clean'].isin(staff_fios_clean)].copy()
    
-    merged = merged.merge(df_absent, on='fio_clean', how='left')
+    # Датасет СЕГОДНЯ
+    merged_today = raw_scud_today_df[raw_scud_today_df['fio_clean'].isin(staff_fios_clean)].copy()
+    merged_today = merged_today.merge(df_absent, on='fio_clean', how='left')

-    # Детекция аномалий С УЧЁТОМ НАКОПЛЕННОЙ БАЗЫ ЗНАНИЙ
-    anomalies_list = detect_all_anomalies(merged, static_reasons_dict, kb_rules)
+    # Датасет ВЧЕРА
+    merged_yesterday = raw_scud_yesterday_df[raw_scud_yesterday_df['fio_clean'].isin(staff_fios_clean)].copy()
+    merged_yesterday = merged_yesterday.merge(df_absent, on='fio_clean', how='left')

-    # Применение статических причин (ТОЛЬКО ДЛЯ ТЕХ, КТО НЕ ПРИШЕЛ В ОФИС)
+    # Детекция аномалий С УЧЁТОМ БАЗЫ ЗНАНИЙ (по сегодняшнему дню)
+    anomalies_list = detect_all_anomalies(merged_today, static_reasons_dict, kb_rules)
+
+    # Применение статических причин и исключений для СЕГОДНЯ и ВЧЕРА
    if static_reasons_dict:
        for fio_clean, reason_val in static_reasons_dict.items():
            mask_apply_static = (
-                (merged['Пришел'] == False) & 
-                (merged['Вид_отсутствия'].isna() | (merged['Вид_отсутствия'].astype(str).str.strip() == '')) & 
-                (merged['fio_clean'] == fio_clean)
+                (merged_today['Пришел'] == False) & 
+                (merged_today['Вид_отсутствия'].isna() | (merged_today['Вид_отсутствия'].astype(str).str.strip() == '')) & 
+                (merged_today['fio_clean'] == fio_clean)
            )
-            merged.loc[mask_apply_static, 'Вид_отсутствия'] = reason_val
+            merged_today.loc[mask_apply_static, 'Вид_отсутствия'] = reason_val
+
+            mask_apply_static_y = (
+                (merged_yesterday['Пришел'] == False) & 
+                (merged_yesterday['Вид_отсутствия'].isna() | (merged_yesterday['Вид_отсутствия'].astype(str).str.strip() == '')) & 
+                (merged_yesterday['fio_clean'] == fio_clean)
+            )
+            merged_yesterday.loc[mask_apply_static_y, 'Вид_отсутствия'] = reason_val

-    # Применение исключений
    mask_apply_exceptions = (
-        (merged['Пришел'] == False) & 
-        (merged['Вид_отсутствия'].isna() | (merged['Вид_отсутствия'].astype(str).str.strip() == '')) & 
-        (merged.get('is_excluded', False) == True)
+        (merged_today['Пришел'] == False) & 
+        (merged_today['Вид_отсутствия'].isna() | (merged_today['Вид_отсутствия'].astype(str).str.strip() == '')) & 
+        (merged_today.get('is_excluded', False) == True)
    )
-    merged.loc[mask_apply_exceptions, 'Вид_отсутствия'] = 'Исключение (ОВК/Подрядчики)'
+    merged_today.loc[mask_apply_exceptions, 'Вид_отсутствия'] = 'Исключение (ОВК/Подрядчики)'

-    absent_explained = merged[(merged['Пришел'] == False) & (merged['Вид_отсутствия'].notna())]
-    absent_unexplained = merged[(merged['Пришел'] == False) & (merged['Вид_отсутствия'].isna())]
-    scud_present_but_absent_in_1c = merged[(merged['Пришел'] == True) & (merged['Вид_отсутствия'].notna())]
+    mask_apply_exceptions_y = (
+        (merged_yesterday['Пришел'] == False) & 
+        (merged_yesterday['Вид_отсутствия'].isna() | (merged_yesterday['Вид_отсутствия'].astype(str).str.strip() == '')) & 
+        (merged_yesterday.get('is_excluded', False) == True)
+    )
+    merged_yesterday.loc[mask_apply_exceptions_y, 'Вид_отсутствия'] = 'Исключение (ОВК/Подрядчики)'
+
+    absent_explained = merged_today[(merged_today['Пришел'] == False) & (merged_today['Вид_отсутствия'].notna())]
+    absent_unexplained = merged_today[(merged_today['Пришел'] == False) & (merged_today['Вид_отсутствия'].isna())]
+    scud_present_but_absent_in_1c = merged_today[(merged_today['Пришел'] == True) & (merged_today['Вид_отсутствия'].notna())]

    if DEBUG:
        print("\n--- [DEBUG STATS] ---")
-        print(f"  Всего по списку: {len(merged)}")
-        is_working_mask = (merged['Пришел'] == True) | (
-            merged['Вид_отсутствия'].astype(str).str.lower().str.contains('командировк|удален|дистанцион|разъездн', regex=True, na=False)
+        print(f"  Всего по списку: {len(merged_today)}")
+        is_working_mask = (merged_today['Пришел'] == True) | (
+            merged_today['Вид_отсутствия'].astype(str).str.lower().str.contains('командировк|удален|дистанцион|разъездн', regex=True, na=False)
        )
-        print(f"  Работают (офис / удаленка / командировки): {len(merged[is_working_mask])}")
+        print(f"  Работают сегодня: {len(merged_today[is_working_mask])}")
        print(f"  Официально отсутствуют: {len(absent_explained)}")
        print(f"  Истинно неизвестные случаи: {len(absent_unexplained)}")
-        print(f"  Обнаружено комплексных аномалий: {len(anomalies_list)}")
+        print(f"  Обнаружено аномалий: {len(anomalies_list)}")
        print("---------------------\n")

-    # 5. ИИ-аудитор
-    print("[5/5] Запуск ИИ-аудитора и глубокий анализ аномалий...")
+    # 5. ИИ-аудитор и сборка финальных Excel-отчетов
+    print("[5/5] Запуск ИИ-аудитора и сборка финальных Excel-отчетов...")
    report_text = generate_markdown_report(
-        merged_df=merged,
+        merged_df=merged_today,
        absent_explained=absent_explained,
        absent_unexplained=absent_unexplained,
        scud_present_but_absent_in_1c=scud_present_but_absent_in_1c,
        anomalies_list=anomalies_list,
-        raw_scud_df=raw_scud_df,
+        raw_scud_df=raw_scud_today_df,
+        raw_absent_df=df_absent,  # <-- ВАЖНО: передаем выгрузку 1С для ИИ-кросс-сверки
        date_str=DATE_TODAY
    )

@@ -241,8 +271,11 @@ def main():
            
    review_ai_decisions(report_text, suspicious_cases)

-    generate_summary_excel(merged_df=merged, date_str=DATE_TODAY)
-    generate_detailed_excel(merged_df=merged, date_str=DATE_YESTERDAY)
+    # 1. Ежедневная сводка -> формируется по СЕГОДНЯШНЕМУ датасету
+    generate_summary_excel(merged_df=merged_today, date_str=DATE_TODAY)
+    
+    # 2. Детальный отчет -> формируется по ВЧЕРАШНЕМУ датасету
+    generate_detailed_excel(merged_df=merged_yesterday, date_str=DATE_YESTERDAY)

    print("\n" + "=" * 60)
    print("ГОТОВАЯ ТЕКСТОВАЯ СВОДКА ИИС-АУДИТОРА:")