перед внедрением API и веб интерфейса.

modules/data_loader.py

@@ -5,6 +5,8 @@ from config import (
     normalize_fio, clean_scud_fio_light, load_exceptions, 
     DATE_TODAY, DATE_YESTERDAY, find_dated_file, ZUP_1C_DIR, SCUD_DIR
 )
+# Импортируем прямую SQL-выгрузку отсутствий из 1С
+from modules.zup_extractor import fetch_zup_absences_from_sql
 
 warnings.filterwarnings('ignore', category=UserWarning, module='pandas')
 
@@ -24,42 +26,51 @@ def is_excluded(fio, dept, pos, exceptions):
 
 def load_staff_data(date_str):
     """
-    Загружает файл Штатного расписания 1С за конкретную дату.
-    Если файла за эту дату нет — возвращает None без подмены на старые даты.
+    Загружает файл Штатного расписания 1С за конкретную дату из папки 1c.
     """
     filepath = find_dated_file("Штат", date_str)
     if not filepath:
-        return None
+        fallback_path = os.path.join(ZUP_1C_DIR, "штат.xlsx")
+        if os.path.exists(fallback_path):
+            filepath = fallback_path
+        else:
+            return None
 
-    df_raw = pd.read_excel(filepath, skiprows=8)
-    df_staff = df_raw.iloc[:, [1, 5, 12]].copy()
-    df_staff.columns = ['ФИО', 'Подразделение', 'Должность']
-    df_staff = df_staff.dropna(subset=['ФИО']).reset_index(drop=True)
-    df_staff = df_staff[~df_staff['ФИО'].astype(str).str.contains('Всего|Организация|Сотрудник|ФИО', case=False, na=False)]
-    df_staff['fio_clean'] = df_staff['ФИО'].apply(normalize_fio)
-    return df_staff
+    try:
+        df_raw = pd.read_excel(filepath, skiprows=8)
+        
+        # Индексы столбцов в файле 1С: 1 — ФИО, 5 — Подразделение, 12 — Должность
+        df_staff = df_raw.iloc[:, [1, 5, 12]].copy()
+        df_staff.columns = ['ФИО', 'Подразделение', 'Должность']
+        
+        df_staff = df_staff.dropna(subset=['ФИО']).reset_index(drop=True)
+        df_staff = df_staff[~df_staff['ФИО'].astype(str).str.contains('Всего|Организация|Сотрудник|ФИО', case=False, na=False)]
+        df_staff['fio_clean'] = df_staff['ФИО'].apply(normalize_fio)
+        return df_staff
+    except Exception as e:
+        print(f"[❌] Ошибка загрузки штата из {filepath}: {e}")
+        return None
 
 
 def load_absent_data(date_str):
     """
-    Загружает файл Отсутствий сотрудников 1С за конкретную дату.
-    Если файла за эту дату нет — возвращает None без подмены на старые даты.
+    Загружает документально подтвержденные отсутствия сотрудников
+    НАПРЯМУЮ из базы MS SQL 1С:ЗУП за указанную дату.
     """
-    filepath = find_dated_file("Отсутствия", date_str)
-    if not filepath:
+    try:
+        df_absent = fetch_zup_absences_from_sql(date_str)
+        
+        if df_absent is not None and not df_absent.empty:
+            df_absent = df_absent.dropna(subset=['ФИО', 'Вид_отсутствия'])
+            df_absent = df_absent[~df_absent['ФИО'].astype(str).str.contains('АО "ЛЕНМОРНИИПРОЕКТ"|Сотрудник', case=False, na=False)]
+            df_absent['fio_clean'] = df_absent['ФИО'].apply(normalize_fio)
+            return df_absent[['fio_clean', 'Вид_отсутствия']].dropna(subset=['fio_clean'])
+        else:
+            return None
+    except Exception as e:
+        print(f"[⚠️] Ошибка SQL-выгрузки отсутствий за {date_str}: {e}")
         return None
 
-    df_raw = pd.read_excel(filepath, skiprows=3)
-    df_absent = df_raw[1:].copy().reset_index(drop=True)
-    df_absent = df_absent.rename(columns={
-        df_absent.columns[0]: 'ФИО',
-        df_absent.columns[2]: 'Вид_отсутствия'
-    })
-    df_absent = df_absent[['ФИО', 'Вид_отсутствия']].dropna(subset=['ФИО', 'Вид_отсутствия'])
-    df_absent = df_absent[~df_absent['ФИО'].astype(str).str.contains('АО "ЛЕНМОРНИИПРОЕКТ"|Сотрудник', case=False, na=False)]
-    df_absent['fio_clean'] = df_absent['ФИО'].apply(normalize_fio)
-    return df_absent[['fio_clean', 'Вид_отсутствия']].dropna(subset=['fio_clean'])
-
 
 def load_scud_data(target_date_type="today"):
     """Загружает файл СКУД за 'today' или 'yesterday'."""
@@ -100,7 +111,7 @@ def load_scud_data(target_date_type="today"):
 def load_all_data():
     """
     Загружает слитные датасеты за Сегодня и за Вчера.
-    Если файла 1С за Сегодня нет, соответствующие датасеты вернет как None.
+    Если данных за Сегодня нет, возвращает для них None.
     """
     df_scud_today = load_scud_data(target_date_type="today")
     try: