Перед тем, как исправлять выгрузку скуд с глупым Gemini-Lite
This commit is contained in:
+93
-95
@@ -3,112 +3,110 @@
|
||||
FILE: services/scud_etl/merger.py
|
||||
PROJECT: SCUD Orion AI (Unified Architecture)
|
||||
MODULE: services / scud_etl
|
||||
ROLE: Агрегация проходов, сопоставление исключений и мердж таблиц 1С:ЗУП и СКУД.
|
||||
|
||||
AI-CONTEXT-ANCHORS:
|
||||
- ANCHOR[MERGER_EXCEPTIONS]: Наложение флага исключений из exceptions.json.
|
||||
- ANCHOR[MERGER_AGGREGATION]: Агрегация множественных проходов до уникального ФИО.
|
||||
- ANCHOR[MERGER_BUILD_DATASET]: Сборка итогового датасета для сводок и отчетов.
|
||||
ROLE: Агрегация реестров СКУД и 1С, наложение исключений, нормализация кодов
|
||||
подразделений и расчет сходящегося баланса присутствия.
|
||||
===============================================================================
|
||||
"""
|
||||
|
||||
import os
|
||||
import json
|
||||
import logging
|
||||
from typing import Dict, Any, List
|
||||
import pandas as pd
|
||||
from config import normalize_fio, DATA_DIR
|
||||
|
||||
# Используем правильные имена функций из services/knowledge/service.py
|
||||
from services.knowledge.service import get_department_synonyms_dict, get_rules
|
||||
|
||||
logger = logging.getLogger("SCUD_MERGER")
|
||||
|
||||
|
||||
# ANCHOR[MERGER_EXCEPTIONS]
|
||||
def load_exceptions_config() -> dict:
|
||||
"""Загружает exceptions.json из корня проекта."""
|
||||
root_dir = os.path.abspath(os.path.join(os.path.dirname(__file__), "../../"))
|
||||
json_path = os.path.join(root_dir, "exceptions.json")
|
||||
if not os.path.exists(json_path):
|
||||
return {}
|
||||
try:
|
||||
with open(json_path, 'r', encoding='utf-8') as f:
|
||||
return json.load(f)
|
||||
except Exception:
|
||||
return {}
|
||||
def merge_scud_and_1c(
|
||||
df_scud: pd.DataFrame,
|
||||
df_staff_1c: pd.DataFrame,
|
||||
df_absences_1c: pd.DataFrame
|
||||
) -> pd.DataFrame:
|
||||
"""
|
||||
Объединяет реестры СКУД и 1С:ЗУП:
|
||||
- Применяет исключения (уборщики, ОВК и др.).
|
||||
- Устанавливает короткие аббревиатуры подразделений (КО, ОАН, РУК и др.).
|
||||
- Привязывает кадровые документы отсутствий из 1С.
|
||||
"""
|
||||
# Получаем словарь синонимов
|
||||
synonyms = get_department_synonyms_dict()
|
||||
|
||||
df_res = df_scud.copy()
|
||||
if "Сотрудник" in df_res.columns:
|
||||
df_res["fio_clean"] = df_res["Сотрудник"].astype(str).str.strip()
|
||||
|
||||
# 1. Фильтрация системных исключений
|
||||
# Загружаем исключения из базы знаний или задаем системный фильтр
|
||||
excluded_depts = {"ОВК", "Отдел вневедомственного контроля", "Служба уборки", "Клининг"}
|
||||
excluded_positions = {"Уборщик", "Уборщица", "Дворник"}
|
||||
|
||||
if not df_res.empty:
|
||||
if "Подразделение" in df_res.columns:
|
||||
df_res = df_res[~df_res["Подразделение"].astype(str).isin(excluded_depts)]
|
||||
if "Должность" in df_res.columns:
|
||||
df_res = df_res[~df_res["Должность"].astype(str).isin(excluded_positions)]
|
||||
|
||||
# 2. Трансляция подразделений в короткие аббревиатуры СКУД
|
||||
if "Подразделение" in df_res.columns:
|
||||
df_res["Подразделение"] = df_res["Подразделение"].apply(
|
||||
lambda d: synonyms.get(d, d)
|
||||
)
|
||||
|
||||
# 3. Привязка документов отсутствий из 1С
|
||||
absences_map = {}
|
||||
if not df_absences_1c.empty and "Сотрудник" in df_absences_1c.columns and "Причина" in df_absences_1c.columns:
|
||||
for _, row in df_absences_1c.iterrows():
|
||||
fio = str(row["Сотрудник"]).strip()
|
||||
reason = str(row["Причина"]).strip()
|
||||
absences_map[fio] = reason
|
||||
|
||||
df_res["причина отсутствия"] = df_res["fio_clean"].map(absences_map)
|
||||
|
||||
return df_res
|
||||
|
||||
|
||||
def apply_exceptions_from_json(df: pd.DataFrame, exceptions_cfg: dict) -> pd.DataFrame:
|
||||
"""Быстрая разметка флага is_excluded на основе exceptions.json."""
|
||||
if df is None or df.empty or not exceptions_cfg:
|
||||
if df is not None:
|
||||
df['is_excluded'] = False
|
||||
return df
|
||||
def calculate_summary_metrics(df_merged: pd.DataFrame) -> Dict[str, Any]:
|
||||
"""
|
||||
Расчет строго сходящегося баланса присутствия:
|
||||
A (Итого на работе) + B (Удаленная работа) + C (Официально отсутствуют) + D (Неизвестно) = N (Всего)
|
||||
"""
|
||||
total_staff = len(df_merged)
|
||||
|
||||
deps = [d.strip().lower() for d in exceptions_cfg.get("departments", []) if d]
|
||||
exact_pos = [p.strip().lower() for p in exceptions_cfg.get("positions", []) if p]
|
||||
pos_kw = [k.strip().lower() for k in exceptions_cfg.get("position_keywords", []) if k]
|
||||
exc_fios = [normalize_fio(f) for f in exceptions_cfg.get("fio", []) if f]
|
||||
# 1. Все, кто физически пришел в офис по СКУД (включая удаленщиков, пришедших в офис)
|
||||
came_to_office_mask = df_merged["Начало_дня"].astype(str).str.strip().ne("Нет входа")
|
||||
working_in_office = df_merged[came_to_office_mask]
|
||||
working_in_office_count = len(working_in_office)
|
||||
|
||||
df['is_excluded'] = False
|
||||
# 2. Все, кто сегодня НЕ пришел в офис
|
||||
not_came_mask = ~came_to_office_mask
|
||||
df_not_came = df_merged[not_came_mask]
|
||||
|
||||
for idx, row in df.iterrows():
|
||||
fio_clean = row.get('fio_clean', '')
|
||||
dep_1c = str(row.get('Подразделение', '')).lower()
|
||||
dep_scud = str(row.get('department_scud', row.get('department', ''))).lower()
|
||||
pos = str(row.get('Должность', '')).lower()
|
||||
# 3. Из непришедших выделяем удаленщиков (работают из дома)
|
||||
reason_series = df_not_came["причина отсутствия"].astype(str).str.lower()
|
||||
is_remote_mask = reason_series.str.contains("удален|дистанцион", regex=True, na=False)
|
||||
|
||||
remote_home = df_not_came[is_remote_mask]
|
||||
remote_home_count = len(remote_home)
|
||||
|
||||
is_fio_exc = fio_clean in exc_fios
|
||||
is_pos_exc = (pos in exact_pos) or any(k in pos for k in pos_kw if k) if pos else False
|
||||
is_dep_exc = any(d in dep_1c or d in dep_scud for d in deps) if deps else False
|
||||
# 4. Из оставшихся непришедших выделяем официальные отсутствия (отпуск, больничный, командировка и т.д.)
|
||||
df_remaining_absent = df_not_came[~is_remote_mask]
|
||||
has_doc_mask = df_remaining_absent["причина отсутствия"].notna() & \
|
||||
df_remaining_absent["причина отсутствия"].ne("") & \
|
||||
df_remaining_absent["причина отсутствия"].ne("nan")
|
||||
|
||||
official_absent = df_remaining_absent[has_doc_mask]
|
||||
official_absent_count = len(official_absent)
|
||||
|
||||
if is_fio_exc or is_dep_exc or is_pos_exc:
|
||||
df.at[idx, 'is_excluded'] = True
|
||||
# 5. Оставшиеся непришедшие без документов — истинно неизвестные
|
||||
unknown = df_remaining_absent[~has_doc_mask]
|
||||
unknown_count = len(unknown)
|
||||
|
||||
return df
|
||||
|
||||
|
||||
# ANCHOR[MERGER_AGGREGATION]
|
||||
def aggregate_scud_by_employee(df: pd.DataFrame) -> pd.DataFrame:
|
||||
"""Агрегирует проходы СКУД по уникальным сотрудникам."""
|
||||
if df is None or df.empty or 'fio_clean' not in df.columns:
|
||||
return df
|
||||
|
||||
aggregated = []
|
||||
for fio_clean, group in df.groupby('fio_clean', sort=False):
|
||||
is_present = group['Пришел'].any() if 'Пришел' in group.columns else False
|
||||
if is_present and 'Пришел' in group.columns:
|
||||
present_rows = group[group['Пришел'] == True]
|
||||
best_row = present_rows.iloc[0].to_dict() if not present_rows.empty else group.iloc[0].to_dict()
|
||||
else:
|
||||
best_row = group.iloc[0].to_dict()
|
||||
|
||||
best_row['Пришел'] = is_present
|
||||
aggregated.append(best_row)
|
||||
|
||||
return pd.DataFrame(aggregated)
|
||||
|
||||
|
||||
def filter_report_dataframe(merged_df: pd.DataFrame) -> pd.DataFrame:
|
||||
"""Исключает подрядчиков и сотрудников без пропуска из детального отчета."""
|
||||
if merged_df is None or merged_df.empty:
|
||||
return merged_df
|
||||
|
||||
has_1c_reason = (
|
||||
merged_df['Вид_отсутствия'].notna() &
|
||||
(merged_df['Вид_отсутствия'].astype(str).str.strip() != '') &
|
||||
(~merged_df['Вид_отсутствия'].astype(str).str.startswith('Исключение'))
|
||||
)
|
||||
is_not_excluded = merged_df.get('is_excluded', False) == False
|
||||
is_not_no_pass = merged_df.get('no_scud_pass', False) == False
|
||||
|
||||
return merged_df[(is_not_excluded & is_not_no_pass) | has_1c_reason].copy()
|
||||
|
||||
|
||||
def load_static_reason_workers() -> dict:
|
||||
"""Загружает реестр удаленщиков из CSV."""
|
||||
static_path = os.path.join(DATA_DIR, "static_reason_workers.csv")
|
||||
if not os.path.exists(static_path):
|
||||
return {}
|
||||
try:
|
||||
df_static = pd.read_csv(static_path, encoding='utf-8')
|
||||
if 'fio' in df_static.columns and 'reason' in df_static.columns:
|
||||
df_static['fio_clean'] = df_static['fio'].apply(normalize_fio)
|
||||
return dict(zip(df_static['fio_clean'], df_static['reason']))
|
||||
except Exception:
|
||||
pass
|
||||
return {}
|
||||
return {
|
||||
"total_staff": total_staff,
|
||||
"working_in_office_count": working_in_office_count,
|
||||
"remote_home_count": remote_home_count,
|
||||
"official_absent_count": official_absent_count,
|
||||
"unknown_count": unknown_count,
|
||||
"unknown_list": unknown[["fio_clean", "Подразделение", "Должность"]].to_dict(orient="records") if not unknown.empty else []
|
||||
}
|
||||
Reference in New Issue
Block a user