промежуточно. Работает все, неверно формируется вчерашний отчет (нет выхода).
This commit is contained in:
@@ -6,20 +6,17 @@ import pandas as pd
|
||||
sys.path.append(os.path.dirname(os.path.abspath(__file__)))
|
||||
|
||||
from config import DATE_TODAY, DATE_YESTERDAY, OUTPUT_DIR, DATA_DIR, normalize_fio
|
||||
from modules.scud_export import run_export
|
||||
from modules.data_validator import check_file_freshness
|
||||
from modules.data_loader import load_all_data
|
||||
from modules.excel_exporter import generate_summary_excel, generate_detailed_excel
|
||||
from modules.ai_verifier import ai_verify_scud_against_staff
|
||||
from modules.text_reporter import generate_markdown_report
|
||||
from modules.feedback_loop import review_ai_decisions
|
||||
from modules.knowledge_base import load_knowledge_base
|
||||
|
||||
|
||||
def load_static_reason_workers():
|
||||
"""
|
||||
Загружает реестр сотрудников со статическими/особыми причинами
|
||||
из static_reason_workers.csv.
|
||||
Возвращает словарь: {fio_clean: reason}
|
||||
"""
|
||||
static_path = os.path.join(DATA_DIR, "static_reason_workers.csv")
|
||||
if not os.path.exists(static_path):
|
||||
return {}
|
||||
@@ -33,12 +30,60 @@ def load_static_reason_workers():
|
||||
return {}
|
||||
|
||||
|
||||
def detect_all_anomalies(merged_df, static_reasons_dict, kb_rules):
|
||||
"""
|
||||
Автоматически находит логические конфликты между СКУД, 1С, статической удалёнкой и исключениями
|
||||
с учётом динамических правил из базы знаний (knowledge_base.json).
|
||||
"""
|
||||
anomalies = []
|
||||
kb_rules_text = " ".join(kb_rules).lower() if kb_rules else ""
|
||||
|
||||
for idx, row in merged_df.iterrows():
|
||||
fio = row.get('Сотрудник', row.get('fio_clean', ''))
|
||||
fio_clean = row.get('fio_clean', '')
|
||||
is_present = row.get('Пришел', False)
|
||||
reason_1c = str(row.get('Вид_отсутствия', '')).strip()
|
||||
has_1c_reason = pd.notna(row.get('Вид_отсутствия')) and reason_1c != ''
|
||||
is_excluded = row.get('is_excluded', False)
|
||||
has_static_reason = fio_clean in static_reasons_dict
|
||||
|
||||
is_fio_whitelisted_in_kb = fio_clean.lower() in kb_rules_text
|
||||
|
||||
# 🚨 АНОМАЛИЯ 1: Пришел по СКУД, но в 1С числится отсутствие
|
||||
if is_present and has_1c_reason:
|
||||
if not is_fio_whitelisted_in_kb:
|
||||
anomalies.append({
|
||||
"type": "ФИЗИЧЕСКОЕ ПРИСУТСТВИЕ ПРИ ОФИЦИАЛЬНОМ ОТСУТСТВИИ",
|
||||
"fio": fio,
|
||||
"details": f"Сотрудник пришел по СКУД, но в 1С оформлено: '{reason_1c}'"
|
||||
})
|
||||
|
||||
# 🚨 АНОМАЛИЯ 2: Удаленщик физически пришел в офис
|
||||
if is_present and has_static_reason:
|
||||
static_val = static_reasons_dict[fio_clean]
|
||||
if 'удален' in str(static_val).lower():
|
||||
if not is_fio_whitelisted_in_kb:
|
||||
anomalies.append({
|
||||
"type": "УДАЛЁНЩИК В ОФИСЕ",
|
||||
"fio": fio,
|
||||
"details": f"Сотрудник числится как '{static_val}' в реестре, но сегодня зафиксирован вход по СКУД."
|
||||
})
|
||||
|
||||
# 🚨 АНОМАЛИЯ 3: Конфликт 1С и Статического реестра
|
||||
if has_static_reason and has_1c_reason:
|
||||
static_val = static_reasons_dict[fio_clean]
|
||||
if reason_1c.lower() != static_val.lower() and not is_present:
|
||||
if not is_fio_whitelisted_in_kb:
|
||||
anomalies.append({
|
||||
"type": "КОНФЛИКТ СПРАВОЧНИКОВ (1С vs РЕЕСТР)",
|
||||
"fio": fio,
|
||||
"details": f"В стат. реестре указано '{static_val}', а в 1С оформлен документ '{reason_1c}'"
|
||||
})
|
||||
|
||||
return anomalies
|
||||
|
||||
|
||||
def aggregate_scud_by_employee(df, debug=False):
|
||||
"""
|
||||
Агрегирует записи СКУД по сотруднику (fio_clean).
|
||||
Устраняет дубликаты карт/табельных номеров (например, Кондрашова Е.В.):
|
||||
Если человек пришел хотя бы по одной карте — Пришел = True.
|
||||
"""
|
||||
if df.empty or 'fio_clean' not in df.columns:
|
||||
return df
|
||||
|
||||
@@ -53,10 +98,6 @@ def aggregate_scud_by_employee(df, debug=False):
|
||||
best_row = group.iloc[0].to_dict()
|
||||
|
||||
best_row['Пришел'] = is_present
|
||||
|
||||
if debug and len(group) > 1:
|
||||
print(f" [DEBUG] Найдено дубликатов карт/записей для {fio_clean}: {len(group)} шт. Статус присутствия: {is_present}")
|
||||
|
||||
aggregated.append(best_row)
|
||||
|
||||
return pd.DataFrame(aggregated)
|
||||
@@ -64,7 +105,8 @@ def aggregate_scud_by_employee(df, debug=False):
|
||||
|
||||
def main():
|
||||
parser = argparse.ArgumentParser(description="Система модульного контроллинга СКУД ⟷ 1С")
|
||||
parser.add_argument('-d', '--debug', action='store_true', help="Запуск в режиме отладки (подробный вывод)")
|
||||
parser.add_argument('-d', '--debug', action='store_true', help="Запуск в режиме отладки")
|
||||
parser.add_argument('--skip-export', action='store_true', help="Пропустить выгрузку СКУД из MS SQL")
|
||||
args = parser.parse_args()
|
||||
|
||||
DEBUG = args.debug
|
||||
@@ -73,8 +115,22 @@ def main():
|
||||
print(f"ЗАПУСК СИСТЕМЫ МОДУЛЬНОГО КОНТРОЛЛИНГА СКУД ⟷ 1С {'[DEBUG MODE]' if DEBUG else ''}")
|
||||
print("=" * 60)
|
||||
|
||||
# 0. Валидация файлов
|
||||
print("[0/5] Проверка актуальности и свежести входных файлов...")
|
||||
# Загружаем существующие правила из Базы Знаний
|
||||
kb_data = load_knowledge_base()
|
||||
kb_rules = kb_data.get("rules", [])
|
||||
|
||||
# 0. Выгрузка из БД
|
||||
if not args.skip_export:
|
||||
print("[0/5] Экспорт свежих данных из базы СКУД 'Орион Pro'...")
|
||||
try:
|
||||
run_export(debug=DEBUG)
|
||||
except Exception as e:
|
||||
print(f"[⚠️] Ошибка автоэкспорта из БД: {e}. Используем файлы в data/scud.")
|
||||
else:
|
||||
print("[0/5] Пропуск прямого экспорта из БД (--skip-export)...")
|
||||
|
||||
# 1. Валидация
|
||||
print("[1/5] Проверка актуальности и свежести входных файлов...")
|
||||
is_valid, warnings, errors = check_file_freshness()
|
||||
|
||||
if warnings:
|
||||
@@ -93,40 +149,43 @@ def main():
|
||||
|
||||
print("[✓] Проверка актуальности успешно пройдена!\n")
|
||||
|
||||
# 1. Загрузка данных
|
||||
print("[1/5] Загрузка данных СКУД, 1С, реестра статических причин и исключений...")
|
||||
# 2. Загрузка данных
|
||||
print("[2/5] Загрузка данных из data/scud, data/1c, реестра причин и исключений...")
|
||||
raw_scud_df, staff_fios_clean, df_absent = load_all_data()
|
||||
static_reasons_dict = load_static_reason_workers()
|
||||
|
||||
if DEBUG:
|
||||
print(f" [DEBUG] Загружено записей СКУД: {len(raw_scud_df)}")
|
||||
print(f" [DEBUG] Загружено сотрудников из 1С: {len(staff_fios_clean)}")
|
||||
print(f" [DEBUG] Загружено докум. отсутствий 1С: {len(df_absent)}")
|
||||
print(f" [DEBUG] Загружено статических причин: {len(static_reasons_dict)}")
|
||||
|
||||
# 2. ИИ-сверка ФИО
|
||||
print("[2/5] Проверка опечаток и сопоставление ФИО через ИИ...")
|
||||
# 3. ИИ-сверка ФИО (СКУД + 1С)
|
||||
print("[3/5] Проверка опечаток и сопоставление ФИО через ИИ...")
|
||||
scud_unrecognized = raw_scud_df[~raw_scud_df['fio_clean'].isin(staff_fios_clean)]['fio_clean'].tolist()
|
||||
fio_mapping = ai_verify_scud_against_staff(scud_unrecognized, staff_fios_clean)
|
||||
fio_mapping_scud = ai_verify_scud_against_staff(scud_unrecognized, staff_fios_clean)
|
||||
|
||||
if fio_mapping:
|
||||
print(f" [ИИ] Найдено и исправлено совпадений/опечаток: {len(fio_mapping)}")
|
||||
if fio_mapping_scud:
|
||||
print(f" [ИИ] Найдено совпадений в СКУД: {len(fio_mapping_scud)}")
|
||||
raw_scud_df['fio_clean'] = raw_scud_df['fio_clean'].apply(
|
||||
lambda x: fio_mapping[x]['staff_fio'] if x in fio_mapping else x
|
||||
lambda x: fio_mapping_scud[x]['staff_fio'] if x in fio_mapping_scud else x
|
||||
)
|
||||
|
||||
# 2.1 Агрегация нескольких карт/дубликатов
|
||||
absent_unrecognized = df_absent[~df_absent['fio_clean'].isin(staff_fios_clean)]['fio_clean'].tolist()
|
||||
if absent_unrecognized:
|
||||
fio_mapping_absent = ai_verify_scud_against_staff(absent_unrecognized, staff_fios_clean)
|
||||
if fio_mapping_absent:
|
||||
print(f" [ИИ] Найдено совпадений в 1С Отсутствиях: {len(fio_mapping_absent)}")
|
||||
df_absent['fio_clean'] = df_absent['fio_clean'].apply(
|
||||
lambda x: fio_mapping_absent[x]['staff_fio'] if x in fio_mapping_absent else x
|
||||
)
|
||||
|
||||
raw_scud_df = aggregate_scud_by_employee(raw_scud_df, debug=DEBUG)
|
||||
|
||||
# 3. Объединение данных и иерархия приоритетов
|
||||
print("[3/5] Объединение реестров 1С, СКУД, статических причин и исключений...")
|
||||
# 4. Объединение и детекция
|
||||
print("[4/5] Объединение реестров 1С, СКУД, статических причин и исключений...")
|
||||
merged = raw_scud_df[raw_scud_df['fio_clean'].isin(staff_fios_clean)].copy()
|
||||
|
||||
# 🎯 ПРИОРИТЕТ 1: Выгрузка докум. отсутствий 1С:ЗУП (Отсутствия сотрудников - выгрузка.xlsx)
|
||||
merged = merged.merge(df_absent, on='fio_clean', how='left')
|
||||
|
||||
# 🎯 ПРИОРИТЕТ 2: Статические причины из static_reason_workers.csv
|
||||
# Применяются ТОЛЬКО если в 1С:ЗУП документа нет и сотрудник отсутствует в СКУД
|
||||
# Детекция аномалий С УЧЁТОМ НАКОПЛЕННОЙ БАЗЫ ЗНАНИЙ
|
||||
anomalies_list = detect_all_anomalies(merged, static_reasons_dict, kb_rules)
|
||||
|
||||
# Применение статических причин (ТОЛЬКО ДЛЯ ТЕХ, КТО НЕ ПРИШЕЛ В ОФИС)
|
||||
if static_reasons_dict:
|
||||
for fio_clean, reason_val in static_reasons_dict.items():
|
||||
mask_apply_static = (
|
||||
@@ -136,9 +195,7 @@ def main():
|
||||
)
|
||||
merged.loc[mask_apply_static, 'Вид_отсутствия'] = reason_val
|
||||
|
||||
# 🎯 ПРИОРИТЕТ 3: Исключения по должности/департаменту/ФИО (exceptions.json)
|
||||
# Если сотрудник попал в исключения (is_excluded = True), НЕ пришел в СКУД и НЕ имеет документа в 1С:
|
||||
# Присваиваем ему статус "Исключение (ОВК/Подрядчики)", чтобы он НЕ ПОПАДАЛ в неизвестные!
|
||||
# Применение исключений
|
||||
mask_apply_exceptions = (
|
||||
(merged['Пришел'] == False) &
|
||||
(merged['Вид_отсутствия'].isna() | (merged['Вид_отсутствия'].astype(str).str.strip() == '')) &
|
||||
@@ -153,43 +210,42 @@ def main():
|
||||
if DEBUG:
|
||||
print("\n--- [DEBUG STATS] ---")
|
||||
print(f" Всего по списку: {len(merged)}")
|
||||
print(f" Присутствуют на рабочем месте: {len(merged[merged['Пришел'] == True])}")
|
||||
print(f" Официально отсутствуют (1С + стат. причины + исключения): {len(absent_explained)}")
|
||||
is_working_mask = (merged['Пришел'] == True) | (
|
||||
merged['Вид_отсутствия'].astype(str).str.lower().str.contains('командировк|удален|дистанцион|разъездн', regex=True, na=False)
|
||||
)
|
||||
print(f" Работают (офис / удаленка / командировки): {len(merged[is_working_mask])}")
|
||||
print(f" Официально отсутствуют: {len(absent_explained)}")
|
||||
print(f" Истинно неизвестные случаи: {len(absent_unexplained)}")
|
||||
if not absent_unexplained.empty:
|
||||
print(" Список неизвестных:")
|
||||
for fio in absent_unexplained['Сотрудник'].dropna().tolist():
|
||||
print(f" - {fio}")
|
||||
print(f" Обнаружено комплексных аномалий: {len(anomalies_list)}")
|
||||
print("---------------------\n")
|
||||
|
||||
# 4. ИИ-анализ и интерактивная проверка (HITL)
|
||||
print("[4/5] Запуск ИИ-аудитора и проверка аномалий...")
|
||||
# 5. ИИ-аудитор
|
||||
print("[5/5] Запуск ИИ-аудитора и глубокий анализ аномалий...")
|
||||
report_text = generate_markdown_report(
|
||||
merged_df=merged,
|
||||
absent_explained=absent_explained,
|
||||
absent_unexplained=absent_unexplained,
|
||||
scud_present_but_absent_in_1c=scud_present_but_absent_in_1c,
|
||||
anomalies_list=anomalies_list,
|
||||
raw_scud_df=raw_scud_df,
|
||||
date_str=DATE_TODAY
|
||||
)
|
||||
|
||||
suspicious_cases = []
|
||||
if not scud_present_but_absent_in_1c.empty:
|
||||
for _, row in scud_present_but_absent_in_1c.iterrows():
|
||||
if anomalies_list:
|
||||
for a in anomalies_list:
|
||||
suspicious_cases.append({
|
||||
'fio_target': row.get('Сотрудник', ''),
|
||||
'reason': f"Пришел по СКУД, но в 1С зафиксировано: {row.get('Вид_отсутствия', '')}"
|
||||
'fio_target': a['fio'],
|
||||
'reason': f"{a['type']}: {a['details']}"
|
||||
})
|
||||
|
||||
review_ai_decisions(report_text, suspicious_cases)
|
||||
|
||||
# 5. Формирование Excel и Markdown отчетов
|
||||
print("[5/5] Формирование итоговых Excel и Markdown отчетов...")
|
||||
generate_summary_excel(merged_df=merged, date_str=DATE_TODAY)
|
||||
generate_detailed_excel(merged_df=merged, date_str=DATE_YESTERDAY)
|
||||
|
||||
print("\n" + "=" * 60)
|
||||
print("ГОТОВАЯ ТЕКСТОВАЯ СВОДКА ИИ:")
|
||||
print("ГОТОВАЯ ТЕКСТОВАЯ СВОДКА ИИС-АУДИТОРА:")
|
||||
print("=" * 60)
|
||||
print(report_text)
|
||||
|
||||
|
||||
Reference in New Issue
Block a user