проект теперь работает с использованием локальной базы данных SQLite. Все данные аккумулируются и хранятся в ней. Впереди - разработка веб интерфейса.

This commit is contained in:
2026-08-03 12:59:23 +03:00
parent d39618c891
commit 0efbe4ff99
14 changed files with 976 additions and 300 deletions
+183 -152
View File
@@ -7,6 +7,7 @@ sys.path.append(os.path.dirname(os.path.abspath(__file__)))
from config import DATE_TODAY, DATE_YESTERDAY, OUTPUT_DIR, DATA_DIR, normalize_fio
from modules.scud_export import run_export
from modules.share_copier import copy_1c_files_from_share
from modules.data_validator import check_file_freshness
from modules.data_loader import load_all_data
from modules.excel_exporter import generate_summary_excel, generate_detailed_excel
@@ -14,9 +15,17 @@ from modules.ai_verifier import ai_verify_scud_against_staff
from modules.text_reporter import generate_markdown_report
from modules.feedback_loop import review_ai_decisions
from modules.knowledge_base import load_knowledge_base
from modules.database import (
init_db,
save_scud_to_db,
save_staff_to_db,
save_absences_to_db,
save_anomalies_to_db
)
def load_static_reason_workers():
"""Загружает реестр удалёнщиков и статических причин из CSV."""
static_path = os.path.join(DATA_DIR, "static_reason_workers.csv")
if not os.path.exists(static_path):
return {}
@@ -32,58 +41,45 @@ def load_static_reason_workers():
def detect_all_anomalies(merged_df, static_reasons_dict, kb_rules):
"""
Автоматически находит логические конфликты между СКУД, 1С, статической удалёнкой и исключениями
с учётом динамических правил из базы знаний (knowledge_base.json).
Автоматически находит ИСТИННЫЕ аномалии.
ПРАВИЛА КОМПАНИИ:
1. Удалённые сотрудники имеют право беспрепятственно работать в офисе (НЕ аномалия).
2. Документы отсутствий из 1С имеют 100% приоритет над стат. реестром (НЕ аномалия).
3. АНОМАЛИЯ — Физический выход по СКУД при наличии в 1С ЛЮБЫХ причин отсутствия
(отпуск, больничный, уход за ребенком и т.д.), КРОМЕ командировок и служебных поездок.
"""
anomalies = []
kb_rules_text = " ".join(kb_rules).lower() if kb_rules else ""
ALLOWED_WORK_TRIP_KEYWORDS = ['командировк', 'разъездн', 'поездк']
for idx, row in merged_df.iterrows():
fio = row.get('Сотрудник', row.get('fio_clean', ''))
fio_clean = row.get('fio_clean', '')
is_present = row.get('Пришел', False)
reason_1c = str(row.get('Вид_отсутствия', '')).strip()
has_1c_reason = pd.notna(row.get('Вид_отсутствия')) and reason_1c != ''
has_static_reason = fio_clean in static_reasons_dict
is_fio_whitelisted_in_kb = fio_clean.lower() in kb_rules_text
# 🚨 АНОМАЛИЯ 1: Пришел по СКУД, но в 1С числится отсутствие (Отпуск/Больничный)
if is_present and has_1c_reason:
if not is_fio_whitelisted_in_kb:
reason_lower = reason_1c.lower()
is_allowed_trip = any(kw in reason_lower for kw in ALLOWED_WORK_TRIP_KEYWORDS)
if not is_allowed_trip and not is_fio_whitelisted_in_kb:
anomalies.append({
"type": "ФИЗИЧЕСКОЕ ПРИСУТСТВИЕ ПРИ ОФИЦИАЛЬНОМ ОТСУТСТВИИ",
"fio": fio,
"details": f"Сотрудник пришел по СКУД, но в 1С оформлено: '{reason_1c}'"
"details": f"Сотрудник пришел по СКУД, но в 1С оформлен документ: '{reason_1c}'"
})
# 🚨 АНОМАЛИЯ 2: Удаленщик физически пришел в офис
if is_present and has_static_reason:
static_val = static_reasons_dict[fio_clean]
if 'удален' in str(static_val).lower():
if not is_fio_whitelisted_in_kb:
anomalies.append({
"type": "УДАЛЁНЩИК В ОФИСЕ",
"fio": fio,
"details": f"Сотрудник числится как '{static_val}' в реестре, но сегодня зафиксирован вход по СКУД."
})
# 🚨 АНОМАЛИЯ 3: Конфликт 1С и Статического реестра
if has_static_reason and has_1c_reason:
static_val = static_reasons_dict[fio_clean]
if reason_1c.lower() != static_val.lower() and not is_present:
if not is_fio_whitelisted_in_kb:
anomalies.append({
"type": "КОНФЛИКТ СПРАВОЧНИКОВ (1С vs РЕЕСТР)",
"fio": fio,
"details": f"В стат. реестре указано '{static_val}', а в 1С оформлен документ '{reason_1c}'"
})
return anomalies
def aggregate_scud_by_employee(df, debug=False):
if df.empty or 'fio_clean' not in df.columns:
"""Агрегирует проходы СКУД по уникальным сотрудникам."""
if df is None or df.empty or 'fio_clean' not in df.columns:
return df
aggregated = []
@@ -106,186 +102,221 @@ def main():
parser = argparse.ArgumentParser(description="Система модульного контроллинга СКУД ⟷ 1С")
parser.add_argument('-d', '--debug', action='store_true', help="Запуск в режиме отладки")
parser.add_argument('--skip-export', action='store_true', help="Пропустить выгрузку СКУД из MS SQL")
parser.add_argument('--with-xlsx', action='store_true', help="Сохранять дублирующие сырые XLSX-файлы в папке data/")
args = parser.parse_args()
DEBUG = args.debug
SAVE_XLSX = args.with_xlsx
print("=" * 60)
print(f"ЗАПУСК СИСТЕМЫ МОДУЛЬНОГО КОНТРОЛЛИНГА СКУД ⟷ 1С {'[DEBUG MODE]' if DEBUG else ''}")
print("=" * 60)
# Загружаем существующие правила из Базы Знаний
# 0. Инициализация локальной базы данных SQLite и Базы Знаний
init_db()
kb_data = load_knowledge_base()
kb_rules = kb_data.get("rules", [])
# 0. Выгрузка из БД СКУД
# 0.1 Выгрузка из БД СКУД напрямую в SQLite
if not args.skip_export:
print("[0/5] Экспорт свежих данных из базы СКУД 'Орион Pro'...")
try:
run_export(debug=DEBUG)
run_export(save_xlsx=SAVE_XLSX, debug=DEBUG)
except Exception as e:
print(f"[⚠️] Ошибка автоэкспорта из БД: {e}. Используем имеющиеся файлы в data/scud.")
print(f"[⚠️] Ошибка автоэкспорта из БД: {e}. Используем имеющиеся записи в SQLite.")
else:
print("[0/5] Пропуск прямого экспорта из БД (--skip-export)...")
# 1. Валидация файлов
print("[1/5] Проверка актуальности и свежести входных файлов...")
is_valid, warnings, errors = check_file_freshness()
# 0.5 Копирование файлов 1С с сетевой шары \\storage\SCUD\Обмен\Штат
copy_1c_files_from_share()
# 1. Валидация наличия файлов и данных
print("[1/5] Проверка актуальности и свежести входных данных...")
is_valid, warnings, errors, has_today_1c = check_file_freshness()
if warnings:
print("\n--- ⚠️ ПРЕДУПРЕЖДЕНИЯ ОБ АКТУАЛЬНОСТИ ---")
for w in warnings:
print(f" {w}")
print(f" • {w}")
print("-" * 45)
if not is_valid:
print("\n" + "!" * 60)
print("🛑 ОСТАНОВКА ВЫПОЛНЕНИЯ: Обнаружены критические ошибки данных!")
print("🛑 ОСТАНОВКА ВЫПОЛНЕНИЯ: Отсутствуют критически важные файлы за вчерашний день!")
for e in errors:
print(f" {e}")
print("!" * 60)
sys.exit(1)
print("[✓] Проверка актуальности успешно пройдена!\n")
print("[✓] Проверка доступности данных успешно пройдена!\n")
# 2. Раздельная загрузка данных (Сегодня и Вчера)
print("[2/5] Загрузка данных из data/scud, data/1c, реестра причин и исключений...")
raw_scud_today_df, raw_scud_yesterday_df, staff_fios_clean, df_absent = load_all_data()
# 2. Раздельная загрузка данных за Сегодня и за Вчера
print("[2/5] Загрузка данных из СКУД, 1С:ЗУП, реестра причин и исключений...")
(
raw_scud_today_df,
raw_scud_yesterday_df,
df_staff_today,
df_absent_today,
df_staff_yesterday,
df_absent_yesterday
) = load_all_data()
# 💾 СОХРАНЕНИЕ КАДРОВЫХ СРЕЗОВ 1С В БАЗУ ДАННЫХ SQLite
if df_staff_yesterday is not None:
save_staff_to_db(df_staff_yesterday, DATE_YESTERDAY)
if df_absent_yesterday is not None:
save_absences_to_db(df_absent_yesterday, DATE_YESTERDAY)
if df_staff_today is not None:
save_staff_to_db(df_staff_today, DATE_TODAY)
if df_absent_today is not None:
save_absences_to_db(df_absent_today, DATE_TODAY)
staff_fios_yesterday_clean = df_staff_yesterday['fio_clean'].dropna().tolist() if df_staff_yesterday is not None else []
static_reasons_dict = load_static_reason_workers()
# 3. ИИ-сверка ФИО (СКУД + 1С)
print("[3/5] Проверка опечаток и сопоставление ФИО через ИИ...")
# ============================================================
# 🎯 ЧАСТЬ 1: ДЕТАЛЬНЫЙ ОТЧЕТ ЗА ВЧЕРА (Строится Всегда)
# ============================================================
print("\n[3/5] Обработка данных за ВЧЕРА...")
scud_yesterday_unrecognized = raw_scud_yesterday_df[~raw_scud_yesterday_df['fio_clean'].isin(staff_fios_yesterday_clean)]['fio_clean'].tolist() if not raw_scud_yesterday_df.empty else []
# Сверка СКУД (Сегодня)
scud_unrecognized = raw_scud_today_df[~raw_scud_today_df['fio_clean'].isin(staff_fios_clean)]['fio_clean'].tolist()
fio_mapping_scud = ai_verify_scud_against_staff(scud_unrecognized, staff_fios_clean)
if fio_mapping_scud:
print(f" [ИИ] Найдено совпадений в СКУД (Сегодня): {len(fio_mapping_scud)}")
raw_scud_today_df['fio_clean'] = raw_scud_today_df['fio_clean'].apply(
lambda x: fio_mapping_scud[x]['staff_fio'] if x in fio_mapping_scud else x
)
# Сверка СКУД (Вчера)
scud_yesterday_unrecognized = raw_scud_yesterday_df[~raw_scud_yesterday_df['fio_clean'].isin(staff_fios_clean)]['fio_clean'].tolist()
fio_mapping_scud_y = ai_verify_scud_against_staff(scud_yesterday_unrecognized, staff_fios_clean)
fio_mapping_scud_y = ai_verify_scud_against_staff(scud_yesterday_unrecognized, staff_fios_yesterday_clean)
if fio_mapping_scud_y:
print(f" [ИИ] Найдено совпадений в СКУД (Вчера): {len(fio_mapping_scud_y)}")
raw_scud_yesterday_df['fio_clean'] = raw_scud_yesterday_df['fio_clean'].apply(
lambda x: fio_mapping_scud_y[x]['staff_fio'] if x in fio_mapping_scud_y else x
)
# Сверка 1С:Отсутствий
absent_unrecognized = df_absent[~df_absent['fio_clean'].isin(staff_fios_clean)]['fio_clean'].tolist()
if absent_unrecognized:
fio_mapping_absent = ai_verify_scud_against_staff(absent_unrecognized, staff_fios_clean)
if fio_mapping_absent:
print(f" [ИИ] Найдено совпадений в 1С Отсутствиях: {len(fio_mapping_absent)}")
df_absent['fio_clean'] = df_absent['fio_clean'].apply(
lambda x: fio_mapping_absent[x]['staff_fio'] if x in fio_mapping_absent else x
)
if df_absent_yesterday is not None and not df_absent_yesterday.empty:
absent_unrecognized_yesterday = df_absent_yesterday[~df_absent_yesterday['fio_clean'].isin(staff_fios_yesterday_clean)]['fio_clean'].tolist()
if absent_unrecognized_yesterday:
fio_mapping_absent_y = ai_verify_scud_against_staff(absent_unrecognized_yesterday, staff_fios_yesterday_clean)
if fio_mapping_absent_y:
df_absent_yesterday['fio_clean'] = df_absent_yesterday['fio_clean'].apply(
lambda x: fio_mapping_absent_y[x]['staff_fio'] if x in fio_mapping_absent_y else x
)
raw_scud_today_df = aggregate_scud_by_employee(raw_scud_today_df, debug=DEBUG)
raw_scud_yesterday_df = aggregate_scud_by_employee(raw_scud_yesterday_df, debug=DEBUG)
# 4. Объединение и детекция
print("[4/5] Объединение реестров 1С, СКУД, статических причин и исключений...")
# Датасет СЕГОДНЯ
merged_today = raw_scud_today_df[raw_scud_today_df['fio_clean'].isin(staff_fios_clean)].copy()
merged_today = merged_today.merge(df_absent, on='fio_clean', how='left')
merged_yesterday = raw_scud_yesterday_df[raw_scud_yesterday_df['fio_clean'].isin(staff_fios_yesterday_clean)].copy()
if df_absent_yesterday is not None:
merged_yesterday = merged_yesterday.merge(df_absent_yesterday, on='fio_clean', how='left')
# Датасет ВЧЕРА
merged_yesterday = raw_scud_yesterday_df[raw_scud_yesterday_df['fio_clean'].isin(staff_fios_clean)].copy()
merged_yesterday = merged_yesterday.merge(df_absent, on='fio_clean', how='left')
# Детекция аномалий С УЧЁТОМ БАЗЫ ЗНАНИЙ (по сегодняшнему дню)
anomalies_list = detect_all_anomalies(merged_today, static_reasons_dict, kb_rules)
# Применение статических причин и исключений для СЕГОДНЯ и ВЧЕРА
if static_reasons_dict:
for fio_clean, reason_val in static_reasons_dict.items():
mask_apply_static = (
(merged_today['Пришел'] == False) &
(merged_today['Вид_отсутствия'].isna() | (merged_today['Вид_отсутствия'].astype(str).str.strip() == '')) &
(merged_today['fio_clean'] == fio_clean)
)
merged_today.loc[mask_apply_static, 'Вид_отсутствия'] = reason_val
mask_apply_static_y = (
mask_yesterday = (
(merged_yesterday['Пришел'] == False) &
(merged_yesterday['Вид_отсутствия'].isna() | (merged_yesterday['Вид_отсутствия'].astype(str).str.strip() == '')) &
(merged_yesterday['fio_clean'] == fio_clean)
)
merged_yesterday.loc[mask_apply_static_y, 'Вид_отсутствия'] = reason_val
merged_yesterday.loc[mask_yesterday, 'Вид_отсутствия'] = reason_val
mask_apply_exceptions = (
(merged_today['Пришел'] == False) &
(merged_today['Вид_отсутствия'].isna() | (merged_today['Вид_отсутствия'].astype(str).str.strip() == '')) &
(merged_today.get('is_excluded', False) == True)
)
merged_today.loc[mask_apply_exceptions, 'Вид_отсутствия'] = 'Исключение (ОВК/Подрядчики)'
mask_apply_exceptions_y = (
mask_exc_yesterday = (
(merged_yesterday['Пришел'] == False) &
(merged_yesterday['Вид_отсутствия'].isna() | (merged_yesterday['Вид_отсутствия'].astype(str).str.strip() == '')) &
(merged_yesterday.get('is_excluded', False) == True)
)
merged_yesterday.loc[mask_apply_exceptions_y, 'Вид_отсутствия'] = 'Исключение (ОВК/Подрядчики)'
merged_yesterday.loc[mask_exc_yesterday, 'Вид_отсутствия'] = 'Исключение (ОВК/Подрядчики)'
absent_explained = merged_today[(merged_today['Пришел'] == False) & (merged_today['Вид_отсутствия'].notna())]
absent_unexplained = merged_today[(merged_today['Пришел'] == False) & (merged_today['Вид_отсутствия'].isna())]
scud_present_but_absent_in_1c = merged_today[(merged_today['Пришел'] == True) & (merged_today['Вид_отсутствия'].notna())]
if DEBUG:
print("\n--- [DEBUG STATS] ---")
print(f" Всего по списку: {len(merged_today)}")
is_working_mask = (merged_today['Пришел'] == True) | (
merged_today['Вид_отсутствия'].astype(str).str.lower().str.contains('командировк|удален|дистанцион|разъездн', regex=True, na=False)
)
print(f" Работают сегодня: {len(merged_today[is_working_mask])}")
print(f" Официально отсутствуют: {len(absent_explained)}")
print(f" Истинно неизвестные случаи: {len(absent_unexplained)}")
print(f" Обнаружено аномалий: {len(anomalies_list)}")
print("---------------------\n")
# 5. ИИ-аудитор и сборка финальных Excel-отчетов
print("[5/5] Запуск ИИ-аудитора и сборка финальных Excel-отчетов...")
report_text = generate_markdown_report(
merged_df=merged_today,
absent_explained=absent_explained,
absent_unexplained=absent_unexplained,
scud_present_but_absent_in_1c=scud_present_but_absent_in_1c,
anomalies_list=anomalies_list,
raw_scud_df=raw_scud_today_df,
raw_absent_df=df_absent, # <-- ВАЖНО: передаем выгрузку 1С для ИИ-кросс-сверки
date_str=DATE_TODAY
)
suspicious_cases = []
if anomalies_list:
for a in anomalies_list:
suspicious_cases.append({
'fio_target': a['fio'],
'reason': f"{a['type']}: {a['details']}"
})
review_ai_decisions(report_text, suspicious_cases)
# 1. Ежедневная сводка -> формируется по СЕГОДНЯШНЕМУ датасету
generate_summary_excel(merged_df=merged_today, date_str=DATE_TODAY)
# 2. Детальный отчет -> формируется по ВЧЕРАШНЕМУ датасету
generate_detailed_excel(merged_df=merged_yesterday, date_str=DATE_YESTERDAY)
print("\n" + "=" * 60)
print("ГОТОВАЯ ТЕКСТОВАЯ СВОДКА ИИС-АУДИТОРА:")
print("=" * 60)
print(report_text)
md_report_path = os.path.join(OUTPUT_DIR, f"Сводка_контроллинга_{DATE_TODAY}.md")
with open(md_report_path, "w", encoding="utf-8") as f:
f.write(report_text)
print(f"\n[✓] Текстовый отчет сохранен в: {md_report_path}")
# 💾 СОХРАНЕНИЕ ВЧЕРАШНИХ ДАННЫХ В SQLite:
save_scud_to_db(merged_yesterday, DATE_YESTERDAY)
# ============================================================
# 🎯 ЧАСТЬ 2: ЕЖЕДНЕВНАЯ СВОДКА ЗА СЕГОДНЯ
# ============================================================
# 💾 СОХРАНЯЕМ СЕГОДНЯШНИЙ СКУД В SQLite (Даже если 1С еще не пришла):
save_scud_to_db(raw_scud_today_df, DATE_TODAY)
if has_today_1c and df_staff_today is not None and df_absent_today is not None:
print("\n[4/5] Обработка данных за СЕГОДНЯ...")
staff_fios_today_clean = df_staff_today['fio_clean'].dropna().tolist()
scud_unrecognized = raw_scud_today_df[~raw_scud_today_df['fio_clean'].isin(staff_fios_today_clean)]['fio_clean'].tolist()
fio_mapping_scud = ai_verify_scud_against_staff(scud_unrecognized, staff_fios_today_clean)
if fio_mapping_scud:
raw_scud_today_df['fio_clean'] = raw_scud_today_df['fio_clean'].apply(
lambda x: fio_mapping_scud[x]['staff_fio'] if x in fio_mapping_scud else x
)
absent_unrecognized_today = df_absent_today[~df_absent_today['fio_clean'].isin(staff_fios_today_clean)]['fio_clean'].tolist()
if absent_unrecognized_today:
fio_mapping_absent = ai_verify_scud_against_staff(absent_unrecognized_today, staff_fios_today_clean)
if fio_mapping_absent:
df_absent_today['fio_clean'] = df_absent_today['fio_clean'].apply(
lambda x: fio_mapping_absent[x]['staff_fio'] if x in fio_mapping_absent else x
)
raw_scud_today_df = aggregate_scud_by_employee(raw_scud_today_df, debug=DEBUG)
merged_today = raw_scud_today_df[raw_scud_today_df['fio_clean'].isin(staff_fios_today_clean)].copy()
merged_today = merged_today.merge(df_absent_today, on='fio_clean', how='left')
if static_reasons_dict:
for fio_clean, reason_val in static_reasons_dict.items():
mask_today = (
(merged_today['Пришел'] == False) &
(merged_today['Вид_отсутствия'].isna() | (merged_today['Вид_отсутствия'].astype(str).str.strip() == '')) &
(merged_today['fio_clean'] == fio_clean)
)
merged_today.loc[mask_today, 'Вид_отсутствия'] = reason_val
mask_exc_today = (
(merged_today['Пришел'] == False) &
(merged_today['Вид_отсутствия'].isna() | (merged_today['Вид_отсутствия'].astype(str).str.strip() == '')) &
(merged_today.get('is_excluded', False) == True)
)
merged_today.loc[mask_exc_today, 'Вид_отсутствия'] = 'Исключение (ОВК/Подрядчики)'
anomalies_list = detect_all_anomalies(merged_today, static_reasons_dict, kb_rules)
# 💾 СОХРАНЕНИЕ СЕГОДНЯШНИХ АНОМАЛИЙ В БАЗУ ДАННЫХ SQLite
save_anomalies_to_db(anomalies_list, DATE_TODAY)
absent_explained = merged_today[(merged_today['Пришел'] == False) & (merged_today['Вид_отсутствия'].notna())]
absent_unexplained = merged_today[(merged_today['Пришел'] == False) & (merged_today['Вид_отсутствия'].isna())]
scud_present_but_absent_in_1c = merged_today[(merged_today['Пришел'] == True) & (merged_today['Вид_отсутствия'].notna())]
print("[5/5] Запуск ИИ-аудитора и построение Ежедневной сводки...")
report_text = generate_markdown_report(
merged_df=merged_today,
absent_explained=absent_explained,
absent_unexplained=absent_unexplained,
scud_present_but_absent_in_1c=scud_present_but_absent_in_1c,
anomalies_list=anomalies_list,
raw_scud_df=raw_scud_today_df,
raw_absent_df=df_absent_today,
date_str=DATE_TODAY
)
generate_summary_excel(merged_df=merged_today, date_str=DATE_TODAY)
md_report_path = os.path.join(OUTPUT_DIR, f"Сводка_контроллинга_{DATE_TODAY}.md")
with open(md_report_path, "w", encoding="utf-8") as f:
f.write(report_text)
print(f"\n[✓] Текстовый отчет сохранен в: {md_report_path}")
# 🎯 ОПРОС ОПЕРАТОРА (HUMAN-IN-THE-LOOP):
# Доказанные нарушения (приход во время отпуска/больничного в 1С) записываются автоматически.
# Запрос оператору выводится ТОЛЬКО при спорных/нетипичных аномалиях.
suspicious_cases = []
for a in anomalies_list:
if "ОФИЦИАЛЬНОМ ОТСУТСТВИИ" not in a.get('type', ''):
suspicious_cases.append({
'fio_target': a['fio'],
'reason': f"{a['type']}: {a['details']}"
})
if suspicious_cases:
review_ai_decisions(report_text, suspicious_cases)
print("\n" + "=" * 60)
print("ГОТОВАЯ ТЕКСТОВАЯ СВОДКА ИИ-АУДИТОРА:")
print("=" * 60)
print(report_text)
else:
print(f"\n[ℹ️] Формирование Ежедневной сводки за {DATE_TODAY} ПРОПУЩЕНО.")
print(" Ждём появления файлов 1С за текущую дату на сетевой шаре.")
if __name__ == "__main__":