117 lines
5.7 KiB
Python
117 lines
5.7 KiB
Python
"""
|
|
===============================================================================
|
|
FILE: main_etl.py
|
|
PROJECT: SCUD Orion AI (Unified Architecture)
|
|
ROLE: Главная точка входа ETL-конвейера СКУД ⟷ 1С:ЗУП.
|
|
===============================================================================
|
|
"""
|
|
|
|
import os
|
|
import sys
|
|
import argparse
|
|
import logging
|
|
import pandas as pd
|
|
from datetime import datetime, timedelta
|
|
|
|
from services.scud_etl.pipeline import load_best_snapshot_for_date, load_1c_files_for_date
|
|
from services.scud_etl.merger import merge_scud_and_1c, calculate_summary_metrics
|
|
from services.scud_etl.anomaly_detector import detect_registry_anomalies
|
|
from services.text_reporter import generate_markdown_report
|
|
|
|
from services.scud_export import run_export
|
|
from services.share_copier import copy_1c_files_from_share
|
|
from services.excel_exporter import generate_summary_excel, generate_detailed_excel
|
|
|
|
logging.basicConfig(level=logging.INFO, format="[%(asctime)s] [%(levelname)s] %(message)s")
|
|
|
|
|
|
def main():
|
|
parser = argparse.ArgumentParser(description="Модульный контроллинг СКУД ⟷ 1С")
|
|
parser.add_argument("-d", "--debug", action="store_true", help="Режим отладки")
|
|
parser.add_argument("--skip-export", action="store_true", help="Пропустить выгрузку СКУД из MS SQL")
|
|
parser.add_argument("--snapshot", type=str, default=None, help="ID снапшота для расчета")
|
|
args = parser.parse_args()
|
|
|
|
print("=" * 60)
|
|
print(f"ЗАПУСК СИСТЕМЫ МОДУЛЬНОГО КОНТРОЛЛИНГА СКУД ⟷ 1С {'[DEBUG]' if args.debug else ''}")
|
|
print("=" * 60)
|
|
|
|
now = datetime.now()
|
|
today_str = now.strftime("%d.%m.%Y")
|
|
# ⭐️ По понедельникам (weekday == 0) отчетом накануне является пятница (-3 дня)
|
|
if now.weekday() == 0:
|
|
yesterday_str = (now - timedelta(days=3)).strftime("%d.%m.%Y")
|
|
else:
|
|
yesterday_str = (now - timedelta(days=1)).strftime("%d.%m.%Y")
|
|
|
|
# [Этап 0] Выгрузка свежих данных СКУД
|
|
if not args.skip_export and not args.snapshot:
|
|
print(f"\n[0/5] Экспорт данных СКУД за {today_str} и {yesterday_str}...")
|
|
run_export(debug=args.debug)
|
|
else:
|
|
print("\n[0/5] Пропуск прямого экспорта СКУД из MS SQL (--skip-export)...")
|
|
|
|
# [Этап 0.5] Синхронизация файлов с шары 1С
|
|
if not args.snapshot and not args.skip_export:
|
|
print(f"\n[0.5/5] Проверка и копирование файлов 1С с шары...")
|
|
copy_1c_files_from_share()
|
|
else:
|
|
print("\n[0.5/5] Пропуск синхронизации с шары (чтение локальных данных)...")
|
|
|
|
# [Этап 1-2] Загрузка данных
|
|
print(f"\n[1-2/5] Загрузка срезов: Сегодня = {today_str}, Накануне = {yesterday_str}...")
|
|
df_scud_yesterday = load_best_snapshot_for_date(yesterday_str, prefer_final_y=True)
|
|
df_scud_today = load_best_snapshot_for_date(today_str, prefer_final_y=False)
|
|
|
|
df_staff_yesterday, df_abs_yesterday = load_1c_files_for_date(yesterday_str)
|
|
df_staff_today, df_abs_today = load_1c_files_for_date(today_str)
|
|
|
|
# [Этап 3] Детальный отчет за вчера
|
|
print(f"\n[3/5] Обработка и построение детального отчета за ВЧЕРА ({yesterday_str})...")
|
|
df_merged_yesterday = merge_scud_and_1c(df_scud_yesterday, df_staff_yesterday, df_abs_yesterday)
|
|
generate_detailed_excel(df_merged_yesterday, date_str=yesterday_str)
|
|
|
|
# [Этап 4] Сводка за сегодня
|
|
print(f"\n[4/5] Обработка и построение Ежедневной сводки за {today_str}...")
|
|
df_merged_today = merge_scud_and_1c(df_scud_today, df_staff_today, df_abs_today)
|
|
metrics_today = calculate_summary_metrics(df_merged_today)
|
|
anomalies_today = detect_registry_anomalies(df_merged_today)
|
|
generate_summary_excel(df_merged_today, date_str=today_str)
|
|
|
|
# [Этап 5] Формирование Markdown-сводки через ИИ-аудитора
|
|
print(f"\n[5/5] Формирование Markdown-сводки через ИИ-аудитора (Ollama)...")
|
|
|
|
absent_explained = df_merged_today[
|
|
(df_merged_today['Пришел'] == False) &
|
|
(df_merged_today['Вид_отсутствия'].notna()) &
|
|
(~df_merged_today['Вид_отсутствия'].astype(str).str.startswith('Исключение'))
|
|
]
|
|
absent_unexplained = df_merged_today[
|
|
(df_merged_today['Пришел'] == False) &
|
|
(df_merged_today['Вид_отсутствия'].isna() | (df_merged_today['Вид_отсутствия'].astype(str).str.strip() == '')) &
|
|
(df_merged_today.get('is_excluded', False) == False)
|
|
]
|
|
|
|
summary_md = generate_markdown_report(
|
|
merged_df=df_merged_today[df_merged_today.get('is_excluded', False) == False],
|
|
absent_explained=absent_explained,
|
|
absent_unexplained=absent_unexplained,
|
|
scud_present_but_absent_in_1c=pd.DataFrame(),
|
|
anomalies_list=anomalies_today,
|
|
date_str=today_str
|
|
)
|
|
|
|
os.makedirs("output", exist_ok=True)
|
|
md_file_path = f"output/Сводка_контроллинга_{today_str}.md"
|
|
with open(md_file_path, "w", encoding="utf-8") as f:
|
|
f.write(summary_md)
|
|
print(f"[✓] Текстовый отчет сохранен в: {md_file_path}")
|
|
|
|
print("\n" + "=" * 60)
|
|
print("ГОТОВАЯ ТЕКСТОВАЯ СВОДКА ИИ-АУДИТОРА:")
|
|
print("=" * 60)
|
|
print(summary_md)
|
|
|
|
|
|
if __name__ == "__main__":
|
|
main() |