промежуточный этап. Работает.
This commit is contained in:
+35
-15
@@ -21,7 +21,7 @@ def init_db():
|
|||||||
with get_connection() as conn:
|
with get_connection() as conn:
|
||||||
cursor = conn.cursor()
|
cursor = conn.cursor()
|
||||||
|
|
||||||
# 1. Таблица СКУД
|
# 1. Таблица СКУД (Добавлены first_activity, anomaly_flag, snapshot_time)
|
||||||
cursor.execute("""
|
cursor.execute("""
|
||||||
CREATE TABLE IF NOT EXISTS scud_logs (
|
CREATE TABLE IF NOT EXISTS scud_logs (
|
||||||
id INTEGER PRIMARY KEY AUTOINCREMENT,
|
id INTEGER PRIMARY KEY AUTOINCREMENT,
|
||||||
@@ -31,9 +31,12 @@ def init_db():
|
|||||||
department TEXT,
|
department TEXT,
|
||||||
position TEXT,
|
position TEXT,
|
||||||
time_in TEXT,
|
time_in TEXT,
|
||||||
|
first_activity TEXT DEFAULT '—',
|
||||||
time_out TEXT,
|
time_out TEXT,
|
||||||
time_in_building TEXT,
|
time_in_building TEXT,
|
||||||
is_present INTEGER NOT NULL,
|
is_present INTEGER NOT NULL,
|
||||||
|
anomaly_flag TEXT DEFAULT 'NONE',
|
||||||
|
snapshot_time TEXT DEFAULT NULL,
|
||||||
created_at TIMESTAMP DEFAULT CURRENT_TIMESTAMP
|
created_at TIMESTAMP DEFAULT CURRENT_TIMESTAMP
|
||||||
);
|
);
|
||||||
""")
|
""")
|
||||||
@@ -104,26 +107,32 @@ def sync_knowledge_base_to_db():
|
|||||||
Автоматически мигрирует правила из knowledge_base.json и системный промпт в таблицу ai_knowledge_base SQLite.
|
Автоматически мигрирует правила из knowledge_base.json и системный промпт в таблицу ai_knowledge_base SQLite.
|
||||||
"""
|
"""
|
||||||
system_ai_prompt = (
|
system_ai_prompt = (
|
||||||
"СИСТЕМНЫЙ ПРОМПТ ИИ (MATCHING & VERIFICATION):\n"
|
"СИСТЕМНЫЙ ПРОМПТ ИИ (MATCHING, VERIFICATION & ANOMALY DETECTION):\n"
|
||||||
"Ты — экспертный ИИ-аудитор СКУД и кадрового учета 1С. Твоя задача — проводить интеллектуальный анализ аномалий "
|
"Ты — экспертный ИИ-аудитор СКУД и кадрового учета 1С. Твоя задача — проводить интеллектуальный анализ аномалий, "
|
||||||
"и сопоставление (Fuzzy Matching) нераспознанных ФИО из СКУД с эталонным Штатным расписанием 1С.\n\n"
|
"выявление массовых сбоев оборудования и сопоставление (Fuzzy Matching) нераспознанных ФИО из СКУД с эталонным Штатным расписанием 1С.\n\n"
|
||||||
"1. ЗАЩИТА ОТ ПОЛНЫХ ТЁЗОК (FULL NAME COLLISION):\n"
|
"1. ДЕТЕКТИРОВАНИЕ АНОМАЛИЙ И МАССОВЫХ СБОЕВ СКУД:\n"
|
||||||
|
" - Если у сотрудника 'Начало_дня' = 'Нет входа', но заполнено поле 'Первая_активность' (например, '14:11:06') или 'Конец_дня' != 'Нет выхода', "
|
||||||
|
"классифицируй случай как одиночную аномалию: '🚨 АНОМАЛИЯ СКУД: Присутствие/активность без утреннего входа'.\n"
|
||||||
|
" - Если процент сотрудников с подобной аномалией превышает 5% от смены (или >10 человек), СГЕНЕРИРУЙ КРИТИЧЕСКИЙ СИСТЕМНЫЙ АЛЕРТ: "
|
||||||
|
"'⚠️ ВНИМАНИЕ! Обнаружен массовый сбой регистраторов входа СКУД на главном КПП. Требуется проверка контроллеров.'\n\n"
|
||||||
|
"2. ЗАЩИТА ОТ ПОЛНЫХ ТЁЗОК (FULL NAME COLLISION):\n"
|
||||||
" - Если в эталонном штате 1С присутствуют два или более сотрудников с ОДИНАКОВЫМИ ФИО (полные тёзки), "
|
" - Если в эталонном штате 1С присутствуют два или более сотрудников с ОДИНАКОВЫМИ ФИО (полные тёзки), "
|
||||||
"ты ОБЯЗАН учитывать контекст: Подразделение и Должность.\n"
|
"ты ОБЯЗАН учитывать контекст: Подразделение и Должность.\n"
|
||||||
" - Ни в коем случае не объединяй записи разных людей! Если контекст не позволяет однозначно определить, кто именно из тёзок совершил проход, ПОМЕТЬ СЛУЧАЙ КАК НЕОДНОЗНАЧНЫЙ и НЕ делай автоматическую подмену.\n\n"
|
" - Ни в коем случае не объединяй записи разных людей! Если контекст не позволяет однозначно определить, кто именно из тёзок совершил проход, ПОМЕТЬ СЛУЧАЙ КАК НЕОДНОЗНАЧНЫЙ и НЕ делай автоматическую подмену.\n\n"
|
||||||
"2. ПРАВИЛА СОПОСТАВЛЕНИЯ (MATCHING RULES):\n"
|
"3. ПРАВИЛА СОПОСТАВЛЕНИЯ (MATCHING RULES):\n"
|
||||||
" - Допускаются исправления мелких опечаток, перестановки порядка (Имя Фамилия -> Фамилия Имя), замена букв Е/Ё, И/Й.\n"
|
" - Допускаются исправления мелких опечаток, перестановки порядка (Имя Фамилия -> Фамилия Имя), замена букв Е/Ё, И/Й.\n"
|
||||||
" - Учитывай сокращения инициалов (например, 'Иванов И.В.' -> 'Иванов Иван Васильевич').\n"
|
" - Учитывай сокращения инициалов (например, 'Иванов И.В.' -> 'Иванов Иван Васильевич').\n"
|
||||||
" - Если уверенность в совпадении меньше 85% — НЕ сопоставляй, оставляй запись как нераспознанную.\n\n"
|
" - Если уверенность в совпадении меньше 85% — НЕ сопоставляй, оставляй запись как нераспознанную.\n\n"
|
||||||
"3. ФОРМАТ ВЫХОДНЫХ ДАННЫХ:\n"
|
"4. ФОРМАТ ВЫХОДНЫХ ДАННЫХ:\n"
|
||||||
" Верни строго JSON-объект без вводных слов и Markdown-разметки: {\"mappings\": [...], \"unmatched\": [...]}"
|
" Верни строго JSON-объект без вводных слов и Markdown-разметки: {\"mappings\": [...], \"unmatched\": [...], \"alerts\": [...]}"
|
||||||
)
|
)
|
||||||
|
|
||||||
rules_to_insert = [
|
rules_to_insert = [
|
||||||
system_ai_prompt,
|
system_ai_prompt,
|
||||||
"ГЛОБАЛЬНОЕ ПРАВИЛО 1: Любое физическое присутствие сотрудника по СКУД при наличии в 1С документа отсутствия (отпуск, больничный, уход за ребенком и др.), КРОМЕ командировок и служебных поездок — ЯВЛЯЕТСЯ СТРОГОЙ ИСТИННОЙ АНОМАЛИЕЙ.",
|
"ГЛОБАЛЬНОЕ ПРАВИЛО 1: Любое физическое присутствие сотрудника по СКУД при наличии в 1С документа отсутствия (отпуск, больничный, уход за ребенком и др.), КРОМЕ командировок и служебных поездок — ЯВЛЯЕТСЯ СТРОГОЙ ИСТИННОЙ АНОМАЛИЕЙ.",
|
||||||
"ГЛОБАЛЬНОЕ ПРАВИЛО 2: Документы отсутствий из 1С:ЗУП имеют 100% высший приоритет над статическим реестром удалёнщиков.",
|
"ГЛОБАЛЬНОЕ ПРАВИЛО 2: Документы отсутствий из 1С:ЗУП имеют 100% высший приоритет над статическим реестром удалёнщиков.",
|
||||||
"ГЛОБАЛЬНОЕ ПРАВИЛО 3: Удалённые сотрудники имеют право беспрепятственно работать в офисе по СКУД в любое время (это не является аномалией)."
|
"ГЛОБАЛЬНОЕ ПРАВИЛО 3: Удалённые сотрудники имеют право беспрепятственно работать в офисе по СКУД в любое время (это не является аномалией).",
|
||||||
|
"ГЛОБАЛЬНОЕ ПРАВИЛО 4: Отсутствие утренней отметки входа при наличии дневных перемещений (первая активность) является аномалией оборудования и не должно автоматически превращать запись в подтверждённое присутствие."
|
||||||
]
|
]
|
||||||
|
|
||||||
kb_path = os.path.join(os.path.dirname(DATA_DIR), "knowledge_base.json")
|
kb_path = os.path.join(os.path.dirname(DATA_DIR), "knowledge_base.json")
|
||||||
@@ -148,8 +157,8 @@ def sync_knowledge_base_to_db():
|
|||||||
conn.commit()
|
conn.commit()
|
||||||
|
|
||||||
|
|
||||||
def save_scud_to_db(df_scud, date_str):
|
def save_scud_to_db(df_scud, date_str, snapshot_time=None):
|
||||||
"""Оптимизированное сохранение логов СКУД за дату."""
|
"""Оптимизированное сохранение логов СКУД за дату с поддержкой первой активности, флага аномалии и метки выгрузки."""
|
||||||
if df_scud.empty:
|
if df_scud.empty:
|
||||||
return
|
return
|
||||||
|
|
||||||
@@ -162,17 +171,28 @@ def save_scud_to_db(df_scud, date_str):
|
|||||||
r.get('Подразделение', ''),
|
r.get('Подразделение', ''),
|
||||||
r.get('Должность', ''),
|
r.get('Должность', ''),
|
||||||
r.get('Начало_дня', 'Нет входа'),
|
r.get('Начало_дня', 'Нет входа'),
|
||||||
|
r.get('Первая_активность', '—'),
|
||||||
r.get('Конец_дня', 'Нет выхода'),
|
r.get('Конец_дня', 'Нет выхода'),
|
||||||
r.get('Находился_в_здании', '00:00'),
|
r.get('Находился_в_здании', '00:00'),
|
||||||
1 if r.get('Пришел', False) else 0
|
1 if r.get('Пришел', False) else 0,
|
||||||
|
r.get('anomaly_flag', 'NONE'),
|
||||||
|
snapshot_time
|
||||||
))
|
))
|
||||||
|
|
||||||
with get_connection() as conn:
|
with get_connection() as conn:
|
||||||
cursor = conn.cursor()
|
cursor = conn.cursor()
|
||||||
cursor.execute("DELETE FROM scud_logs WHERE log_date = ?", (date_str,))
|
if snapshot_time:
|
||||||
|
cursor.execute("DELETE FROM scud_logs WHERE log_date = ? AND snapshot_time = ?", (date_str, snapshot_time))
|
||||||
|
else:
|
||||||
|
cursor.execute("DELETE FROM scud_logs WHERE log_date = ? AND snapshot_time IS NULL", (date_str,))
|
||||||
|
|
||||||
cursor.executemany("""
|
cursor.executemany("""
|
||||||
INSERT INTO scud_logs (log_date, fio, fio_clean, department, position, time_in, time_out, time_in_building, is_present)
|
INSERT INTO scud_logs (
|
||||||
VALUES (?, ?, ?, ?, ?, ?, ?, ?, ?)
|
log_date, fio, fio_clean, department, position,
|
||||||
|
time_in, first_activity, time_out, time_in_building,
|
||||||
|
is_present, anomaly_flag, snapshot_time
|
||||||
|
)
|
||||||
|
VALUES (?, ?, ?, ?, ?, ?, ?, ?, ?, ?, ?, ?)
|
||||||
""", data_to_insert)
|
""", data_to_insert)
|
||||||
conn.commit()
|
conn.commit()
|
||||||
|
|
||||||
|
|||||||
Binary file not shown.
@@ -2,6 +2,7 @@ import os
|
|||||||
import sys
|
import sys
|
||||||
import argparse
|
import argparse
|
||||||
import pandas as pd
|
import pandas as pd
|
||||||
|
from datetime import datetime
|
||||||
|
|
||||||
sys.path.append(os.path.dirname(os.path.abspath(__file__)))
|
sys.path.append(os.path.dirname(os.path.abspath(__file__)))
|
||||||
|
|
||||||
@@ -11,7 +12,7 @@ from services.share_copier import copy_1c_files_from_share
|
|||||||
from services.data_validator import check_file_freshness
|
from services.data_validator import check_file_freshness
|
||||||
from services.data_loader import load_all_data
|
from services.data_loader import load_all_data
|
||||||
from services.excel_exporter import generate_summary_excel, generate_detailed_excel
|
from services.excel_exporter import generate_summary_excel, generate_detailed_excel
|
||||||
from services.ai_verifier import ai_verify_scud_against_staff
|
from services.ai_verifier import ai_verify_scud_against_staff, analyze_scud_mass_failure_ai
|
||||||
from services.text_reporter import generate_markdown_report
|
from services.text_reporter import generate_markdown_report
|
||||||
from services.feedback_loop import review_ai_decisions
|
from services.feedback_loop import review_ai_decisions
|
||||||
from services.knowledge_base import load_knowledge_base
|
from services.knowledge_base import load_knowledge_base
|
||||||
@@ -42,12 +43,6 @@ def load_static_reason_workers():
|
|||||||
def detect_all_anomalies(merged_df, static_reasons_dict, kb_rules):
|
def detect_all_anomalies(merged_df, static_reasons_dict, kb_rules):
|
||||||
"""
|
"""
|
||||||
Автоматически находит ИСТИННЫЕ аномалии.
|
Автоматически находит ИСТИННЫЕ аномалии.
|
||||||
|
|
||||||
ПРАВИЛА КОМПАНИИ:
|
|
||||||
1. Удалённые сотрудники имеют право беспрепятственно работать в офисе (НЕ аномалия).
|
|
||||||
2. Документы отсутствий из 1С имеют 100% приоритет над стат. реестром (НЕ аномалия).
|
|
||||||
3. АНОМАЛИЯ — Физический выход по СКУД при наличии в 1С ЛЮБЫХ причин отсутствия
|
|
||||||
(отпуск, больничный, уход за ребенком и т.д.), КРОМЕ командировок и служебных поездок.
|
|
||||||
"""
|
"""
|
||||||
anomalies = []
|
anomalies = []
|
||||||
kb_rules_text = " ".join(kb_rules).lower() if kb_rules else ""
|
kb_rules_text = " ".join(kb_rules).lower() if kb_rules else ""
|
||||||
@@ -60,9 +55,11 @@ def detect_all_anomalies(merged_df, static_reasons_dict, kb_rules):
|
|||||||
is_present = row.get('Пришел', False)
|
is_present = row.get('Пришел', False)
|
||||||
reason_1c = str(row.get('Вид_отсутствия', '')).strip()
|
reason_1c = str(row.get('Вид_отсутствия', '')).strip()
|
||||||
has_1c_reason = pd.notna(row.get('Вид_отсутствия')) and reason_1c != ''
|
has_1c_reason = pd.notna(row.get('Вид_отсутствия')) and reason_1c != ''
|
||||||
|
anom_flag = row.get('anomaly_flag', 'NONE')
|
||||||
|
|
||||||
is_fio_whitelisted_in_kb = fio_clean.lower() in kb_rules_text
|
is_fio_whitelisted_in_kb = fio_clean.lower() in kb_rules_text
|
||||||
|
|
||||||
|
# АНОМАЛИЯ 1: Физическое присутствие при документе отсутствия 1С
|
||||||
if is_present and has_1c_reason:
|
if is_present and has_1c_reason:
|
||||||
reason_lower = reason_1c.lower()
|
reason_lower = reason_1c.lower()
|
||||||
is_allowed_trip = any(kw in reason_lower for kw in ALLOWED_WORK_TRIP_KEYWORDS)
|
is_allowed_trip = any(kw in reason_lower for kw in ALLOWED_WORK_TRIP_KEYWORDS)
|
||||||
@@ -74,6 +71,15 @@ def detect_all_anomalies(merged_df, static_reasons_dict, kb_rules):
|
|||||||
"details": f"Сотрудник пришел по СКУД, но в 1С оформлен документ: '{reason_1c}'"
|
"details": f"Сотрудник пришел по СКУД, но в 1С оформлен документ: '{reason_1c}'"
|
||||||
})
|
})
|
||||||
|
|
||||||
|
# АНОМАЛИЯ 2: Перемещение внутри здания без отметки утреннего входа
|
||||||
|
if anom_flag == 'ANOMALY_NO_IN_HAS_ACTIVITY':
|
||||||
|
first_act = row.get('Первая_активность', '—')
|
||||||
|
anomalies.append({
|
||||||
|
"type": "АНОМАЛИЯ СКУД: ПЕРЕМЕЩЕНИЕ БЕЗ ВХОДА",
|
||||||
|
"fio": fio,
|
||||||
|
"details": f"Отсутствует регистрация входа на КПП при зафиксированной первой активности в {first_act}"
|
||||||
|
})
|
||||||
|
|
||||||
return anomalies
|
return anomalies
|
||||||
|
|
||||||
|
|
||||||
@@ -106,6 +112,7 @@ def main():
|
|||||||
args = parser.parse_args()
|
args = parser.parse_args()
|
||||||
|
|
||||||
DEBUG = args.debug
|
DEBUG = args.debug
|
||||||
|
snapshot_time = datetime.now().strftime("%Y-%m-%d %H:%M:%S")
|
||||||
|
|
||||||
print("=" * 60)
|
print("=" * 60)
|
||||||
print(f"ЗАПУСК СИСТЕМЫ МОДУЛЬНОГО КОНТРОЛЛИНГА СКУД ⟷ 1С {'[DEBUG MODE]' if DEBUG else ''}")
|
print(f"ЗАПУСК СИСТЕМЫ МОДУЛЬНОГО КОНТРОЛЛИНГА СКУД ⟷ 1С {'[DEBUG MODE]' if DEBUG else ''}")
|
||||||
@@ -116,7 +123,7 @@ def main():
|
|||||||
kb_data = load_knowledge_base()
|
kb_data = load_knowledge_base()
|
||||||
kb_rules = kb_data.get("rules", [])
|
kb_rules = kb_data.get("rules", [])
|
||||||
|
|
||||||
# 0.1 Выгрузка из БД СКУД напрямую в SQLite и Excel (save_xlsx=True требуется для data_loader)
|
# 0.1 Выгрузка из БД СКУД напрямую в SQLite и Excel
|
||||||
if not args.skip_export:
|
if not args.skip_export:
|
||||||
try:
|
try:
|
||||||
run_export(save_xlsx=True, debug=DEBUG)
|
run_export(save_xlsx=True, debug=DEBUG)
|
||||||
@@ -219,13 +226,12 @@ def main():
|
|||||||
generate_detailed_excel(merged_df=merged_yesterday, date_str=DATE_YESTERDAY)
|
generate_detailed_excel(merged_df=merged_yesterday, date_str=DATE_YESTERDAY)
|
||||||
|
|
||||||
# 💾 СОХРАНЕНИЕ ВЧЕРАШНИХ ДАННЫХ В SQLite:
|
# 💾 СОХРАНЕНИЕ ВЧЕРАШНИХ ДАННЫХ В SQLite:
|
||||||
save_scud_to_db(merged_yesterday, DATE_YESTERDAY)
|
save_scud_to_db(merged_yesterday, DATE_YESTERDAY, snapshot_time=snapshot_time)
|
||||||
|
|
||||||
# ============================================================
|
# ============================================================
|
||||||
# 🎯 ЧАСТЬ 2: ЕЖЕДНЕВНАЯ СВОДКА ЗА СЕГОДНЯ
|
# 🎯 ЧАСТЬ 2: ЕЖЕДНЕВНАЯ СВОДКА ЗА СЕГОДНЯ
|
||||||
# ============================================================
|
# ============================================================
|
||||||
# 💾 СОХРАНЯЕМ СЕГОДНЯШНИЙ СКУД В SQLite (Даже если 1С еще не пришла):
|
save_scud_to_db(raw_scud_today_df, DATE_TODAY, snapshot_time=snapshot_time)
|
||||||
save_scud_to_db(raw_scud_today_df, DATE_TODAY)
|
|
||||||
|
|
||||||
if has_today_1c and df_staff_today is not None and df_absent_today is not None:
|
if has_today_1c and df_staff_today is not None and df_absent_today is not None:
|
||||||
print("\n[4/5] Обработка данных за СЕГОДНЯ...")
|
print("\n[4/5] Обработка данных за СЕГОДНЯ...")
|
||||||
@@ -269,6 +275,14 @@ def main():
|
|||||||
|
|
||||||
anomalies_list = detect_all_anomalies(merged_today, static_reasons_dict, kb_rules)
|
anomalies_list = detect_all_anomalies(merged_today, static_reasons_dict, kb_rules)
|
||||||
|
|
||||||
|
# ⭐️ ПРОВЕРКА МАССОВОГО СБОЯ ОБОРУДОВАНИЯ ЧЕРЕЗ ИИ
|
||||||
|
mass_failure_result = analyze_scud_mass_failure_ai(merged_today)
|
||||||
|
if mass_failure_result and mass_failure_result.get("is_mass_failure"):
|
||||||
|
print("\n" + "!" * 60)
|
||||||
|
print(f"🚨 ВНИМАНИЕ! ИИ ОБНАРУЖИЛ МАССОВЫЙ СБОЙ ТУРНИКЕТОВ ВХОДА ({mass_failure_result['anomaly_percent']}% СМЕНЫ)")
|
||||||
|
print(mass_failure_result["alert_text"])
|
||||||
|
print("!" * 60 + "\n")
|
||||||
|
|
||||||
# 💾 СОХРАНЕНИЕ СЕГОДНЯШНИХ АНОМАЛИЙ В БАЗУ ДАННЫХ SQLite
|
# 💾 СОХРАНЕНИЕ СЕГОДНЯШНИХ АНОМАЛИЙ В БАЗУ ДАННЫХ SQLite
|
||||||
save_anomalies_to_db(anomalies_list, DATE_TODAY)
|
save_anomalies_to_db(anomalies_list, DATE_TODAY)
|
||||||
|
|
||||||
|
|||||||
@@ -28,14 +28,12 @@ def run_git_move():
|
|||||||
open(init_file, 'w').close()
|
open(init_file, 'w').close()
|
||||||
|
|
||||||
for filename, dest in file_mapping.items():
|
for filename, dest in file_mapping.items():
|
||||||
# Проверим, где файл может находиться: в корне или уже в папке назначения
|
|
||||||
if os.path.exists(filename):
|
if os.path.exists(filename):
|
||||||
src = filename
|
src = filename
|
||||||
elif os.path.exists(dest):
|
elif os.path.exists(dest):
|
||||||
print(f"[ℹ️ Уже на месте] {dest}")
|
print(f"[ℹ️ Уже на месте] {dest}")
|
||||||
continue
|
continue
|
||||||
else:
|
else:
|
||||||
# Попробуем поискать файл рекурсивно
|
|
||||||
found = None
|
found = None
|
||||||
for root, dirs, files in os.walk("."):
|
for root, dirs, files in os.walk("."):
|
||||||
if filename in files and "venv" not in root:
|
if filename in files and "venv" not in root:
|
||||||
|
|||||||
@@ -3,7 +3,6 @@ import os
|
|||||||
import sqlite3
|
import sqlite3
|
||||||
import pandas as pd
|
import pandas as pd
|
||||||
|
|
||||||
# Добавляем корневую директорию проекта в sys.path
|
|
||||||
SCRIPT_DIR = os.path.dirname(os.path.abspath(__file__))
|
SCRIPT_DIR = os.path.dirname(os.path.abspath(__file__))
|
||||||
PROJECT_ROOT = os.path.dirname(SCRIPT_DIR)
|
PROJECT_ROOT = os.path.dirname(SCRIPT_DIR)
|
||||||
sys.path.append(PROJECT_ROOT)
|
sys.path.append(PROJECT_ROOT)
|
||||||
|
|||||||
@@ -1,6 +1,7 @@
|
|||||||
import json
|
import json
|
||||||
import re
|
import re
|
||||||
import requests
|
import requests
|
||||||
|
import pandas as pd
|
||||||
from config import OLLAMA_URL, OLLAMA_MODEL
|
from config import OLLAMA_URL, OLLAMA_MODEL
|
||||||
from core.database import get_all_rules_from_db
|
from core.database import get_all_rules_from_db
|
||||||
|
|
||||||
@@ -44,6 +45,50 @@ def get_system_rules_context():
|
|||||||
return f"\nОБЯЗАТЕЛЬНЫЕ ГЛОБАЛЬНЫЕ ПРАВИЛА И ПРИОРИТЕТЫ КОМПАНИИ:\n{rules_text}\n"
|
return f"\nОБЯЗАТЕЛЬНЫЕ ГЛОБАЛЬНЫЕ ПРАВИЛА И ПРИОРИТЕТЫ КОМПАНИИ:\n{rules_text}\n"
|
||||||
|
|
||||||
|
|
||||||
|
def analyze_scud_mass_failure_ai(df_scud):
|
||||||
|
"""
|
||||||
|
Оценивает процент аномалий 'ANOMALY_NO_IN_HAS_ACTIVITY' в выгрузке.
|
||||||
|
Если процент аномалий превышает 5% от смены, вызывает ИИ для генерации критического алерта.
|
||||||
|
"""
|
||||||
|
if df_scud is None or df_scud.empty:
|
||||||
|
return None
|
||||||
|
|
||||||
|
total_records = len(df_scud)
|
||||||
|
anomaly_rows = df_scud[df_scud.get('anomaly_flag', 'NONE') == 'ANOMALY_NO_IN_HAS_ACTIVITY']
|
||||||
|
anomaly_count = len(anomaly_rows)
|
||||||
|
|
||||||
|
if total_records == 0:
|
||||||
|
return None
|
||||||
|
|
||||||
|
anomaly_percent = round((anomaly_count / total_records) * 100, 1)
|
||||||
|
|
||||||
|
if anomaly_percent > 5.0 or anomaly_count >= 10:
|
||||||
|
rules_context = get_system_rules_context()
|
||||||
|
prompt = f"""
|
||||||
|
{rules_context}
|
||||||
|
ВНИМАНИЕ! Проведён анализ дневной смены СКУД:
|
||||||
|
- Всего записей за смену: {total_records}
|
||||||
|
- Выявлено сотрудников без утреннего входа, но с зафиксированной дневной активностью (первая активность): {anomaly_count} ({anomaly_percent}% от смены)
|
||||||
|
|
||||||
|
Сформируй понятное предупреждение для Администратора СКУД и Руководителя.
|
||||||
|
Объясни, что это критический массовый сбой турникетов/контроллеров входа на КПП, и порекомендуй действия.
|
||||||
|
"""
|
||||||
|
alert_text = ask_ollama(prompt, system_prompt="Ты — ИИ-аналитик контроллинга СКУД. Отвечай кратко и строго по делу.")
|
||||||
|
return {
|
||||||
|
"is_mass_failure": True,
|
||||||
|
"anomaly_count": anomaly_count,
|
||||||
|
"anomaly_percent": anomaly_percent,
|
||||||
|
"alert_text": alert_text
|
||||||
|
}
|
||||||
|
|
||||||
|
return {
|
||||||
|
"is_mass_failure": False,
|
||||||
|
"anomaly_count": anomaly_count,
|
||||||
|
"anomaly_percent": anomaly_percent,
|
||||||
|
"alert_text": "Массовых сбоев оборудования не зафиксировано."
|
||||||
|
}
|
||||||
|
|
||||||
|
|
||||||
def ai_verify_scud_against_staff(unrecognized_scud_fios, staff_fios):
|
def ai_verify_scud_against_staff(unrecognized_scud_fios, staff_fios):
|
||||||
"""
|
"""
|
||||||
ИИ-сверка опечаток и несовпадений ФИО между СКУД и 1С:ЗУП.
|
ИИ-сверка опечаток и несовпадений ФИО между СКУД и 1С:ЗУП.
|
||||||
|
|||||||
+69
-13
@@ -72,8 +72,74 @@ def load_absent_data(date_str):
|
|||||||
return None
|
return None
|
||||||
|
|
||||||
|
|
||||||
|
def process_scud_anomalies(df_scud, exceptions=None):
|
||||||
|
"""
|
||||||
|
Вычисляет 'Первую активность' и маркирует аномалии СКУД.
|
||||||
|
Если 'Начало дня' == 'Нет входа', но есть любая физическая активность —
|
||||||
|
записывает первейшее время в 'Первая_активность', сбрасывает 'Пришел' в False и выставляет флаг аномалии.
|
||||||
|
"""
|
||||||
|
if exceptions is None:
|
||||||
|
exceptions = load_exceptions()
|
||||||
|
|
||||||
|
start_col = 'Начало_дня' if 'Начало_дня' in df_scud.columns else ('Начало дня' if 'Начало дня' in df_scud.columns else None)
|
||||||
|
end_col = 'Конец_дня' if 'Конец_дня' in df_scud.columns else ('Конец дня' if 'Конец дня' in df_scud.columns else None)
|
||||||
|
status_col = 'Статус' if 'Статус' in df_scud.columns else None
|
||||||
|
|
||||||
|
first_activities = []
|
||||||
|
anomaly_flags = []
|
||||||
|
is_present_flags = []
|
||||||
|
|
||||||
|
for _, row in df_scud.iterrows():
|
||||||
|
fio = str(row.get('Сотрудник', row.get('fio_raw', ''))).strip()
|
||||||
|
fio_clean = normalize_fio(fio)
|
||||||
|
dept = str(row.get('Подразделение', '')).strip()
|
||||||
|
pos = str(row.get('Должность', '')).strip()
|
||||||
|
|
||||||
|
val_start = str(row.get(start_col, '')).strip() if start_col else ''
|
||||||
|
val_end = str(row.get(end_col, '')).strip() if end_col else ''
|
||||||
|
val_status = str(row.get(status_col, '')).strip().lower() if status_col else ''
|
||||||
|
|
||||||
|
# Извлечение первого зафиксированного события из сырых логов (pLogData), если передавалось
|
||||||
|
raw_first_event = row.get('raw_first_event', None)
|
||||||
|
if pd.isna(raw_first_event) or str(raw_first_event).strip() in ['', 'None', 'nan', '00:00:00']:
|
||||||
|
raw_first_event = None
|
||||||
|
|
||||||
|
has_no_in = (val_start in ['нет входа', 'none', 'nan', '', '00:00:00', '00:00'])
|
||||||
|
has_no_out = (val_end in ['нет выхода', 'none', 'nan', '', '00:00:00', '00:00'])
|
||||||
|
|
||||||
|
first_act = '—'
|
||||||
|
anom_flag = 'NONE'
|
||||||
|
|
||||||
|
# Стандартная проверка присутствия
|
||||||
|
is_present = not ('отсутствовал' in val_status or has_no_in)
|
||||||
|
|
||||||
|
# ЛОГИКА ВЫЧИСЛЕНИЯ ПЕРВОЙ АКТИВНОСТИ И ДЕТЕКТИРОВАНИЯ АНОМАЛИИ
|
||||||
|
if has_no_in:
|
||||||
|
# Если нет входа, но есть проход внутри или зафиксирован выход
|
||||||
|
if raw_first_event is not None or not has_no_out:
|
||||||
|
first_act = str(raw_first_event) if raw_first_event else val_end
|
||||||
|
anom_flag = 'ANOMALY_NO_IN_HAS_ACTIVITY'
|
||||||
|
|
||||||
|
# ЖЕСТКАЯ ВАЛИДАЦИЯ: Если человек не исключен официально — сбрасываем фейковый Пришел = True
|
||||||
|
if not is_excluded(fio, dept, pos, exceptions):
|
||||||
|
is_present = False
|
||||||
|
else:
|
||||||
|
first_act = '—'
|
||||||
|
is_present = False
|
||||||
|
|
||||||
|
first_activities.append(first_act)
|
||||||
|
anomaly_flags.append(anom_flag)
|
||||||
|
is_present_flags.append(is_present)
|
||||||
|
|
||||||
|
df_scud['Первая_активность'] = first_activities
|
||||||
|
df_scud['anomaly_flag'] = anomaly_flags
|
||||||
|
df_scud['Пришел'] = is_present_flags
|
||||||
|
|
||||||
|
return df_scud
|
||||||
|
|
||||||
|
|
||||||
def load_scud_data(target_date_type="today"):
|
def load_scud_data(target_date_type="today"):
|
||||||
"""Загружает файл СКУД за 'today' или 'yesterday'."""
|
"""Загружает файл СКУД за 'today' или 'yesterday' и выполняет валидацию аномалий."""
|
||||||
target_date = DATE_TODAY if target_date_type == "today" else DATE_YESTERDAY
|
target_date = DATE_TODAY if target_date_type == "today" else DATE_YESTERDAY
|
||||||
scud_path = find_dated_file("Сотрудники", target_date, search_dirs=[SCUD_DIR])
|
scud_path = find_dated_file("Сотрудники", target_date, search_dirs=[SCUD_DIR])
|
||||||
|
|
||||||
@@ -88,19 +154,9 @@ def load_scud_data(target_date_type="today"):
|
|||||||
df_scud['fio_raw'] = df_scud['Сотрудник'].astype(str) if 'Сотрудник' in df_scud.columns else df_scud[df_scud.columns[0]].astype(str)
|
df_scud['fio_raw'] = df_scud['Сотрудник'].astype(str) if 'Сотрудник' in df_scud.columns else df_scud[df_scud.columns[0]].astype(str)
|
||||||
df_scud['fio_clean'] = df_scud['fio_raw'].apply(clean_scud_fio_light)
|
df_scud['fio_clean'] = df_scud['fio_raw'].apply(clean_scud_fio_light)
|
||||||
|
|
||||||
start_col = 'Начало_дня' if 'Начало_дня' in df_scud.columns else ('Начало дня' if 'Начало дня' in df_scud.columns else None)
|
# Применяем обработчик аномалий и первой активности
|
||||||
status_col = 'Статус' if 'Статус' in df_scud.columns else None
|
df_scud = process_scud_anomalies(df_scud, exceptions=exceptions)
|
||||||
|
|
||||||
def is_person_present(row):
|
|
||||||
val_status = str(row.get(status_col, '')).strip().lower() if status_col else ''
|
|
||||||
val_time = str(row.get(start_col, '')).strip() if start_col else ''
|
|
||||||
|
|
||||||
if 'отсутствовал' in val_status or val_time in ['нет входа', 'none', 'nan', '', '00:00']:
|
|
||||||
return False
|
|
||||||
return True
|
|
||||||
|
|
||||||
df_scud['Пришел'] = df_scud.apply(is_person_present, axis=1)
|
|
||||||
|
|
||||||
df_scud['is_excluded'] = df_scud.apply(
|
df_scud['is_excluded'] = df_scud.apply(
|
||||||
lambda r: is_excluded(r.get('Сотрудник', ''), r.get('Подразделение', ''), r.get('Должность', ''), exceptions),
|
lambda r: is_excluded(r.get('Сотрудник', ''), r.get('Подразделение', ''), r.get('Должность', ''), exceptions),
|
||||||
axis=1
|
axis=1
|
||||||
|
|||||||
+36
-18
@@ -16,6 +16,7 @@ MONTHS_RU = {
|
|||||||
9: "сентября", 10: "октября", 11: "ноября", 12: "декабря"
|
9: "сентября", 10: "октября", 11: "ноября", 12: "декабря"
|
||||||
}
|
}
|
||||||
|
|
||||||
|
|
||||||
def format_date_ru(date_str):
|
def format_date_ru(date_str):
|
||||||
"""Преобразует дату формата '27.07.2026' в '27 июля 2026'"""
|
"""Преобразует дату формата '27.07.2026' в '27 июля 2026'"""
|
||||||
try:
|
try:
|
||||||
@@ -24,6 +25,7 @@ def format_date_ru(date_str):
|
|||||||
except Exception:
|
except Exception:
|
||||||
return date_str
|
return date_str
|
||||||
|
|
||||||
|
|
||||||
# Границы ячеек
|
# Границы ячеек
|
||||||
THIN_SIDE = Side(border_style="thin", color="D3D3D3")
|
THIN_SIDE = Side(border_style="thin", color="D3D3D3")
|
||||||
THIN_BORDER = Border(left=THIN_SIDE, right=THIN_SIDE, top=THIN_SIDE, bottom=THIN_SIDE)
|
THIN_BORDER = Border(left=THIN_SIDE, right=THIN_SIDE, top=THIN_SIDE, bottom=THIN_SIDE)
|
||||||
@@ -142,7 +144,7 @@ def generate_summary_excel(merged_df, date_str="27.07.2026", filename=None):
|
|||||||
ws.row_dimensions[current_row].hidden = False
|
ws.row_dimensions[current_row].hidden = False
|
||||||
current_row += 1
|
current_row += 1
|
||||||
|
|
||||||
# 4. КАТЕГОРИИ ОТСУТСТВИЙ (Свернуты hidden=True, ИСКЛЮЧЕНИЯ ИСКЛЮЧЕНЫ)
|
# 4. КАТЕГОРИИ ОТСУТСТВИЙ (Свернуты hidden=True)
|
||||||
absent_only = merged_df[
|
absent_only = merged_df[
|
||||||
(merged_df['Пришел'] == False) &
|
(merged_df['Пришел'] == False) &
|
||||||
(merged_df['Вид_отсутствия'].notna()) &
|
(merged_df['Вид_отсутствия'].notna()) &
|
||||||
@@ -186,9 +188,12 @@ def generate_summary_excel(merged_df, date_str="27.07.2026", filename=None):
|
|||||||
current_row += 1
|
current_row += 1
|
||||||
|
|
||||||
# 6. АНОМАЛИИ (Свернут hidden=True)
|
# 6. АНОМАЛИИ (Свернут hidden=True)
|
||||||
anomalies = merged_df[(merged_df['Пришел'] == True) & (merged_df['Вид_отсутствия'].notna())]
|
anomalies = merged_df[
|
||||||
|
((merged_df['Пришел'] == True) & (merged_df['Вид_отсутствия'].notna())) |
|
||||||
|
(merged_df.get('anomaly_flag', 'NONE') == 'ANOMALY_NO_IN_HAS_ACTIVITY')
|
||||||
|
]
|
||||||
|
|
||||||
ws.cell(row=current_row, column=1, value="Аномалии")
|
ws.cell(row=current_row, column=1, value="Аномалии СКУД и 1С")
|
||||||
ws.cell(row=current_row, column=2, value=len(anomalies))
|
ws.cell(row=current_row, column=2, value=len(anomalies))
|
||||||
format_row_cells(ws, current_row, FILL_ANOMALY, is_bold=True, bold_font=bold_font)
|
format_row_cells(ws, current_row, FILL_ANOMALY, is_bold=True, bold_font=bold_font)
|
||||||
current_row += 1
|
current_row += 1
|
||||||
@@ -198,10 +203,16 @@ def generate_summary_excel(merged_df, date_str="27.07.2026", filename=None):
|
|||||||
if not anomalies.empty:
|
if not anomalies.empty:
|
||||||
for _, row in anomalies.iterrows():
|
for _, row in anomalies.iterrows():
|
||||||
fio = row.get('Сотрудник', '')
|
fio = row.get('Сотрудник', '')
|
||||||
reason = row.get('Вид_отсутствия', 'Неизвестная причина')
|
reason = row.get('Вид_отсутствия', '')
|
||||||
reason_text = f"В 1С: {reason}"
|
anom_flag = row.get('anomaly_flag', 'NONE')
|
||||||
|
|
||||||
|
if anom_flag == 'ANOMALY_NO_IN_HAS_ACTIVITY':
|
||||||
|
first_act = row.get('Первая_активность', '—')
|
||||||
|
reason_text = f"🚨 АНОМАЛИЯ СКУД: Нет входа (первая активность: {first_act})"
|
||||||
|
else:
|
||||||
|
reason_text = f"В 1С: {reason}"
|
||||||
|
|
||||||
cell_a = ws.cell(row=current_row, column=1, value=f"{fio} (На работе)")
|
cell_a = ws.cell(row=current_row, column=1, value=f"{fio}")
|
||||||
cell_b = ws.cell(row=current_row, column=2, value=reason_text)
|
cell_b = ws.cell(row=current_row, column=2, value=reason_text)
|
||||||
|
|
||||||
cell_a.fill = FILL_ANOMALY
|
cell_a.fill = FILL_ANOMALY
|
||||||
@@ -223,7 +234,7 @@ def generate_summary_excel(merged_df, date_str="27.07.2026", filename=None):
|
|||||||
current_row += 1
|
current_row += 1
|
||||||
|
|
||||||
ws.column_dimensions['A'].width = 45.0
|
ws.column_dimensions['A'].width = 45.0
|
||||||
ws.column_dimensions['B'].width = 32.0
|
ws.column_dimensions['B'].width = 38.0
|
||||||
|
|
||||||
try:
|
try:
|
||||||
wb.save(output_path)
|
wb.save(output_path)
|
||||||
@@ -235,7 +246,7 @@ def generate_summary_excel(merged_df, date_str="27.07.2026", filename=None):
|
|||||||
print(f"[⚠️] Файл открыт в Excel! Сохранено как: {alt_path}")
|
print(f"[⚠️] Файл открыт в Excel! Сохранено как: {alt_path}")
|
||||||
|
|
||||||
|
|
||||||
# --- 2. ДЕТАЛЬНЫЙ ОТЧЕТ ЗА ВЧЕРА ---
|
# --- 2. ДЕТАЛЬНЫЙ ОТЧЕТ ЗА ВЧЕРА (С КОЛОНКОЙ 'первая активность' СРАЗУ ПОСЛЕ 'время входа') ---
|
||||||
def generate_detailed_excel(merged_df, date_str="26.07.2026", filename=None):
|
def generate_detailed_excel(merged_df, date_str="26.07.2026", filename=None):
|
||||||
if not filename:
|
if not filename:
|
||||||
filename = f"{format_date_ru(date_str)} отчет.xlsx"
|
filename = f"{format_date_ru(date_str)} отчет.xlsx"
|
||||||
@@ -250,8 +261,9 @@ def generate_detailed_excel(merged_df, date_str="26.07.2026", filename=None):
|
|||||||
ws["B2"].font = Font(name="Arial", size=10, bold=True)
|
ws["B2"].font = Font(name="Arial", size=10, bold=True)
|
||||||
ws["D2"].font = Font(name="Arial", size=10, bold=True)
|
ws["D2"].font = Font(name="Arial", size=10, bold=True)
|
||||||
|
|
||||||
|
# ⭐️ Порядок колонок: "первая активность" строго после "время входа"
|
||||||
headers = [
|
headers = [
|
||||||
"№", "ФИО", "Подразделение", "время входа", "время выхода",
|
"№", "ФИО", "Подразделение", "время входа", "первая активность", "время выхода",
|
||||||
"находился в здании", "причина отсутствия", "норма", "отклонение от нормы"
|
"находился в здании", "причина отсутствия", "норма", "отклонение от нормы"
|
||||||
]
|
]
|
||||||
ws.append([])
|
ws.append([])
|
||||||
@@ -269,14 +281,16 @@ def generate_detailed_excel(merged_df, date_str="26.07.2026", filename=None):
|
|||||||
end_col = 'Конец дня' if 'Конец дня' in merged_df.columns else 'Конец_дня'
|
end_col = 'Конец дня' if 'Конец дня' in merged_df.columns else 'Конец_дня'
|
||||||
hours_col = 'Часы' if 'Часы' in merged_df.columns else 'Находился_в_здании'
|
hours_col = 'Часы' if 'Часы' in merged_df.columns else 'Находился_в_здании'
|
||||||
|
|
||||||
chars_per_line_g = 24
|
chars_per_line_h = 24
|
||||||
|
|
||||||
for idx, row in merged_df.reset_index(drop=True).iterrows():
|
for idx, row in merged_df.reset_index(drop=True).iterrows():
|
||||||
is_present = row.get('Пришел', False)
|
is_present = row.get('Пришел', False)
|
||||||
absence_reason = row.get('Вид_отсутствия', '')
|
absence_reason = row.get('Вид_отсутствия', '')
|
||||||
has_reason = pd.notna(absence_reason) and str(absence_reason).strip() != ''
|
has_reason = pd.notna(absence_reason) and str(absence_reason).strip() != ''
|
||||||
|
anom_flag = row.get('anomaly_flag', 'NONE')
|
||||||
|
|
||||||
in_building_str = str(row.get(hours_col, '00:00'))
|
in_building_str = str(row.get(hours_col, '00:00'))
|
||||||
|
first_act_val = row.get('Первая_активность', '—')
|
||||||
|
|
||||||
deviation_val = calculate_deviation(in_building_str, reason=absence_reason if has_reason else "", norm_hours=8, lunch_minutes=30)
|
deviation_val = calculate_deviation(in_building_str, reason=absence_reason if has_reason else "", norm_hours=8, lunch_minutes=30)
|
||||||
|
|
||||||
@@ -285,6 +299,7 @@ def generate_detailed_excel(merged_df, date_str="26.07.2026", filename=None):
|
|||||||
row.get('Сотрудник', ''),
|
row.get('Сотрудник', ''),
|
||||||
row.get('Подразделение', ''),
|
row.get('Подразделение', ''),
|
||||||
row.get(start_col, 'Нет входа'),
|
row.get(start_col, 'Нет входа'),
|
||||||
|
first_act_val, # ⭐️ Колонки №5: "первая активность"
|
||||||
row.get(end_col, 'Нет выхода'),
|
row.get(end_col, 'Нет выхода'),
|
||||||
in_building_str,
|
in_building_str,
|
||||||
absence_reason if has_reason else '',
|
absence_reason if has_reason else '',
|
||||||
@@ -294,16 +309,19 @@ def generate_detailed_excel(merged_df, date_str="26.07.2026", filename=None):
|
|||||||
|
|
||||||
row_num = 5 + idx
|
row_num = 5 + idx
|
||||||
|
|
||||||
if is_present and has_reason:
|
# Заливка строк по категориям
|
||||||
|
if anom_flag == 'ANOMALY_NO_IN_HAS_ACTIVITY':
|
||||||
|
row_fill = LIGHT_RED_FILL
|
||||||
|
elif is_present and has_reason:
|
||||||
row_fill = GREEN_FILL
|
row_fill = GREEN_FILL
|
||||||
elif not is_present:
|
elif not is_present:
|
||||||
row_fill = YELLOW_FILL if has_reason else LIGHT_RED_FILL
|
row_fill = YELLOW_FILL if has_reason else LIGHT_RED_FILL
|
||||||
else:
|
else:
|
||||||
row_fill = None
|
row_fill = None
|
||||||
|
|
||||||
val_g_str = str(absence_reason) if has_reason else ""
|
val_h_str = str(absence_reason) if has_reason else ""
|
||||||
if len(val_g_str) > chars_per_line_g:
|
if len(val_h_str) > chars_per_line_h:
|
||||||
needed_lines = math.ceil(len(val_g_str) / chars_per_line_g)
|
needed_lines = math.ceil(len(val_h_str) / chars_per_line_h)
|
||||||
ws.row_dimensions[row_num].height = max(needed_lines * 18, 22)
|
ws.row_dimensions[row_num].height = max(needed_lines * 18, 22)
|
||||||
else:
|
else:
|
||||||
ws.row_dimensions[row_num].height = 20
|
ws.row_dimensions[row_num].height = 20
|
||||||
@@ -314,17 +332,17 @@ def generate_detailed_excel(merged_df, date_str="26.07.2026", filename=None):
|
|||||||
if row_fill:
|
if row_fill:
|
||||||
cell.fill = row_fill
|
cell.fill = row_fill
|
||||||
|
|
||||||
if col_idx == 7:
|
if col_idx == 8:
|
||||||
cell.alignment = Alignment(horizontal="left", vertical="center", wrap_text=True)
|
cell.alignment = Alignment(horizontal="left", vertical="center", wrap_text=True)
|
||||||
elif col_idx in [1, 4, 5, 6, 8, 9]:
|
elif col_idx in [1, 4, 5, 6, 7, 9, 10]:
|
||||||
cell.alignment = Alignment(horizontal="center", vertical="center")
|
cell.alignment = Alignment(horizontal="center", vertical="center")
|
||||||
else:
|
else:
|
||||||
cell.alignment = Alignment(horizontal="left", vertical="center")
|
cell.alignment = Alignment(horizontal="left", vertical="center")
|
||||||
|
|
||||||
for col in ws.columns:
|
for col in ws.columns:
|
||||||
col_letter = get_column_letter(col[0].column)
|
col_letter = get_column_letter(col[0].column)
|
||||||
if col_letter == 'G':
|
if col_letter == 'H':
|
||||||
ws.column_dimensions['G'].width = 25.0
|
ws.column_dimensions['H'].width = 25.0
|
||||||
else:
|
else:
|
||||||
max_len = 0
|
max_len = 0
|
||||||
for cell in col:
|
for cell in col:
|
||||||
|
|||||||
+22
-7
@@ -1,7 +1,6 @@
|
|||||||
"""
|
"""
|
||||||
Модуль автоматического экспорта данных СКУД (Orion) из MS SQL Server в SQLite и Excel.
|
Модуль автоматического экспорта данных СКУД (Orion) из MS SQL Server в SQLite и Excel.
|
||||||
Исправлена логика определения направления проходов (Mode = 2 -> OUT).
|
Добавлена фиксация Первой Активности (без учета направления) и среза по времени.
|
||||||
Адаптирован для Linux (Ubuntu 24.04).
|
|
||||||
"""
|
"""
|
||||||
|
|
||||||
import argparse
|
import argparse
|
||||||
@@ -82,11 +81,11 @@ WITH DailyLogs AS (
|
|||||||
WHERE log.TimeVal BETWEEN @StartDate AND @EndDate
|
WHERE log.TimeVal BETWEEN @StartDate AND @EndDate
|
||||||
AND log.HozOrgan IS NOT NULL
|
AND log.HozOrgan IS NOT NULL
|
||||||
AND log.HozOrgan > 0
|
AND log.HozOrgan > 0
|
||||||
AND (log.Event IN (28, 29, 26, 27, 32, 33) OR log.Mode IN (1, 2))
|
|
||||||
),
|
),
|
||||||
Passages AS (
|
Passages AS (
|
||||||
SELECT
|
SELECT
|
||||||
EmployeeID,
|
EmployeeID,
|
||||||
|
MIN(TimeVal) AS FirstRawEvent, -- ⭐️ Первое событие ДНЯ ВООБЩЕ (любая дверь/туалет/выход)
|
||||||
MIN(CASE WHEN Direction = 'IN' THEN TimeVal END) AS FirstIn,
|
MIN(CASE WHEN Direction = 'IN' THEN TimeVal END) AS FirstIn,
|
||||||
MAX(CASE WHEN Direction = 'OUT' THEN TimeVal END) AS LastOut,
|
MAX(CASE WHEN Direction = 'OUT' THEN TimeVal END) AS LastOut,
|
||||||
MAX(CASE WHEN RowNumDesc = 1 THEN Direction END) AS LastEventType
|
MAX(CASE WHEN RowNumDesc = 1 THEN Direction END) AS LastEventType
|
||||||
@@ -107,6 +106,14 @@ SELECT
|
|||||||
ISNULL(CAST(p.TabNumber AS NVARCHAR(50)), N'—') AS [Таб_№],
|
ISNULL(CAST(p.TabNumber AS NVARCHAR(50)), N'—') AS [Таб_№],
|
||||||
CONVERT(VARCHAR(10), @TargetDate, 104) AS [Дата],
|
CONVERT(VARCHAR(10), @TargetDate, 104) AS [Дата],
|
||||||
ISNULL(CAST(CONVERT(VARCHAR(8), pass.FirstIn, 108) AS NVARCHAR(20)), N'Нет входа') AS [Начало_дня],
|
ISNULL(CAST(CONVERT(VARCHAR(8), pass.FirstIn, 108) AS NVARCHAR(20)), N'Нет входа') AS [Начало_дня],
|
||||||
|
|
||||||
|
-- ⭐️ НОВАЯ КОЛОНКА: "Первая активность" (если нет входа, но есть события в здании)
|
||||||
|
CASE
|
||||||
|
WHEN pass.FirstIn IS NULL AND pass.FirstRawEvent IS NOT NULL
|
||||||
|
THEN CAST(CONVERT(VARCHAR(8), pass.FirstRawEvent, 108) AS NVARCHAR(20))
|
||||||
|
ELSE N'—'
|
||||||
|
END AS [Первая_активность],
|
||||||
|
|
||||||
CASE
|
CASE
|
||||||
WHEN @TargetDate = CAST(GETDATE() AS DATE) AND (pass.LastEventType = 'IN' OR pass.LastOut IS NULL OR pass.LastOut <= pass.FirstIn)
|
WHEN @TargetDate = CAST(GETDATE() AS DATE) AND (pass.LastEventType = 'IN' OR pass.LastOut IS NULL OR pass.LastOut <= pass.FirstIn)
|
||||||
THEN N'Нет выхода'
|
THEN N'Нет выхода'
|
||||||
@@ -204,6 +211,7 @@ def run_export(input_date: str | None = None, save_xlsx: bool = True, debug: boo
|
|||||||
os.makedirs(SCUD_DIR, exist_ok=True)
|
os.makedirs(SCUD_DIR, exist_ok=True)
|
||||||
|
|
||||||
targets = get_targets(input_date)
|
targets = get_targets(input_date)
|
||||||
|
snapshot_time = datetime.now().strftime("%Y-%m-%d %H:%M:%S")
|
||||||
|
|
||||||
conn_str = (
|
conn_str = (
|
||||||
f"DRIVER={{{ODBC_DRIVER}}};"
|
f"DRIVER={{{ODBC_DRIVER}}};"
|
||||||
@@ -235,11 +243,18 @@ def run_export(input_date: str | None = None, save_xlsx: bool = True, debug: boo
|
|||||||
if len(df) > 0:
|
if len(df) > 0:
|
||||||
# 1. Готовим колонки для локальной БД
|
# 1. Готовим колонки для локальной БД
|
||||||
df['fio_clean'] = df['Сотрудник'].apply(clean_scud_fio_light)
|
df['fio_clean'] = df['Сотрудник'].apply(clean_scud_fio_light)
|
||||||
df['Пришел'] = df['Статус'].str.contains('Присутствовал', case=False, na=False)
|
|
||||||
|
# Валидация прихода с учетом аномалии неявки на вход
|
||||||
|
df['anomaly_flag'] = 'NONE'
|
||||||
|
mask_anomaly = (df['Начало_дня'] == 'Нет входа') & (df['Первая_активность'] != '—')
|
||||||
|
df.loc[mask_anomaly, 'anomaly_flag'] = 'ANOMALY_NO_IN_HAS_ACTIVITY'
|
||||||
|
|
||||||
# 2. ПРЯМОЕ СОХРАНЕНИЕ В SQLite (scud_orion_ai.db)
|
# Флаг 'Пришел' ставится в True только если был вход
|
||||||
save_scud_to_db(df, processing_date_str)
|
df['Пришел'] = df['Статус'].str.contains('Присутствовал', case=False, na=False) & (~mask_anomaly)
|
||||||
log(f"[✓] Записи за {processing_date_str} успешно сохранены в SQLite!", "SUCCESS")
|
|
||||||
|
# 2. ПРЯМОЕ СОХРАНЕНИЕ В SQLite (scud_orion_ai.db) С METКОЙ СРЕЗА snapshot_time
|
||||||
|
save_scud_to_db(df, processing_date_str, snapshot_time=snapshot_time)
|
||||||
|
log(f"[✓] Записи за {processing_date_str} успешно сохранены в SQLite с меткой {snapshot_time}!", "SUCCESS")
|
||||||
|
|
||||||
# 3. Сохранение в Excel (если включен флаг save_xlsx)
|
# 3. Сохранение в Excel (если включен флаг save_xlsx)
|
||||||
if save_xlsx:
|
if save_xlsx:
|
||||||
|
|||||||
+3
-3
@@ -19,7 +19,7 @@ def update_file_imports(filepath):
|
|||||||
for mod in service_modules:
|
for mod in service_modules:
|
||||||
new_content = new_content.replace(f"from modules.{mod}", f"from services.{mod}")
|
new_content = new_content.replace(f"from modules.{mod}", f"from services.{mod}")
|
||||||
new_content = new_content.replace(f"import modules.{mod}", f"import services.{mod}")
|
new_content = new_content.replace(f"import modules.{mod}", f"import services.{mod}")
|
||||||
# Также на случай относительных или прямых импортов внутри сервисов друг на друга
|
# Замена для прямых импортов между модулями внутри папки services/
|
||||||
new_content = new_content.replace(f"from {mod}", f"from services.{mod}")
|
new_content = new_content.replace(f"from {mod}", f"from services.{mod}")
|
||||||
|
|
||||||
if content != new_content:
|
if content != new_content:
|
||||||
@@ -33,9 +33,9 @@ def run_update():
|
|||||||
if "venv" in root or ".git" in root:
|
if "venv" in root or ".git" in root:
|
||||||
continue
|
continue
|
||||||
for file in files:
|
for file in files:
|
||||||
if file.endswith(".py") and file != "migrate_structure.py" and file != "update_imports.py":
|
if file.endswith(".py") and file not in ["migrate_structure.py", "update_imports.py"]:
|
||||||
update_file_imports(os.path.join(root, file))
|
update_file_imports(os.path.join(root, file))
|
||||||
print("=== Обновление завершено ===")
|
print("=== Обновление импортов успешно завершено ===")
|
||||||
|
|
||||||
if __name__ == "__main__":
|
if __name__ == "__main__":
|
||||||
run_update()
|
run_update()
|
||||||
Reference in New Issue
Block a user