From 828ce67817e39cf22427df2e8c75aa3de0dffedb Mon Sep 17 00:00:00 2001 From: manoraga Date: Mon, 17 Aug 2026 11:55:07 +0300 Subject: [PATCH] =?UTF-8?q?feat(llm):=20=D0=BF=D0=B5=D1=80=D0=B5=D1=85?= =?UTF-8?q?=D0=BE=D0=B4=20=D0=BD=D0=B0=20=D1=80=D0=B5=D0=BB=D1=8F=D1=86?= =?UTF-8?q?=D0=B8=D0=BE=D0=BD=D0=BD=D1=8B=D0=B5=20=D1=83=D0=B7=D0=BB=D1=8B?= =?UTF-8?q?=20=D0=BF=D1=80=D0=BE=D0=BC=D0=BF=D1=82=D0=B0,=20db=5Fcli=20con?= =?UTF-8?q?text=20=D0=B8=20=D0=BE=D1=87=D0=B8=D1=81=D1=82=D0=BA=D0=B0=20?= =?UTF-8?q?=D0=BE=D1=82=20=D1=80=D0=B5=D0=B3=D1=83=D0=BB=D1=8F=D1=80=D0=BE?= =?UTF-8?q?=D0=BA?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- data/scud_orion_ai.db | Bin 6062080 -> 6062080 bytes data/scud_orion_ai.db-shm | Bin 32768 -> 0 bytes data/scud_orion_ai.db-wal | Bin 346112 -> 0 bytes docs/CHANGELOG.md | 37 + ...I & Context API (Master Manifesto v5.0).md | 185 + docs/ROADMAP.md | 61 + ...й паспорт и технический контекст (v4.0).md | 223 ++ docs/development_roadmap.md | 49 +- .../план_оптимизации_работы_с_контекстом.md | 33 + modules/web_api/llm/agent.py | 187 +- modules/web_api/llm/core/fast_path.py | 84 +- modules/web_api/llm/core/prompt_merger.py | 29 +- modules/web_api/llm/core/tool_injector.py | 24 +- modules/web_api/llm/db/db_prompts.py | 281 +- modules/web_api/llm/db_tools.py | 3 +- modules/web_api/llm/schemas.py | 80 +- modules/web_api/main.py | 18 +- modules/web_api/routers/chat.py | 32 +- modules/web_api/static/index.html | 4 +- modules/web_api/static/js/chat.js | 58 +- modules/web_api/static/js/chat/core.js | 439 +++ modules/web_api/static/js/chat/task_widget.js | 208 ++ project_code_snapshot.md | 3322 ++++++++++++++--- scripts/db_cli.py | 94 +- scripts/diagnostics/make_code_snapshot.py | 2 +- 25 files changed, 4447 insertions(+), 1006 deletions(-) delete mode 100644 data/scud_orion_ai.db-shm delete mode 100644 data/scud_orion_ai.db-wal create mode 100644 docs/CHANGELOG.md create mode 100644 docs/PROJECT BRAIN_ SCUD Orion AI & Context API (Master Manifesto v5.0).md create mode 100644 docs/ROADMAP.md create mode 100644 docs/SCUD Orion AI — Полная энциклопедическая хроника, архитектурный паспорт и технический контекст (v4.0).md create mode 100644 docs/in_progress/план_оптимизации_работы_с_контекстом.md create mode 100644 modules/web_api/static/js/chat/core.js create mode 100644 modules/web_api/static/js/chat/task_widget.js diff --git a/data/scud_orion_ai.db b/data/scud_orion_ai.db index 7aa2bcec216168653c08e91a6393bb4bc916fe08..df51d11d7c6b7567645845999fa748d8c08f5d89 100644 GIT binary patch delta 6270 zcmeHLYj6|S72aJ*)&pzT#5RWT@U_8NKP0hw*p|gBPB4!G4iFP3q!Zg1bovkkvj)c|X&Ra~&2%?y(zIy;Y1*02kQbR|I@4*Jo_i(B zlD!#dr_d(Z3cxuW!5uB# zJG*vthg&+k+JimIX4?(bv^*s81>d~pDxl9CS^Ozo5fdbVmIOu;43c1!1d}A>NP<}s zERtZA1e+wxkc3=Gun!8X(Pprprr1N=L-x~nu%q?`(O|_4YVO=vaL!!HYi+8(d!5tg zelXY>+}YNlo{)z|R~ELb7uAHSs0l5m^=VP9AF1P7428S8I$A=V4+po0yLP&|_aJoy zsh8AYO;m@~vv7}UF-$tEMb%+^I{-Sy@g1pSYJyxa2k?$*2jq87@dfj>epLa!i-2Q;i9}wJ<$Vwt7iFuMZQxb2H z#C%CCki# zTWRme{bTOB8N)Lgt-rRMFgN7*P0hw;!&#<}Sx1jk?^DgPTUcFQl)ubMmC$r_yVbj+ zE!5f426hh{4072Ow5zx-;Du#+qK!)lQ|!JhCPsdGIe)s+BY0|@g5T+`M(zm#+Y&5b zjozIlAp4i|+dFjlR|G7;ZdsAVt)5Va)Whl#^{9GGJ&e?o>M8Q~M>+~(3+u=X_Zc!( zFcvwngr6@9%lNmebfluC{^YvoEGe_xzm$JOS72`~5$LVW63D^ByrwJgKuvOlJy`-K z`J(`TUQZxqt4@xvDNDd8|MIu!54r-)J|eL1%UJ>j<-=WUJ}rOr2Abnihg~|Wk9oXF z$&xHdM%nQ?ve9~OjqUPa3G04mmV`pThRSJq!<(omkWnjIg6*NO-oQaO)?$fTv$V+9 zef)C0QKR_+@LTCC^k z=1NE)tL4Egi8UH>=Iby^tqY~rMN(_o`PSQvY7Ui0QOr?Xia+EAHkt=TtC7&S_ak^e_=mCa7w!o(=!c{Vrq^%+mu3N7Q-pIbtfLh}#In{wXbzRm76?lvS0VJ4`1^*+9rw%Do1DUPbAxo~ACTn~6BA3oC)#BD6n#OEnltnox@`B9>Oa2pH-aAYr zYF=nAa(bC)U8u7?xI5IoJ8Q?&(=>kP=7##F2DG+uWy8H_ssy^L5$Q;kPvl11j-Uhe zz?K#2>TC(!(e6MYyv>H%D|$DTn2Wq#Mp_+i+tv}(QKCa)YUHo%=L_;D)Z=X$mD>>f zbI_0E+z!w1P0P6u80F8jV02=|D0Gk1K1DXI^0QUfz0rx67iTmh{Zdjb@Cx9OVehPRY z_53{CF9Tjo0l&jMFW_i?iIeiSp3b{JF?e{Z(N(|>P~3;y+uSd>i`;j)L2e(nlWXNR zZ~=~oPd}RdfPItw8LO~Qu>dX*3_CK*B7P`KTXu-B9`zeCrIW#pUMCv1%`GE>gNpx3f1xUHop*wcfz51go9?FsIb zuk7C9kl(+8a`Oqlr#e~^Ux-JJKIpZ`HVygZm5**|bnAQ%Y>gM+v}PZ)JfL~OjWzoM z-rBA4TW?BpAD+6&@m0eGc>BnJ~!Df zBht)1OEjI+dchi~eOt@+ju7dX xhoxTJ%90zm3Dxk*(dtyr^)H7I_CgFw|cf`cn zU_RVeCnBhv*mqn#1J)cS^8~}k@u+H|!evuWVx`3X&{1P!jRF&4)cOO+UF#D3q(iW& zCxCMVhK4KlkQNJ|HEUO|fd!rd0n*ZIeMmcqHBZ<$0$#&U=RolpnCn?kkCg-IY|7;b zrgji!J_;<)q!tN0I8+iYP(BC`qaX?cf{Dp$h|Tda0|F{63r-qfgfXxi79yc@2!Y3k zQDoBBTJMT%XG1Go?TNYLE^v0?zM0dVjk9)gJbcVR{0o5z+S4(l^}0~0`War0V2}Lw z-FgGBmL`v0VD9$}tIwp2(+}B&Jqyn`0C3)cSzQR)cbpxtG#oNuQztk^J3tl=iKF#T zHi*eHmAZgWrZ4+FIPI@;nOFJtR(kOubRrgpo=?$_(DRj&!#OkQ1zY2lH&bP-v&aa7 zKj5xD&crKl7G9|ES`;Xb#s79;zG93(_~57=R?k6jLtf#Eg8hh{m&&HpDbv&dCFy)g z>jk@zNJOO`R~=Fz(n(^G11hX3%>p)0#UdCPpKw7)%71+W<$V!M{3J0pIpsQlwEZ}L zlSu?Z#33080?DQIIg%RA!#qb}5*L!$3{*%R&^Nxg71$7*MgZJYK?fjosXgGiKdK%*n{R+MEKd8{4(NhPpQT2Ij+*EAjXT?TM0CLMK zm#7s*$-EudXv6sm2fp1DC);1KcjG2wn;kN?{H8K?6J#tz96np^T@~lCS0wlJQkuPQ zrgD;O`KjFm!n_aHAPDK(zsAE*;Kt&+crljjcWj>IVk^$VU zV%#8g@hL%H=*FOtMn|}S7nMx`EdEwf{@;+pq`r%Ewf+Xj!_>+;B1JO)jmf`d>I&x?BJN delta 1551 zcmb`HYitx%6vt;~XP@29Y@rKiYdhV7Q>44hbo-!H9*Zps71)-SWru7L7G1;w?E>Xh zW=l9~sDxtDAqJ#KL)7>Y|87J~&GvF)@w%(FieuL3{%>0us>y|*G zL1I9%fW(4i1<3}I9V7=xPLNz6<$&Y{DYsAJSUbZVqPRo6mMnJ1%&2@eHgD4p&EYnN z98zsvWo=!s22>7I9#jvgd7w@Jbt0(wpn5@_1nOi^r-1qZs1Jf#0BRwq4}n?)YVm1R z2=}EXu}%whgyK(8cPVYFqvU`y4y6vt?@iL0+@ws-88SwVGX@%i=^pJ&molkJ2nH$x zg3oxv7)~eC-DG+&eb6}PtB@+H{n9MITqVd-ogA#Isyto-J`$_=+_Rd?trY70A;oId zUfa&q>RWF|f{f1WQ3Zqt1G*vqGmOeXhKLSbemBJjbUTR_(0I;1rzeM%-zUj zd)7^=g^U21lG7RA7LB<)OCGZiG~L$v@ZB%1G~GzidPzo_PuCo; zpl$x?=Pkh&m5jbUDSoMCvc1PvW}U|tS*}^inIEWL zW9zjSgQN`#e)`>oc3Fd z?Ej6f4TvAQyvZ5f9IBuyxyoBi1)a-7%NqTXtTnwUdM!uONv-58J8?;4Y-dAz`{s7R z_{bO)i~-}Q@w#9P3Jsm>Vw;5YE5`YB(ws`Gq;7@<**Gbbk?-NON;p6&X-F_G7$^kd zn>MeT-ginYWGm|`f`B4m8Q^rlM*wF4mIL|$1AsFDB|sUl0+6^>0#*T51J(e}0;~nB z1AG+lF~He?a{%W8&I1eq&If!PupY1hZ~@>GfKLK01Y88z2>2A>V!$PUO98`xO@PgS z%K(=Ht^iyKxC-#;5p1!CWjE=TpAs$*MhO=Q9}_;ID5jd|CBkQf%LKEtrp6!7+jj7* kKJAI%_|V@CF5BiV+51!{tFxKNAN+rN{L}mYvTxb`0vQw^4*&oF diff --git a/data/scud_orion_ai.db-shm b/data/scud_orion_ai.db-shm deleted file mode 100644 index fe594b33dac4e42ef4130a58f8c9ea9b990e862c..0000000000000000000000000000000000000000 GIT binary patch literal 0 HcmV?d00001 literal 32768 zcmeI)SxyvD6oBC$5U~ZZQNacr0dd3u1O#y&z!9f+w_phFL7rTLYf-^<7$1CR0eDY` zN;;h~!308A``@JcR_;A@hHn8~`8h_clj&)J^1HPEXot_gX1^|#R#ra@4!vLhwAi;+ zni-!PD34bDF+Os~io6>&t9n@T)7@IFPg^>R_o?)JNqu}z&+l}$Tz4OL(PzZh?h%)F zmS(G-$9JoB-{$3BOEGc&akFlHPg%`~i+ZtVH6k|ZeA~Q>JLBwZ!^aHkw5k< zM|@vfBkrPp)>G7QDWHG?3Mim}0tzUgfC36Apnw7jD4>7>3Mim}0tzUgfC36Apnw7j zD4>7>3Mim}0tzUgfC36Apnw7jD4>7>3Mim}0tzUgfC36AuoZzRZg7*u>i+_4CEgeX zwqKx?{q%F1bBr^`1D7> z3MlZO2$VQXg;R_&!+oAM=+t{Tz#t=BWRg2P=4FHSX0iq*2+D$pbX?ObS* zNgP7~1r$&~0R?tTpoKkjG0b_cbDKxJ*sVsatAGLuD4>7>3Mim}0tzUgfC7aO*vGv> U^l6g{D4>7>3Mim}0{H@e02Db=*Z=?k diff --git a/data/scud_orion_ai.db-wal b/data/scud_orion_ai.db-wal deleted file mode 100644 index 16609b646fb816886d8b8d151c16c7f3f2a617b3..0000000000000000000000000000000000000000 GIT binary patch literal 0 HcmV?d00001 literal 346112 zcmeI53wTu5b?-+rh=*(#2ivjx`PM$h!9YMSguvEKW4nG5L%;^dshwmpNC%-!xX%R`}yLVPt}F(vk!4U0ZF zXTp`O;T!+_icly#DHJMx)!+W}9oPPL^>tsHHxb81Lfb>p!=eAg$0&F;v|lqmRC?*! zqN)k2>}9dEolZ9-6S1avL!u>Zr<^Wlz&YY{IGyfh%jw6DPIr@Y+;UF2t@wGuU1wF5 z%_*~{IES2Wcdfh5KVr)4irI5ZE3PZ8thOpEYAUO0s^{#zx_t^VyXtuT(9Gh!d)( z+*S*PfZQT5YRPT0SO^pn6y3IRAlZ%b@4(5BUMjW6-NeH7%Tc|k)&k{AwKUr4tgKa# zbw9G`re;Vz<->H>282&gN(kSHqV=Hm2ApHaN=|aOQabD=-d^k@)DCVtfx}LUJYCjw zsYO=xUpV`$q3Bcgayw-wYVE9eP(=|BxiCk<0V!rHsrDf=D6dcANBeuMO6TC)W)x2( zo8pZPxg4sQ5mN2KKMH@0@Cm#Z*%?*pu-vr(fEqNVL)%~}AqWc23dGU)4&g-Mg+T5x zC_>N@+)aVD%tOuxaPkor4|y^ZFGD6b3mc?HPq`b+5q^fKEzw+G1fN2IN>3-^&FK}% z3@W~)gzC8;S#EQ-qhURP28AzAquK4lCw}ZgGh=f*0PWi2H9G8)w#jyR$mscOX@L8j z$DC)S$+CT-3FG9aoiCdlb|S%VI?t3!G6&G8zf{AP(SdSyvu#5DUQvU!pbdg-`IKy@ z^L5F0AGnIDp=m?K*3o8B!#vwT1J=O}?pEid+v;w)+9(TBdct`Ig6(tmn8q(Bfg_9q z+8>)Fl7;Q_MCoJ0L|Qr7K|o_oa%&Bn#HQp)!P5@0;bl?mMI(Ww>oFNn>O!jwt?`CWzctxYDDH>8^Ud_6I|BA^(c1dU$@kwM8QhH1fM z2|Td87HU+;%rZvn#BiK}Lh20lzJZBa)1*SWaDJ!P?r5mDOq+#0_{L9UG2phL+R^S& z)5oU;P{eo*UwRlvDAW@kj%Rav7Qon#1feMG8gjIQN`P9Soz3Y`a{7nlRL$Y#OZ&(lc!qor#nhD5!K&2C5Cs z=5UJicH{$PVpqd)2AdO`s%H=Vro@Ujszjwa;5?hvp+0vD#vIZ?vv2g(N%}weAssi0 zk2+x+hTa&9@Dvh1>^wub)T+Z2;Bo7I2;mQS_DCaVcL^OEBmf&D6Ep38+oxg1Ega5) zlN`xY_F)6nbvKU1&?zV^ySr>t-bI5Q^Z^`n(X{N5WUwz=(%jY}#T(KUXRDXyjg1^t zEuHib{T^&1hcSyBlm#7jP=L9oEdXoLba4AXgT@f_PE!o1)i9$P7&KO4-k2tr0y+^I zbkXUYu@2fT20z0TIo}Gfe8I>kC?7`!k9)SM+ubM_Mfov=V6VmY&o(4|3=yLRx{ttg zaS)H8CWl2iVs&}V0O|>I&KAWXFinFDkj3m_(2SCzMgt+PdmG49w*Ai6peyX(wr2sG z?)Pcu$$SHw(;`p`F#%>!<8It3i`V9$=Ut!;9 zTHc;I(l6Kpvnqn25=Kg0r8%5s0EL zIJOg0g>upWbHu|Q2G!sf7u#6i&Qch5UJS5uX&kZ1tC1=h2JG{aV#k1#J2{dz154H= zc4n)VN{vmAAp142%rfw@rZ+d@YS7Bq4`ycYx`7uz$eY93c6?IRd7jAP%XZB**Ptcf ziqIfNli-+(=2!|#<1Lm>&POc-0u$juWS`T2GtGYV6toN+Ny|kcQs<=*DN>o&o2@w1 zw7&tAf!CuHk4KuK)YNHOYU0Gkg=`h$y8H3V^v{RAsi0fXj!4q zn5mpc!22Lhy8!Pi@g9S>|C03lAB8`WM%l`Z#n@RC{T=>>SIbA?gLSJCPy$Lo2`B+2 zpahhF5>Nt4KnW-TB`^{M!Viu|vJocj&kNK%`Mn?hr~TlTiP3vP6DPeEi9Q_dihe)3 zH+o5QMf5w--%ffXdP8(-G&Je8kq}7JR02vs2`B+2pahhF5>Nt4KnW-TCGcJeTs|>U zU6e^C8)Na>3|E?`?0PKxPOTn4c|v4bxOPRHD;d-2c)gvDd}#88kr_n~B$BHd?Yeq9 zwk)2ui=)Mnt0JFoY38!(<;z36zj*ltk*aW=-5gJ4n(PEtWUNjk6RVrj;ma>6iIf(l zSEn;}Q+CPBh0#Yt7Y{1NFA!;~++EX~Eq>8W={e-#=teq7|T30zX2{$M0h9u8J0#a5vB$<*rb z!z>MM^oJ&lk6czH%gU#l=LoX%0@aKDY3$--w;wR~^55d&FGcyGFD0M^lzR-UZ zGf(PY0MF&Be*s7R3k>)0yZ2P=DLlxh{sq*(0JT8<3#fkqd0hT94}AxB?}A6))xUr| z!mj=W)W3lG7x)AE7Z5)I!Mwn;fA@d7HvI5we7=CM63>@FKRyTWeh%;F@qPjCZ{htS z-ml>OGT!t#fNlCx0!ly$C;=s)1eAahPy$Lo2`B+2pajkx0>v-!n%-Y85WnmbPQ$)? zy18DUC{!Ne|99}(zp(v7yum(j!|5FOZ-?JV+)Sa{M!J0$w~chth)wYDY8*#yzy`V} z6&IdefiFnUWxJd+08fzg3Ebzqc4Qy|I@I=k_xs))PwRxy__q`n>~#D|_l-yCnV1e7 z;Z7PeHE<&NE`kb-(vSj1taBltfRS{Rh7&Ntjd(Btlg-%=C1CPB_W}t}ZVe*5)AOZ%7h7b@>%7da|Xb1s1rane@-iSrv`A*Mw+n%$y zqRgn$c@aRs6!n}9A7I3Pzuw$8rTc@14lp8U-~e9h6b>9fLT4*%fXR#9{y7mez=(Tx zLk5^UX}b?egaL`Sz_B|*#^^aTf!-&L?AHqg1NO{?u7lsELra%Am zphLZm=J`IvWAH*>FkXbY);8x_WSHdKQzjx6Bjyh@t$KJ8dcJX3yJkOs^cD- zn$n32jsr#{=Ai+s6Bjyh(QBP?v_mRSRoN(+xEK_ta86CdZ1@+*iS(2jtKtg<=LPV%0ABuc1WUhsZ_zW6 z=C_vIwV)wmTg#KFrg+AxLY#zfICP_Bg+gPlq|ge&|aHC;=s)1eAahPy$Lo2`B+2pahhF5;%JV!Vl8FV1ya^^8)jK z*!SzN-E{5piP3vP6DPeEi9Q_dihe)3H+o5QMf5w--%ffXdP8(-G&Je8vnQtJqy&_J z5>Nt4KnW-TC7=Y9fD%vwO5mLnxO`%yx+s%OHpb$$8Qw`x+4T+SOltM`$rB>e!nG^n znOGBUvg6t8bY$w}3nMd%9!MltHQIIcc5GQZZ5Kz2BUeQ}-_jgQXX4A3hjxGQ@(UtW z;X1oHp2{@gf$ms(bt0Kq-INYreo0BBv?#qgow1vc&vH9uCu;2rqmPCz9whMOvB<|e zusM}%YR;s`MT?M6y0)b*)|jkMhkh~;eFgXBb6%H@iIf+`8)EtL)qWrxnHr{i@nvb| zm!5iO^jD!VQvymr2`B+2 zpahhF5>Nt4KnW-TC7=ZUpagDdpE@p7dg=9569#)9yB7D>yWI^=zcXOr$AH_0 z{T=w(?etqtuQ|RK$K$uz)@eCMa72&OZ8=?XC{lLY%1TO{FX4zjZ0cr~epX$`uFp9J zN!GcWElK?d@>%D$B17hxFXBo6JQ0zi-caC1{|K!Yxc#{|{_?Ne?whLX1xB61t3XOX z2`B+2pahhF5>Nt4KnW-TCGd_2oY8uLX}Vq@f4#tGU;Re))Q6J?xn3YLX_~ATz=yt+ zfD%vwNGIUY%L;BGnh;t;v7e-sH9xM5y7 zN7oDde*6oBGmJ&($0@wud16C*?;8&qzk|m@(PQVg;%n)ZfD%vwNrl2lzk~nwCy~u-@BDC`K1VS6YF#B#0!ly$C;=s)1eAahPy$Lo2`GVgLg0*^ zBbctw5#&Ed@Y5fB_rG7Ya^?Wn3ydlGGw(S9e9@N@Py$Lo2`B+2pahhF5_mTR)_<&h zI^BY8xxQ-r;QLxxw_rP*K6k6EGR9(JI_ttR;(q?=bUNG({1`BP!r-8be!<`oY|t8I ztV*U!uwzaa+<3vw*nlf5m9cqy!F9@TiojB-t#k$*@0f5%VmI zBJ!xC%z|#qx^YAwHu%28C@#~L1?&#zztCawVn<+N4+Kc z^q~h;DJyVWS)U^?bt=9H-_L#r`!+m#-}l@-|6A7!yqiu>&rt$OKnW-TC7=Y9fD%vw zNNfGg>b&L)Q!BuNS!OjVosV?4M8mSFRT*E*T%J7rhFGa!E5Sw@I2`BwTMbU2`B+2pahhF5>Nt4 zKnW-TC2)=scvpT0XAku|SX~7GMTFqTBPc%n*q!m`o4&r}t_2Ml+ghGXHN`VlRp_En zI2^jsvfy<9Q43{_!9koh0q-mE9)q|4lJxu^g+Gx-*~*Q@*jW_)9sY(_%SYjZb*mCk z0!ly$C;=s)1eAahPy$Lo2`B+2FcJj95Ax}Nym$o9gn#`|%e9|&)xW?<0M|5?fD%vw zNNu?4gp@% zXXgb@X6~x|&evAda9er2xuJYzWqCZ2Y>GEF*y$N1mSvS%&VKkv=#?NA5<|pYS7Y5V z|Mok)y$2a-193uH-L*B=pWbxyoeLJ-UQ#lr%vyTWk~>Q)t1Qbqa1X=YtBQdw=QzWe3}7dBNfZ=-+m7%ogxHmhwSt%@`~f6DiLfjT;lem8D8B@!*??W# z!7wjK6N!7-F~|*Lw4idl=r)X1gLAgRkp@$BIuRr#^*~*6RiaefXfWi?y5Uu4cz*Lg z9$S3(qTBDjb;**FlDR&^%79B@hUwatx|sbS83sqbXMzW)LU5%dL3aok(RAb|@geAt ziDSbEFZc(7eqAtbkq46Dj=+N_z&jHo@R*o72sl#?gp5eT*fXtCZ=I|hhG<&DN@2hx z#z5*Ap5kx~FpuFppJ7En<}5PYg$9ezMJNVZihIf)+Qww|Wdz9U}OdAusF|2^?~ z0#;3$r)UqOCb4Y=t&Uhc(6Hw zjoko_09Im+nXW{pqUtfu5rbACw$4GsIy&s^0MrBc+>O9Z`$d?rk{68)7T%RKxOyx3PXZP%hXyfRNBqq9~@h z7!yQG?+2eUss_#ssa0n;$5WXmJCTXePOx~D&OyYIB380L21-UXD=R9d8Xe5*>)6&A zFbYt}&sa^m5JJ=S^p0_=I?ueR<^Zd#@QKYc#MtfTH`Uz!l6wo8xC5wVKYE$pRo=W{ zekpXKAB13ZAT=X+K{qVtF(?76n`NT1utVv^Umpm5N~|qYaHt->bVF4|i%di;98b+c zp2pglu7g&LW)JGg-T~i88oJ2(qd_36VFni2-hl@k#JR!PB9~XC&ui{`;e~K^C=cUu zdDh9$@QoBoX0}tiP=a1qD98g6C>j;AM-Yjsv4q`HLNBBk=yCqQ~^ z#nj<$7a{79G((}CwEpb9W0~z^sU8lCKk^vTYYwMVyQnyjRl?8(M9@KTyap}ei0%j~ zH8)xwhiHO^R!y1>nGL2eoeC)w#GIS4m}nyd&oO|V&wt@fpPW9!G-xPRtNV!0%`^GK z=#p>qPpe5)KC(H(AgfKL?D9HvL(Af6JA2GKZGRBB4Fy41JIi}m_uiWpzyQ&{w+UB{ zt^z$942ew$BMhKI%sd=+)QtCN%h^0nSktp6uDm&!Zpbtw6JorFf$|O;m_L56@W$^< zE#DxWxhBB~u}QFjV7w}U5YddpDqzf7=KN(D#;#xST7+-EhBwO~3&Uj$GI{XwA!pFw z_#K@nUY9p`HDfv)iExsKodeExbbqJ?n0y{~nilwul*u3XS9k;eA=J)5nf9B;A%><) zlpo~sIytm5bY?Z^3JyE_z2;-OMw+w}FgX3z!X;EYsvDb{j4-X6ZoYZZJs)3MT2X1u zw1BM_;TMSj0}UCWpmlMO)`!iHIw#&M6MrC&+~i7d2$S@gYZ8hx)F$0&uf8>vN~VmV zfFkX3_ObuD^}$-Z(PB|}8hbzXNJNJ*PyrKE*3g)&JzW!eC#sMWf)jNCWyAFp1{-Lz z7B5}dVWNI8AZFJL-lzaxNSH1I8zp)t2g@h1ZzJM#nvtIgX?e1g`u>3IaO~L6C zC7=Y9fD(951fIIG{lg4m{@wWLf|zed54esan4GB5jQh)He#T(7IWSDE}{p@7ft;)!XmmdsuEmJs%EY5xxKhaNf3Wq_#vvYos zIGApAH{mSI1mSp&KNvk*#se4tVA#oYFaQ{kf$=7U2;b}F$LSr6+q|(|juaN9Dv+(a zm7@U8d^q0l7pd)%Q38`fW+tS!NbW~VN2F>-(msVj1*rmN83%m;vR}r99GtxKnScKp zw9=c(7<}PSU=;QCTVZaIu`NkRCWf;a_y2s~~o$Bc;0%m=PlJN?Tr zR9tp$#G7gpL^zGtwHTt|MuUHW9t_P0tt+#7Kb4@nj_M{G^1RbFeOa5Q1{F|2kbEuy*S%k#&LcGNz(Y3YXwQS zTdp7c8Nl2b8D7}Q(G-toP&i`_wwfKDzB6C%#s^!0+}v zGBX!qa>R)7bVx~iZEk+Z#1RgZTPX}%!E4I_Yi@N#1&eHip_wx#u(PbBB2tSWw@fm3 zN=3qq&}N`onK5w>>WMgegZnk+mISNGOh};A%qy!ZP!lQ!i*F1u3>mF1Ytjh3Iaebn zskzt_ltHcYrU$2^al7PMFz_ZD%P^-ey2IT@A#P75>lXxJe2@p^dH4H%<+u{zKl z;VY-4jV4ifAf@zfc}?(!ApuV+=d69G{aTJKTCb>@u*zN*OWWx*rp97T@rFbkU(=a* zBI6t+f1vj6h)U-H30X&&>!r4_c4*dlNt4KnW-TC7=Y9 zfD%vwNY4UO?9ic=y!{Ex#Uo*Bdu+biIH)ZK>-8 zaC>xvu{3hijjL(>=NaV&pnoeH=7_gvy}O{$D04>=o3|IdA1MpT<&LC($CpZXgg0UN zNQ|x*(Dedx3z@h1`M8GMB-Zr;x?X^51>TSA1;QCVOW?;T{MkP|bn%uA-~K750E(i= zLin#QC7=Y9fD%vwNNt4KnW-TC7=Y9fD#ya0%zo3V3zt92v1_2`11m9J^0YVTiRw;@Lql- z`V0ImekJ-=^iBE71NEf@lzR+ZqCMQ-r}ySDJiK$bn3$rRab&ei;LY}2HNdGf(XUS(9R5D>_^`9 zg2LDMvD%Tfi5qQVxJ%^aQxc(>frlkb@Ck$j-iS?YIf+`+>z2jp?My5aPd|{JQRXGL z1IaNEFasI;37S%y5Yd59a(=w7PRI=cG z=~UfB7H%y1rw_|c4yZnW3kN>NOZaGcL_NWgI%34yWC*OgRDqfPWB zRRFRdhcak&;Wl-0CzKE7CaujF~e!g<7grjEel*L3GXBg@(GU_Ae0SRi&0~ik- zp8*W~VB>@ndzOk3uX6%q<2(cdmjLKIDZgykYzPIpo2Eu3VgZ<}r?h!81wicOcFIoF z+JrI(P_{{3^?@8}kn%Gsw+U{4+;aR1{?Yy(tI|0b6aYu%w_&dUEGFxbf}_e1Q=U%# zJ<3Qg$LoKfNTvXOPBs0EtRcwf3lKC37z7+mT{8NF zl62S=F`rbs2>Q0ek=tOEuRV$cWN zHm~LbJ$?_O)Fup;H#zl0yTYDR z^hvtUe)LVp01HaS3Ma;mNQtSk4@IZqoGj%Tv|c>9$8sM91{vfabE*`(d7Rq`Q^VGD zT!5k)kSfKZ(0j4nqz|3LcWLQ0mh(8i`-2E};3xynl3o)@9!JuxLu-%bz|_1~f2N5@ zI2LIZCMifqGSt51eAah zPy$Lo2`B+2pahhF5>Nu8g+RE4&j9%T1^#_w`yX9*^`HE@gyL~t;EmBDr^=xOlzNt4KnW-TB`_KZAO->A5ri(x$`+o>@BVs$ zAHP|3^Dj3H{LRD(PlqC7i$c-E6aIZ{QE`X=FMFPTQvymr2`GX0C4r}|Z2vIbA$~W0 zI(LZM={1YaZ;W3q`0+Cie>RBo9Xi>ecbp*(2aT)4r8h0Pv$XO$%ktb8?SVI)F8KO^ zPrVwe-cH!5cw?}WUU=YB2X21g#Ru;b@XP~$N1j(Ohb&Zi0}X=Os=K z%9G;s9`4{_$Z|Z7Y)EaF_$z{Z;*m+b3yFyE7f5+fnpSrU{T{)UAbgYoX5j2eWDu`# zEC>8YT6fI9{SJ@iL2UCpE!J3ndehB!E?9KC_%1Zi=LKBzpw}i-b~)TD#+Sv@c5p}` z^amkZkGN9u9HNo1sXTFmNS}*Yr&|4xCUDsWpH6W02lq_Aenu37q9)BhUa-c zV~YT5`pjaR8-N2gY7G=1$7vxn3J&(L4ga@O-JxB*Z0hD5worO>llB9LTueurHN0xl zVu&+4?57V(_-dq2I`Q`gZKP@*r7JRuLx*g%A;+jE^yLNrWS*xus1p5uF|i(e(s3D% zK=w$3zAsISJSruD?iuHV#{C$C#@Td^2e+S8No2~RAS>Ae4`kwo(|CXE!7-GPS$kgS zcr?Z185GW#gRLeR#30yc1f($E0WGIPO0W@!L?kH60 z*bM$OS$(J@L5%FJxz!aFEV2;>btGp)-dx{qG_)4oP$F|_a2tSWcL!^u6NRDW=2voK#-ce=g{%PSiRfRC z?kDLhlgb2BPluwu_5`W|w}4DfGz_0`G>Q~qb(v5Bji98)?VO+tYMq|z#37yKJj+Cw zq`S5Zj$B1|vX1R;PbTXdZEGPsJqE_i)DHb!7N}gbs+^Y6#a_Xb9z7yNXX!-a%4S#0 zo?BXRU1?>tRasF}Ij5%bx=^U-?|-l6K@%Gt1nz6UdR(aVQhTV8Zb{oIHcvDgnme&T z`A#e8J5v-#d`k|}nyQ+L>(Q~~#VNev*4tL?-0>yftH1>8KV6){m%L{RG*02@&=r+J z2`B+2pahhF5>Nt4KnW-TC7=Y9z!?%K#fb9ewFw9{pSbNt4KnW-T zC7=Y9fD%vwN&o~Rq~OmBG(P>a$A6pr#F~lGdqNW@y%vc+9PNsJKe{)1NpwZ@JJH`x zdLw#6bZRs-={04i1eAahPy$Lo2`B+2pahhF5>Nt4U^EiAd}5@!D3eS!#^SY^hGZg^ zvg;etnbhj>lP5%`g=<&DGqEN+osQSr=}7713nMd%9!MltHQIIcc8vaZilfDmt0JFo zX^y2c@#V`yyT5q(1(B+7o!uNyWt!|nCYD~ENG4V{rNftBQW7aGO0Q05>?Y*1+)mkv zTKmH2qoIojp_x1u`FIC5r;<(0ne@155%NjHiA;=6WI{g~h`tiKDEGWe$3)7D;tjEU z`D#B9j!X?xzWA~<^Gi>?Gy1F0nDOHxmrbC{f%FF>k@9dnk!*@LHrVOd3KTz?S{;6v zrNQEW(1h`k%Zf7b^aJVX`1wlidV%rP-HWg5h~7UD2ZqOdHB|gL{Lz;ZPy$L|)Dc*F zV|yt*WUZSz)cHz0orc|uCo;~H#yJoCjt#&y6a2=}=aP6`IZi)8#%UaVXTgh;xE<;+ zj_BY5$#^is;q(vG3+F!c3I&%|mN-trb|m-|&N*q(2U6C-6^_CWcRd|j(I*gmSuyP! z26=d?u9-b|=j8TTEW_95pRNpaZ3fRua2ExSM)X)^+%vh4zynb~+#9t+x&eHXtbE^1 z^v^fc=U$!@r!DYTS5i`mVjLDvG~$U$AoRi&6wapmuMYZqGA^);w;In=T#fI*4f*uJ zRTI1>K?I%{_BsLlJnzr zb#i`i`YtImCCN%dXHKZ|R`Ey$S5p@?Ka16wpHE9O9P-(c6$b{H zmUNKgVN=IJesX56LZPzg@XEL$lPuu3it=RZi~I94tg{>$b9HZ-qXkAkATa79Q$qB$ZfJ> zGYX7-zOJNN8f~I4fdfEiKMtj9r5rbEK`l@Ry_DcWP2?!hApCsgSkITFn+iDaw#5 zQvk#tcM{4RK-ngB1&?>ELCSB+!42>?Jv;h4k_qqA@pGCh@xG=Y*4yQBZ-wz?AY!c?FUK%Ez1?Lmk>NBXFW6le3^Ordb-ls!Yv8ffhlBe5h$U zp*tdHwFhOSfeeIIP&b`kvR336c0agJ7Tu%PO+S9K0Fwe)~uC)ilfli z4X-fSL#2rsqrtX)3e|y6zeK)K^o@salTap6T9hJay`A|oh^@#^xLfL{Ic2YGuvf** zwJR>5Q}s6L$Y_dG5@e7r57p#b2Mi#@pbxlhUd{VG@_P}bHknx7kZSTp@g$?dI6DDU zJbj{@quWr_y|iNv!-i-t$2aT{JWN@)kUW)@*pGge&WfSEs9kE8yAdfdRraCu%XzYt z`O$izsAyyEqrlM1o(!2&rP$5m+)kJpwx;9wCBrJDihg1rm zcYhG!IqBqCIb&D!=6M>#+M_uzMe-B_(nCGPr>iszlN8P)8S3Abp`+5uc^K;FtrwX2 z;cGwAdfQiitm_3v-9?ZJqy&_J5>Nt4KnW-TC7=Y9fD%vw?})$|trsZM^#b|p1(tsP z^)LS>enpJy1tMeS%X$HP=t~JG0VQze1nz4u8<}V-b89LpbiIJC7tr+rx?TXcL*y1S z?yqF;Z}NtX+@@lXGu|>Ww}%ETpwaaL*?WGvUO?9ioMsi&kUOrj!bfh<;%2z67l3^s z1zj(o>jmBq>jjE9*!TSl?Em@J``3N@ukP~#2`^8kn&KI&3ePu$!=W23D-;^@VLo?& zH{%;3j$!CZyvN|}za%~XN8wMTQMPhpF?JS3e}})})$&pJVBM+&lzNt4KnW-T zC7=Y9z{nFgqvr_9^*Ms@B-V+)USRdVS3fiHA20oJarDhlIQk3hDSk2fi|AYOb>u5g zb5H_GKnW-TC7=Y9fD%vwNwZu?9mKbBb(ztUdjJr5Af3p`SF{lLRB zmTmP!zv-#n%-Y8aPQA|_ZL6#n}4I^S4~)D zFN>uS8IwUXo8k?LYy`D~Ibli|dj!E-Bx;5UG2sOeJK*edo^ZZtIlCCUVwVop_F|A((| zx#7fS@t5!HOMVQE;3b>$;%xbXjhbj%h05oJ!1851n}M*VOD(dh|H9eFD0mFalY>48 zf;ywj7mp#S_T#AB@K_S&gdtTJV5m@7D(mes%84T7XT(@i5{iZaXpmvSctOL)1ClT) zjCP0EK#alS1zHIreQ|qUxD|I(P((&5%8z1YdAciM^CbKaL%R$L_r&xJKJ3d409B~c z^Fkw0J@+HaZO(QytS8W*@a1VVyM6e?k6mbHY;Fe-#c7Y%=&(!LCfns9!)&%Rzk=!X^44~XFCvON4Ts(aHNxn&$s1jqb%^h_Js2c1l#BA@gi^`C#n#_ z=P+6hA}S)95hCk&qVzEg9@5Imj#;8EB^qH)?4)6Wo zdKSQ-Re_@92FinWPzg{ggMydwAZ&8iQ+v?>kRmJ?VDCaFwG&Ks`~6nF_DTz7*g1xj zqCyy&qR82}Wei{m%^jjcC^y7`nWUYQ&}^qXHTEJp4Wr66K)0O=nIF!KZH|hMKu;DU z@c}u~Vcq%V^^y%r3$d5pwB*jxPk!gbG+G@bV%jX6!ii#eN+)Gt@(lhroFcs)`9PW2)o`4_=ESDz z*+ai6vEq#?(FPuHp3Uk|pSuO|0wo+~PE0UV9YT3Yl}Y?A6d!fMHVnNn7U3x*e%N`2 zaH&;?DZt~_{Sd+*@a&OB&hAn)FHZnAMkZ$3{kBiTj59(l2Tmd?PuYhJRM*`&7DK0? zu@C9HknhtIsXwVp<`c6{}sMRpxJz>yTg+X{t)@d#UFG3;%$HDTMQ3-;6 zn#v!h$oW=)=PE{m$2*E9~F4X91h;_i5+Jd{{Xx z!p#db>2BgM2f1T3m=jCS4BO4Mw8%}iy8^^Vv~)flk-sv zfxtv~Fu(t1n*Hc0sL~v2%S9nlXW(H{q%tFTFIow8*fXIhgBNp9j>v|p_CmBm*AWrX zuN2zyLvn)PV^V{nXV0yvybhPV5nlHC^8&LY+g^X5?xn}nzreeg4A4`QfD%vwNTn#-QSY7Q`!3nR#n-Y{P~vI6*U#t>w1Bht{0H#S???m*4y324`$7Ey#OXfk7D{1 zH{W!<04QK;S=S5bdI4&It{1>99do}>*9&-e&UC#1?rG|J0mobP#yga{UckTAEB9c# zbiF{%Dh=MS<_&f(Y4JuEvSLry3&{Qc^Jl$4IK#_+f4#t`I={c~Goe*S&2t2HsK`Da zCk4(@nfG2^G`4ic@kLdGrydsHy=dX$rLo0#-};I9x8D2El)6-Wc_zlyEmLZ&DSSxa zOdc-yRAO{KTj0rcE<9S`i8@N3Ebyco@dpdMe9r!J1zyHy`LTjeB|epS&kq)e==xj% zh8U-CrGk}&!z^Xw8cuUb_pYBS@KEbx1+wDROcQua^r?bE56I|K1zf9oOqO2!}22&A+1M1hwX2LR{9 z0|lPEXZLx6DYL984RwunEYp%oq;Wl2@r5DxwJYafRX|Iwe}T{a`HfGm`_R9REy1O6 zQS^-v{_9H#C;=s)1eAahPy$Lo2`B+2pahhF5_lgFxHwWe#0MVc1oHe2?*028Og-80 zfyw$Df&U!A5M=rsf%+Z9YAbQOM!!29xYc=rPC$nD&=dFw$@9^Z2m~d;iS(I00Es{W}SJ#Y^vWu^*gA~5wyZ<+X=TF z-KP2-bc{b_-wCijN5I93>UXf(s;sD~^!yHr{{a6vf(2aNt4KnW-TC7=Y9fD%vw=MDk6u7A~EFL3G;Ph7L)(39VnIEA4*Lj3<;Ui;^? zSB?*rUNtbWYKQ~BcskvX&cqWLXFJ?JY@oNCz?BxmavSGvt?;CC%IU`betLGJr?+lI z*5N1p44tHh9odH62vD&f;m!LHf^!qSiwrnNcorPP!50s{na$#z2q8ML>7;+8BxizY zS+a*&u5mY;;5|nX`gDjS;9Z0y{C9pySkc?E%oJ z(s>ag&=mEYjSy(Wf4>F@G^P84#s@SaoZsOAOG-``9FT<0R%}3%*Etg!(1?3>BLkL{ zI6HU&X)a#H^*F9Y2Wt%aQxmcN70wh1xERF;zB1bbmC$sZ1lEIzmvcPrq$@gg}E`;!73>}g^#Ie^t=dt14=lcUNd%2ym6ScOC!Dg4~#07d2b|eUs z6%1*CT}HbY4Y!udMP|S0M|hvL+gwGyJ#kcJKd()3*R<7KT%z~!sv(_-H>X!5GwCv& zxGNu8iohL3#icXLt5(^| zVrd(z@so)dZxb)Rd(pzhOJlb!TCiZzz4t7BXi7s}qaDk%q!Q^VHCDwJhO8Ihyg*3e z3i|5>w!AcT$^C!y>#?VaQ#i}>B|yIf@IUab;uOx(IEAB1p;QNt4KnW-T zC7=Y9fD$+#2^5G^__@~V`@cSB%VdpHcs?qGmRSiX0VSXWlz0VSXW zlzm`M^NSs05UN5>Nt4 zKnW-TC7=Y9fD%vwO5hwLa7+8_aiP*nudkXg*!y5h+D;V?YgpLtV1y<2=LIIVZ+gA& zUk5&`{sqo4eNb_gfD%vwNhIGLIv6 zUpf;{WSoOeue;V==X5(Koql(dbKG)HxoeyO{5<8Zv)op9E$*#%yBnN-XTZXb0k;kN zJMgpH>9?F-b9^t3$8WQ(({hgBh#sfga=PSDr0lkpm6SMN!V!Jg)XgmYth$h0pK}b7 ztaCS8lKK(kv(9ZrhRicx#FPGcA|ge-p}>v)-`jeDaE4XuuNU~cR~o)?*Rqdq;=DlU zqEIM$j9>Jn1eAahPy$Lo2`B+2pahhF5>Nt4Knc7*34~j6{R_PIo95RqoH^;?5*C*8 z0&l!OORc3+0!ly$C;=s)1eAahPy$Lo2`B+2pag_K5&!z@1w#M$!Y`lt(Y(GTcP(hh z*w*r7swtkasxUpJ0Vo~&W z_#0j=AB7Lrtx7-%C;=s)1eAahPy$Lo2`B+2pahh_NDv4=IG$bvn6y7H(EicoGp5~j z-|NNEH*wAW3+yR=G5U+>ThX6He=-sxXqrku2`B+2pahhF5>Nt4KnW-TC7=Y9z}X`Z zp4&bXxm}peQSSQ(^8)|xoAFQ2ob<|b-u?-g7x)(5{df=HjqSzHPrbI0VSXWlzZBOzLVH| z=c|=-Ybq+%-q>DB-?Qtc4oyDmd-h2^V#Fh38%w?2iXn^ z;jY0U^e)>m%fgNUII5+?+7mpS9%g%SSRXbY#X0VJ<1H2mK80gWTJBa0zG<-&-ee_8 zEPlA_;b&G{)AqTWnf4$DvX#{}v*+%d+&+tC`1<_Qm0=H(h7a5UFoJ_zNJ}TW-In`^ z+lmb*+;&I@fhnQ8+1rVu22eIib&O|;170N3iNf`{TTp}!{9RX5Qc{Ux92SSX1kooD zdg(ZqWZ+tthaw%%3GaYFS?6@rlvtKkYB~FnLmyoDt`AOxn5PIx_<9su-Hq7PmXoM8 zy>3~o-p<4_@$>`f8D(B_JCGb5`{qd^rKWq|!RN>8>g4?3^j%VB&r2|{fD%0qchJ!< zBmz9T6UH{WA7(YJAIT8{W1p`psg_2Y z=u4^qWIqn2@i4lbuQJp@FQpU24mk=m2tQvrR@_VT9Lhq~KrtXf7a8@D^8iT0PEeVo znAs+PjclB3^Ix){LonD2$O|O~bT6 zGM?2Ql#vEPlyol2SIDxWoNQ31*eOX0VqHCAL76B`o?XQ$d3FN__=-hXkY5nyCT&zF zuQBJ~%SxPxH>X!5MQUT!hgdbjVPAtL2a)q_S|>8^MynZAF3B8JXA(-vyAO zMCc)@$eyuF=SWd9j}07ocJWA@dQ6IkAGsYdTXv@yTs9vbj7swAj;4`~Ye=i5e)^F2 zq4H4K(y+4~81fiw%2;@|B}mS$B3CNNAQo6C(DKsI_-z-acow;Ix?4p~Q+|vX2Kk&v z%4opX4X-e7=bqj#(SFttWV@WzGSx&-`dywDzZmFN}RROEGfliFU>7pm8cG^rLU$zzN#R3Ma;mNQtSk4@IZqoGfL2 zv|dsq%Y76WWRQc*sZwmNIJXm~hOO>6e#x*3sZuNoy%*a}`p`LiXD8cTV>yrGyFZ99 zAq%)$ii1wU!PphW98!BU2d3sBFhVO(dUk#=X`VF|95|0;Sod3oj!G-%nfv|Od4bIz z_{@|4I(5>QN6A%%ilGFQfD%vwNNt4KnW-TC7=Y9fD%vwNNu~ zj=<#;Bh^KjWU?_9ugx?h6S0(C-;mCvR*#=NAu=soyCP1v3F&ma-cCp6OujHOqv(M| za#f>US8vCb#nX0iv^a8AZWw~ z@=Ho0rA6u0>5Sckd_4az7e*fqT|7wm$zzd^ccAgzkRBH;LO$u*mbzGDvOXR9$w2g# z&_%iDT{$SkBeM3p(Smn(jSaO%EN(s zm)HsvKbcw`ewd|!LxIqQ@sZ1l#Mjew{Dj}Z;$XeN3pM|;_2rEdQuI4GCer5n9c)v- zgSi!>-<7~wAON>|bIxJ6db2BPX3tZ * **Проблема:** Попытка передать списки в 300 ФИО напрямую в промпт модели с командой «сравни списки» приводила к потере контекста, выдуманным опечаткам (*«ЛЕНМОРНИИПРОЕКТ ОЭС Варламова Мария»*) и плейсхолдерам ('Васильев Л.И.', ...). +> * **Решение:** Утверждена строгая гибридная схема: + 1. **Детерминированный слой (Python / Pandas / SQL):** читает файлы, нормализует строки, агрегирует совмещения и мгновенно находит 95%+ точных соответствий. + 2. **Интеллектуальный слой (Qwen 2.5:14b):** вызывается *только на спорный несовпавший остаток* (1–5 записей) в виде строгого JSON-интерфейса Entity Resolution. + +### **2.2. Символьная нормализация и кадровые совмещения (Кейс Балаевой О.Г.)** + +> * **Проблема символов:** Латинские омоглифы (буквы клавиатуры a, c, e, o, p, x, y вместо русских), разделители 1С в скобках ((осн.), (совм.), (внешн.)), неразрывные пробелы \\xa0, буква ё и случайный ввод цифры 0 вместо буквы О. +> * **Решение (normalize\_fio):** Очистка скобок через регулярное выражение re.sub(r'\\(.\*?\\)', '', fio), замена латиницы через str.maketrans('aceopxyABCEHKMOPTX', 'асеорхуАВСЕНКМОРТХ'), замена ё-\>е и удаление лишних пробелов. +> * **Коллизия 270 vs 271:** В СКУД 270 физических лиц (один пропуск на человека), в 1С — 271 строка. Сотрудник **Балаева Ольга Геннадьевна** числится на двух ставках в разных отделах (*Руководитель управления персоналом* и *Руководитель режимно-секретного отдела*). +> * **Решение:** Внедрена группировка датафрейма 1С по fio\_clean с агрегацией должностей и подразделений через разделитель " / ". + +### **2.3. Защита от коллизий полных тёзок и ложных связок однофамильцев (Кейс Семеновых)** + +> * **Инцидент:** Неограниченная строгими правилами LLM связала двух разных сотрудниц — *«Семенову Юлию Борисовну»* (работает) и *«Семенову Дину Дмитриевну»* (в отпуске), посчитав разные имена опечаткой из\-за одинаковой фамилии. В результате Юлии Борисовне ошибочно был приписан статус отпуска. +> * **Двухконтурный барьер:** + 1. **В промпте:** Запрет объединения однофамильцев с разными именами/отчествами. + 2. **В Python:** Проверка совпадения первых букв имени и отчества. При несовпадении сопоставление ИИ аннулируется с логированием ⚠️ \[Блокировка фейка\]. + +### **2.4. Вынесение исключений в exceptions.json и синонимы отделов** + +> * Служебный персонал (отдел «ЭТО», уборщики производственных и служебных помещений, клинеры, дворники, гардеробщики) вынесен в exceptions.json. +> * Для сопоставления кратких аббревиатур СКУД и полных названий отделов 1С (*«ОВК» ⟷ «Отдел внутреннего контроля»*) создана таблица department\_synonyms с автоматическим самообучением при работе человека (Human-in-the-Loop). + +### **2.5. Разгадка феномена «исчезающих неизвестных» и аппаратный сбой СКУД 04.08.2026** + +> * **Аномалия:** Утром 04.08.2026 на главном КПП зависли контроллеры входа. У 119 сотрудников не записалось утреннее событие (time\_in \= 'Нет входа'). Из них 57 человек были в отпусках/командировках по 1С. Оставшиеся 74 человека были на работе без утренней отметки. Однако вечерняя сводка показала всего 4–7 «неизвестных». +> * **Причина:** Скрипт агрегации видел дневные перемещения (обед, внутренние двери, туалет, вечерний выход) и автоматически проставлял Статус \= 'Присутствовал' и is\_present \= 1, несмотря на то, что колонка Начало\_дня оставалась 'Нет входа'. В итоге 70 человек тихо ушли в «Итого на работе», а системный сбой оборудования был замаскирован. +> * **Архитектурный фикс:** + 1. Введена колонка **first\_activity («Первая активность»)** — вычисление MIN(TimeVal) AS FirstRawEvent по таблице pLogData без учета направления двери. + 2. Если time\_in \== 'Нет входа', но first\_activity \!= '—', записи ставится anomaly\_flag \= 'ANOMALY\_NO\_IN\_HAS\_ACTIVITY', а is\_present принудительно сбрасывается в 0\. + 3. Внедрен модуль analyze\_scud\_mass\_failure\_ai(): если доля таких аномалий превышает 5% смены (\>10 чел.), ИИ генерирует системный алерт о массовом сбое контроллеров КПП. +> * **Кейс Равина В.Э.:** Главный специалист официально находился в основном отпуске по 1С, утреннего входа на КПП не было, но зафиксирована активность в 14:11:06 и вечерний выход в 17:18:38. Система зарегистрировала истинную кадровую аномалию (физическое присутствие при официальном отпуске). + +### **2.6. Система сквозных датированных снапшотов (срезов)** + +> * **Формат ID:** \[Y\]YYYYMMDD-NNN (например, Y20260804-001 для вчерашнего зафиксированного вечернего среза на 22:00 и 20260805-002 для дневного). +> * **Оптимизация:** Функция has\_yesterday\_final\_snapshot() проверяет наличие вчерашнего среза в SQLite: если он есть, повторный тяжелый запрос к MS SQL Орион пропускается. +> * **CLI-управление:** Поддержка запуска отчетов по любому историческому снапшоту через ключ \--snapshot \[ID\] и пропуск выгрузки через \--skip-export. + +### **2.7. Web API, Generative UI и управление жизненным циклом сессий (Topic Drift & Ephemeral Buffer)** + +> * **Проблема засорения контекста LLM:** Вывод объемных списков задач, системных промптов и таблиц срезов забивал окно диалога, вызывая галлюцинации и «залипание» модели на старых данных. +> * **Решение:** + * В chat\_messages введен флаг is\_ephemeral \= 1 для временных сообщений. + * Двухфазные сессии (PROMPT\_PREVIEW → PROMPT\_FOLLOWUP) и детерминированный счетчик idle\_turns. + * **Context Guard:** На 3-м шаге отвлечения оператора на сторонние темы система отвечает на вопрос и выводит интерактивное напоминание с кнопками \[Завершить настройку\] / \[Показать промпт\]. При idle\_turns \> 3 происходит автоочистка сессии вызовом db\_purge\_ephemeral\_messages(). + * **Fast-Path:** Прямой перехват команд подтверждения («да», «подтверждаю») и выхода («нет, спасибо») без обращения к LLM (ответ за 0.05 сек). + * **Декларативный реестр (tool\_action\_registry):** Хранение шаблонов ответов, кнопок и настроек эфемерности в SQLite. +> * **Generative UI (Задачи):** Инструмент db\_get\_tasks возвращает TASK\_INTERACTIVE\_CARD, рендерящий на клиенте живой виджет задач с табами (Все / В работе / В планах / Завершенные), чекбоксами и inline-созданием задач через REST API. + +## --- + +**3\. Полная схема базы данных SQLite (data/scud\_orion\_ai.db)** + +| Таблица | Назначение и бизнес-логика | Структура полей | +| :---- | :---- | :---- | +| **scud\_logs** | Логи проходов СКУД, расчетное время в здании и снапшоты. | id INTEGER PK AUTOINCREMENT, log\_date TEXT, fio TEXT, fio\_clean TEXT, department TEXT, position TEXT, time\_in TEXT, first\_activity TEXT DEFAULT '—', time\_out TEXT, time\_in\_building TEXT, is\_present INTEGER, anomaly\_flag TEXT DEFAULT 'NONE', snapshot\_time TEXT, snapshot\_id TEXT, created\_at TIMESTAMP | +| **zup\_staff** | Штатное расписание 1С:ЗУП на даты срезов. | id INTEGER PK AUTOINCREMENT, snapshot\_date TEXT, fio TEXT, fio\_clean TEXT, department TEXT, position TEXT, created\_at TIMESTAMP | +| **zup\_absences** | Документы отклонений 1С (отпуска, больничные, командировки, декреты). | id INTEGER PK AUTOINCREMENT, absence\_date TEXT, fio TEXT, fio\_clean TEXT, absence\_type TEXT, created\_at TIMESTAMP | +| **anomalies\_history** | Журнал выявленных кадровых и аппаратных аномалий. | id INTEGER PK AUTOINCREMENT, anomaly\_date TEXT, fio TEXT, anomaly\_type TEXT, details TEXT, human\_status TEXT DEFAULT 'Pending', created\_at TIMESTAMP | +| **ai\_knowledge\_base** | Глобальные правила арбитража и приоритеты компании для ИИ. | id INTEGER PK AUTOINCREMENT, rule\_text TEXT UNIQUE, added\_by TEXT DEFAULT 'Human', created\_at TIMESTAMP | +| **system\_prompts** | Версионные системные промпты агента (активный по is\_active=1). | id INTEGER PK AUTOINCREMENT, name TEXT, prompt\_text TEXT, is\_active INTEGER DEFAULT 1, updated\_at TIMESTAMP | +| **tool\_action\_registry** | Декларативный реестр шаблонов, кнопок и настроек эфемерности инструментов. | id INTEGER PK AUTOINCREMENT, tool\_name TEXT UNIQUE, category TEXT, bypass\_llm INTEGER, success\_template TEXT, follow\_up\_question TEXT, action\_type TEXT, buttons\_json TEXT, is\_active INTEGER, is\_ephemeral INTEGER, updated\_at TIMESTAMP | +| **session\_states** | Активные состояния сессий, черновики и счетчик idle\_turns. | session\_id TEXT PRIMARY KEY, state\_type TEXT, pending\_data TEXT, updated\_at TIMESTAMP | +| **chat\_messages** | История диалогов с поддержкой разделения на постоянные и эфемерные сообщения. | id INTEGER PK AUTOINCREMENT, session\_id TEXT, role TEXT, content TEXT, is\_ephemeral INTEGER DEFAULT 0, created\_at TIMESTAMP | +| **tasks** | Реестр задач операторов с привязкой к user\_id. | id INTEGER PK AUTOINCREMENT, task\_id TEXT, module TEXT, title TEXT, priority TEXT, status TEXT, due\_date TEXT, user\_id INTEGER, created\_at TIMESTAMP | +| **users** | Учетные записи операторов (хэши паролей bcrypt, права администратора). | id INTEGER PK AUTOINCREMENT, username TEXT UNIQUE, password\_hash TEXT, is\_admin INTEGER, full\_name TEXT, created\_at TIMESTAMP | +| **department\_synonyms** | База соответствия аббревиатур СКУД полным названиям отделов 1С. | id INTEGER PK AUTOINCREMENT, short\_name TEXT UNIQUE, full\_name TEXT, created\_at TIMESTAMP | +| **system\_reference** | Справочник команд и примеров промптов для операторов. | id INTEGER PK AUTOINCREMENT, category TEXT, title TEXT, example\_prompt TEXT, description TEXT | + +## --- + +**4\. Архитектурная структура каталогов** + +scud\_ai/ +├── config.py \# Конфигурация: пути, расчет дат, URL Ollama, параметры MS SQL +├── exceptions.json \# Декларативные фильтры исключений (ОВК, уборщики, подрядчики) +├── main\_etl.py \# Оркестратор ETL: экспорт СКУД/1С \-\> SQLite \-\> Excel/MD отчеты +├── project\_code\_snapshot.md \# Полный монолитный исходный код всех файлов репозитория +├── core/ +│ └── database.py \# Драйвер SQLite (WAL), функции сохранения/загрузки срезов +├── services/ +│ ├── scud\_export.py \# Прямой SQL-экспорт из MS SQL «Орион Pro» +│ ├── zup\_extractor.py \# Прямой SQL-экспорт из MS SQL 1С:ЗУП 3.1 +│ ├── data\_loader.py \# Загрузка данных, нормализация ФИО, расчет первой активности +│ ├── data\_validator.py \# Проверка свежести и наличия файлов за Вчера и Сегодня +│ ├── excel\_exporter.py \# Генерация сводки и детального отчета в Excel (openpyxl) +│ ├── text\_reporter.py \# Построение итогового Markdown-отчета через Qwen 2.5 +│ ├── ai\_verifier.py \# Модули ИИ-аудита, Fuzzy Matching и детекции сбоев СКУД +│ ├── feedback\_loop.py \# Интерактивный консольный модуль Human-in-the-Loop +│ ├── knowledge\_base.py \# Интерфейс работы с базой знаний правил +│ └── share\_copier.py \# Резервное скачивание файлов 1С с шары /mnt/scud\_share +├── scripts/ +│ ├── db\_cli.py \# CLI-утилита управления БД, снапшотами, дампами и сессиями +│ ├── fix\_snapshots.py \# Скрипт переиндексации и нормализации снапшотов +│ ├── init\_tool\_registry.py \# Инициализация декларативного реестра инструментов +│ └── diagnostics/ +│ ├── inspect\_db.py \# Диагностика структуры таблиц и количества записей +│ ├── inspect\_ephemeral.py \# Анализ распределения постоянных и эфемерных сообщений +│ ├── inspect\_files.py \# Аудит файлов и размеров на диске +│ └── show\_tree.py \# Вывод дерева каталогов +├── modules/web\_api/ +│ ├── main.py \# Точка входа FastAPI приложения, роутеры и раздача статики +│ ├── routers/ (admin, auth, chat, tasks) \# REST эндпоинты +│ ├── llm/ +│ │ ├── agent.py \# Координатор диалога, Tool Calls и Topic Drift Guard +│ │ ├── schemas.py \# Описание JSON-схем инструментов для Ollama +│ │ ├── file\_parser.py \# Мультимодальный парсер файлов (PDF, PNG, XLSX, TXT) +│ │ ├── db\_tools.py \# Фасадные вызовы функций БД для агента +│ │ ├── core/ (calendar\_utils, fast\_path, ollama\_client, prompt\_merger, tool\_injector) +│ │ └── db/ (connection, db\_chat, db\_prompts, db\_snapshots, db\_tasks) +│ └── static/ (index.html, css/styles.css, js/app.js, js/auth.js, js/chat.js, js/tasks.js) +└── docs/ + └── development\_roadmap.md \# Стратегическая дорожная карта и архитектурный бэклог + +## --- + +**5\. Справочник команд CLI (HOWTO)** + +### **ETL Пайплайн (main\_etl.py):** + +> * python main\_etl.py — стандартный дневной запуск (экспорт из MS SQL, сохранение снапшота, генерация отчетов). +> * python main\_etl.py \--skip-export — построение отчетов по последнему имеющемуся снапшоту из SQLite без повторного запроса к MS SQL. +> * python main\_etl.py \--snapshot 20260805-001 — точный расчет отчетов по указанному составному ID снапшота. +> * python main\_etl.py \-d — запуск в режиме расширенной отладки (DEBUG). + +### **CLI базы данных (scripts/db\_cli.py):** + +> * python scripts/db\_cli.py stats — статистика по количеству строк во всех таблицах БД. +> * python scripts/db\_cli.py snapshots \[ДД.ММ.ГГГГ\] — просмотр реестра снапшотов с сортировкой по времени создания (свежие сверху). +> * python scripts/db\_cli.py scud \[ДД.ММ.ГГГГ\] \[--snapshot ID\] \[--export-xlsx NAME\] — инспекция логов СКУД и экспорт в Excel. +> * python scripts/db\_cli.py absences \[ДД.ММ.ГГГГ\] — список кадровых отклонений из 1С:ЗУП. +> * python scripts/db\_cli.py anomalies — история выявленных аномалий. +> * python scripts/db\_cli.py rules — правила базы знаний компании. +> * python scripts/db\_cli.py prompts — системные промпты из system\_prompts. +> * python scripts/db\_cli.py tools — декларативный реестр действий инструментов и кнопок. +> * python scripts/db\_cli.py sessions — активные сессионные стейты и висящие черновики. +> * python scripts/db\_cli.py snapshot del \[ID\] — удаление конкретного снапшота по ID. +> * python scripts/db\_cli.py snapshot del \--day \[ДД.ММ.ГГГГ\] — удаление всех снапшотов за день. +> * python scripts/db\_cli.py dump \[backup.xlsx\] — полный дамп всех таблиц базы данных в многостраничный Excel. + +## --- + +**6\. Стратегическая дорожная карта и нерешенные задачи (Roadmap & Backlog)** + +> 1. **Масштабирование механизма эфемерного контекста на все инструменты (Rollout Roadmap):** + * **Снапшоты (snapshots):** Перевод вывода объемных таблиц срезов в эфемерный режим (is\_ephemeral \= 1), внедрение интерактивного подтверждения при удалении снапшотов по ID/дате через состояния SNAPSHOTS\_PREVIEW / SNAPSHOTS\_FOLLOWUP. + * **База знаний и аномалии (kb & anomalies):** Вывод справочников команд, правил арбитража и списков аномалий исключительно во временный слой для исключения «залипания» модели на устаревших правилах из истории сообщений. + * **Декларативная унификация в tool\_action\_registry:** Расширение схемы таблицы полями followup\_state\_type, auto\_purge\_on\_exit, guard\_question\_template для устранения хардкода имен функций в agent.py. +> 2. **Модуль анализа внутридневных перемещений («Контроль перекуров»):** + * Анализ интервалов между событиями OUT (выход) и IN (возврат) по журналу pLogData. + * Подсчет суммарного времени нахождения вне рабочего места в течение смены с отсечением технологической нормы (30–40 минут). + * Вывод аналитического блока и злостных нарушителей в отдельный лист Excel-отчета и итоговую Markdown-сводку. +> 3. **Интерактивный Task Planner & Roadmap Engine:** + * Специализированный инструмент для ведения динамических проектных планов и чек-листов с чекбоксами (\[ \] / \[x\]) прямо в диалоге с синхронизацией в таблицу tasks. +> 4. **Изолированная среда исполнения кода (Code Execution Sandbox):** + * Безопасный изолированный Docker/gVisor контейнер для динамического выполнения генерируемого моделью Python/Pandas кода на лету с возвратом stdout/stderr и графиков в контекст. +> 5. **Автоматизация расписания срезов и Telegram-алерты:** + * Автозапуск выгрузок в 12:00, 17:00 и 19:00 через systemd-таймеры с фиксацией snapshot\_time. + * Отправка мгновенных алертов о массовых сбоях турникетов (\>5%) и критических кадровых конфликтах дежурному системному администратору в Telegram. \ No newline at end of file diff --git a/docs/ROADMAP.md b/docs/ROADMAP.md new file mode 100644 index 0000000..780cc22 --- /dev/null +++ b/docs/ROADMAP.md @@ -0,0 +1,61 @@ +# 🗺️ ДОРОЖНАЯ КАРТА И АРХИТЕКТУРНЫЙ РОАДМАП ПРОЕКТА SCUD ORION AI + +## 📌 Зафиксированные вехи и концептуальные архитектурные решения + +Схема веток Gitea для развития проекта: + +main (100% стабильный релиз) + │ + ├──► feature/prompt-relational-nodes ──┐ (Перевод системного промпта на реляционные узлы в SQLite) + │ ▼ + ├──────────────────────────────────► merge to main + │ + ├──► feature/native-function-calling ──┐ (Отказ от регулярных выражений tool_injector.py в пользу нативного FC) + │ ▼ + ├──────────────────────────────────► merge to main + │ + └──► feature/ephemeral-context ────────┐ (Интеллектуальный жизненный цикл эфемерных сообщений) + ▼ + merge to main + +--- + +## 🎯 Текущий активный спринт: Нативный Function Calling и реляционный редактор промпта + +### 1. Архитектура чистого диалогового агента без регулярных выражений +* **Концепция:** Полный отказ от жестких эвристик и регулярных выражений в `tool_injector.py`. Все решения о намерениях оператора, вызове инструментов и переключении тем принимает языковая модель через семантический контекст. +* **Ключевые этапы реализации:** + * **Этап 1 (Санитарная очистка):** Превращение `tool_injector.py` в простой фильтр мусорных тегов без инжекции и перехватов команд. + * **Этап 2 (Семантическое управление сессией):** Инструктаж модели в `role: system` о поведении в состоянии `PROMPT_PREVIEW` (оценка подтверждения, отмены, правок или смены темы диалога). + * **Этап 3 (Жизненный цикл контекста):** Модель видит временные сообщения (`is_ephemeral = 1`) только во время активной ветки; при фиксации решения (`fast_path.py`) контекст очищается через `db_purge_ephemeral_messages`. + * **Этап 4 (Гибридный UI):** Поддержка как диалоговых правок, так и прямого инлайн-редактирования через форму `[✏️ Редактировать]` в окне чата. + +--- + +## 🚀 Масштабирование эфемерного контекста и сервисные инструменты + +### 2. Модуль инспекции контекста и базы данных (`db_cli.py`) +* **Статус:** `Реализовано`. +* Добавлена команда `context [session_id] [--limit N]` для просмотра сырой таблицы сообщений `chat_messages` с пометками об эфемерности. + +### 3. Модуль задач и бэклога (`tasks`) +* **Целевые инструменты:** `db_get_tasks`, `db_add_task`, `db_update_task_status`, `db_delete_task`. +* Вывод интерактивных карточек задач с фильтрами без засорения постоянной истории диалога. + +### 4. Модуль срезов и архива СКУД (`snapshots`) +* **Целевые инструменты:** `db_get_snapshots`, `db_delete_snapshots`. +* Интерактивное подтверждение удаления срезов и автоматическая очистка таблиц срезов из контекста. + +### 5. Модуль базы знаний, правил и аномалий (`kb & anomalies`) +* **Целевые инструменты:** `db_get_rules`, `db_get_anomalies`, `db_get_reference`. +* Изоляция нормативных справочников от постоянной истории диалога для предотвращения залипания LLM. + +--- + +## 🔮 Долгосрочный бэклог (Future Modules) + +### 6. Интерактивный модуль планирования (Checklist & Task Planner Engine) +* Динамические проектные чек-листы с синхронизацией в таблицу `tasks`. + +### 7. Изолированная песочница кода (Code Execution Sandbox Engine) +* Запуск динамических Python/Pandas вычислений в изолированном Docker/gVisor контуре. \ No newline at end of file diff --git a/docs/SCUD Orion AI — Полная энциклопедическая хроника, архитектурный паспорт и технический контекст (v4.0).md b/docs/SCUD Orion AI — Полная энциклопедическая хроника, архитектурный паспорт и технический контекст (v4.0).md new file mode 100644 index 0000000..e558978 --- /dev/null +++ b/docs/SCUD Orion AI — Полная энциклопедическая хроника, архитектурный паспорт и технический контекст (v4.0).md @@ -0,0 +1,223 @@ +# **SCUD Orion AI — Полная энциклопедическая хроника, архитектурный паспорт, разбор всех инцидентов и технический контекст проекта** + +**Версия документа:** 4.0 (Исчерпывающий монолитный контекстный паспорт для новой сессии) +**Стек технологий и инфраструктура:** Python 3.11+, FastAPI (Uvicorn), SQLite (WAL mode, PRAGMA synchronous=NORMAL, внешние ключи ON), Ollama REST API (Qwen 2.5:14b — основной текстовый агент и классификатор, Qwen 2.5-VL:7b-q8\_0 / Qwen 3-VL:8b — OCR и зрение), MS SQL Server 2019/2022 (СКУД «Орион Pro» ЗАО НВП «Болид», 1С:ЗУП 3.1 через pyodbc / ODBC Driver 18), сетевая Samba-шара (/mnt/scud\_share), Git/Gitea, HTML5 / Vanilla JS / Tailwind CSS. + +## --- + +**1\. Исходный бизнес-контекст, роли систем и фундаментальные задачи** + +Проект решает комплексную проблему контроллинга трудовой дисциплины, автоматического сопоставления кадровых фактов и защиты от рассинхронизации мастер-данных на предприятии со штатом \~270–276 сотрудников. + +### **Источники первичных данных:** + +> * **СКУД «Орион Pro» (Болид):** База данных MS SQL Server (SERVER: 172.16.31.221\\SQL, DB: Orion-14.01.21-1). Основные таблицы: + * pLogData — журнал всех сырых физических транзакций турникетов, калиток и внутренних дверей. Ключевые поля: TimeVal (время сервера), DeviceTime (время контроллера), HozOrgan / Hrk (ID сотрудника), Event (код события: 26, 28, 32 — вход; 27, 29, 33 — выход; 54, 55, 64, 65 — внутренние считыватели), Mode (направление: 1 — IN, 2 — OUT), ReaderIndex, DoorIndex. + * pList — реестр физических лиц и пропусков (ФИО, табельный номер, статус архива). + * PDivision, PPost — справочники подразделений и должностей СКУД. +> * **1С:ЗУП 3.1 (Кадры):** База данных MS SQL Server (SERVER: ACCOUNT-01, DB: ZUP30). + * dbo.\_Reference299 — эталонный справочник сотрудников. + * dbo.\_InfoRg16921 — периодический регистр сведений состояний сотрудников (отпуска основные, больничные, командировки, декретные отпуска, отпуска без сохранения оплаты). + * Файловые выгрузки с сетевой шары /mnt/scud\_share: файлы Штат\_ДД\_ММ\_ГГГГ.xlsx (шапка 7–8 строк) и Отсутствия\_ДД\_ММ\_ГГГГ.xlsx (шапка 3–4 строки). +> * **Реестры статических исключений:** static\_reason\_workers.csv (реестр удаленщиков и постоянных разъездных сотрудников), exceptions.json (декларативный фильтр обслуживающего персонала и спец-отделов). + +## --- + +**2\. Подробнейшая пошаговая хронология разработки, эволюция идей и разбор ошибок** + +### **Фаза 1: Первые эксперименты с LLM, выявление галлюцинаций и гибридная парадигма** + +> * **Попытка передачи сырых списков в чат:** Первоначальная попытка скормить модели Qwen 2.5:14b список из сотен ФИО с инструкцией *«запомни список 1С»* показала, что у LLM нет постоянной памяти между сессиями. Модель теряла контекст, путала фамилии и выдавала ответы с троеточиями ('Васильев Л.И.', ...) или придумывала несуществующие строки (*«ЛЕНМОРНИИПРОЕКТ ОЭС Варламова Мария»*). +> * **Ошибки openpyxl vs pandas:** Первая генерация кода моделью использовала библиотеку openpyxl с построчным перебором ячеек, жестко зашитыми опечатками (поиск слова 'фиио') и падением по FileNotFoundError. +> * **Переход к детерминированному пайплайну:** Принято ключевое архитектурное решение — **LLM не считает математику и не фильтрует 300 строк текста**. Всю механическую работу (ETL, слияние, фильтрацию) выполняет быстрый детерминированный Python (pandas, SQL), а локальная LLM выступает исключительно в роли «умного ревизора» на этапе сопоставления сомнительного несовпавшего остатка (Diff). + +### **Фаза 2: Нормализация ФИО, кодировки и коллизия совместителей (Кейс Балаевой О.Г.)** + +> * **Символьные ловушки:** + * Латинские буквы-двойники (омоглифы a, c, e, o, p, x, y, случайно набранные в английской раскладке). + * Служебные суффиксы в скобках, добавляемые 1С ((осн.), (совм.), (внешн.)). + * Буквы ё/е, двойные пробелы, неразрывные пробелы \\xa0 и случайный ввод цифры 0 вместо буквы О. +> * **Функция normalize\_fio():** Разработан строгий конвейер очистки: +> `def normalize_fio(fio):` +> `if not fio or not isinstance(fio, str): return ""` +> `fio_clean = re.sub(r'\(.*?\)', '', fio) # Удаление скобок` +> `fio_clean = fio_clean.replace('\xa0', ' ')` +> `trans = str.maketrans('aceopxyABCEHKMOPTX', 'асеорхуАВСЕНКМОРТХ')` +> `fio_clean = fio_clean.translate(trans)` +> `fio_clean = fio_clean.replace('ё', 'е').replace('Ё', 'Е')` +> `return " ".join(fio_clean.strip().split()).title()` +> * **Коллизия 270 vs 271:** В СКУД числилось 270 уникальных человек, а в 1С — 271 строка. Ручной разбор показал, что **Балаева Ольга Геннадьевна** занимает две ставки в 1С (*Руководитель управления персоналом* и *Руководитель режимно-секретного отдела*) при одном физическом пропуске в СКУД. +> * **Решение:** Внедрена обязательная группировка штата 1С по fio\_clean с объединением должностей и подразделений через " / ". + +### **Фаза 3: Защита Entity Resolution от однофамильцев (Инцидент с Семеновыми)** + +> * **Сбой модели:** При передаче несовпавших ФИО в Qwen 2.5 модель ошибочно сопоставила *«Семенову Юлию Борисовну»* (которая была на работе) с *«Семеновой Диной Дмитриевной»* (находившейся в отпуске), посчитав это опечаткой в имени из\-за одинаковой фамилии. В результате Юлия Борисовна получила статус нарушителя («в отпуске, но пришла»). +> * **Двухконтурная защита:** + 1. В системный промпт ИИ зашито категорическое правило: однофамильцы с разными именами/отчествами — строго разные люди, объединение запрещено. + 2. В Python встроен дублирующий барьер: если фамилии совпадают, но инициалы/первые буквы имен различаются, связь ИИ принудительно аннулируется с логированием ⚠️ \[Блокировка фейка\]. + +### **Фаза 4: Декларативные исключения и синонимы отделов** + +> * **Переход к exceptions.json:** Исключение клининга, дворников, гардеробщиков и хозяйственного персонала отдела «ЭТО» вынесено из кода в конфигурационный файл exceptions.json (поддержка списков departments, positions, fio, position\_keywords). +> * **База синонимов отделов (department\_synonyms):** Для сопоставления сокращений СКУД с длинными названиями 1С (например, *«ОВК» ⟷ «Отдел внутреннего контроля»*) создана таблица SQLite, автоматически обучаемая при подтверждениях оператора. + +### **Фаза 5: Аппаратный сбой СКУД 04.08.2026, разгадка «исчезающих неизвестных» и Первая активность** + +> * **Анатомия сбоя:** Утром 04.08.2026 зависли регистраторы входа на главном КПП. У 119 сотрудников не записалось событие входа (time\_in \= 'Нет входа'). Из них 57 человек были официально закрыты документами 1С (отпуска, командировки). Оставшиеся \~74 человека реально пришли на работу, но утренней отметки не имели. Однако вечером сводка выдала всего 4–7 «неизвестных». +> * **Вскрытие механизма ошибки:** Было обнаружено, что скрипт агрегации видел дневные перемещения сотрудников (выходы на обед, считыватели туалетов, внутренние двери) и автоматически выставлял Статус \= 'Присутствовал' и is\_present \= 1\. Из-за этого люди попадали в категорию «Итого на работе», а массовый аппаратный сбой скрывался. +> * **Внедрение «Первой активности»:** + 1. В базу данных и выгрузки Excel добавлена колонка **first\_activity («Первая активность»)** — минимальное время любого события дня в здании (MIN(TimeVal) AS FirstRawEvent без учета направления двери). + 2. Если time\_in \== 'Нет входа', но first\_activity \!= '—', записи присваивается anomaly\_flag \= 'ANOMALY\_NO\_IN\_HAS\_ACTIVITY', а is\_present принудительно сбрасывается в 0\. + 3. Внедрен модуль analyze\_scud\_mass\_failure\_ai(): при превышении порога в 5% смены (\>10 человек) ИИ поднимает тревогу о массовом сбое контроллеров КПП. +> * **Кейс Равина В.Э.:** Сотрудник находился в официальном отпуске, утреннего входа не имел, но пришел после обеда (первая активность 14:11:06, выход 17:18:38). Система корректно зафиксировала истинную кадровую аномалию (физическое присутствие при официальном отпуске). + +### **Фаза 6: Архитектурная миграция под Gitea и система срезов (снапшотов)** + +> * **Безопасный рефакторинг:** Монолит разделен на слои (core/, services/, scripts/, modules/web\_api/) через git mv с сохранением истории коммитов в ветке refactor/modular-structure. +> * **Формат ID снапшота:** Введена схема \[Y\]YYYYMMDD-NNN (например, Y20260804-001 для вчерашнего зафиксированного вечернего среза на 22:00 и 20260805-002 для дневного). +> * **Оптимизация экспорта:** Если в SQLite уже зафиксирован вчерашний срез с префиксом Y, повторный тяжелый SQL-запрос к СКУД Орион не выполняется (функция has\_yesterday\_final\_snapshot). +> * **Инспекция и CLI:** Написан инструмент scripts/db\_cli.py с командами stats, snapshots, scud, absences, anomalies, rules, prompts, tools, sessions, dump, snapshot del. + +### **Фаза 7: Web API, Generative UI, управление памятью LLM и Topic Drift Guard** + +> * **FastAPI & Безопасность:** Развернут Web API с JWT-авторизацией (bcrypt), изолированными задачами пользователей (tasks с привязкой к user\_id), гостевым режимом и ролевой моделью. +> * **Проблема деградации контекста LLM:** Вывод объемных списков задач, текстов системных промптов и таблиц снапшотов засорял контекстное окно чата, приводя к галлюцинациям и «залипанию» модели на старых правилах. +> * **Решение проблемы памяти (Topic Drift & Ephemeral Context):** + * В таблицу chat\_messages добавлен флаг is\_ephemeral \= 1 для временных сообщений. + * Введены двухфазные сессии (PROMPT\_PREVIEW → PROMPT\_FOLLOWUP) и детерминированный счетчик отвлечений idle\_turns. + * **Context Guard:** На 3-м шаге отвлечения оператора на сторонние темы система отвечает на вопрос и выводит интерактивное напоминание с кнопками \[Завершить настройку\] / \[Показать промпт\]. При idle\_turns \> 3 происходит автоочистка сессии вызовом db\_purge\_ephemeral\_messages(). + * **Fast-Path:** Прямой перехват команд подтверждения («да», «подтверждаю», «сохранить») и выхода («нет, спасибо», «закончить настройку») без обращения к LLM (ответ за 0.05 сек). + * **Декларативный реестр действий (tool\_action\_registry):** Хранение шаблонов ответов, типов кнопок и признаков эфемерности в SQLite. +> * **Generative UI (Интерактивные карточки задач):** Инструмент db\_get\_tasks возвращает полезную нагрузку TASK\_INTERACTIVE\_CARD. Фронтенд рендерит живой виджет с табами (Все / В работе / В планах / Завершенные), чекбоксами и inline-созданием задач через REST API без вызова LLM. + +## --- + +**3\. Полная схема базы данных SQLite (data/scud\_orion\_ai.db)** + +| Таблица | Назначение и бизнес-логика | Полная структура колонок | +| :---- | :---- | :---- | +| **scud\_logs** | Хранение логов проходов СКУД, расчетного времени и снапшотов. | id (PK), log\_date, fio, fio\_clean, department, position, time\_in, first\_activity, time\_out, time\_in\_building, is\_present, anomaly\_flag, snapshot\_time, snapshot\_id, created\_at | +| **zup\_staff** | Штатное расписание 1С:ЗУП на даты срезов. | id (PK), snapshot\_date, fio, fio\_clean, department, position, created\_at | +| **zup\_absences** | Официальные кадровые отклонения 1С (отпуска, больничные, командировки, декреты). | id (PK), absence\_date, fio, fio\_clean, absence\_type, created\_at | +| **anomalies\_history** | Журнал выявленных кадровых и аппаратных аномалий. | id (PK), anomaly\_date, fio, anomaly\_type, details, human\_status, created\_at | +| **ai\_knowledge\_base** | Глобальные правила арбитража и приоритеты компании для ИИ. | id (PK), rule\_text, added\_by, created\_at | +| **system\_prompts** | Версионные системные промпты агента (активный промпт по is\_active=1). | id (PK), name, prompt\_text, is\_active, updated\_at | +| **tool\_action\_registry** | Декларативный реестр шаблонов, кнопок и настроек эфемерности инструментов. | id (PK), tool\_name, category, bypass\_llm, success\_template, follow\_up\_question, action\_type, buttons\_json, is\_active, is\_ephemeral, updated\_at | +| **session\_states** | Активные состояния сессий, черновики и счетчик idle\_turns. | session\_id (PK), state\_type, pending\_data, updated\_at | +| **chat\_messages** | История диалогов с поддержкой разделения на постоянные и эфемерные сообщения. | id (PK), session\_id, role, content, is\_ephemeral, created\_at | +| **tasks** | Реестр задач пользователей с привязкой к user\_id. | id (PK), task\_id, module, title, priority, status, due\_date, user\_id, created\_at | +| **users** | Учетные записи операторов (хэши паролей bcrypt, права администратора). | id (PK), username, password\_hash, is\_admin, full\_name, created\_at | +| **department\_synonyms** | База знаний соответствия аббревиатур СКУД полным названиям отделов 1С. | id (PK), short\_name, full\_name, created\_at | +| **system\_reference** | Справочник команд и примеров промптов для операторов. | id (PK), category, title, example\_prompt, description | + +## --- + +**4\. Актуальная архитектура каталогов и назначение файлов** + +`scud_ai/` +`├── config.py # Конфигурация: пути, расчет дат, URL Ollama, параметры MS SQL` +`├── exceptions.json # Декларативные фильтры исключений (ОВК, уборщики, подрядчики)` +`├── main_etl.py # Оркестратор ETL: экспорт СКУД/1С -> SQLite -> Excel/MD отчеты` +`├── project_code_snapshot.md # Полный исходный код всех файлов репозитория` +`├── core/` +`│ └── database.py # Драйвер SQLite (WAL), функции сохранения/загрузки срезов` +`├── services/` +`│ ├── scud_export.py # Прямой SQL-экспорт из MS SQL «Орион Pro»` +`│ ├── zup_extractor.py # Прямой SQL-экспорт из MS SQL 1С:ЗУП 3.1` +`│ ├── data_loader.py # Загрузка данных, нормализация ФИО, расчет первой активности` +`│ ├── data_validator.py # Проверка свежести и наличия файлов за Вчера и Сегодня` +`│ ├── excel_exporter.py # Генерация сводки и детального отчета в Excel (openpyxl)` +`│ ├── text_reporter.py # Построение итогового Markdown-отчета через Qwen 2.5` +`│ ├── ai_verifier.py # Модули ИИ-аудита, Fuzzy Matching и детекции сбоев СКУД` +`│ ├── feedback_loop.py # Интерактивный консольный модуль Human-in-the-Loop` +`│ ├── knowledge_base.py # Интерфейс работы с базой знаний правил` +`│ └── share_copier.py # Резервное скачивание файлов 1С с шары /mnt/scud_share` +`├── scripts/` +`│ ├── db_cli.py # CLI-утилита управления БД, снапшотами, дампами и сессиями` +`│ ├── fix_snapshots.py # Скрипт переиндексации и нормализации снапшотов` +`│ ├── init_tool_registry.py # Инициализация декларативного реестра инструментов` +`│ └── diagnostics/` +`│ ├── inspect_db.py # Диагностика структуры таблиц и количества записей` +`│ ├── inspect_ephemeral.py # Анализ распределения постоянных и эфемерных сообщений` +`│ ├── inspect_files.py # Аудит файлов и размеров на диске` +`│ └── show_tree.py # Вывод дерева каталогов` +`├── modules/web_api/` +`│ ├── main.py # Точка входа FastAPI приложения, роутеры и раздача статики` +`│ ├── routers/` +`│ │ ├── admin.py # Управление пользователями` +`│ │ ├── auth.py # JWT аутентификация и смена паролей` +`│ │ ├── chat.py # Эндпоинты диалогов (авторизованный и гостевой)` +`│ │ └── tasks.py # REST API управления задачами` +`│ ├── llm/` +`│ │ ├── agent.py # Координатор диалога, Tool Calls и Topic Drift Guard` +`│ │ ├── schemas.py # Описание JSON-схем инструментов для Ollama` +`│ │ ├── file_parser.py # Мультимодальный парсер файлов (PDF, PNG, XLSX, TXT)` +`│ │ ├── db_tools.py # Фасадные вызовы функций БД для агента` +`│ │ ├── core/` +`│ │ │ ├── calendar_utils.py # Формирование системного контекста дат и дней недели` +`│ │ │ ├── fast_path.py # Быстрый перехват команд подтверждения/отмены (0.05 с)` +`│ │ │ ├── ollama_client.py # HTTP-клиент взаимодействия с Ollama API` +`│ │ │ ├── prompt_merger.py # Парсинг и слияние правок системного промпта` +`│ │ │ └── tool_injector.py # Очистка сырых тегов и артефактов Tool Calls` +`│ │ └── db/` +`│ │ ├── connection.py # Подключение к scud_orion_ai.db` +`│ │ ├── db_chat.py # Сохранение истории и очистка эфемерных сообщений` +`│ │ ├── db_prompts.py # Системные промпты, стейты и реестр действий` +`│ │ ├── db_snapshots.py # Выборка и удаление снапшотов` +`│ │ └── db_tasks.py # CRUD операции с задачами пользователей` +`│ └── static/` +`│ ├── index.html # SPA разметка (модалки, чат, боковая панель задач)` +`│ ├── css/styles.css # Стили и мобильные оптимизации` +`│ └── js/` +`│ ├── app.js # Инициализация приложения` +`│ ├── auth.js # Логика входа, смены паролей и администрирования` +`│ ├── chat.js # Обработка сообщений, Drag&Drop, виджет задач и кнопки` +`│ └── tasks.js # Управление боковой панелью задач (Drawer)` +`└── docs/` + `└── development_roadmap.md # Стратегическая дорожная карта и архитектурный бэклог` + +## --- + +**5\. Справочник команд командной строки (CLI Reference)** + +### **Главный конвейер контроллинга (main\_etl.py)** + +> * python main\_etl.py — стандартный дневной запуск: экспорт свежих данных СКУД и 1С, сохранение снапшота в SQLite, генерация Excel и Markdown отчетов. +> * python main\_etl.py \--skip-export — построение отчетов по последнему имеющемуся снапшоту из SQLite без повторного запроса к MS SQL. +> * python main\_etl.py \--snapshot 20260805-001 — точный расчет отчетов по указанному составному ID снапшота. +> * python main\_etl.py \-d — запуск в режиме расширенной отладки (DEBUG). + +### **CLI-утилита управления SQLite базой данных (scripts/db\_cli.py)** + +> * python scripts/db\_cli.py stats — общая статистика количества записей по всем таблицам БД. +> * python scripts/db\_cli.py snapshots \[ДД.ММ.ГГГГ\] — просмотр реестра снапшотов с сортировкой по времени создания (самые свежие сверху). +> * python scripts/db\_cli.py scud \[ДД.ММ.ГГГГ\] \[--snapshot ID\] \[--export-xlsx NAME\] — просмотр логов СКУД и опциональный экспорт в Excel. +> * python scripts/db\_cli.py absences \[ДД.ММ.ГГГГ\] — список кадровых отклонений из 1С:ЗУП. +> * python scripts/db\_cli.py anomalies — история выявленных аномалий. +> * python scripts/db\_cli.py rules — правила базы знаний компании. +> * python scripts/db\_cli.py prompts — просмотр системных промптов из таблицы system\_prompts. +> * python scripts/db\_cli.py tools — вывод декларативного реестра действий инструментов и шаблонов кнопок. +> * python scripts/db\_cli.py sessions — просмотр активных сессионных стейтов и висящих черновиков. +> * python scripts/db\_cli.py snapshot del \[ID\] — удаление конкретного снапшота по ID. +> * python scripts/db\_cli.py snapshot del \--day \[ДД.ММ.ГГГГ\] — удаление всех снапшотов за выбранный день. +> * python scripts/db\_cli.py dump \[backup.xlsx\] — полный дамп всех таблиц базы данных в многостраничный Excel-файл. + +## --- + +**6\. Стратегическая дорожная карта развития (Roadmap & Backlog)** + +> 1. **Масштабирование механизма эфемерного контекста на все инструменты (Rollout Roadmap):** + * **Снапшоты (snapshots):** Перевод вывода объемных таблиц срезов в эфемерный режим (is\_ephemeral \= 1), внедрение интерактивного подтверждения при удалении снапшотов по ID/дате через состояния SNAPSHOTS\_PREVIEW / SNAPSHOTS\_FOLLOWUP. + * **База знаний и аномалии (kb & anomalies):** Вывод справочников команд, правил арбитража и списков аномалий исключительно во временный слой для исключения «залипания» модели на устаревших правилах из истории сообщений. + * **Декларативная унификация в tool\_action\_registry:** Расширение схемы таблицы полями followup\_state\_type, auto\_purge\_on\_exit, guard\_question\_template для устранения хардкода имен функций в agent.py. +> 2. **Модуль анализа внутридневных перемещений («Контроль перекуров»):** + * Анализ интервалов между событиями OUT (выход) и IN (возврат) по журналу pLogData. + * Подсчет суммарного времени нахождения вне рабочего места в течение смены с отсечением технологической нормы (30–40 минут). + * Вывод аналитического блока и злостных нарушителей в отдельный лист Excel-отчета и итоговую Markdown-сводку. +> 3. **Интерактивный Task Planner & Roadmap Engine:** + * Специализированный инструмент для ведения динамических проектных планов и чек-листов с чекбоксами (\[ \] / \[x\]) прямо в диалоге с синхронизацией в таблицу tasks. +> 4. **Изолированная среда исполнения кода (Code Execution Sandbox):** + * Безопасный изолированный Docker/gVisor контейнер для динамического выполнения генерируемого моделью Python/Pandas кода на лету с возвратом stdout/stderr и графиков в контекст. +> 5. **Автоматизация расписания срезов и Telegram-алерты:** + * Автозапуск выгрузок в 12:00, 17:00 и 19:00 через systemd-таймеры с фиксацией snapshot\_time. + * Отправка мгновенных алертов о массовых сбоях турникетов (\>5%) и критических кадровых конфликтах дежурному системному администратору в Telegram. \ No newline at end of file diff --git a/docs/development_roadmap.md b/docs/development_roadmap.md index f2f7da7..625fc0a 100644 --- a/docs/development_roadmap.md +++ b/docs/development_roadmap.md @@ -47,4 +47,51 @@ main (100% стабильный релиз) * Запуск сложных вычислений, агрегаций и статистического анализа данных СКУД на лету (Pandas / NumPy). * Выполнение тестовых сценариев и валидация скриптов перед их сохранением/применением на проде. * Полная изоляция от хост-системы: read-only доступ к копиям данных, ограничение памяти/CPU (cgroups), отсутствие доступа к чувствительным сетевым интерфейсам. - * Возврат результатов вычислений (stdout, stderr, артефакты, сгенерированные таблицы/графики) обратно в контекст модели. \ No newline at end of file + * Возврат результатов вычислений (stdout, stderr, артефакты, сгенерированные таблицы/графики) обратно в контекст модели. + + +### 1. Архитектура скользящего контекста и отслеживания смены темы (Intent / Topic Drift Tracking) +* **Статус:** `MVP Реализован и протестирован` (на базе инструментов системного промпта: `db_preview_prompt_merge`, `db_confirm_prompt_preview`, `db_cancel_prompt_preview`). +* **Концептуальное решение:** + 1. **Двухфазное состояние сессии:** Разделение жизненного цикла на фазу черновика (`PROMPT_PREVIEW`) и фазу интерактивного подтверждения/диалога (`PROMPT_FOLLOWUP`). + 2. **Эфемерный буфер:** Промежуточные экраны, подтверждения и тяжелые выводы помечаются `is_ephemeral = 1` и не засоряют постоянную историю диалога. + 3. **Детерминированный счетчик (Topic Drift):** Бэкенд инкрементирует `idle_turns` при отвлечении на сторонние темы. На шаге $N = 3$ срабатывает **Context Guard** с напоминанием и кнопками действий, а при $N > 3$ происходит автоматический сброс сессии и вызов `db_purge_ephemeral_messages`. + 4. **Fast-Path очистка:** Прямой перехват команд завершения (`нет, спасибо`, `закончить настройку`) моментально очищает эфемерный контекст. + +--- + +### 1.1. План масштабирования механизма эфемерного контекста на все инструменты (Rollout Roadmap) + +План: + +[1. REST API (main.py)] ────► Добавляем POST, PATCH, DELETE для /api/v1/tasks + │ +[2. Agent (agent.py)] ────► При db_get_tasks отдаем payload {type: "TASK_INTERACTIVE_CARD", tasks: [...]} + │ +[3. UI (chat.js / CSS)] ────► Рендерим карточку с табами [Все] [В работе] [В планах] [Завершенные] + +#### Этап 1. Модуль задач и бэклога (`tasks`) +* **Целевые инструменты:** `db_get_tasks`, `db_add_task`, `db_update_task_status`, `db_delete_task`. +* **Задачи реализации:** + * Перевод вывода объемных плоских списков задач в эфемерный режим (`is_ephemeral = 1`), чтобы история диалога не забивалась длинными перечнями. + * Реализация состояния сессии `TASKS_FOLLOWUP` после создания/изменения/удаления задачи. + * Интеграция с Context Guard: напоминание о завершении работы с задачами на 3-м шаге отвлечения. + * Автоочистка промежуточных диалоговых карточек задач при переключении на аналитику СКУД или общие вопросы. + +#### Этап 2. Модуль срезов и архива СКУД (`snapshots`) +* **Целевые инструменты:** `db_get_snapshots`, `db_delete_snapshots`. +* **Задачи реализации:** + * Маркировка объемных таблиц срезов и логов как эфемерных сообщений. + * Внедрение интерактивного подтверждения при удалении снапшотов по ID или по дате (`SNAPSHOTS_PREVIEW` / `SNAPSHOTS_FOLLOWUP`). + * Полная автоочистка временных таблиц срезов из памяти диалога после получения пользователем нужной информации. + +#### Этап 3. Модуль базы знаний, правил и аномалий (`kb & anomalies`) +* **Целевые инструменты:** `db_get_rules`, `db_get_anomalies`, `db_get_reference`. +* **Задачи реализации:** + * Вывод справочников команд, правил арбитража и списков аномалий исключительно во временный слой. + * Предотвращение «залипания» модели на старых правилах из истории: гарантия того, что LLM всегда запрашивает актуальные правила через Tool Call, а не читает их из контекста предыдущих сообщений. + +#### Этап 4. Декларативная унификация в `tool_action_registry` +* **Целевые изменения:** + * Расширение схемы `tool_action_registry` новыми декларативными полями: `followup_state_type`, `auto_purge_on_exit`, `guard_question_template`. + * Устранение жестких проверок названий функций в `agent.py`: перевод всей логики жизненного цикла сессий и очистки памяти на декларативные параметры из базы данных SQLite. \ No newline at end of file diff --git a/docs/in_progress/план_оптимизации_работы_с_контекстом.md b/docs/in_progress/план_оптимизации_работы_с_контекстом.md new file mode 100644 index 0000000..bb04160 --- /dev/null +++ b/docs/in_progress/план_оптимизации_работы_с_контекстом.md @@ -0,0 +1,33 @@ +# План реализации + +## 1. Очистка от регулярок и костылей (`tool_injector.py`) +- [ ] Полностью удалить принудительные перехваты текста регулярными выражениями для команд добавления, редактирования и удаления пунктов. +- [ ] Оставить в модуле только базовую санитарную очистку сырых тегов (``). + +--- + +## 2. Настройка контекста и инструкций сессии (`agent.py`) +- [ ] Передать управление диалогом языковой модели через системный блок `role: "system"`. +- [ ] При активном состоянии `PROMPT_PREVIEW` передавать модели инструкцию: + - **Подтверждение / отмена / корректировка:** продолжать работу с превью и вызывать соответствующие инструменты. + - **Смена темы:** вежливо напомнить об открытом изменении и запросить решение. +- [ ] Обеспечить видимость эфемерных сообщений (`is_ephemeral = 1`) для модели во время активной работы с превью. + +--- + +## 3. Очистка эфемерных сообщений при завершении (`fast_path.py`) +- [ ] Настроить удаление временных сообщений превью (`db_purge_ephemeral_messages`) строго в момент нажатия кнопок **«Подтвердить»** или **«Отменить»**. +- [ ] Сбрасывать состояние сессии в базе данных после фиксации решения. + +--- + +## 4. Инлайн-редактор в окне диалога (`core.js`) +- [ ] Проверить работу блока ручного редактирования (`inline-prompt-editor-container`) с кнопками **«Сохранить правки»** и **«Свернуть»**. +- [ ] Обеспечить сохранение черновика через API (`/api/v1/chat/draft`) и отображение обновленного текста перед подтверждением. + +--- + +## 5. Тестирование и валидация +- [ ] **Нативные вызовы:** проверить добавление, редактирование и удаление пунктов через нативные вызовы модели. +- [ ] **Контекстные сценарии:** проверить поведение модели при смене темы диалога оператором. +- [ ] **UI и очистка:** проверить ручное редактирование через кнопку в окне чата и последующую очистку контекста. \ No newline at end of file diff --git a/modules/web_api/llm/agent.py b/modules/web_api/llm/agent.py index dafc2bd..a62b435 100644 --- a/modules/web_api/llm/agent.py +++ b/modules/web_api/llm/agent.py @@ -3,12 +3,13 @@ FILE: modules/web_api/llm/agent.py PROJECT: SCUD Orion AI (Unified Architecture) MODULE: web_api / llm (Core Agent Coordinator) -ROLE: Оркестратор диалога, диспетчер Function Calling и Topic Drift контроллер. +ROLE: Оркестратор диалога, диспетчер реляционных узлов промпта и инструментов. =============================================================================== """ # --- [SECTION 1: SYSTEM PATHS & IMPORTS] --- # ANCHOR[SYS_IMPORTS] import sys +import re import json import logging from typing import List, Dict, Any, Tuple, Optional @@ -16,7 +17,7 @@ from typing import List, Dict, Any, Tuple, Optional from .db.connection import get_db_connection from .db_tools import ( db_get_active_system_prompt, - db_add_system_prompt, + db_apply_prompt_node_action, db_get_tool_action, db_get_tasks, db_update_task_status, @@ -26,7 +27,6 @@ from .db_tools import ( db_set_session_state, db_get_session_state, db_clear_session_state, - db_increment_session_idle, db_get_snapshots, db_delete_snapshots, db_get_current_server_time, @@ -35,16 +35,14 @@ from .db_tools import ( db_purge_ephemeral_messages, db_get_stats, db_get_anomalies, - db_get_session_states, db_get_reference ) from .schemas import TOOLS_SCHEMA from .core.calendar_utils import get_dynamic_calendar_context -from .core.tool_injector import clean_raw_tool_tags, clean_output +from .core.tool_injector import clean_raw_tool_tags, clean_output, inject_tools_if_needed from .core.ollama_client import call_ollama_chat from .core.fast_path import handle_fast_path_intercept -from .core.prompt_merger import build_prompt_preview_merge # --- [SECTION 2: LOGGING CONFIGURATION] --- # ANCHOR[LOGGING_CONFIG] logger = logging.getLogger("SCUD_AGENT") @@ -67,12 +65,7 @@ def process_chat_message( chat_history: List[Dict[str, Any]] = None, session_id: str = "web_session_main" ) -> Tuple[str, List[Dict[str, Any]], Optional[Dict[str, Any]]]: - """ - Главный конвейер диалога: - 1. Проверка Fast-Path команд (подтверждение, отмена, завершение). - 2. Формирование контекста и вызов Ollama LLM. - 3. Выполнение инструментов и обработка Context Guard. - """ + """Главный конвейер диалога с поддержкой реляционного редактора промпта.""" logger.info(f"Получено сообщение от user_id={user_id}, session_id={session_id}: {user_message}") full_user_content = f"{user_message}\n\n[СОДЕРЖИМОЕ ПРИКРЕПЛЕННОГО ФАЙЛА]:\n{file_context}" if file_context else user_message @@ -94,28 +87,26 @@ def process_chat_message( user_info = f"Пользователь ID={user_id}" if user_id != 0 else "Гость" active_state_context = "" - if session_state and session_state.get("state_type") in ["PROMPT_PREVIEW", "PROMPT_FOLLOWUP"]: - active_state_context = ( - "\n[АКТИВНОЕ ДЕЙСТВИЕ В СЕССИИ]\n" - "В данный момент оператор находится в процессе настройки системного промпта.\n" - "- Если оператор просит продолжить правки — продолжай работу с ним.\n" - "- Если оператор переключился на другую тему — выполни его команду штатно.\n" - ) + if session_state: + state_type = session_state.get("state_type", "GENERAL") + active_state_context = f"\n[АКТИВНЫЙ РЕЖИМ СЕССИИ: {state_type}]\n" system_prompt_content = ( - f"Ты — интеллектуальный ассистент SCUD Orion AI. " - f"Ты управляешь задачами, аналитикой СКУД и системными настройками с помощью инструментов (tools).\n\n" - f"[ОКРУЖЕНИЕ]\n" - f"- Пользователь: {user_info}\n" - f"- {calendar_context}\n" - f"{active_state_context}\n" - f"[ПРАВИЛА ИСПОЛЬЗОВАНИЯ ИНСТРУМЕНТОВ]\n" - f"1. Для любых изменений системного промпта ВСЕГДА вызывай db_preview_prompt_merge(prompt_text=...).\n" - f"2. Для просмотра системного промпта ВСЕГДА вызывай db_get_system_prompt().\n" - f"3. Для просмотра задач ВСЕГДА вызывай db_get_tasks().\n" - f"4. Не симулируй выполнение функций текстом — сразу вызывай инструмент.\n\n" - f"[ТЕКУЩИЙ АКТИВНЫЙ СИСТЕМНЫЙ ПРОМПТ]:\n{dynamic_prompt_text}" - ) + f"Ты — интеллектуальный ассистент SCUD Orion AI. " + f"Ты управляешь задачами, аналитикой СКУД и системными настройками с помощью инструментов (tools).\n\n" + f"СТРОГИЕ ПРАВИЛА СТИЛЯ:\n" + f"- Запрещено использовать панибратские или шутливые обращения. Отвечай профессионально и строго по существу.\n\n" + f"[ОКРУЖЕНИЕ]\n" + f"- Пользователь: {user_info}\n" + f"- {calendar_context}\n" + f"{active_state_context}\n" + f"[ПРАВИЛА ИСПОЛЬЗОВАНИЯ ИНСТРУМЕНТОВ]\n" + f"1. Для любых изменений системного промпта ВСЕГДА вызывай db_prompt_node_edit(action=..., section_id=..., item_id=..., content=...). Абсолютно запрещено изменять промпт напрямую текстом.\n" + f" Пример: если просят 'добавь пункт 2.9 Тестовый пункт', ты ОБЯЗАН вызвать инструмент db_prompt_node_edit с аргументами: action='ADD', section_id=2, item_id=9, content='Тестовый пункт'.\n" + f"2. Для просмотра системного промпта ВСЕГДА вызывай db_get_system_prompt().\n" + f"3. Для просмотра задач ВСЕГДА вызывай db_get_tasks().\n\n" + f"[ТЕКУЩИЙ АКТИВНЫЙ СИСТЕМНЫЙ ПРОМПТ]:\n{dynamic_prompt_text}" +) user_msg_object = {"role": "user", "content": full_user_content} @@ -135,20 +126,24 @@ def process_chat_message( messages = [{"role": "system", "content": system_prompt_content}] + clean_db_history + [user_msg_object] msg = call_ollama_chat(messages, tools=TOOLS_SCHEMA, is_vision=False) + raw_text_reply = msg.get("content", "") tool_calls = msg.get("tool_calls", []) + tool_calls = inject_tools_if_needed(user_message, raw_text_reply, tool_calls) if tool_calls: logger.info(f"Ответ от Ollama получен. Tool calls: True (кол-во: {len(tool_calls)})") messages.append(msg) + tool_names_called = [] + for tool in tool_calls: fn_name = tool["function"]["name"] fn_args = tool["function"].get("arguments", {}) + tool_names_called.append(fn_name) logger.info(f"Вызов функции (Tool): {fn_name} с аргументами: {fn_args}") tool_result_content = "" action_cfg = db_get_tool_action(fn_name) - # ANCHOR[TASK_INTERACTIVE_DISPATCH] if fn_name == "db_get_tasks": raw_tasks = db_get_tasks(user_id) reply_text = "Вот интерактивный список ваших текущих задач:" @@ -158,13 +153,48 @@ def process_chat_message( "tasks": raw_tasks } - elif fn_name == "db_preview_prompt_merge": - proposed_text = fn_args.get("prompt_text") or fn_args.get("proposed_prompt") or "" - if isinstance(fn_args, str): - proposed_text = fn_args + elif fn_name == "db_prompt_node_edit": + action = fn_args.get("action", "ADD").upper() + sec_id = int(fn_args.get("section_id", 2)) + itm_id = int(fn_args.get("item_id", 1)) + content = fn_args.get("content", "").strip() - merged_prompt = build_prompt_preview_merge(db_get_active_system_prompt(), user_message, proposed_text) - db_set_session_state(session_id, "PROMPT_PREVIEW", {"draft_text": merged_prompt, "idle_turns": 0}) + with get_db_connection() as temp_conn: + temp_cursor = temp_conn.cursor() + temp_cursor.execute("SELECT section_id, item_id, content FROM system_prompt_nodes WHERE prompt_name = 'main_agent' AND is_active = 1 ORDER BY section_id, item_id") + existing_nodes = temp_cursor.fetchall() + + nodes_dict = {(sec, itm): txt for sec, itm, txt in existing_nodes} + + if action == "DELETE": + nodes_dict.pop((sec_id, itm_id), None) + else: + nodes_dict[(sec_id, itm_id)] = content + + virtual_lines = [] + curr_sec = None + for (s_id, i_id), txt in sorted(nodes_dict.items()): + if i_id == 0: + if curr_sec is not None: + virtual_lines.append("") + virtual_lines.append(f"{s_id}. {txt}") + curr_sec = s_id + else: + line_str = f" {s_id}.{i_id}. {txt}" + if s_id == sec_id and i_id == itm_id: + line_str = f'{s_id}.{i_id}. {txt}' + virtual_lines.append(line_str) + + merged_prompt = "\n".join([re.sub(r'<[^>]+>', '', l) for l in virtual_lines]) + diff_html = "\n".join(virtual_lines) + + db_set_session_state(session_id, "PROMPT_PREVIEW", { + "draft_text": merged_prompt, + "action": action, + "section_id": sec_id, + "item_id": itm_id, + "content": content + }) with get_db_connection() as conn_fix: conn_fix.cursor().execute(""" @@ -175,16 +205,19 @@ def process_chat_message( conn_fix.commit() preview_reply = ( - f"Ваше изменение успешно предпросмотрено. Полный обновленный системный промпт теперь выглядит так:\n\n" - f"{merged_prompt}\n\n" - f"Для применения изменений подтвердите действие («подтверждаю») или отмените («отмена»)." + f"Предпросмотр изменений системного промпта:\n\n" + f"{diff_html}\n\n" + f"Для применения подтвердите действие, отредактируйте или отмените." ) + db_save_chat_message(session_id, "assistant", preview_reply, is_ephemeral=1) - return clean_raw_tool_tags(preview_reply), db_get_chat_history(session_id), { + return preview_reply, db_get_chat_history(session_id), { "type": "PROMPT_PREVIEW", + "raw_draft": merged_prompt, "buttons": [ {"label": "Подтвердить", "value": "подтверждаю", "style": "primary"}, - {"label": "Отменить", "value": "отмена", "style": "danger"} + {"label": "Отменить", "value": "отмена", "style": "danger"}, + {"label": "✏️ Редактировать", "value": "action:open_editor", "style": "secondary"} ] } @@ -223,90 +256,26 @@ def process_chat_message( elif fn_name == "db_delete_task": res = db_delete_task(user_id=user_id, task_id=str(fn_args.get("task_id", "")).upper()) - if action_cfg and action_cfg.get("bypass_llm"): - reply_text = action_cfg["success_template"] - if action_cfg.get("follow_up_question"): - reply_text += f"\n\n{action_cfg['follow_up_question']}" - reply_text = reply_text.replace("✅", "").replace("❌", "").replace("**", "").replace("*", "").strip() - db_save_chat_message(session_id, "assistant", reply_text, is_ephemeral=action_cfg.get("is_ephemeral", 1)) - return reply_text, db_get_chat_history(session_id), { - "type": action_cfg.get("action_type"), - "buttons": action_cfg.get("buttons", []) - } tool_result_content = json.dumps(res, ensure_ascii=False) elif fn_name == "db_delete_snapshots": res = db_delete_snapshots(snapshot_id=fn_args.get("snapshot_id"), day_str=fn_args.get("day_str")) - if action_cfg and action_cfg.get("bypass_llm"): - reply_text = action_cfg["success_template"] - if action_cfg.get("follow_up_question"): - reply_text += f"\n\n{action_cfg['follow_up_question']}" - reply_text = reply_text.replace("✅", "").replace("❌", "").replace("**", "").replace("*", "").strip() - db_save_chat_message(session_id, "assistant", reply_text, is_ephemeral=action_cfg.get("is_ephemeral", 1)) - return reply_text, db_get_chat_history(session_id), { - "type": action_cfg.get("action_type"), - "buttons": action_cfg.get("buttons", []) - } tool_result_content = json.dumps(res, ensure_ascii=False) messages.append({"role": "tool", "content": tool_result_content}) - # ANCHOR[SECONDARY_PASS] sec_msg = call_ollama_chat(messages, is_vision=False) raw_content = sec_msg.get("content", "").strip().replace("**", "").replace("*", "") final_content = clean_raw_tool_tags(clean_output(raw_content)) - tool_names_called = [t["function"]["name"] for t in tool_calls] - is_output_ephemeral = 1 if any(name in ["db_get_system_prompt", "db_get_system_prompts", "db_preview_prompt_merge"] for name in tool_names_called) else 0 - - # Topic Drift & Context Guard - if session_state and session_state.get("state_type") in ["PROMPT_PREVIEW", "PROMPT_FOLLOWUP"]: - idle_count = db_increment_session_idle(session_id) - logger.info(f"Смена темы ({session_state.get('state_type')}). Текущий idle_turns: {idle_count}") - - if idle_count == 3: - guard_note = "\n\nНапоминание: Завершить настройку системного промпта и очистить сессию?" - final_content += guard_note - db_save_chat_message(session_id, "assistant", final_content, is_ephemeral=is_output_ephemeral) - return final_content, db_get_chat_history(session_id), { - "type": "FOLLOW_UP_ACTION", - "buttons": [ - {"label": "Да, закончить", "value": "нет, закончить настройку", "style": "primary"}, - {"label": "Показать промпт", "value": "покажи системный промпт", "style": "secondary"} - ] - } - elif idle_count > 3: - logger.info(f"Автоочистка сессии: оператор переключился на другую тему (idle_turns={idle_count}).") - db_clear_session_state(session_id) - db_purge_ephemeral_messages(session_id) + is_output_ephemeral = 1 if any(name in ["db_get_system_prompt", "db_get_system_prompts", "db_prompt_node_edit"] for name in tool_names_called) else 0 db_save_chat_message(session_id, "assistant", final_content, is_ephemeral=is_output_ephemeral) return final_content, db_get_chat_history(session_id), None - # Обычный текстовый ответ без Tool Calls raw_str = msg.get("content", "").strip().replace("**", "").replace("*", "") final_reply = clean_raw_tool_tags(clean_output(raw_str)) or "Запрос обработан." - if session_state and session_state.get("state_type") in ["PROMPT_PREVIEW", "PROMPT_FOLLOWUP"]: - idle_count = db_increment_session_idle(session_id) - logger.info(f"Текстовый диалог вне настройки ({session_state.get('state_type')}). Текущий idle_turns: {idle_count}") - - if idle_count == 3: - guard_note = "\n\nНапоминание: Завершить настройку системного промпта и очистить сессию?" - final_reply += guard_note - db_save_chat_message(session_id, "assistant", final_reply, is_ephemeral=0) - return final_reply, db_get_chat_history(session_id), { - "type": "FOLLOW_UP_ACTION", - "buttons": [ - {"label": "Да, закончить", "value": "нет, закончить настройку", "style": "primary"}, - {"label": "Показать промпт", "value": "покажи системный промпт", "style": "secondary"} - ] - } - elif idle_count > 3: - logger.info(f"Автоочистка сессии: оператор переключился на другую тему (idle_turns={idle_count}).") - db_clear_session_state(session_id) - db_purge_ephemeral_messages(session_id) - db_save_chat_message(session_id, "assistant", final_reply, is_ephemeral=0) return final_reply, db_get_chat_history(session_id), None diff --git a/modules/web_api/llm/core/fast_path.py b/modules/web_api/llm/core/fast_path.py index 1649bce..2dcb9fa 100644 --- a/modules/web_api/llm/core/fast_path.py +++ b/modules/web_api/llm/core/fast_path.py @@ -1,8 +1,10 @@ """ =============================================================================== FILE: modules/web_api/llm/core/fast_path.py -ROLE: Детерминированный быстрый перехват команд оператора без вызова LLM: - подтверждение, отмена черновиков и завершение диалога с очисткой памяти. +PROJECT: SCUD Orion AI (Unified Architecture) +MODULE: web_api / llm / core +ROLE: Детерминированный перехват подтверждения, отмены и мгновенной очистки + эфемерного контекста без повторного вывода кнопок-вилок. =============================================================================== """ @@ -12,8 +14,6 @@ from typing import Dict, Any, Tuple, Optional from llm.db_tools import ( db_add_system_prompt, - db_get_tool_action, - db_set_session_state, db_clear_session_state, db_purge_ephemeral_messages, db_save_chat_message, @@ -31,65 +31,39 @@ def handle_fast_path_intercept( session_state: Optional[Dict[str, Any]] ) -> Optional[Tuple[str, list, Optional[Dict[str, Any]]]]: """ - Проверяет входящее сообщение на детерминированные команды. - Если команда перехвачена — возвращает кортеж (reply_text, chat_history, metadata). - Если перехват не требуется — возвращает None. + 1. Подтвердить -> запись в БД + db_purge_ephemeral_messages + инфо-текст. + 2. Отменить -> сброс стейта + db_purge_ephemeral_messages + инфо-текст. """ + if not session_state or session_state.get("state_type") != "PROMPT_PREVIEW": + return None + user_msg_clean = user_message.lower().strip(" .!?:;") - # 1. Перехват завершения работы с очисткой эфемерных сообщений - if user_msg_clean in ["нет, спасибо", "нет, закончить настройку", "закончить настройку", "завершить", "нет"]: + draft_text = "" + if session_state.get("data_json") and isinstance(session_state["data_json"], dict): + draft_text = session_state["data_json"].get("draft_text", "") + else: + draft_text = session_state.get("pending_data", "") + + # 1. ПОДТВЕРДИТЬ ИЗМЕНЕНИЯ + if user_msg_clean in ["подтверждаю", "подтвердить", "да", "сохранить", "применить", "ок", "хорошо"]: + db_add_system_prompt("main_agent", draft_text) db_clear_session_state(session_id) deleted_count = db_purge_ephemeral_messages(session_id) - logger.info(f"Завершена работа с инструментом. Удалено эфемерных сообщений: {deleted_count}") - - reply_text = "Хорошо. Настройка завершена, контекст диалога чист. Чем я могу помочь дальше?" + logger.info(f"Системный промпт сохранен в БД. Удалено эфемерных сообщений: {deleted_count}") + + reply_text = "Системный промпт успешно сохранен и применен в базе данных." db_save_chat_message(session_id, "assistant", reply_text, is_ephemeral=0) return reply_text, db_get_chat_history(session_id), None - # 2. Перехват подтверждения или отмены превью системного промпта - if session_state and session_state.get("state_type") == "PROMPT_PREVIEW": - draft_text = "" - if session_state.get("data_json") and isinstance(session_state["data_json"], dict): - draft_text = session_state["data_json"].get("draft_text", "") - else: - draft_text = session_state.get("pending_data", "") + # 2. ОТМЕНИТЬ ИЗМЕНЕНИЯ + elif user_msg_clean in ["отмена", "отменить", "отклонить", "назад", "стоп"]: + db_clear_session_state(session_id) + deleted_count = db_purge_ephemeral_messages(session_id) + logger.info(f"Изменения промпта отменены. Удалено эфемерных сообщений: {deleted_count}") - if user_msg_clean in ["подтверждаю", "подтвердить", "да", "сохранить", "применить", "ок", "хорошо"]: - db_add_system_prompt("main_agent", draft_text) - db_set_session_state(session_id, "PROMPT_FOLLOWUP", {"idle_turns": 0}) - - action_cfg = db_get_tool_action("db_confirm_prompt_preview") - reply_text = action_cfg["success_template"] if action_cfg else "Системный промпт успешно сохранен и применен в базе данных." - if action_cfg and action_cfg.get("follow_up_question"): - reply_text += f"\n\n{action_cfg['follow_up_question']}" - - reply_text = reply_text.replace("✅", "").replace("❌", "").replace("**", "").replace("*", "").strip() - - is_eph = action_cfg.get("is_ephemeral", 1) if action_cfg else 1 - db_save_chat_message(session_id, "user", full_user_content, is_ephemeral=1) - db_save_chat_message(session_id, "assistant", reply_text, is_ephemeral=is_eph) - return reply_text, db_get_chat_history(session_id), { - "type": action_cfg.get("action_type") if action_cfg else "FOLLOW_UP_ACTION", - "buttons": action_cfg.get("buttons", []) if action_cfg else [] - } - - elif user_msg_clean in ["отмена", "отменить", "отклонить", "назад", "стоп"]: - db_set_session_state(session_id, "PROMPT_FOLLOWUP", {"idle_turns": 0}) - - action_cfg = db_get_tool_action("db_cancel_prompt_preview") - reply_text = action_cfg["success_template"] if action_cfg else "Изменения системного промпта отменены." - if action_cfg and action_cfg.get("follow_up_question"): - reply_text += f"\n\n{action_cfg['follow_up_question']}" - - reply_text = reply_text.replace("✅", "").replace("❌", "").replace("**", "").replace("*", "").strip() - - is_eph = action_cfg.get("is_ephemeral", 1) if action_cfg else 1 - db_save_chat_message(session_id, "user", full_user_content, is_ephemeral=1) - db_save_chat_message(session_id, "assistant", reply_text, is_ephemeral=is_eph) - return reply_text, db_get_chat_history(session_id), { - "type": action_cfg.get("action_type") if action_cfg else "FOLLOW_UP_ACTION", - "buttons": action_cfg.get("buttons", []) if action_cfg else [] - } + reply_text = "Изменения системного промпта отменены. Контекст диалога чист." + db_save_chat_message(session_id, "assistant", reply_text, is_ephemeral=0) + return reply_text, db_get_chat_history(session_id), None return None \ No newline at end of file diff --git a/modules/web_api/llm/core/prompt_merger.py b/modules/web_api/llm/core/prompt_merger.py index 240d6c7..5407901 100644 --- a/modules/web_api/llm/core/prompt_merger.py +++ b/modules/web_api/llm/core/prompt_merger.py @@ -1,15 +1,15 @@ """ =============================================================================== FILE: modules/web_api/llm/core/prompt_merger.py -ROLE: Алгоритмы парсинга, предпросмотра и детерминированного слияния правок - системного промпта (добавление, удаление и замена пунктов). +PROJECT: SCUD Orion AI (Unified Architecture) +MODULE: web_api / llm / core +ROLE: Алгоритмы парсинга, предпросмотра, слияния и визуального выделения правок. =============================================================================== """ # ANCHOR[PROMPT_MERGER_IMPORTS] import re import logging -from typing import Tuple logger = logging.getLogger("PROMPT_MERGER") @@ -17,9 +17,7 @@ logger = logging.getLogger("PROMPT_MERGER") # ANCHOR[PROMPT_MERGE_ENGINE] def build_prompt_preview_merge(current_prompt: str, user_message: str, proposed_text: str) -> str: """ - Вычисляет результирующий текст промпта на основе намерения пользователя: - 1. Удаление пункта по номеру. - 2. Добавление/изменение пункта в соответствующую секцию. + Вычисляет результирующий чистый текст промпта для записи в БД. """ user_msg_lower = user_message.lower() @@ -56,4 +54,21 @@ def build_prompt_preview_merge(current_prompt: str, user_message: str, proposed_ new_lines.append(f" {clean_item}") return "\n".join(new_lines) - return proposed_text or current_prompt \ No newline at end of file + return proposed_text or current_prompt + + +def highlight_prompt_diff(old_prompt: str, new_prompt: str) -> str: + """ + Генерирует текст с подсветкой добавленных/измененных строк HTML-классами Tailwind. + """ + old_lines_set = {line.strip() for line in old_prompt.splitlines() if line.strip()} + diff_lines = [] + + for line in new_prompt.splitlines(): + if line.strip() and line.strip() not in old_lines_set: + # Выделяем новую или измененную строку красным цветом + diff_lines.append(f'{line}') + else: + diff_lines.append(line) + + return "\n".join(diff_lines) \ No newline at end of file diff --git a/modules/web_api/llm/core/tool_injector.py b/modules/web_api/llm/core/tool_injector.py index 43ac077..0798e9d 100644 --- a/modules/web_api/llm/core/tool_injector.py +++ b/modules/web_api/llm/core/tool_injector.py @@ -1,3 +1,6 @@ +""" +FILE: modules/web_api/llm/core/tool_injector.py +""" import re import json import logging @@ -5,6 +8,7 @@ from typing import List, Dict, Any logger = logging.getLogger("TOOL_INJECTOR") + def clean_raw_tool_tags(text: str) -> str: if not text: return "" @@ -14,15 +18,25 @@ def clean_raw_tool_tags(text: str) -> str: text = re.sub(r'', '', text) return text.strip() + def clean_output(text: str) -> str: if not text: return text - artifacts = ["почемучто", "почто", "почему что"] - lower_text = text.lower() + + # Фильтрация паразитных артефактов токенизатора Qwen + artifacts = [ + "почемучка", "почемучка,", "почемучка!", "почемучка?", + "почемучто", "почто", "почему что", "почему-то", + "здравствуйте!", "привет!" + ] + + cleaned = text.strip() for art in artifacts: - if lower_text.startswith(art): - text = text[len(art):].lstrip(",.!?:; -") - return text.strip() + if cleaned.lower().startswith(art): + cleaned = cleaned[len(art):].lstrip(",.!?:; -") + + return cleaned.strip() + def inject_tools_if_needed(user_message: str, raw_text_content: str, tool_calls: List[Dict[str, Any]]) -> List[Dict[str, Any]]: if tool_calls: diff --git a/modules/web_api/llm/db/db_prompts.py b/modules/web_api/llm/db/db_prompts.py index a3487f5..95ff252 100644 --- a/modules/web_api/llm/db/db_prompts.py +++ b/modules/web_api/llm/db/db_prompts.py @@ -1,10 +1,11 @@ """ +=============================================================================== FILE: modules/web_api/llm/db/db_prompts.py -PROJECT: SCUD Orion AI +PROJECT: SCUD Orion AI (Unified Architecture) MODULE: web_api / llm / db -ROLE: Управление системными промптами, правилами базы знаний, - декларативным реестром действий инструментов (tool_action_registry) - и расширенным сессионным состоянием (session_states + idle_turns). +ROLE: Реляционное управление системным промптом (таблица system_prompt_nodes), + базой знаний, реестром действий и сессионными стейтами. +=============================================================================== """ import json import logging @@ -14,18 +15,115 @@ from .connection import get_db_connection logger = logging.getLogger("DB_PROMPTS") -def db_get_active_system_prompt() -> str: - """Извлекает актуальный активный системный промпт из SQLite.""" - conn = get_db_connection() - cursor = conn.cursor() - cursor.execute("SELECT prompt_text FROM system_prompts WHERE is_active = 1 ORDER BY id DESC LIMIT 1") - row = cursor.fetchone() - conn.close() - return row["prompt_text"] if row else "Ты — ИИ-ассистент SCUD Orion AI." +def init_prompt_nodes_table(): + """Создает реляционную таблицу узлов промпта и заполняет базовыми данными.""" + with get_db_connection() as conn: + cursor = conn.cursor() + cursor.execute(""" + CREATE TABLE IF NOT EXISTS system_prompt_nodes ( + id INTEGER PRIMARY KEY AUTOINCREMENT, + prompt_name TEXT DEFAULT 'main_agent', + section_id INTEGER NOT NULL, + item_id INTEGER NOT NULL, + content TEXT NOT NULL, + is_active INTEGER DEFAULT 1, + updated_at TIMESTAMP DEFAULT CURRENT_TIMESTAMP, + UNIQUE(prompt_name, section_id, item_id) + ); + """) + cursor.execute("CREATE INDEX IF NOT EXISTS idx_prompt_nodes ON system_prompt_nodes(prompt_name, section_id, item_id);") + + cursor.execute("SELECT COUNT(*) FROM system_prompt_nodes WHERE prompt_name = 'main_agent'") + if cursor.fetchone()[0] == 0: + seed_nodes = [ + # Раздел 1 + (1, 0, "РОЛЬ И ЗАДАЧИ АССИСТЕНТА"), + (1, 1, "Управление бэклогом задач проекта (через db_get_tasks, db_add_task, db_update_task_status, db_delete_task)."), + (1, 2, "Консультация по правилам и арбитражу кадровых данных/СКУД из базы знаний (через db_get_rules)."), + (1, 3, "Предоставление справки о возможностях и примерах команд (СТРОГО через db_get_reference)."), + (1, 4, "Просмотр аномалий СКУД ⟷ 1С (СТРОГО через db_get_anomalies)."), + (1, 5, "Поддержка диалога с операторами и администраторами системы."), + (1, 7, "Работа с логами, снапшотами и срезами СКУД (через db_get_snapshots)."), + + # Раздел 2 + (2, 0, "ПРАВИЛА ВЫЗОВА ИНСТРУМЕНТОВ И ДАТ"), + (2, 1, "ОБЯЗАТЕЛЬНЫЙ ПРЕВЬЮ-МЕРДЖ: Категорически ЗАПРЕЩЕНО изменять промпт напрямую! При ЛЮБОМ запросе пользователя на изменение системного промпта Ты ОБЯЗАН вызвать инструмент db_prompt_node_edit."), + (2, 2, "БЕЗУСЛОВНОЕ ПОДТВЕРЖДЕНИЕ ПРЕВЬЮ: Инструмент db_confirm_prompt_preview вызывается СТРОГО после того, как пользователь напишет 'подтверждаю', 'да', 'сохраняй'."), + (2, 3, "ПОДТВЕРЖДЕНИЕ УДАЛЕНИЯ ЗАДАЧ: При запросе на удаление задач КАТЕГОРИЧЕСКИ ЗАПРЕЩЕНО сразу вызывать db_delete_task! Ты ОБЯЗАН сначала спросить пользователя подтверждение."), + (2, 4, "ИСПОЛЬЗОВАНИЕ КАЛЕНДАРЯ: При любых вопросах про даты БЕРИ ТОЧНУЮ ДАТУ ИЗ [СИСТЕМНОГО КАЛЕНДАРЯ СЕРВЕРА] В НАЧАЛЕ КОНТЕКСТА."), + (2, 5, "СТРОГИЙ ВЫЗОВ АНОМАЛИЙ: При запросах аномалий или нарушений Ты ОБЯЗАН вызвать инструмент db_get_anomalies."), + (2, 6, "СТРОГИЙ ВЫЗОВ СПРАВОЧНИКА: При запросах о возможностях, примерах запросов или командах Ты ОБЯЗАН вызывать db_get_reference."), + (2, 7, "Запрещено писать названия функций или код вызова текстом на экран."), + (2, 8, "СТРОГИЙ ВЫЗОВ СНАПШОТОВ: При ЛЮБЫХ запросах про снапшоты, срезы или логи СКУД за дату/день недели Ты ОБЯЗАН вызывать инструмент db_get_snapshots."), + + # Раздел 3 + (3, 0, "ПРАВИЛА СТИЛЯ"), + (3, 1, "Никогда не начинай ответ со склеек или слов-паразитов."), + (3, 2, "Отвечай в чистом текстовом формате (plain text) без спецсимволов или ###, если прямо не попросили."), + (3, 3, "Сохраняй инженерный, лаконичный и профессиональный стиль.") + ] + cursor.executemany(""" + INSERT OR IGNORE INTO system_prompt_nodes (prompt_name, section_id, item_id, content) + VALUES ('main_agent', ?, ?, ?) + """, seed_nodes) + conn.commit() + + +def db_get_active_system_prompt(prompt_name: str = "main_agent") -> str: + """Собирает структурированный текст промпта из реляционной таблицы узлов.""" + init_prompt_nodes_table() + with get_db_connection() as conn: + cursor = conn.cursor() + cursor.execute(""" + SELECT section_id, item_id, content + FROM system_prompt_nodes + WHERE prompt_name = ? AND is_active = 1 + ORDER BY section_id ASC, item_id ASC + """, (prompt_name,)) + rows = cursor.fetchall() + + if not rows: + return "Ты — ИИ-ассистент SCUD Orion AI." + + lines = [] + current_section = None + + for sec_id, itm_id, content in rows: + if itm_id == 0: + if current_section is not None: + lines.append("") + lines.append(f"{sec_id}. {content}") + current_section = sec_id + else: + lines.append(f" {sec_id}.{itm_id}. {content}") + + return "\n".join(lines) + + +def db_apply_prompt_node_action(action: str, section_id: int, item_id: int, content: str = "", prompt_name: str = "main_agent"): + """Прямое добавление, изменение или удаление узла в БД.""" + init_prompt_nodes_table() + with get_db_connection() as conn: + cursor = conn.cursor() + action_clean = action.upper() + if action_clean in ["ADD", "UPDATE"]: + cursor.execute(""" + INSERT INTO system_prompt_nodes (prompt_name, section_id, item_id, content, is_active, updated_at) + VALUES (?, ?, ?, ?, 1, CURRENT_TIMESTAMP) + ON CONFLICT(prompt_name, section_id, item_id) DO UPDATE SET + content = excluded.content, + is_active = 1, + updated_at = CURRENT_TIMESTAMP + """, (prompt_name, section_id, item_id, content)) + elif action_clean == "DELETE": + cursor.execute(""" + DELETE FROM system_prompt_nodes + WHERE prompt_name = ? AND section_id = ? AND item_id = ? + """, (prompt_name, section_id, item_id)) + conn.commit() def db_get_tool_action(tool_name: str) -> Optional[Dict[str, Any]]: - """Получение шаблона, кнопок и настроек эфемерности инструмента из SQLite.""" conn = get_db_connection() cursor = conn.cursor() cursor.execute(""" @@ -44,33 +142,7 @@ def db_get_tool_action(tool_name: str) -> Optional[Dict[str, Any]]: return None -def db_add_system_prompt(name: str, prompt_text: str) -> Dict[str, Any]: - """Сохраняет новую версию системного промпта и активирует её.""" - try: - with get_db_connection() as conn: - cursor = conn.cursor() - cursor.execute("BEGIN IMMEDIATE;") - cursor.execute("SELECT id FROM system_prompts WHERE name = ?", (name,)) - existing = cursor.fetchone() - if existing: - cursor.execute( - "UPDATE system_prompts SET prompt_text = ?, is_active = 1, updated_at = CURRENT_TIMESTAMP WHERE name = ?", - (prompt_text, name) - ) - else: - cursor.execute( - "INSERT INTO system_prompts (name, prompt_text, is_active) VALUES (?, ?, 1)", - (name, prompt_text) - ) - conn.commit() - return {"status": "success", "message": "Системный промпт успешно обновлен"} - except Exception as e: - logger.error(f"Ошибка при сохранении промпта в БД: {e}") - return {"status": "error", "error": str(e)} - - def db_get_rules() -> List[Dict[str, Any]]: - """Извлекает список глобальных правил компании из ai_knowledge_base.""" conn = get_db_connection() cursor = conn.cursor() cursor.execute("SELECT id, rule_text FROM ai_knowledge_base ORDER BY id ASC") @@ -79,23 +151,11 @@ def db_get_rules() -> List[Dict[str, Any]]: return [dict(r) for r in rows] -# ============================================================================= -# РАБОТА С СЕССИОННЫМИ СОСТОЯНИЯМИ, ЧЕРНОВИКАМИ И СЧЕТЧИКОМ ОТВЛЕЧЕНИЙ (IDLE_TURNS) -# ============================================================================= - def db_set_session_state(session_id: str, state_type: str, data: Any) -> None: - """ - Сохраняет состояние сессии в SQLite. - Если передан dict/list — автоматически сериализует его в JSON-строку. - """ + """Сохраняет состояние сессии в SQLite.""" conn = get_db_connection() cursor = conn.cursor() - - if isinstance(data, (dict, list)): - payload_str = json.dumps(data, ensure_ascii=False) - else: - payload_str = str(data) if data is not None else "" - + payload_str = json.dumps(data, ensure_ascii=False) if isinstance(data, (dict, list)) else (str(data) if data is not None else "") cursor.execute(""" INSERT INTO session_states (session_id, state_type, pending_data, updated_at) VALUES (?, ?, ?, CURRENT_TIMESTAMP) @@ -109,63 +169,23 @@ def db_set_session_state(session_id: str, state_type: str, data: Any) -> None: def db_get_session_state(session_id: str) -> Optional[Dict[str, Any]]: - """ - Извлекает состояние сессии из SQLite. - Если в pending_data лежит валидный JSON-объект — парсит его в data_json. - """ conn = get_db_connection() cursor = conn.cursor() - cursor.execute( - "SELECT session_id, state_type, pending_data, updated_at FROM session_states WHERE session_id = ?", - (session_id,) - ) + cursor.execute("SELECT session_id, state_type, pending_data, updated_at FROM session_states WHERE session_id = ?", (session_id,)) row = cursor.fetchone() conn.close() - if not row: return None - res = dict(row) raw_data = res.get("pending_data") or "" - try: - if raw_data.strip().startswith("{") or raw_data.strip().startswith("["): - res["data_json"] = json.loads(raw_data) - else: - res["data_json"] = None + res["data_json"] = json.loads(raw_data) if raw_data.strip().startswith(("{", "[")) else None except Exception: res["data_json"] = None - return res -def db_increment_session_idle(session_id: str) -> int: - """ - Инкрементирует счетчик idle_turns для активного черновика сессии. - Возвращает обновленное значение счетчика отвлечений. - """ - state = db_get_session_state(session_id) - if not state: - return 0 - - data_meta = state.get("data_json") - if isinstance(data_meta, dict): - current_turns = data_meta.get("idle_turns", 0) + 1 - data_meta["idle_turns"] = current_turns - db_set_session_state(session_id, state["state_type"], data_meta) - return current_turns - else: - # Если ранее данные были сохранены обычной строкой - new_meta = { - "draft_text": state.get("pending_data", ""), - "idle_turns": 1 - } - db_set_session_state(session_id, state["state_type"], new_meta) - return 1 - - def db_clear_session_state(session_id: str) -> None: - """Сбрасывает и удаляет активное состояние сессии.""" conn = get_db_connection() cursor = conn.cursor() cursor.execute("DELETE FROM session_states WHERE session_id = ?", (session_id,)) @@ -173,28 +193,10 @@ def db_clear_session_state(session_id: str) -> None: conn.close() -def db_get_session_states() -> Dict[str, Any]: - """Возвращает реестр всех активных сессий.""" - conn = get_db_connection() - cursor = conn.cursor() - cursor.execute("SELECT session_id, state_type, updated_at FROM session_states") - rows = cursor.fetchall() - conn.close() - return {"status": "success", "active_sessions": [dict(r) for r in rows]} - - -# ============================================================================= -# СЛУЖЕБНАЯ ДИАГНОСТИКА И СТАТИСТИКА -# ============================================================================= - def db_get_stats() -> Dict[str, Any]: - """Возвращает статистику по количеству записей в таблицах.""" conn = get_db_connection() cursor = conn.cursor() - tables = [ - 'scud_logs', 'zup_staff', 'zup_absences', 'anomalies_history', - 'ai_knowledge_base', 'system_prompts', 'session_states', 'tasks' - ] + tables = ['scud_logs', 'zup_staff', 'zup_absences', 'anomalies_history', 'ai_knowledge_base', 'system_prompt_nodes', 'session_states', 'tasks'] stats = {} for t in tables: try: @@ -207,7 +209,6 @@ def db_get_stats() -> Dict[str, Any]: def db_get_anomalies(limit: int = 100, date_str: Optional[str] = None) -> Dict[str, Any]: - """Извлекает журнал зафиксированных аномалий.""" conn = get_db_connection() cursor = conn.cursor() query = "SELECT anomaly_date, fio, anomaly_type, details FROM anomalies_history" @@ -224,7 +225,6 @@ def db_get_anomalies(limit: int = 100, date_str: Optional[str] = None) -> Dict[s def db_get_reference(category: Optional[str] = None) -> Dict[str, Any]: - """Извлекает справочные команды и примеры подсказок.""" conn = get_db_connection() cursor = conn.cursor() query = "SELECT category, title, example_prompt, description FROM system_reference" @@ -236,4 +236,51 @@ def db_get_reference(category: Optional[str] = None) -> Dict[str, Any]: cursor.execute(query, params) rows = cursor.fetchall() conn.close() - return {"status": "success", "count": len(rows), "reference_items": [dict(r) for r in rows]} \ No newline at end of file + return {"status": "success", "count": len(rows), "reference_items": [dict(r) for r in rows]} + +def db_add_system_prompt(name: str, prompt_text: str) -> Dict[str, Any]: + """Мост обратной совместимости: парсит текст промпта и сохраняет по узлам в БД.""" + try: + init_prompt_nodes_table() + with get_db_connection() as conn: + cursor = conn.cursor() + cursor.execute("DELETE FROM system_prompt_nodes WHERE prompt_name = ?", (name,)) + + current_sec = 1 + current_itm = 0 + + for line in prompt_text.splitlines(): + stripped = line.strip() + if not stripped: + continue + + # Проверяем заголовок раздела (например, "1. РОЛЬ И ЗАДАЧИ...") + parts = stripped.split(".", 1) + if len(parts) == 2 and parts[0].strip().isdigit(): + sec_num = int(parts[0].strip()) + rest = parts[1].strip() + + # Проверяем, это подпункт (например, "1.1. Текст") или заголовок раздела + sub_parts = rest.split(".", 1) + if len(sub_parts) == 2 and sub_parts[0].strip().isdigit(): + current_sec = sec_num + current_itm = int(sub_parts[0].strip()) + content = sub_parts[1].strip() + else: + current_sec = sec_num + current_itm = 0 + content = rest + else: + current_itm += 1 + content = stripped + + cursor.execute(""" + INSERT OR REPLACE INTO system_prompt_nodes (prompt_name, section_id, item_id, content, is_active) + VALUES (?, ?, ?, ?, 1) + """, (name, current_sec, current_itm, content)) + + conn.commit() + return {"status": "success", "message": "Системный промпт успешно сохранен по узлам"} + except Exception as e: + logger.error(f"Ошибка при разборе промпта в узлы: {e}") + return {"status": "error", "error": str(e)} \ No newline at end of file diff --git a/modules/web_api/llm/db_tools.py b/modules/web_api/llm/db_tools.py index fc8ad23..0eec0d2 100644 --- a/modules/web_api/llm/db_tools.py +++ b/modules/web_api/llm/db_tools.py @@ -9,13 +9,12 @@ from .db.db_snapshots import db_get_snapshots, db_delete_snapshots from .db.db_prompts import ( db_get_active_system_prompt, db_add_system_prompt, + db_apply_prompt_node_action, db_get_tool_action, db_get_rules, db_set_session_state, db_get_session_state, db_clear_session_state, - db_increment_session_idle, - db_get_session_states, db_get_stats, db_get_anomalies, db_get_reference diff --git a/modules/web_api/llm/schemas.py b/modules/web_api/llm/schemas.py index b30a8dc..df64a8f 100644 --- a/modules/web_api/llm/schemas.py +++ b/modules/web_api/llm/schemas.py @@ -82,18 +82,18 @@ TOOLS_SCHEMA = [ } }, { - "type": "function", - "function": { - "name": "db_delete_snapshots", - "description": "УДАЛИТЬ СНАПШОТ(Ы) ИЗ БАЗЫ ДАННЫХ. Вызывай, когда пользователь явно просит удалить конкретный снапшот по ID или все снапшоты за выбранный день.", - "parameters": { - "type": "object", - "properties": { - "snapshot_id": {"type": "string", "description": "Идентификатор снапшота для удаления, например Y20260805-007"}, - "day_str": {"type": "string", "description": "Дата в формате ДД.ММ.ГГГГ для удаления всех снапшотов за день"} - } + "type": "function", + "function": { + "name": "db_delete_snapshots", + "description": "УДАЛИТЬ СНАПШОТ(Ы) ИЗ БАЗЫ ДАННЫХ. Вызывай, когда пользователь явно просит удалить конкретный снапшот по ID или все снапшоты за выбранный день.", + "parameters": { + "type": "object", + "properties": { + "snapshot_id": {"type": "string", "description": "Идентификатор снапшота для удаления, например Y20260805-007"}, + "day_str": {"type": "string", "description": "Дата в формате ДД.ММ.ГГГГ для удаления всех снапшотов за день"} } } + } }, { "type": "function", @@ -173,49 +173,35 @@ TOOLS_SCHEMA = [ { "type": "function", "function": { - "name": "db_add_system_prompt", - "description": "Прямое сохранение системного промпта в БД без предварительного просмотра.", + "name": "db_prompt_node_edit", + "description": ( + "Сформировать предпросмотр изменения системного промпта через реляционные узлы. " + "Вызывай при любых запросах на добавление, изменение или удаление пунктов. " + "Раздел и пункт передавай числами (например, для пункта '2.9' -> section_id=2, item_id=9)." + ), "parameters": { "type": "object", "properties": { - "name": {"type": "string", "description": "Имя промпта, по умолчанию main_agent"}, - "prompt_text": {"type": "string", "description": "Полный текст системного промпта"} - }, - "required": ["prompt_text"] - } - } - }, - { - "type": "function", - "function": { - "name": "db_preview_prompt_merge", - "description": "Сформировать предпросмотр изменения системного промпта. Вызывается при любых запросах на добавление ('добавь пункт...'), изменение или удаление пунктов системного промпта ('удали пункт...').", - "parameters": { - "type": "object", - "properties": { - "prompt_text": { + "action": { "type": "string", - "description": "Полный текст добавляемого пункта или номер/описание удаляемого пункта." + "enum": ["ADD", "UPDATE", "DELETE"], + "description": "Действие: ADD (добавить пункт), UPDATE (изменить пункт), DELETE (удалить пункт)" + }, + "section_id": { + "type": "integer", + "description": "Номер раздела (например, 2)" + }, + "item_id": { + "type": "integer", + "description": "Номер пункта внутри раздела (например, 9)" + }, + "content": { + "type": "string", + "description": "Текст формулировки пункта (для ADD и UPDATE). Без префикса номера!" } }, - "required": ["prompt_text"] - } - } - }, - { - "type": "function", - "function": { - "name": "db_confirm_prompt_preview", - "description": "Подтвердить и сохранить текущее подготовленное превью в БД. Вызывай этот инструмент, когда пользователь говорит 'подтверждаю', 'да', 'вноси', 'применяй', 'сохраняй' или одобряет превью в любой форме.", - "parameters": {"type": "object", "properties": {}} - } - }, - { - "type": "function", - "function": { - "name": "db_cancel_prompt_preview", - "description": "Отменить текущее превью системного промпта и сбросить изменения. Вызывай, когда пользователь явно отказывается от изменений.", - "parameters": {"type": "object", "properties": {}} + "required": ["action", "section_id", "item_id"] } } + } ] \ No newline at end of file diff --git a/modules/web_api/main.py b/modules/web_api/main.py index 365d054..1a64668 100644 --- a/modules/web_api/main.py +++ b/modules/web_api/main.py @@ -73,16 +73,20 @@ async def favicon(): def serve_static_fallback(file_path: str): clean_path = file_path.lstrip("/") target = os.path.join(STATIC_DIR, clean_path) + if os.path.isfile(target): + if clean_path.endswith(".js"): + return FileResponse(target, media_type="application/javascript") + elif clean_path.endswith(".css"): + return FileResponse(target, media_type="text/css") return FileResponse(target) + # Резервный рекурсивный поиск файла в static filename = os.path.basename(clean_path) - target_js = os.path.join(STATIC_DIR, "js", filename) - if filename.endswith(".js") and os.path.isfile(target_js): - return FileResponse(target_js, media_type="application/javascript") - - target_css = os.path.join(STATIC_DIR, "css", filename) - if filename.endswith(".css") and os.path.isfile(target_css): - return FileResponse(target_css, media_type="text/css") + for root, _, files in os.walk(STATIC_DIR): + if filename in files: + full_path = os.path.join(root, filename) + media = "application/javascript" if filename.endswith(".js") else "text/css" + return FileResponse(full_path, media_type=media) raise HTTPException(status_code=404, detail="File not found") \ No newline at end of file diff --git a/modules/web_api/routers/chat.py b/modules/web_api/routers/chat.py index ce8a46c..639790b 100644 --- a/modules/web_api/routers/chat.py +++ b/modules/web_api/routers/chat.py @@ -1,20 +1,31 @@ """ =============================================================================== FILE: modules/web_api/routers/chat.py -ROLE: Маршрутизация диалогов с LLM (авторизованный и гостевой чаты). +PROJECT: SCUD Orion AI (Unified Architecture) +MODULE: web_api / routers +ROLE: Маршрутизация диалогов с LLM и эндпоинт сохранения онлайн-черновиков. =============================================================================== """ # ANCHOR[CHAT_ROUTER_IMPORTS] from typing import Optional, Dict, Any -from fastapi import APIRouter, Depends, UploadFile, File, Form +from fastapi import APIRouter, Depends, UploadFile, File, Form, HTTPException +from pydantic import BaseModel from .auth import get_current_user from llm.agent import process_chat_message from llm.file_parser import extract_text_from_file +from llm.db_tools import db_set_session_state, db_get_session_state router = APIRouter(prefix="/api/v1/chat", tags=["chat"]) + +# ANCHOR[DRAFT_SCHEMA] +class UpdateDraftRequest(BaseModel): + session_id: str + draft_text: str + + # ANCHOR[CHAT_ENDPOINTS] @router.post("") async def chat_endpoint( @@ -38,6 +49,7 @@ async def chat_endpoint( ) return {"reply": reply, "history": history, "action_type": action_type} + @router.post("/guest") async def guest_chat_endpoint( session_id: str = Form("web_session_main"), @@ -57,4 +69,18 @@ async def guest_chat_endpoint( image_b64=parsed_file["image_b64"], session_id=session_id ) - return {"reply": reply, "history": history, "action_type": action_type} \ No newline at end of file + return {"reply": reply, "history": history, "action_type": action_type} + + +@router.post("/draft") +def update_draft_endpoint( + req: UpdateDraftRequest, + current_user: Dict[str, Any] = Depends(get_current_user) +): + """Обновляет черновик системного промпта напрямую из интерактивной онлайн-формы.""" + state = db_get_session_state(req.session_id) + if not state or state.get("state_type") != "PROMPT_PREVIEW": + raise HTTPException(status_code=400, detail="Нет активного превью для редактирования") + + db_set_session_state(req.session_id, "PROMPT_PREVIEW", {"draft_text": req.draft_text.strip()}) + return {"status": "success", "message": "Черновик успешно обновлен в сессии"} \ No newline at end of file diff --git a/modules/web_api/static/index.html b/modules/web_api/static/index.html index 5227356..f537f33 100644 --- a/modules/web_api/static/index.html +++ b/modules/web_api/static/index.html @@ -254,9 +254,11 @@ + - + + \ No newline at end of file diff --git a/modules/web_api/static/js/chat.js b/modules/web_api/static/js/chat.js index 76824b3..94b41dc 100644 --- a/modules/web_api/static/js/chat.js +++ b/modules/web_api/static/js/chat.js @@ -2,18 +2,10 @@ =============================================================================== FILE: modules/web_api/static/js/chat.js ROLE: Клиентский интерфейс диалога, Drag-and-Drop вложений, генерация динамических - кнопок подтверждений и рендеринг Generative UI интерактивного виджета задач. - -AI-CONTEXT-ANCHORS: - - ANCHOR[FILE_UPLOAD_UTILS]: Выбор, превью и очистка прикрепленных файлов. - - ANCHOR[INTERACTIVE_BUTTONS_CORE]: Деактивация и быстрая отправка нажатых кнопок. - - ANCHOR[INTERACTIVE_TASK_WIDGET_JS]: Рендерер и REST-обработчики виджета задач. - - ANCHOR[CHAT_SEND_PIPELINE]: Главный метод sendMessage и вставка сообщений в DOM. - - ANCHOR[DRAG_DROP_HANDLERS]: Обработка перетаскивания файлов в окно чата. + кнопок подтверждений и блокировка ввода при активном действии. =============================================================================== */ -// --- [SECTION 1: FILE UPLOAD HELPERS] --- # ANCHOR[FILE_UPLOAD_UTILS] function updateInputHeight(el) { if (!el) return; el.style.height = "24px"; @@ -51,7 +43,29 @@ function clearAttachedFile() { if (previewContainer) previewContainer.classList.add("hidden"); } -// --- [SECTION 2: ACTION BUTTONS CORE] --- # ANCHOR[INTERACTIVE_BUTTONS_CORE] +function setInputLocked(isLocked) { + const input = document.getElementById("user-input"); + const sendBtn = document.getElementById("send-btn"); + if (input) { + input.disabled = isLocked; + if (isLocked) { + input.placeholder = "Выберите действие с помощью кнопок выше..."; + input.classList.add("cursor-not-allowed", "opacity-60"); + } else { + input.placeholder = "Команда, вопрос или перетащите файл сюда..."; + input.classList.remove("cursor-not-allowed", "opacity-60"); + } + } + if (sendBtn) { + sendBtn.disabled = isLocked; + if (isLocked) { + sendBtn.classList.add("opacity-40", "cursor-not-allowed"); + } else { + sendBtn.classList.remove("opacity-40", "cursor-not-allowed"); + } + } +} + function disableAllActionButtons() { const allBtnContainers = document.querySelectorAll(".action-buttons-container"); allBtnContainers.forEach(container => { @@ -64,6 +78,7 @@ function disableAllActionButtons() { function handleActionButtonClick(text) { disableAllActionButtons(); + setInputLocked(false); const input = document.getElementById("user-input"); if (input) { input.value = text; @@ -71,7 +86,7 @@ function handleActionButtonClick(text) { } } -// --- [SECTION 3: INTERACTIVE TASK WIDGET] --- # ANCHOR[INTERACTIVE_TASK_WIDGET_JS] +// --- [INTERACTIVE TASK WIDGET] --- let activeWidgetTasksMap = new Map(); function renderTaskItemsHtml(tasks, filterStatus) { @@ -134,7 +149,6 @@ function renderInteractiveTaskCard(tasks) { return `
-
@@ -142,12 +156,10 @@ function renderInteractiveTaskCard(tasks) {
-
${itemsHtml}
-
`; + + // Если выведены кнопки подтверждения превью — блокируем ввод с клавиатуры + if (actionData.type === "PROMPT_PREVIEW") { + setInputLocked(true); + } else { + setInputLocked(false); + } + } else { + setInputLocked(false); } let interactiveWidgetHtml = ""; @@ -421,8 +440,9 @@ async function sendMessage(e) { `; chatWindow.insertAdjacentHTML("beforeend", errorHtml); chatWindow.scrollTop = chatWindow.scrollHeight; + setInputLocked(false); } finally { - if (sendBtn) { + if (sendBtn && !document.getElementById("user-input")?.disabled) { sendBtn.disabled = false; sendBtn.classList.remove("opacity-50"); } @@ -439,7 +459,6 @@ function escapeHtml(text) { .replace(/'/g, "'"); } -// --- [SECTION 5: DRAG & DROP AND KEYBOARD LISTENERS] --- # ANCHOR[DRAG_DROP_HANDLERS] document.addEventListener("DOMContentLoaded", () => { const input = document.getElementById("user-input"); const dropZone = document.getElementById("chat-window")?.parentElement; @@ -452,6 +471,7 @@ document.addEventListener("DOMContentLoaded", () => { input.addEventListener("keydown", (e) => { if (e.key === "Enter" && !e.shiftKey) { e.preventDefault(); + if (input.disabled) return; const text = input.value.trim(); if (text) { if (localHistory.length === 0 || localHistory[0] !== text) { diff --git a/modules/web_api/static/js/chat/core.js b/modules/web_api/static/js/chat/core.js new file mode 100644 index 0000000..2545048 --- /dev/null +++ b/modules/web_api/static/js/chat/core.js @@ -0,0 +1,439 @@ +/** +=============================================================================== +FILE: modules/web_api/static/js/chat/core.js +PROJECT: SCUD Orion AI (Unified Architecture) +MODULE: web_api / static / js / chat +ROLE: Клиентский интерфейс диалога, Drag-and-Drop вложений, блокировка ввода + при активных кнопках, вызов онлайн-редактора и отправка правок. +=============================================================================== +*/ + +function updateInputHeight(el) { + if (!el) return; + el.style.height = "24px"; + const newHeight = Math.min(el.scrollHeight, 120); + el.style.height = newHeight + "px"; +} + +let selectedFile = null; + +function handleFileSelect(e) { + const file = e.target.files[0]; + if (!file) return; + + if (file.size > 15 * 1024 * 1024) { + alert("Файл слишком большой. Максимальный размер: 15 МБ"); + e.target.value = ""; + return; + } + + selectedFile = file; + const fileNameEl = document.getElementById("file-name-display"); + const fileSizeEl = document.getElementById("file-size-display"); + const previewContainer = document.getElementById("file-preview-container"); + + if (fileNameEl) fileNameEl.innerText = file.name; + if (fileSizeEl) fileSizeEl.innerText = `(${(file.size / 1024).toFixed(1)} KB)`; + if (previewContainer) previewContainer.classList.remove("hidden"); +} + +function clearAttachedFile() { + selectedFile = null; + const fileInput = document.getElementById("file-input"); + const previewContainer = document.getElementById("file-preview-container"); + if (fileInput) fileInput.value = ""; + if (previewContainer) previewContainer.classList.add("hidden"); +} + +function setInputLocked(isLocked) { + const input = document.getElementById("user-input"); + const sendBtn = document.getElementById("send-btn"); + if (input) { + input.disabled = isLocked; + if (isLocked) { + input.placeholder = "Выберите действие с помощью кнопок выше..."; + input.classList.add("cursor-not-allowed", "opacity-60", "bg-slate-200/50"); + } else { + input.placeholder = "Команда, вопрос или перетащите файл сюда..."; + input.classList.remove("cursor-not-allowed", "opacity-60", "bg-slate-200/50"); + } + } + if (sendBtn) { + sendBtn.disabled = isLocked; + if (isLocked) { + sendBtn.classList.add("opacity-40", "cursor-not-allowed"); + } else { + sendBtn.classList.remove("opacity-40", "cursor-not-allowed"); + } + } +} + +function disableAllActionButtons() { + const allBtnContainers = document.querySelectorAll(".action-buttons-container"); + allBtnContainers.forEach(container => { + container.querySelectorAll("button").forEach(btn => { + btn.disabled = true; + btn.classList.add("opacity-40", "cursor-not-allowed"); + }); + }); +} + +function handleActionButtonClick(text) { + if (text === "action:open_editor") { + openInlinePromptEditor(); + return; + } + + disableAllActionButtons(); + setInputLocked(false); + const input = document.getElementById("user-input"); + if (input) { + input.value = text; + sendMessage(); + } +} + +function openInlinePromptEditor() { + const editorContainer = document.getElementById("inline-prompt-editor-container"); + if (editorContainer) { + editorContainer.classList.remove("hidden"); + const textarea = document.getElementById("inline-prompt-textarea"); + if (textarea) textarea.focus(); + } +} + +function closeInlinePromptEditor() { + const editorContainer = document.getElementById("inline-prompt-editor-container"); + if (editorContainer) editorContainer.classList.add("hidden"); +} + +async function saveManualPromptDraft() { + const textarea = document.getElementById("inline-prompt-textarea"); + if (!textarea) return; + + const newText = textarea.value.trim(); + if (!newText) return; + + const token = typeof API_TOKEN !== 'undefined' && API_TOKEN ? API_TOKEN : localStorage.getItem("scud_api_auth_token"); + + try { + const res = await fetch("/api/v1/chat/draft", { + method: "POST", + headers: { + "Content-Type": "application/json", + "Authorization": "Bearer " + token + }, + body: JSON.stringify({ + session_id: "web_session_main", + draft_text: newText + }) + }); + + if (res.ok) { + closeInlinePromptEditor(); + const previewTextEl = document.getElementById("prompt-preview-diff-view"); + if (previewTextEl) { + previewTextEl.innerText = newText; + } + alert("✓ Правки сохранены в черновике! Нажмите «Подтвердить» для применения в БД."); + } + } catch (err) { + alert("Ошибка сохранения черновика: " + err); + } +} + +function escapeHtml(text) { + if (!text) return ""; + return text + .replace(/&/g, "&") + .replace(//g, ">") + .replace(/"/g, """) + .replace(/'/g, "'"); +} + +// --- [CHAT SEND PIPELINE] --- +async function sendMessage(e) { + if (e && e.preventDefault) e.preventDefault(); + + const input = document.getElementById("user-input"); + const chatWindow = document.getElementById("chat-window"); + const sendBtn = document.getElementById("send-btn"); + + if (!input || !chatWindow) return; + const text = input.value.trim(); + + if (!text && !selectedFile) return; + + disableAllActionButtons(); + + let userDisplayHtml = escapeHtml(text); + if (selectedFile) { + userDisplayHtml = `
+ ${escapeHtml(selectedFile.name)} +
` + userDisplayHtml; + } + + const userMsgHtml = ` +
+
+ ${userDisplayHtml} +
+
+ `; + chatWindow.insertAdjacentHTML("beforeend", userMsgHtml); + + input.value = ""; + updateInputHeight(input); + chatWindow.scrollTop = chatWindow.scrollHeight; + + if (sendBtn) { + sendBtn.disabled = true; + sendBtn.classList.add("opacity-50"); + } + + const token = typeof API_TOKEN !== 'undefined' && API_TOKEN ? API_TOKEN : localStorage.getItem("scud_api_auth_token"); + const isGuest = typeof IS_GUEST !== 'undefined' ? IS_GUEST : (localStorage.getItem("scud_is_guest") === "true"); + + const endpoint = isGuest ? "/api/v1/chat/guest" : "/api/v1/chat"; + + const formData = new FormData(); + formData.append("session_id", "web_session_main"); + formData.append("message", text || "Проанализируй прикрепленный файл"); + + if (selectedFile instanceof File) { + formData.append("file", selectedFile, selectedFile.name); + } + + const headers = {}; + if (!isGuest && token) { + headers["Authorization"] = "Bearer " + token; + } + + try { + const res = await fetch(endpoint, { + method: "POST", + headers: headers, + body: formData + }); + + if (res.status === 401 && !isGuest) { + if (typeof logout === 'function') logout(); + return; + } + + const data = await res.json(); + const assistantTitle = isGuest ? "Локальная нейросеть (Гость)" : "ИИ-Ассистент SCUD Orion AI"; + const replyText = data.reply || "Пустой ответ от нейросети"; + + let actionButtonsHtml = ""; + const actionData = data.action_type || data.action; + + if (actionData && actionData.buttons && actionData.buttons.length > 0) { + const buttonsMarkup = actionData.buttons.map(btn => { + let btnClasses = "bg-slate-100 hover:bg-slate-200 active:bg-slate-300 text-slate-700 border border-slate-300"; + let iconMarkup = ''; + + const labelLower = (btn.label || "").toLowerCase(); + const isPrimary = btn.style === "primary" || labelLower.includes("подтверд") || labelLower.startsWith("да"); + const isDanger = btn.style === "danger" || labelLower.includes("отмен") || labelLower.startsWith("нет") || labelLower.includes("законч") || labelLower.includes("заверш"); + const isEdit = labelLower.includes("редактир"); + + if (isPrimary) { + btnClasses = "bg-emerald-600 hover:bg-emerald-700 active:bg-emerald-800 text-white shadow-sm"; + iconMarkup = ''; + } else if (isDanger) { + btnClasses = "bg-rose-50 hover:bg-rose-100 active:bg-rose-200 text-rose-700 border border-rose-300"; + iconMarkup = ''; + } else if (isEdit) { + btnClasses = "bg-indigo-50 hover:bg-indigo-100 active:bg-indigo-200 text-indigo-700 border border-indigo-300"; + iconMarkup = ''; + } + + return ` + + `; + }).join(""); + + actionButtonsHtml = ` +
+ ${buttonsMarkup} +
+ `; + + // Блокируем ввод при наличии кнопок + setInputLocked(true); + } else { + setInputLocked(false); + } + + let previewEditorHtml = ""; + if (actionData && actionData.type === "PROMPT_PREVIEW" && actionData.raw_draft) { + previewEditorHtml = ` + + `; + } + + let interactiveWidgetHtml = ""; + if (actionData && actionData.type === "TASK_INTERACTIVE_CARD" && typeof renderInteractiveTaskCard === "function") { + interactiveWidgetHtml = renderInteractiveTaskCard(actionData.tasks); + } + + const botMsgHtml = ` +
+

+ ${assistantTitle} +

+
${replyText}
+ ${previewEditorHtml} + ${interactiveWidgetHtml} + ${actionButtonsHtml} +
+ `; + chatWindow.insertAdjacentHTML("beforeend", botMsgHtml); + chatWindow.scrollTop = chatWindow.scrollHeight; + + clearAttachedFile(); + + if (!isGuest && typeof loadTasks === 'function') { + loadTasks(); + } + + } catch (err) { + console.error("[Chat Error]", err); + const errorHtml = ` +
+ Ошибка связи с сервером. +
+ `; + chatWindow.insertAdjacentHTML("beforeend", errorHtml); + chatWindow.scrollTop = chatWindow.scrollHeight; + setInputLocked(false); + } finally { + const inputEl = document.getElementById("user-input"); + if (sendBtn && (!inputEl || !inputEl.disabled)) { + sendBtn.disabled = false; + sendBtn.classList.remove("opacity-50"); + } + } +} + +// --- [DRAG & DROP AND KEYBOARD LISTENERS] --- +document.addEventListener("DOMContentLoaded", () => { + const input = document.getElementById("user-input"); + const dropZone = document.getElementById("chat-window")?.parentElement; + const dropOverlay = document.getElementById("drop-overlay"); + + if (input) { + let historyIndex = -1; + let localHistory = JSON.parse(localStorage.getItem("scud_chat_input_history") || "[]"); + + input.addEventListener("keydown", (e) => { + if (e.key === "Enter" && !e.shiftKey) { + e.preventDefault(); + if (input.disabled) return; + const text = input.value.trim(); + if (text) { + if (localHistory.length === 0 || localHistory[0] !== text) { + localHistory.unshift(text); + if (localHistory.length > 50) localHistory.pop(); + localStorage.setItem("scud_chat_input_history", JSON.stringify(localHistory)); + } + historyIndex = -1; + } + sendMessage(e); + updateInputHeight(input); + return; + } + + if (e.key === "ArrowUp") { + const textBeforeCursor = input.value.substring(0, input.selectionStart); + const isFirstLine = !textBeforeCursor.includes("\n"); + + if (isFirstLine && input.selectionStart === 0 && localHistory.length > 0) { + if (historyIndex < localHistory.length - 1) { + e.preventDefault(); + if (historyIndex === -1) { + input.dataset.draft = input.value; + } + historyIndex++; + input.value = localHistory[historyIndex]; + updateInputHeight(input); + input.setSelectionRange(input.value.length, input.value.length); + } + } + } + + if (e.key === "ArrowDown") { + const textAfterCursor = input.value.substring(input.selectionEnd); + const isLastLine = !textAfterCursor.includes("\n"); + + if (isLastLine && input.selectionEnd === input.value.length && historyIndex >= 0) { + e.preventDefault(); + if (historyIndex > 0) { + historyIndex--; + input.value = localHistory[historyIndex]; + } else { + historyIndex = -1; + input.value = input.dataset.draft || ""; + } + updateInputHeight(input); + input.setSelectionRange(input.value.length, input.value.length); + } + } + }); + } + + if (dropZone && dropOverlay) { + ["dragenter", "dragover", "dragleave", "drop"].forEach(eventName => { + dropZone.addEventListener(eventName, (e) => { + e.preventDefault(); + e.stopPropagation(); + }, false); + }); + + ["dragenter", "dragover"].forEach(eventName => { + dropZone.addEventListener(eventName, () => { + dropOverlay.classList.remove("hidden"); + dropOverlay.classList.add("flex"); + }, false); + }); + + ["dragleave", "drop"].forEach(eventName => { + dropZone.addEventListener(eventName, (e) => { + if (eventName === "drop" || e.target === dropZone || !dropZone.contains(e.relatedTarget)) { + dropOverlay.classList.add("hidden"); + dropOverlay.classList.remove("flex"); + } + }, false); + }); + + dropZone.addEventListener("drop", (e) => { + const dt = e.dataTransfer; + const files = dt.files; + + if (files && files.length > 0) { + const file = files[0]; + handleFileSelect({ target: { files: [file] } }); + + const fileInput = document.getElementById("file-input"); + if (fileInput) { + const dataTransfer = new DataTransfer(); + dataTransfer.items.add(file); + fileInput.files = dataTransfer.files; + } + } + }, false); + } +}); \ No newline at end of file diff --git a/modules/web_api/static/js/chat/task_widget.js b/modules/web_api/static/js/chat/task_widget.js new file mode 100644 index 0000000..d6328e0 --- /dev/null +++ b/modules/web_api/static/js/chat/task_widget.js @@ -0,0 +1,208 @@ +/** +=============================================================================== +FILE: modules/web_api/static/js/chat/task_widget.js +ROLE: Генеративный UI интерактивных карточек задач внутри диалога чата + (фильтры, inline-чекбоксы статусов, быстрое добавление и удаление). +=============================================================================== +*/ + +let activeWidgetTasksMap = new Map(); + +function renderTaskItemsHtml(tasks, filterStatus) { + const filtered = tasks.filter(t => { + if (filterStatus === "ALL") return true; + return t.status === filterStatus; + }); + + if (filtered.length === 0) { + const label = filterStatus === 'BACKLOG' ? 'В планах' : filterStatus === 'IN_PROGRESS' ? 'В работе' : filterStatus === 'COMPLETED' ? 'Завершенные' : 'Все'; + return `
Нет задач со статусом «${label}»
`; + } + + return filtered.map(t => { + const isDone = t.status === "COMPLETED"; + const isProgress = t.status === "IN_PROGRESS"; + const checkedAttr = isDone ? "checked" : ""; + const textClass = isDone ? "line-through text-slate-400" : "text-slate-800 font-medium"; + + let statusPill = `В планах`; + if (isDone) { + statusPill = `Завершено`; + } else if (isProgress) { + statusPill = `В работе`; + } + + let prioPill = ""; + if (t.priority === "HIGH") { + prioPill = `HIGH`; + } + + return ` +
+
+ +
+
+ ${t.task_id} + ${prioPill} + ${statusPill} +
+ ${escapeHtml(t.title)} +
+
+ +
+ `; + }).join(""); +} + +function renderInteractiveTaskCard(tasks) { + if (!tasks || !Array.isArray(tasks)) return ""; + const widgetId = "task_widget_" + Date.now(); + activeWidgetTasksMap.set(widgetId, { tasks: tasks, filter: "ALL" }); + + const itemsHtml = renderTaskItemsHtml(tasks, "ALL"); + + return ` +
+
+ + + + +
+ +
+ ${itemsHtml} +
+ +
+ + +
+
+ `; +} + +function filterTaskWidget(widgetId, status, btnEl) { + const state = activeWidgetTasksMap.get(widgetId); + if (!state) return; + state.filter = status; + + const widgetEl = document.getElementById(widgetId); + if (!widgetEl) return; + + widgetEl.querySelectorAll(".widget-tab-btn").forEach(b => { + b.className = "widget-tab-btn px-2.5 py-1 rounded-lg text-slate-500 hover:text-slate-700"; + }); + btnEl.className = "widget-tab-btn px-2.5 py-1 rounded-lg bg-indigo-50 text-indigo-600 font-bold border border-indigo-200"; + + const container = widgetEl.querySelector(".widget-items-container"); + if (container) { + container.innerHTML = renderTaskItemsHtml(state.tasks, status); + } +} + +async function toggleTaskStatusInline(taskId, isChecked) { + const token = typeof API_TOKEN !== 'undefined' && API_TOKEN ? API_TOKEN : localStorage.getItem("scud_api_auth_token"); + const newStatus = isChecked ? "COMPLETED" : "BACKLOG"; + + try { + const res = await fetch(`/api/v1/tasks/${taskId}`, { + method: "PATCH", + headers: { + "Content-Type": "application/json", + "Authorization": "Bearer " + token + }, + body: JSON.stringify({ status: newStatus }) + }); + + if (res.ok) { + for (let [wId, state] of activeWidgetTasksMap.entries()) { + const targetTask = state.tasks.find(t => t.task_id === taskId); + if (targetTask) { + targetTask.status = newStatus; + const widgetEl = document.getElementById(wId); + const container = widgetEl?.querySelector(".widget-items-container"); + if (container) { + container.innerHTML = renderTaskItemsHtml(state.tasks, state.filter); + } + } + } + if (typeof loadTasks === "function") loadTasks(); + } + } catch (err) { + console.error("[Task Patch Error]", err); + } +} + +async function deleteTaskInline(taskId) { + if (!confirm(`Удалить задачу ${taskId}?`)) return; + const token = typeof API_TOKEN !== 'undefined' && API_TOKEN ? API_TOKEN : localStorage.getItem("scud_api_auth_token"); + + try { + const res = await fetch(`/api/v1/tasks/${taskId}`, { + method: "DELETE", + headers: { "Authorization": "Bearer " + token } + }); + + if (res.ok) { + for (let [wId, state] of activeWidgetTasksMap.entries()) { + state.tasks = state.tasks.filter(t => t.task_id !== taskId); + const widgetEl = document.getElementById(wId); + const container = widgetEl?.querySelector(".widget-items-container"); + if (container) { + container.innerHTML = renderTaskItemsHtml(state.tasks, state.filter); + } + } + if (typeof loadTasks === "function") loadTasks(); + } + } catch (err) { + console.error("[Task Delete Error]", err); + } +} + +async function addTaskInline(widgetId, inputEl) { + if (!inputEl) return; + const title = inputEl.value.trim(); + if (!title) return; + + const token = typeof API_TOKEN !== 'undefined' && API_TOKEN ? API_TOKEN : localStorage.getItem("scud_api_auth_token"); + + try { + const res = await fetch("/api/v1/tasks", { + method: "POST", + headers: { + "Content-Type": "application/json", + "Authorization": "Bearer " + token + }, + body: JSON.stringify({ title: title, priority: "MEDIUM", module: "general" }) + }); + + if (res.ok) { + inputEl.value = ""; + const tasksRes = await fetch("/api/v1/tasks", { + headers: { "Authorization": "Bearer " + token } + }); + const updatedTasks = await tasksRes.json(); + + const state = activeWidgetTasksMap.get(widgetId); + if (state) { + state.tasks = updatedTasks; + const widgetEl = document.getElementById(widgetId); + const container = widgetEl?.querySelector(".widget-items-container"); + if (container) { + container.innerHTML = renderTaskItemsHtml(updatedTasks, state.filter); + } + } + if (typeof loadTasks === "function") loadTasks(); + } + } catch (err) { + console.error("[Task Add Error]", err); + } +} \ No newline at end of file diff --git a/project_code_snapshot.md b/project_code_snapshot.md index 4af2c2c..9bf59ee 100644 --- a/project_code_snapshot.md +++ b/project_code_snapshot.md @@ -1354,6 +1354,68 @@ conn.close() print("=" * 80) ``` +## File: `./scripts/diagnostics/inspect_ephemeral.py` +```py +import os +import sqlite3 + +DB_PATH = os.path.join(os.path.dirname(__file__), "../../data/scud_orion_ai.db") +if not os.path.exists(DB_PATH): + DB_PATH = "data/scud_orion_ai.db" + +conn = sqlite3.connect(DB_PATH) +cursor = conn.cursor() + +print("=" * 90) +print(f"🔍 ИНСПЕКЦИЯ СООБЩЕНИЙ В БАЗЕ: {DB_PATH}") +print("=" * 90) + +# 1. Проверяем наличие колонки is_ephemeral +cursor.execute("PRAGMA table_info(chat_messages);") +cols = [c[1] for c in cursor.fetchall()] + +if "is_ephemeral" not in cols: + print("❌ Колонка is_ephemeral отсутствует в таблице chat_messages!") + conn.close() + exit(1) + +# 2. Считаем общее количество и распределение +cursor.execute("SELECT COUNT(*) FROM chat_messages") +total_count = cursor.fetchone()[0] + +cursor.execute("SELECT COUNT(*) FROM chat_messages WHERE is_ephemeral = 1") +ephemeral_count = cursor.fetchone()[0] + +cursor.execute("SELECT COUNT(*) FROM chat_messages WHERE is_ephemeral = 0") +permanent_count = cursor.fetchone()[0] + +print(f"Всего записей в истории: {total_count}") +print(f" • Постоянные (is_ephemeral = 0): {permanent_count}") +print(f" • Фантомные / Эфемерные (is_ephemeral = 1): {ephemeral_count}") +print("-" * 90) + +# 3. Выводим все фантомные записи +if ephemeral_count == 0: + print("В базе нет фантомных записей (is_ephemeral = 1 пуст).") +else: + print(f"📋 СПИСОК ВСЕХ ФАНТОМНЫХ СООБЩЕНИЙ ({ephemeral_count} шт.):") + cursor.execute(""" + SELECT id, session_id, role, created_at, content + FROM chat_messages + WHERE is_ephemeral = 1 + ORDER BY id ASC + """) + for row in cursor.fetchall(): + msg_id, session_id, role, created_at, content = row + print(f"\n[ID: {msg_id}] | Сессия: {session_id} | Роль: {role} | Время: {created_at}") + print("Содержимое:") + print(content.strip()) + print("-" * 70) + +conn.close() +print("=" * 90) +``` + ## File: `./scripts/diagnostics/inspect_files.py` ```py import os @@ -1388,7 +1450,7 @@ import os OUTPUT_SNAPSHOT = "project_code_snapshot.md" # Расширения файлов для включения в снимок -ALLOWED_EXTENSIONS = {'.py', '.json', '.md', '.sh', '.ini'} +ALLOWED_EXTENSIONS = {'.py', '.json', '.md', '.sh', '.ini', '.js', '.html', '.css', '.sql'} EXCLUDE_DIRS = {'.git', '__pycache__', 'venv', '.venv', 'output', 'logs', 'extracted_project'} EXCLUDE_FILES = {OUTPUT_SNAPSHOT, 'scud_orion_ai_v2.tar.gz', 'context_memory.db'} @@ -3176,6 +3238,422 @@ def sync_zup_to_excel(target_date) -> bool: return False ``` +## File: `./docs/PROJECT BRAIN_ SCUD Orion AI & Context API (Master Manifesto v5.0).md` +``` +# **PROJECT BRAIN: SCUD Orion AI & Context API (Master Technical & Architectural Manifesto)** + +**Версия документа:** 5.0 (Ultimate Developer & LLM Context Engine) +**Назначение:** Исчерпывающий контекстный дамп проекта для немедленного продолжения разработки в любой передовой LLM без потери исторического контекста, с полным пониманием бизнес-логики, схем баз данных, подводных камней и нерешенных задач. + +## --- + +**1\. Архитектурный паспорт и инфраструктурный профиль** + +| Компонент | Параметры и стек | +| :---- | :---- | +| **Среда и ОС** | Linux Docker Home (Debian/Ubuntu), Python 3.11/3.12 в виртуальном окружении venv, Git/Gitea. Разработка ведется через VS Code Remote-SSH. | +| **Локальная СУБД проекта** | SQLite (data/scud\_orion\_ai.db), режим PRAGMA journal\_mode \= WAL, PRAGMA synchronous \= NORMAL, PRAGMA foreign\_keys \= ON. | +| **СКУД Источник (MSSQL)** | MS SQL Server 172.16.31.221\\SQL (база Orion-14.01.21-1), драйвер ODBC Driver 18 for SQL Server (TrustServerCertificate=yes, Encrypt=no). Доступ через pyodbc. | +| **1С:ЗУП 3.1 Источник (MSSQL)** | MS SQL Server ACCOUNT-01 (база ZUP30, пользователь scud\_reader). Прямое чтение таблиц dbo.\_Reference299 (сотрудники) и dbo.\_InfoRg16921 (состояния отсутствий). Резервная Samba-шара: /mnt/scud\_share. | +| **Локальный контур LLM** | Ollama на http://192.168.11.3:11434 (GPU NVIDIA RTX 5070 Ti 16GB). Модель qwen2.5:14b (основной агент, Function Calling, анализ аномалий), qwen2.5vl:7b-q8\_0 (OCR документов/картинок). | +| **Web API & Фронтенд** | FastAPI (Uvicorn), JWT (HS256, 30 дней), Passlib (bcrypt). Фронтенд: Single Page Application (HTML5, Tailwind CSS, Vanilla JS) с Generative UI виджетами. | + +## --- + +**2\. Энциклопедия подводных камней, инцидентов и принятых инженерных решений** + +### **2.1. Галлюцинации LLM и переход к парадигме Python-Driven Diff** + +> * **Проблема:** Попытка передать списки в 300 ФИО напрямую в промпт модели с командой «сравни списки» приводила к потере контекста, выдуманным опечаткам (*«ЛЕНМОРНИИПРОЕКТ ОЭС Варламова Мария»*) и плейсхолдерам ('Васильев Л.И.', ...). +> * **Решение:** Утверждена строгая гибридная схема: + 1. **Детерминированный слой (Python / Pandas / SQL):** читает файлы, нормализует строки, агрегирует совмещения и мгновенно находит 95%+ точных соответствий. + 2. **Интеллектуальный слой (Qwen 2.5:14b):** вызывается *только на спорный несовпавший остаток* (1–5 записей) в виде строгого JSON-интерфейса Entity Resolution. + +### **2.2. Символьная нормализация и кадровые совмещения (Кейс Балаевой О.Г.)** + +> * **Проблема символов:** Латинские омоглифы (буквы клавиатуры a, c, e, o, p, x, y вместо русских), разделители 1С в скобках ((осн.), (совм.), (внешн.)), неразрывные пробелы \\xa0, буква ё и случайный ввод цифры 0 вместо буквы О. +> * **Решение (normalize\_fio):** Очистка скобок через регулярное выражение re.sub(r'\\(.\*?\\)', '', fio), замена латиницы через str.maketrans('aceopxyABCEHKMOPTX', 'асеорхуАВСЕНКМОРТХ'), замена ё-\>е и удаление лишних пробелов. +> * **Коллизия 270 vs 271:** В СКУД 270 физических лиц (один пропуск на человека), в 1С — 271 строка. Сотрудник **Балаева Ольга Геннадьевна** числится на двух ставках в разных отделах (*Руководитель управления персоналом* и *Руководитель режимно-секретного отдела*). +> * **Решение:** Внедрена группировка датафрейма 1С по fio\_clean с агрегацией должностей и подразделений через разделитель " / ". + +### **2.3. Защита от коллизий полных тёзок и ложных связок однофамильцев (Кейс Семеновых)** + +> * **Инцидент:** Неограниченная строгими правилами LLM связала двух разных сотрудниц — *«Семенову Юлию Борисовну»* (работает) и *«Семенову Дину Дмитриевну»* (в отпуске), посчитав разные имена опечаткой из\-за одинаковой фамилии. В результате Юлии Борисовне ошибочно был приписан статус отпуска. +> * **Двухконтурный барьер:** + 1. **В промпте:** Запрет объединения однофамильцев с разными именами/отчествами. + 2. **В Python:** Проверка совпадения первых букв имени и отчества. При несовпадении сопоставление ИИ аннулируется с логированием ⚠️ \[Блокировка фейка\]. + +### **2.4. Вынесение исключений в exceptions.json и синонимы отделов** + +> * Служебный персонал (отдел «ЭТО», уборщики производственных и служебных помещений, клинеры, дворники, гардеробщики) вынесен в exceptions.json. +> * Для сопоставления кратких аббревиатур СКУД и полных названий отделов 1С (*«ОВК» ⟷ «Отдел внутреннего контроля»*) создана таблица department\_synonyms с автоматическим самообучением при работе человека (Human-in-the-Loop). + +### **2.5. Разгадка феномена «исчезающих неизвестных» и аппаратный сбой СКУД 04.08.2026** + +> * **Аномалия:** Утром 04.08.2026 на главном КПП зависли контроллеры входа. У 119 сотрудников не записалось утреннее событие (time\_in \= 'Нет входа'). Из них 57 человек были в отпусках/командировках по 1С. Оставшиеся 74 человека были на работе без утренней отметки. Однако вечерняя сводка показала всего 4–7 «неизвестных». +> * **Причина:** Скрипт агрегации видел дневные перемещения (обед, внутренние двери, туалет, вечерний выход) и автоматически проставлял Статус \= 'Присутствовал' и is\_present \= 1, несмотря на то, что колонка Начало\_дня оставалась 'Нет входа'. В итоге 70 человек тихо ушли в «Итого на работе», а системный сбой оборудования был замаскирован. +> * **Архитектурный фикс:** + 1. Введена колонка **first\_activity («Первая активность»)** — вычисление MIN(TimeVal) AS FirstRawEvent по таблице pLogData без учета направления двери. + 2. Если time\_in \== 'Нет входа', но first\_activity \!= '—', записи ставится anomaly\_flag \= 'ANOMALY\_NO\_IN\_HAS\_ACTIVITY', а is\_present принудительно сбрасывается в 0\. + 3. Внедрен модуль analyze\_scud\_mass\_failure\_ai(): если доля таких аномалий превышает 5% смены (\>10 чел.), ИИ генерирует системный алерт о массовом сбое контроллеров КПП. +> * **Кейс Равина В.Э.:** Главный специалист официально находился в основном отпуске по 1С, утреннего входа на КПП не было, но зафиксирована активность в 14:11:06 и вечерний выход в 17:18:38. Система зарегистрировала истинную кадровую аномалию (физическое присутствие при официальном отпуске). + +### **2.6. Система сквозных датированных снапшотов (срезов)** + +> * **Формат ID:** \[Y\]YYYYMMDD-NNN (например, Y20260804-001 для вчерашнего зафиксированного вечернего среза на 22:00 и 20260805-002 для дневного). +> * **Оптимизация:** Функция has\_yesterday\_final\_snapshot() проверяет наличие вчерашнего среза в SQLite: если он есть, повторный тяжелый запрос к MS SQL Орион пропускается. +> * **CLI-управление:** Поддержка запуска отчетов по любому историческому снапшоту через ключ \--snapshot \[ID\] и пропуск выгрузки через \--skip-export. + +### **2.7. Web API, Generative UI и управление жизненным циклом сессий (Topic Drift & Ephemeral Buffer)** + +> * **Проблема засорения контекста LLM:** Вывод объемных списков задач, системных промптов и таблиц срезов забивал окно диалога, вызывая галлюцинации и «залипание» модели на старых данных. +> * **Решение:** + * В chat\_messages введен флаг is\_ephemeral \= 1 для временных сообщений. + * Двухфазные сессии (PROMPT\_PREVIEW → PROMPT\_FOLLOWUP) и детерминированный счетчик idle\_turns. + * **Context Guard:** На 3-м шаге отвлечения оператора на сторонние темы система отвечает на вопрос и выводит интерактивное напоминание с кнопками \[Завершить настройку\] / \[Показать промпт\]. При idle\_turns \> 3 происходит автоочистка сессии вызовом db\_purge\_ephemeral\_messages(). + * **Fast-Path:** Прямой перехват команд подтверждения («да», «подтверждаю») и выхода («нет, спасибо») без обращения к LLM (ответ за 0.05 сек). + * **Декларативный реестр (tool\_action\_registry):** Хранение шаблонов ответов, кнопок и настроек эфемерности в SQLite. +> * **Generative UI (Задачи):** Инструмент db\_get\_tasks возвращает TASK\_INTERACTIVE\_CARD, рендерящий на клиенте живой виджет задач с табами (Все / В работе / В планах / Завершенные), чекбоксами и inline-созданием задач через REST API. + +## --- + +**3\. Полная схема базы данных SQLite (data/scud\_orion\_ai.db)** + +| Таблица | Назначение и бизнес-логика | Структура полей | +| :---- | :---- | :---- | +| **scud\_logs** | Логи проходов СКУД, расчетное время в здании и снапшоты. | id INTEGER PK AUTOINCREMENT, log\_date TEXT, fio TEXT, fio\_clean TEXT, department TEXT, position TEXT, time\_in TEXT, first\_activity TEXT DEFAULT '—', time\_out TEXT, time\_in\_building TEXT, is\_present INTEGER, anomaly\_flag TEXT DEFAULT 'NONE', snapshot\_time TEXT, snapshot\_id TEXT, created\_at TIMESTAMP | +| **zup\_staff** | Штатное расписание 1С:ЗУП на даты срезов. | id INTEGER PK AUTOINCREMENT, snapshot\_date TEXT, fio TEXT, fio\_clean TEXT, department TEXT, position TEXT, created\_at TIMESTAMP | +| **zup\_absences** | Документы отклонений 1С (отпуска, больничные, командировки, декреты). | id INTEGER PK AUTOINCREMENT, absence\_date TEXT, fio TEXT, fio\_clean TEXT, absence\_type TEXT, created\_at TIMESTAMP | +| **anomalies\_history** | Журнал выявленных кадровых и аппаратных аномалий. | id INTEGER PK AUTOINCREMENT, anomaly\_date TEXT, fio TEXT, anomaly\_type TEXT, details TEXT, human\_status TEXT DEFAULT 'Pending', created\_at TIMESTAMP | +| **ai\_knowledge\_base** | Глобальные правила арбитража и приоритеты компании для ИИ. | id INTEGER PK AUTOINCREMENT, rule\_text TEXT UNIQUE, added\_by TEXT DEFAULT 'Human', created\_at TIMESTAMP | +| **system\_prompts** | Версионные системные промпты агента (активный по is\_active=1). | id INTEGER PK AUTOINCREMENT, name TEXT, prompt\_text TEXT, is\_active INTEGER DEFAULT 1, updated\_at TIMESTAMP | +| **tool\_action\_registry** | Декларативный реестр шаблонов, кнопок и настроек эфемерности инструментов. | id INTEGER PK AUTOINCREMENT, tool\_name TEXT UNIQUE, category TEXT, bypass\_llm INTEGER, success\_template TEXT, follow\_up\_question TEXT, action\_type TEXT, buttons\_json TEXT, is\_active INTEGER, is\_ephemeral INTEGER, updated\_at TIMESTAMP | +| **session\_states** | Активные состояния сессий, черновики и счетчик idle\_turns. | session\_id TEXT PRIMARY KEY, state\_type TEXT, pending\_data TEXT, updated\_at TIMESTAMP | +| **chat\_messages** | История диалогов с поддержкой разделения на постоянные и эфемерные сообщения. | id INTEGER PK AUTOINCREMENT, session\_id TEXT, role TEXT, content TEXT, is\_ephemeral INTEGER DEFAULT 0, created\_at TIMESTAMP | +| **tasks** | Реестр задач операторов с привязкой к user\_id. | id INTEGER PK AUTOINCREMENT, task\_id TEXT, module TEXT, title TEXT, priority TEXT, status TEXT, due\_date TEXT, user\_id INTEGER, created\_at TIMESTAMP | +| **users** | Учетные записи операторов (хэши паролей bcrypt, права администратора). | id INTEGER PK AUTOINCREMENT, username TEXT UNIQUE, password\_hash TEXT, is\_admin INTEGER, full\_name TEXT, created\_at TIMESTAMP | +| **department\_synonyms** | База соответствия аббревиатур СКУД полным названиям отделов 1С. | id INTEGER PK AUTOINCREMENT, short\_name TEXT UNIQUE, full\_name TEXT, created\_at TIMESTAMP | +| **system\_reference** | Справочник команд и примеров промптов для операторов. | id INTEGER PK AUTOINCREMENT, category TEXT, title TEXT, example\_prompt TEXT, description TEXT | + +## --- + +**4\. Архитектурная структура каталогов** + +scud\_ai/ +├── config.py \# Конфигурация: пути, расчет дат, URL Ollama, параметры MS SQL +├── exceptions.json \# Декларативные фильтры исключений (ОВК, уборщики, подрядчики) +├── main\_etl.py \# Оркестратор ETL: экспорт СКУД/1С \-\> SQLite \-\> Excel/MD отчеты +├── project\_code\_snapshot.md \# Полный монолитный исходный код всех файлов репозитория +├── core/ +│ └── database.py \# Драйвер SQLite (WAL), функции сохранения/загрузки срезов +├── services/ +│ ├── scud\_export.py \# Прямой SQL-экспорт из MS SQL «Орион Pro» +│ ├── zup\_extractor.py \# Прямой SQL-экспорт из MS SQL 1С:ЗУП 3.1 +│ ├── data\_loader.py \# Загрузка данных, нормализация ФИО, расчет первой активности +│ ├── data\_validator.py \# Проверка свежести и наличия файлов за Вчера и Сегодня +│ ├── excel\_exporter.py \# Генерация сводки и детального отчета в Excel (openpyxl) +│ ├── text\_reporter.py \# Построение итогового Markdown-отчета через Qwen 2.5 +│ ├── ai\_verifier.py \# Модули ИИ-аудита, Fuzzy Matching и детекции сбоев СКУД +│ ├── feedback\_loop.py \# Интерактивный консольный модуль Human-in-the-Loop +│ ├── knowledge\_base.py \# Интерфейс работы с базой знаний правил +│ └── share\_copier.py \# Резервное скачивание файлов 1С с шары /mnt/scud\_share +├── scripts/ +│ ├── db\_cli.py \# CLI-утилита управления БД, снапшотами, дампами и сессиями +│ ├── fix\_snapshots.py \# Скрипт переиндексации и нормализации снапшотов +│ ├── init\_tool\_registry.py \# Инициализация декларативного реестра инструментов +│ └── diagnostics/ +│ ├── inspect\_db.py \# Диагностика структуры таблиц и количества записей +│ ├── inspect\_ephemeral.py \# Анализ распределения постоянных и эфемерных сообщений +│ ├── inspect\_files.py \# Аудит файлов и размеров на диске +│ └── show\_tree.py \# Вывод дерева каталогов +├── modules/web\_api/ +│ ├── main.py \# Точка входа FastAPI приложения, роутеры и раздача статики +│ ├── routers/ (admin, auth, chat, tasks) \# REST эндпоинты +│ ├── llm/ +│ │ ├── agent.py \# Координатор диалога, Tool Calls и Topic Drift Guard +│ │ ├── schemas.py \# Описание JSON-схем инструментов для Ollama +│ │ ├── file\_parser.py \# Мультимодальный парсер файлов (PDF, PNG, XLSX, TXT) +│ │ ├── db\_tools.py \# Фасадные вызовы функций БД для агента +│ │ ├── core/ (calendar\_utils, fast\_path, ollama\_client, prompt\_merger, tool\_injector) +│ │ └── db/ (connection, db\_chat, db\_prompts, db\_snapshots, db\_tasks) +│ └── static/ (index.html, css/styles.css, js/app.js, js/auth.js, js/chat.js, js/tasks.js) +└── docs/ + └── development\_roadmap.md \# Стратегическая дорожная карта и архитектурный бэклог + +## --- + +**5\. Справочник команд CLI (HOWTO)** + +### **ETL Пайплайн (main\_etl.py):** + +> * python main\_etl.py — стандартный дневной запуск (экспорт из MS SQL, сохранение снапшота, генерация отчетов). +> * python main\_etl.py \--skip-export — построение отчетов по последнему имеющемуся снапшоту из SQLite без повторного запроса к MS SQL. +> * python main\_etl.py \--snapshot 20260805-001 — точный расчет отчетов по указанному составному ID снапшота. +> * python main\_etl.py \-d — запуск в режиме расширенной отладки (DEBUG). + +### **CLI базы данных (scripts/db\_cli.py):** + +> * python scripts/db\_cli.py stats — статистика по количеству строк во всех таблицах БД. +> * python scripts/db\_cli.py snapshots \[ДД.ММ.ГГГГ\] — просмотр реестра снапшотов с сортировкой по времени создания (свежие сверху). +> * python scripts/db\_cli.py scud \[ДД.ММ.ГГГГ\] \[--snapshot ID\] \[--export-xlsx NAME\] — инспекция логов СКУД и экспорт в Excel. +> * python scripts/db\_cli.py absences \[ДД.ММ.ГГГГ\] — список кадровых отклонений из 1С:ЗУП. +> * python scripts/db\_cli.py anomalies — история выявленных аномалий. +> * python scripts/db\_cli.py rules — правила базы знаний компании. +> * python scripts/db\_cli.py prompts — системные промпты из system\_prompts. +> * python scripts/db\_cli.py tools — декларативный реестр действий инструментов и кнопок. +> * python scripts/db\_cli.py sessions — активные сессионные стейты и висящие черновики. +> * python scripts/db\_cli.py snapshot del \[ID\] — удаление конкретного снапшота по ID. +> * python scripts/db\_cli.py snapshot del \--day \[ДД.ММ.ГГГГ\] — удаление всех снапшотов за день. +> * python scripts/db\_cli.py dump \[backup.xlsx\] — полный дамп всех таблиц базы данных в многостраничный Excel. + +## --- + +**6\. Стратегическая дорожная карта и нерешенные задачи (Roadmap & Backlog)** + +> 1. **Масштабирование механизма эфемерного контекста на все инструменты (Rollout Roadmap):** + * **Снапшоты (snapshots):** Перевод вывода объемных таблиц срезов в эфемерный режим (is\_ephemeral \= 1), внедрение интерактивного подтверждения при удалении снапшотов по ID/дате через состояния SNAPSHOTS\_PREVIEW / SNAPSHOTS\_FOLLOWUP. + * **База знаний и аномалии (kb & anomalies):** Вывод справочников команд, правил арбитража и списков аномалий исключительно во временный слой для исключения «залипания» модели на устаревших правилах из истории сообщений. + * **Декларативная унификация в tool\_action\_registry:** Расширение схемы таблицы полями followup\_state\_type, auto\_purge\_on\_exit, guard\_question\_template для устранения хардкода имен функций в agent.py. +> 2. **Модуль анализа внутридневных перемещений («Контроль перекуров»):** + * Анализ интервалов между событиями OUT (выход) и IN (возврат) по журналу pLogData. + * Подсчет суммарного времени нахождения вне рабочего места в течение смены с отсечением технологической нормы (30–40 минут). + * Вывод аналитического блока и злостных нарушителей в отдельный лист Excel-отчета и итоговую Markdown-сводку. +> 3. **Интерактивный Task Planner & Roadmap Engine:** + * Специализированный инструмент для ведения динамических проектных планов и чек-листов с чекбоксами (\[ \] / \[x\]) прямо в диалоге с синхронизацией в таблицу tasks. +> 4. **Изолированная среда исполнения кода (Code Execution Sandbox):** + * Безопасный изолированный Docker/gVisor контейнер для динамического выполнения генерируемого моделью Python/Pandas кода на лету с возвратом stdout/stderr и графиков в контекст. +> 5. **Автоматизация расписания срезов и Telegram-алерты:** + * Автозапуск выгрузок в 12:00, 17:00 и 19:00 через systemd-таймеры с фиксацией snapshot\_time. + * Отправка мгновенных алертов о массовых сбоях турникетов (\>5%) и критических кадровых конфликтах дежурному системному администратору в Telegram. +``` + +## File: `./docs/SCUD Orion AI — Полная энциклопедическая хроника, архитектурный паспорт и технический контекст (v4.0).md` +``` +# **SCUD Orion AI — Полная энциклопедическая хроника, архитектурный паспорт, разбор всех инцидентов и технический контекст проекта** + +**Версия документа:** 4.0 (Исчерпывающий монолитный контекстный паспорт для новой сессии) +**Стек технологий и инфраструктура:** Python 3.11+, FastAPI (Uvicorn), SQLite (WAL mode, PRAGMA synchronous=NORMAL, внешние ключи ON), Ollama REST API (Qwen 2.5:14b — основной текстовый агент и классификатор, Qwen 2.5-VL:7b-q8\_0 / Qwen 3-VL:8b — OCR и зрение), MS SQL Server 2019/2022 (СКУД «Орион Pro» ЗАО НВП «Болид», 1С:ЗУП 3.1 через pyodbc / ODBC Driver 18), сетевая Samba-шара (/mnt/scud\_share), Git/Gitea, HTML5 / Vanilla JS / Tailwind CSS. + +## --- + +**1\. Исходный бизнес-контекст, роли систем и фундаментальные задачи** + +Проект решает комплексную проблему контроллинга трудовой дисциплины, автоматического сопоставления кадровых фактов и защиты от рассинхронизации мастер-данных на предприятии со штатом \~270–276 сотрудников. + +### **Источники первичных данных:** + +> * **СКУД «Орион Pro» (Болид):** База данных MS SQL Server (SERVER: 172.16.31.221\\SQL, DB: Orion-14.01.21-1). Основные таблицы: + * pLogData — журнал всех сырых физических транзакций турникетов, калиток и внутренних дверей. Ключевые поля: TimeVal (время сервера), DeviceTime (время контроллера), HozOrgan / Hrk (ID сотрудника), Event (код события: 26, 28, 32 — вход; 27, 29, 33 — выход; 54, 55, 64, 65 — внутренние считыватели), Mode (направление: 1 — IN, 2 — OUT), ReaderIndex, DoorIndex. + * pList — реестр физических лиц и пропусков (ФИО, табельный номер, статус архива). + * PDivision, PPost — справочники подразделений и должностей СКУД. +> * **1С:ЗУП 3.1 (Кадры):** База данных MS SQL Server (SERVER: ACCOUNT-01, DB: ZUP30). + * dbo.\_Reference299 — эталонный справочник сотрудников. + * dbo.\_InfoRg16921 — периодический регистр сведений состояний сотрудников (отпуска основные, больничные, командировки, декретные отпуска, отпуска без сохранения оплаты). + * Файловые выгрузки с сетевой шары /mnt/scud\_share: файлы Штат\_ДД\_ММ\_ГГГГ.xlsx (шапка 7–8 строк) и Отсутствия\_ДД\_ММ\_ГГГГ.xlsx (шапка 3–4 строки). +> * **Реестры статических исключений:** static\_reason\_workers.csv (реестр удаленщиков и постоянных разъездных сотрудников), exceptions.json (декларативный фильтр обслуживающего персонала и спец-отделов). + +## --- + +**2\. Подробнейшая пошаговая хронология разработки, эволюция идей и разбор ошибок** + +### **Фаза 1: Первые эксперименты с LLM, выявление галлюцинаций и гибридная парадигма** + +> * **Попытка передачи сырых списков в чат:** Первоначальная попытка скормить модели Qwen 2.5:14b список из сотен ФИО с инструкцией *«запомни список 1С»* показала, что у LLM нет постоянной памяти между сессиями. Модель теряла контекст, путала фамилии и выдавала ответы с троеточиями ('Васильев Л.И.', ...) или придумывала несуществующие строки (*«ЛЕНМОРНИИПРОЕКТ ОЭС Варламова Мария»*). +> * **Ошибки openpyxl vs pandas:** Первая генерация кода моделью использовала библиотеку openpyxl с построчным перебором ячеек, жестко зашитыми опечатками (поиск слова 'фиио') и падением по FileNotFoundError. +> * **Переход к детерминированному пайплайну:** Принято ключевое архитектурное решение — **LLM не считает математику и не фильтрует 300 строк текста**. Всю механическую работу (ETL, слияние, фильтрацию) выполняет быстрый детерминированный Python (pandas, SQL), а локальная LLM выступает исключительно в роли «умного ревизора» на этапе сопоставления сомнительного несовпавшего остатка (Diff). + +### **Фаза 2: Нормализация ФИО, кодировки и коллизия совместителей (Кейс Балаевой О.Г.)** + +> * **Символьные ловушки:** + * Латинские буквы-двойники (омоглифы a, c, e, o, p, x, y, случайно набранные в английской раскладке). + * Служебные суффиксы в скобках, добавляемые 1С ((осн.), (совм.), (внешн.)). + * Буквы ё/е, двойные пробелы, неразрывные пробелы \\xa0 и случайный ввод цифры 0 вместо буквы О. +> * **Функция normalize\_fio():** Разработан строгий конвейер очистки: +> `def normalize_fio(fio):` +> `if not fio or not isinstance(fio, str): return ""` +> `fio_clean = re.sub(r'\(.*?\)', '', fio) # Удаление скобок` +> `fio_clean = fio_clean.replace('\xa0', ' ')` +> `trans = str.maketrans('aceopxyABCEHKMOPTX', 'асеорхуАВСЕНКМОРТХ')` +> `fio_clean = fio_clean.translate(trans)` +> `fio_clean = fio_clean.replace('ё', 'е').replace('Ё', 'Е')` +> `return " ".join(fio_clean.strip().split()).title()` +> * **Коллизия 270 vs 271:** В СКУД числилось 270 уникальных человек, а в 1С — 271 строка. Ручной разбор показал, что **Балаева Ольга Геннадьевна** занимает две ставки в 1С (*Руководитель управления персоналом* и *Руководитель режимно-секретного отдела*) при одном физическом пропуске в СКУД. +> * **Решение:** Внедрена обязательная группировка штата 1С по fio\_clean с объединением должностей и подразделений через " / ". + +### **Фаза 3: Защита Entity Resolution от однофамильцев (Инцидент с Семеновыми)** + +> * **Сбой модели:** При передаче несовпавших ФИО в Qwen 2.5 модель ошибочно сопоставила *«Семенову Юлию Борисовну»* (которая была на работе) с *«Семеновой Диной Дмитриевной»* (находившейся в отпуске), посчитав это опечаткой в имени из\-за одинаковой фамилии. В результате Юлия Борисовна получила статус нарушителя («в отпуске, но пришла»). +> * **Двухконтурная защита:** + 1. В системный промпт ИИ зашито категорическое правило: однофамильцы с разными именами/отчествами — строго разные люди, объединение запрещено. + 2. В Python встроен дублирующий барьер: если фамилии совпадают, но инициалы/первые буквы имен различаются, связь ИИ принудительно аннулируется с логированием ⚠️ \[Блокировка фейка\]. + +### **Фаза 4: Декларативные исключения и синонимы отделов** + +> * **Переход к exceptions.json:** Исключение клининга, дворников, гардеробщиков и хозяйственного персонала отдела «ЭТО» вынесено из кода в конфигурационный файл exceptions.json (поддержка списков departments, positions, fio, position\_keywords). +> * **База синонимов отделов (department\_synonyms):** Для сопоставления сокращений СКУД с длинными названиями 1С (например, *«ОВК» ⟷ «Отдел внутреннего контроля»*) создана таблица SQLite, автоматически обучаемая при подтверждениях оператора. + +### **Фаза 5: Аппаратный сбой СКУД 04.08.2026, разгадка «исчезающих неизвестных» и Первая активность** + +> * **Анатомия сбоя:** Утром 04.08.2026 зависли регистраторы входа на главном КПП. У 119 сотрудников не записалось событие входа (time\_in \= 'Нет входа'). Из них 57 человек были официально закрыты документами 1С (отпуска, командировки). Оставшиеся \~74 человека реально пришли на работу, но утренней отметки не имели. Однако вечером сводка выдала всего 4–7 «неизвестных». +> * **Вскрытие механизма ошибки:** Было обнаружено, что скрипт агрегации видел дневные перемещения сотрудников (выходы на обед, считыватели туалетов, внутренние двери) и автоматически выставлял Статус \= 'Присутствовал' и is\_present \= 1\. Из-за этого люди попадали в категорию «Итого на работе», а массовый аппаратный сбой скрывался. +> * **Внедрение «Первой активности»:** + 1. В базу данных и выгрузки Excel добавлена колонка **first\_activity («Первая активность»)** — минимальное время любого события дня в здании (MIN(TimeVal) AS FirstRawEvent без учета направления двери). + 2. Если time\_in \== 'Нет входа', но first\_activity \!= '—', записи присваивается anomaly\_flag \= 'ANOMALY\_NO\_IN\_HAS\_ACTIVITY', а is\_present принудительно сбрасывается в 0\. + 3. Внедрен модуль analyze\_scud\_mass\_failure\_ai(): при превышении порога в 5% смены (\>10 человек) ИИ поднимает тревогу о массовом сбое контроллеров КПП. +> * **Кейс Равина В.Э.:** Сотрудник находился в официальном отпуске, утреннего входа не имел, но пришел после обеда (первая активность 14:11:06, выход 17:18:38). Система корректно зафиксировала истинную кадровую аномалию (физическое присутствие при официальном отпуске). + +### **Фаза 6: Архитектурная миграция под Gitea и система срезов (снапшотов)** + +> * **Безопасный рефакторинг:** Монолит разделен на слои (core/, services/, scripts/, modules/web\_api/) через git mv с сохранением истории коммитов в ветке refactor/modular-structure. +> * **Формат ID снапшота:** Введена схема \[Y\]YYYYMMDD-NNN (например, Y20260804-001 для вчерашнего зафиксированного вечернего среза на 22:00 и 20260805-002 для дневного). +> * **Оптимизация экспорта:** Если в SQLite уже зафиксирован вчерашний срез с префиксом Y, повторный тяжелый SQL-запрос к СКУД Орион не выполняется (функция has\_yesterday\_final\_snapshot). +> * **Инспекция и CLI:** Написан инструмент scripts/db\_cli.py с командами stats, snapshots, scud, absences, anomalies, rules, prompts, tools, sessions, dump, snapshot del. + +### **Фаза 7: Web API, Generative UI, управление памятью LLM и Topic Drift Guard** + +> * **FastAPI & Безопасность:** Развернут Web API с JWT-авторизацией (bcrypt), изолированными задачами пользователей (tasks с привязкой к user\_id), гостевым режимом и ролевой моделью. +> * **Проблема деградации контекста LLM:** Вывод объемных списков задач, текстов системных промптов и таблиц снапшотов засорял контекстное окно чата, приводя к галлюцинациям и «залипанию» модели на старых правилах. +> * **Решение проблемы памяти (Topic Drift & Ephemeral Context):** + * В таблицу chat\_messages добавлен флаг is\_ephemeral \= 1 для временных сообщений. + * Введены двухфазные сессии (PROMPT\_PREVIEW → PROMPT\_FOLLOWUP) и детерминированный счетчик отвлечений idle\_turns. + * **Context Guard:** На 3-м шаге отвлечения оператора на сторонние темы система отвечает на вопрос и выводит интерактивное напоминание с кнопками \[Завершить настройку\] / \[Показать промпт\]. При idle\_turns \> 3 происходит автоочистка сессии вызовом db\_purge\_ephemeral\_messages(). + * **Fast-Path:** Прямой перехват команд подтверждения («да», «подтверждаю», «сохранить») и выхода («нет, спасибо», «закончить настройку») без обращения к LLM (ответ за 0.05 сек). + * **Декларативный реестр действий (tool\_action\_registry):** Хранение шаблонов ответов, типов кнопок и признаков эфемерности в SQLite. +> * **Generative UI (Интерактивные карточки задач):** Инструмент db\_get\_tasks возвращает полезную нагрузку TASK\_INTERACTIVE\_CARD. Фронтенд рендерит живой виджет с табами (Все / В работе / В планах / Завершенные), чекбоксами и inline-созданием задач через REST API без вызова LLM. + +## --- + +**3\. Полная схема базы данных SQLite (data/scud\_orion\_ai.db)** + +| Таблица | Назначение и бизнес-логика | Полная структура колонок | +| :---- | :---- | :---- | +| **scud\_logs** | Хранение логов проходов СКУД, расчетного времени и снапшотов. | id (PK), log\_date, fio, fio\_clean, department, position, time\_in, first\_activity, time\_out, time\_in\_building, is\_present, anomaly\_flag, snapshot\_time, snapshot\_id, created\_at | +| **zup\_staff** | Штатное расписание 1С:ЗУП на даты срезов. | id (PK), snapshot\_date, fio, fio\_clean, department, position, created\_at | +| **zup\_absences** | Официальные кадровые отклонения 1С (отпуска, больничные, командировки, декреты). | id (PK), absence\_date, fio, fio\_clean, absence\_type, created\_at | +| **anomalies\_history** | Журнал выявленных кадровых и аппаратных аномалий. | id (PK), anomaly\_date, fio, anomaly\_type, details, human\_status, created\_at | +| **ai\_knowledge\_base** | Глобальные правила арбитража и приоритеты компании для ИИ. | id (PK), rule\_text, added\_by, created\_at | +| **system\_prompts** | Версионные системные промпты агента (активный промпт по is\_active=1). | id (PK), name, prompt\_text, is\_active, updated\_at | +| **tool\_action\_registry** | Декларативный реестр шаблонов, кнопок и настроек эфемерности инструментов. | id (PK), tool\_name, category, bypass\_llm, success\_template, follow\_up\_question, action\_type, buttons\_json, is\_active, is\_ephemeral, updated\_at | +| **session\_states** | Активные состояния сессий, черновики и счетчик idle\_turns. | session\_id (PK), state\_type, pending\_data, updated\_at | +| **chat\_messages** | История диалогов с поддержкой разделения на постоянные и эфемерные сообщения. | id (PK), session\_id, role, content, is\_ephemeral, created\_at | +| **tasks** | Реестр задач пользователей с привязкой к user\_id. | id (PK), task\_id, module, title, priority, status, due\_date, user\_id, created\_at | +| **users** | Учетные записи операторов (хэши паролей bcrypt, права администратора). | id (PK), username, password\_hash, is\_admin, full\_name, created\_at | +| **department\_synonyms** | База знаний соответствия аббревиатур СКУД полным названиям отделов 1С. | id (PK), short\_name, full\_name, created\_at | +| **system\_reference** | Справочник команд и примеров промптов для операторов. | id (PK), category, title, example\_prompt, description | + +## --- + +**4\. Актуальная архитектура каталогов и назначение файлов** + +`scud_ai/` +`├── config.py # Конфигурация: пути, расчет дат, URL Ollama, параметры MS SQL` +`├── exceptions.json # Декларативные фильтры исключений (ОВК, уборщики, подрядчики)` +`├── main_etl.py # Оркестратор ETL: экспорт СКУД/1С -> SQLite -> Excel/MD отчеты` +`├── project_code_snapshot.md # Полный исходный код всех файлов репозитория` +`├── core/` +`│ └── database.py # Драйвер SQLite (WAL), функции сохранения/загрузки срезов` +`├── services/` +`│ ├── scud_export.py # Прямой SQL-экспорт из MS SQL «Орион Pro»` +`│ ├── zup_extractor.py # Прямой SQL-экспорт из MS SQL 1С:ЗУП 3.1` +`│ ├── data_loader.py # Загрузка данных, нормализация ФИО, расчет первой активности` +`│ ├── data_validator.py # Проверка свежести и наличия файлов за Вчера и Сегодня` +`│ ├── excel_exporter.py # Генерация сводки и детального отчета в Excel (openpyxl)` +`│ ├── text_reporter.py # Построение итогового Markdown-отчета через Qwen 2.5` +`│ ├── ai_verifier.py # Модули ИИ-аудита, Fuzzy Matching и детекции сбоев СКУД` +`│ ├── feedback_loop.py # Интерактивный консольный модуль Human-in-the-Loop` +`│ ├── knowledge_base.py # Интерфейс работы с базой знаний правил` +`│ └── share_copier.py # Резервное скачивание файлов 1С с шары /mnt/scud_share` +`├── scripts/` +`│ ├── db_cli.py # CLI-утилита управления БД, снапшотами, дампами и сессиями` +`│ ├── fix_snapshots.py # Скрипт переиндексации и нормализации снапшотов` +`│ ├── init_tool_registry.py # Инициализация декларативного реестра инструментов` +`│ └── diagnostics/` +`│ ├── inspect_db.py # Диагностика структуры таблиц и количества записей` +`│ ├── inspect_ephemeral.py # Анализ распределения постоянных и эфемерных сообщений` +`│ ├── inspect_files.py # Аудит файлов и размеров на диске` +`│ └── show_tree.py # Вывод дерева каталогов` +`├── modules/web_api/` +`│ ├── main.py # Точка входа FastAPI приложения, роутеры и раздача статики` +`│ ├── routers/` +`│ │ ├── admin.py # Управление пользователями` +`│ │ ├── auth.py # JWT аутентификация и смена паролей` +`│ │ ├── chat.py # Эндпоинты диалогов (авторизованный и гостевой)` +`│ │ └── tasks.py # REST API управления задачами` +`│ ├── llm/` +`│ │ ├── agent.py # Координатор диалога, Tool Calls и Topic Drift Guard` +`│ │ ├── schemas.py # Описание JSON-схем инструментов для Ollama` +`│ │ ├── file_parser.py # Мультимодальный парсер файлов (PDF, PNG, XLSX, TXT)` +`│ │ ├── db_tools.py # Фасадные вызовы функций БД для агента` +`│ │ ├── core/` +`│ │ │ ├── calendar_utils.py # Формирование системного контекста дат и дней недели` +`│ │ │ ├── fast_path.py # Быстрый перехват команд подтверждения/отмены (0.05 с)` +`│ │ │ ├── ollama_client.py # HTTP-клиент взаимодействия с Ollama API` +`│ │ │ ├── prompt_merger.py # Парсинг и слияние правок системного промпта` +`│ │ │ └── tool_injector.py # Очистка сырых тегов и артефактов Tool Calls` +`│ │ └── db/` +`│ │ ├── connection.py # Подключение к scud_orion_ai.db` +`│ │ ├── db_chat.py # Сохранение истории и очистка эфемерных сообщений` +`│ │ ├── db_prompts.py # Системные промпты, стейты и реестр действий` +`│ │ ├── db_snapshots.py # Выборка и удаление снапшотов` +`│ │ └── db_tasks.py # CRUD операции с задачами пользователей` +`│ └── static/` +`│ ├── index.html # SPA разметка (модалки, чат, боковая панель задач)` +`│ ├── css/styles.css # Стили и мобильные оптимизации` +`│ └── js/` +`│ ├── app.js # Инициализация приложения` +`│ ├── auth.js # Логика входа, смены паролей и администрирования` +`│ ├── chat.js # Обработка сообщений, Drag&Drop, виджет задач и кнопки` +`│ └── tasks.js # Управление боковой панелью задач (Drawer)` +`└── docs/` + `└── development_roadmap.md # Стратегическая дорожная карта и архитектурный бэклог` + +## --- + +**5\. Справочник команд командной строки (CLI Reference)** + +### **Главный конвейер контроллинга (main\_etl.py)** + +> * python main\_etl.py — стандартный дневной запуск: экспорт свежих данных СКУД и 1С, сохранение снапшота в SQLite, генерация Excel и Markdown отчетов. +> * python main\_etl.py \--skip-export — построение отчетов по последнему имеющемуся снапшоту из SQLite без повторного запроса к MS SQL. +> * python main\_etl.py \--snapshot 20260805-001 — точный расчет отчетов по указанному составному ID снапшота. +> * python main\_etl.py \-d — запуск в режиме расширенной отладки (DEBUG). + +### **CLI-утилита управления SQLite базой данных (scripts/db\_cli.py)** + +> * python scripts/db\_cli.py stats — общая статистика количества записей по всем таблицам БД. +> * python scripts/db\_cli.py snapshots \[ДД.ММ.ГГГГ\] — просмотр реестра снапшотов с сортировкой по времени создания (самые свежие сверху). +> * python scripts/db\_cli.py scud \[ДД.ММ.ГГГГ\] \[--snapshot ID\] \[--export-xlsx NAME\] — просмотр логов СКУД и опциональный экспорт в Excel. +> * python scripts/db\_cli.py absences \[ДД.ММ.ГГГГ\] — список кадровых отклонений из 1С:ЗУП. +> * python scripts/db\_cli.py anomalies — история выявленных аномалий. +> * python scripts/db\_cli.py rules — правила базы знаний компании. +> * python scripts/db\_cli.py prompts — просмотр системных промптов из таблицы system\_prompts. +> * python scripts/db\_cli.py tools — вывод декларативного реестра действий инструментов и шаблонов кнопок. +> * python scripts/db\_cli.py sessions — просмотр активных сессионных стейтов и висящих черновиков. +> * python scripts/db\_cli.py snapshot del \[ID\] — удаление конкретного снапшота по ID. +> * python scripts/db\_cli.py snapshot del \--day \[ДД.ММ.ГГГГ\] — удаление всех снапшотов за выбранный день. +> * python scripts/db\_cli.py dump \[backup.xlsx\] — полный дамп всех таблиц базы данных в многостраничный Excel-файл. + +## --- + +**6\. Стратегическая дорожная карта развития (Roadmap & Backlog)** + +> 1. **Масштабирование механизма эфемерного контекста на все инструменты (Rollout Roadmap):** + * **Снапшоты (snapshots):** Перевод вывода объемных таблиц срезов в эфемерный режим (is\_ephemeral \= 1), внедрение интерактивного подтверждения при удалении снапшотов по ID/дате через состояния SNAPSHOTS\_PREVIEW / SNAPSHOTS\_FOLLOWUP. + * **База знаний и аномалии (kb & anomalies):** Вывод справочников команд, правил арбитража и списков аномалий исключительно во временный слой для исключения «залипания» модели на устаревших правилах из истории сообщений. + * **Декларативная унификация в tool\_action\_registry:** Расширение схемы таблицы полями followup\_state\_type, auto\_purge\_on\_exit, guard\_question\_template для устранения хардкода имен функций в agent.py. +> 2. **Модуль анализа внутридневных перемещений («Контроль перекуров»):** + * Анализ интервалов между событиями OUT (выход) и IN (возврат) по журналу pLogData. + * Подсчет суммарного времени нахождения вне рабочего места в течение смены с отсечением технологической нормы (30–40 минут). + * Вывод аналитического блока и злостных нарушителей в отдельный лист Excel-отчета и итоговую Markdown-сводку. +> 3. **Интерактивный Task Planner & Roadmap Engine:** + * Специализированный инструмент для ведения динамических проектных планов и чек-листов с чекбоксами (\[ \] / \[x\]) прямо в диалоге с синхронизацией в таблицу tasks. +> 4. **Изолированная среда исполнения кода (Code Execution Sandbox):** + * Безопасный изолированный Docker/gVisor контейнер для динамического выполнения генерируемого моделью Python/Pandas кода на лету с возвратом stdout/stderr и графиков в контекст. +> 5. **Автоматизация расписания срезов и Telegram-алерты:** + * Автозапуск выгрузок в 12:00, 17:00 и 19:00 через systemd-таймеры с фиксацией snapshot\_time. + * Отправка мгновенных алертов о массовых сбоях турникетов (\>5%) и критических кадровых конфликтах дежурному системному администратору в Telegram. +``` + ## File: `./docs/development_roadmap.md` ``` # 🗺️ ДОРОЖНАЯ КАРТА И АРХИТЕКТУРНЫЙ РОАДМАП ПРОЕКТА SCUD ORION AI @@ -3228,6 +3706,53 @@ main (100% стабильный релиз) * Выполнение тестовых сценариев и валидация скриптов перед их сохранением/применением на проде. * Полная изоляция от хост-системы: read-only доступ к копиям данных, ограничение памяти/CPU (cgroups), отсутствие доступа к чувствительным сетевым интерфейсам. * Возврат результатов вычислений (stdout, stderr, артефакты, сгенерированные таблицы/графики) обратно в контекст модели. + + +### 1. Архитектура скользящего контекста и отслеживания смены темы (Intent / Topic Drift Tracking) +* **Статус:** `MVP Реализован и протестирован` (на базе инструментов системного промпта: `db_preview_prompt_merge`, `db_confirm_prompt_preview`, `db_cancel_prompt_preview`). +* **Концептуальное решение:** + 1. **Двухфазное состояние сессии:** Разделение жизненного цикла на фазу черновика (`PROMPT_PREVIEW`) и фазу интерактивного подтверждения/диалога (`PROMPT_FOLLOWUP`). + 2. **Эфемерный буфер:** Промежуточные экраны, подтверждения и тяжелые выводы помечаются `is_ephemeral = 1` и не засоряют постоянную историю диалога. + 3. **Детерминированный счетчик (Topic Drift):** Бэкенд инкрементирует `idle_turns` при отвлечении на сторонние темы. На шаге $N = 3$ срабатывает **Context Guard** с напоминанием и кнопками действий, а при $N > 3$ происходит автоматический сброс сессии и вызов `db_purge_ephemeral_messages`. + 4. **Fast-Path очистка:** Прямой перехват команд завершения (`нет, спасибо`, `закончить настройку`) моментально очищает эфемерный контекст. + +--- + +### 1.1. План масштабирования механизма эфемерного контекста на все инструменты (Rollout Roadmap) + +План: + +[1. REST API (main.py)] ────► Добавляем POST, PATCH, DELETE для /api/v1/tasks + │ +[2. Agent (agent.py)] ────► При db_get_tasks отдаем payload {type: "TASK_INTERACTIVE_CARD", tasks: [...]} + │ +[3. UI (chat.js / CSS)] ────► Рендерим карточку с табами [Все] [В работе] [В планах] [Завершенные] + +#### Этап 1. Модуль задач и бэклога (`tasks`) +* **Целевые инструменты:** `db_get_tasks`, `db_add_task`, `db_update_task_status`, `db_delete_task`. +* **Задачи реализации:** + * Перевод вывода объемных плоских списков задач в эфемерный режим (`is_ephemeral = 1`), чтобы история диалога не забивалась длинными перечнями. + * Реализация состояния сессии `TASKS_FOLLOWUP` после создания/изменения/удаления задачи. + * Интеграция с Context Guard: напоминание о завершении работы с задачами на 3-м шаге отвлечения. + * Автоочистка промежуточных диалоговых карточек задач при переключении на аналитику СКУД или общие вопросы. + +#### Этап 2. Модуль срезов и архива СКУД (`snapshots`) +* **Целевые инструменты:** `db_get_snapshots`, `db_delete_snapshots`. +* **Задачи реализации:** + * Маркировка объемных таблиц срезов и логов как эфемерных сообщений. + * Внедрение интерактивного подтверждения при удалении снапшотов по ID или по дате (`SNAPSHOTS_PREVIEW` / `SNAPSHOTS_FOLLOWUP`). + * Полная автоочистка временных таблиц срезов из памяти диалога после получения пользователем нужной информации. + +#### Этап 3. Модуль базы знаний, правил и аномалий (`kb & anomalies`) +* **Целевые инструменты:** `db_get_rules`, `db_get_anomalies`, `db_get_reference`. +* **Задачи реализации:** + * Вывод справочников команд, правил арбитража и списков аномалий исключительно во временный слой. + * Предотвращение «залипания» модели на старых правилах из истории: гарантия того, что LLM всегда запрашивает актуальные правила через Tool Call, а не читает их из контекста предыдущих сообщений. + +#### Этап 4. Декларативная унификация в `tool_action_registry` +* **Целевые изменения:** + * Расширение схемы `tool_action_registry` новыми декларативными полями: `followup_state_type`, `auto_purge_on_exit`, `guard_question_template`. + * Устранение жестких проверок названий функций в `agent.py`: перевод всей логики жизненного цикла сессий и очистки памяти на декларативные параметры из базы данных SQLite. ``` ## File: `./core/__init__.py` @@ -3735,68 +4260,37 @@ def load_absences_from_db(date_str): =============================================================================== FILE: modules/web_api/main.py PROJECT: SCUD Orion AI (Unified Repository) -MODULE: web_api (FastAPI REST Server & Context Management) -ROLE: Главный шлюз веб-интерфейса, авторизация пользователей (JWT/Bcrypt), - маршрутизация диалогов с LLM, OCR-парсинг файлов и управление задачами. - -AI-CONTEXT-ANCHORS & INVARIANTS: - - ANCHOR[SYS_PATH]: Добавляет директорию модуля в sys.path для корректных импортов - независимо от рабочей директории запуска (root или web_api). - - ANCHOR[STATIC_MOUNT]: Рассчитывает абсолютный путь к папке static/ для надежного - рендеринга интерфейса и ассетов (css/js/favicon). - - ANCHOR[AUTH_JWT]: Изолирует персональные пространства задач по user_id (sub). - - ANCHOR[CHAT_PIPELINE]: Оркестрирует пайплайн парсинга вложений (file_parser) и - генерации ответов LLM (agent.process_chat_message). - -DEPENDENCIES: - - modules/web_api/llm/agent.py (process_chat_message) - - modules/web_api/llm/db_tools.py (db_get_tasks, DB_PATH) - - modules/web_api/llm/file_parser.py (extract_text_from_file) +MODULE: web_api (Main Application Entry Point) +ROLE: Инициализация FastAPI приложения, подключение роутеров и статики. =============================================================================== """ -# --- [SECTION 1: SYSTEM PATHS & IMPORTS] --- # ANCHOR[SYS_PATH] +# ANCHOR[APP_INIT_IMPORTS] import os import sys -import json -import sqlite3 import logging -import urllib.request -from datetime import datetime, timedelta -from typing import List, Dict, Any, Optional -# Гарантируем корректный импорт подмодулей web_api независимо от точки запуска CURRENT_DIR = os.path.dirname(os.path.abspath(__file__)) if CURRENT_DIR not in sys.path: sys.path.insert(0, CURRENT_DIR) -import jwt -from passlib.context import CryptContext -from fastapi import FastAPI, Depends, HTTPException, status, UploadFile, File, Form -from fastapi.security import HTTPBearer, HTTPAuthorizationCredentials +from fastapi import FastAPI, HTTPException from fastapi.staticfiles import StaticFiles from fastapi.responses import FileResponse, JSONResponse from fastapi.exceptions import RequestValidationError -from pydantic import BaseModel -# Внутренние модули LLM и БД -from llm.agent import process_chat_message -from llm.db_tools import db_get_tasks, DB_PATH -from llm.file_parser import extract_text_from_file +from routers.auth import router as auth_router +from routers.admin import router as admin_router +from routers.tasks import router as tasks_router +from routers.chat import router as chat_router -# --- [SECTION 2: CONFIGURATION & SECURITY] --- # ANCHOR[AUTH_CONFIG] +# ANCHOR[APP_CONFIG] logging.basicConfig( level=logging.INFO, format="%(asctime)s [%(levelname)s] %(message)s", handlers=[logging.StreamHandler()] ) -JWT_SECRET = "scud_jwt_secret_key_2026_orion_ai_super_secure" -ALGORITHM = "HS256" - -pwd_context = CryptContext(schemes=["bcrypt"], deprecated="auto") -security = HTTPBearer() - STATIC_DIR = os.path.join(CURRENT_DIR, "static") app = FastAPI(title="SCUD Orion AI Context API", version="2.5") @@ -3812,57 +4306,15 @@ async def validation_exception_handler(request, exc): content={"detail": exc.errors(), "body": str(exc)} ) -# --- [SECTION 3: DATABASE & TOKEN HELPERS] --- # ANCHOR[DB_HELPERS] -def get_db(): - """Создает безопасное соединение с SQLite БД модуля.""" - conn = sqlite3.connect(DB_PATH) - conn.row_factory = sqlite3.Row - return conn +# ANCHOR[ROUTER_REGISTRATION] +app.include_router(auth_router) +app.include_router(admin_router) +app.include_router(tasks_router) +app.include_router(chat_router) -def create_access_token(user_id: int, username: str, is_admin: bool) -> str: - payload = { - "sub": str(user_id), - "username": username, - "is_admin": is_admin, - "exp": datetime.utcnow() + timedelta(days=30) - } - return jwt.encode(payload, JWT_SECRET, algorithm=ALGORITHM) - -def get_current_user(credentials: HTTPAuthorizationCredentials = Depends(security)) -> Dict[str, Any]: - try: - token = credentials.credentials - payload = jwt.decode(token, JWT_SECRET, algorithms=[ALGORITHM]) - user_id = int(payload.get("sub")) - username = payload.get("username") - is_admin = bool(payload.get("is_admin", False)) - return {"id": user_id, "username": username, "is_admin": is_admin} - except Exception as e: - logging.warning(f"Auth error: {e}") - raise HTTPException( - status_code=status.HTTP_401_UNAUTHORIZED, - detail="Недействительный или просроченный токен авторизации", - headers={"WWW-Authenticate": "Bearer"}, - ) - -# Pydantic-схемы валидации запросов -class AuthRequest(BaseModel): - username: str - password: str - -class CreateUserRequest(BaseModel): - username: str - password: str - full_name: Optional[str] = None - is_admin: Optional[bool] = False - -class ChangePasswordRequest(BaseModel): - old_password: str - new_password: str - -# --- [SECTION 4: STATIC FILES & SPA ROUTES] --- # ANCHOR[STATIC_MOUNT] +# ANCHOR[ROOT_STATIC_ROUTES] @app.get("/") def read_root(): - """Отдает главную страницу панели управления.""" index_path = os.path.join(STATIC_DIR, "index.html") if os.path.exists(index_path): return FileResponse(index_path) @@ -3875,164 +4327,9 @@ async def favicon(): return FileResponse(file_path) raise HTTPException(status_code=404) -# --- [SECTION 5: AUTHENTICATION & USER MANAGEMENT] --- # ANCHOR[AUTH_JWT] -@app.post("/api/v1/auth/login") -def login(req: AuthRequest): - username = req.username.strip().lower() - logging.info(f"===> Попытка входа для пользователя: {username}") - - conn = get_db() - cursor = conn.cursor() - cursor.execute("SELECT id, username, password_hash, is_admin FROM users WHERE username = ?", (username,)) - user = cursor.fetchone() - conn.close() - - if not user or not pwd_context.verify(req.password, user["password_hash"]): - logging.warning(f"===> Ошибка: Неверный логин или пароль для {username}") - raise HTTPException(status_code=401, detail="Неверное имя пользователя или пароль") - - is_admin = bool(user["is_admin"]) or (user["username"] == "puh") - token = create_access_token(user["id"], user["username"], is_admin) - logging.info(f"===> УСПЕХ: Авторизован пользователь {username}") - - return {"status": "success", "token": token, "username": user["username"], "is_admin": is_admin} - -@app.post("/api/v1/auth/change-password") -def change_password(req: ChangePasswordRequest, current_user: Dict[str, Any] = Depends(get_current_user)): - if not req.new_password or len(req.new_password) < 4: - raise HTTPException(status_code=400, detail="Новый пароль должен содержать минимум 4 символа") - - conn = get_db() - cursor = conn.cursor() - cursor.execute("SELECT password_hash FROM users WHERE id = ?", (current_user["id"],)) - user = cursor.fetchone() - - if not user or not pwd_context.verify(req.old_password, user["password_hash"]): - conn.close() - raise HTTPException(status_code=400, detail="Неверный старый пароль") - - new_hash = pwd_context.hash(req.new_password) - cursor.execute("UPDATE users SET password_hash = ? WHERE id = ?", (new_hash, current_user["id"])) - conn.commit() - conn.close() - - logging.info(f"Пароль успешно изменен для пользователя ID: {current_user['id']}") - return {"status": "success", "message": "Пароль успешно изменен"} - -@app.get("/api/v1/admin/users") -def list_users(current_user: Dict[str, Any] = Depends(get_current_user)): - if not current_user["is_admin"]: - raise HTTPException(status_code=403, detail="Доступ запрещен. Только для администратора.") - - conn = get_db() - cursor = conn.cursor() - cursor.execute("SELECT id, username, full_name, is_admin, created_at FROM users ORDER BY id ASC") - users = [dict(r) for r in cursor.fetchall()] - conn.close() - return users - -@app.post("/api/v1/admin/users") -def create_user(req: CreateUserRequest, current_user: Dict[str, Any] = Depends(get_current_user)): - if not current_user["is_admin"]: - raise HTTPException(status_code=403, detail="Доступ запрещен. Только для администратора.") - - username = req.username.strip().lower() - if not username or not req.password: - raise HTTPException(status_code=400, detail="Заполните имя пользователя и пароль") - - conn = get_db() - cursor = conn.cursor() - cursor.execute("SELECT id FROM users WHERE username = ?", (username,)) - if cursor.fetchone(): - conn.close() - raise HTTPException(status_code=400, detail="Пользователь с таким именем уже существует") - - pwd_hash = pwd_context.hash(req.password) - full_name = req.full_name.strip() if req.full_name else None - is_admin = 1 if req.is_admin else 0 - - cursor.execute( - "INSERT INTO users (username, password_hash, full_name, is_admin) VALUES (?, ?, ?, ?)", - (username, pwd_hash, full_name, is_admin) - ) - conn.commit() - conn.close() - - logging.info(f"Создан пользователь: {username} (admin={is_admin}) админом {current_user['username']}") - return {"status": "success", "message": f"Пользователь {username} создан"} - -@app.delete("/api/v1/admin/users/{user_id}") -def delete_user(user_id: int, current_user: Dict[str, Any] = Depends(get_current_user)): - if not current_user["is_admin"]: - raise HTTPException(status_code=403, detail="Доступ запрещен. Только для администратора.") - - if user_id == current_user["id"]: - raise HTTPException(status_code=400, detail="Нельзя удалить самого себя") - - conn = get_db() - cursor = conn.cursor() - cursor.execute("DELETE FROM users WHERE id = ?", (user_id,)) - conn.commit() - conn.close() - - logging.info(f"Удален пользователь ID: {user_id}") - return {"status": "success", "message": "Пользователь удален"} - -# --- [SECTION 6: TASK TRACKER & LLM CHAT PIPELINE] --- # ANCHOR[CHAT_PIPELINE] -@app.get("/api/v1/tasks") -def get_tasks(user: Dict[str, Any] = Depends(get_current_user)): - """Получить задачи текущего авторизованного пользователя.""" - return db_get_tasks(user_id=user["id"]) - -# --- ЧАТ С АВТОРИЗАЦИЕЙ --- -@app.post("/api/v1/chat") -async def chat_endpoint( - session_id: str = Form("web_session_main"), - message: str = Form(""), - file: Optional[UploadFile] = File(default=None), - current_user: dict = Depends(get_current_user) -): - parsed_file = {"text": "", "image_b64": None} - if file and file.filename: - file_bytes = await file.read() - parsed_file = extract_text_from_file(file_bytes, file.filename) - - reply, history, action_type = process_chat_message( - user_id=current_user["id"], - user_message=message, - file_context=parsed_file["text"], - image_b64=parsed_file["image_b64"], - session_id=session_id - ) - return {"reply": reply, "history": history, "action_type": action_type} - - -# --- ГОСТЕВОЙ ЧАТ --- -@app.post("/api/v1/chat/guest") -async def guest_chat_endpoint( - session_id: str = Form("web_session_main"), - message: str = Form(""), - file: Optional[UploadFile] = File(default=None) -): - parsed_file = {"text": "", "image_b64": None} - if file and file.filename: - file_bytes = await file.read() - parsed_file = extract_text_from_file(file_bytes, file.filename) - - reply, history, action_type = process_chat_message( - user_id=0, - user_message=message, - file_context=parsed_file["text"], - image_b64=parsed_file["image_b64"], - session_id=session_id - ) - return {"reply": reply, "history": history, "action_type": action_type} - -# --- [SECTION 7: STATIC FALLBACK ROUTER] --- # ANCHOR[STATIC_FALLBACK] @app.get("/{file_path:path}") def serve_static_fallback(file_path: str): clean_path = file_path.lstrip("/") - target = os.path.join(STATIC_DIR, clean_path) if os.path.isfile(target): return FileResponse(target) @@ -4231,6 +4528,1731 @@ if __name__ == "__main__": print_tree('.') ``` +## File: `./modules/web_api/static/index.html` +```html + + + + + + SCUD Orion AI — Context Manager + + + + + + + +
+
+
+
+ +
+
+

SCUD Orion AI

+

Авторизация в системе

+
+
+ +
+
+ + +
+ +
+ + +
+ + + + +
+ +
+
+
Или
+
+ + +
+
+ + + + + + + + +
+
+
+ +
+
+

SCUD Orion AI

+ Task & Context API +
+
+ +
+ + + + + + + + + + + +
+
+ + +
+
+ +
+

+ ИИ-Ассистент +

+

+ Привет! У каждого пользователя свое изолированное пространство задач. Вы можете задавать вопросы нейросети, прикреплять файлы или ставить персональные задачи. +

+
+
+ + + + + +
+
+ + + +
+ +
+ +
+
+
+ + + + + + + + + + + + +``` + +## File: `./modules/web_api/static/js/app.js` +```js +const AUTH_TOKEN_KEY = "scud_api_auth_token"; +const SESSION_ID = "web_session_main"; +const STORAGE_KEY = "scud_chat_input_history"; + +let API_TOKEN = localStorage.getItem(AUTH_TOKEN_KEY) || ""; +let CURRENT_USERNAME = localStorage.getItem("scud_username") || ""; +let IS_ADMIN = localStorage.getItem("scud_is_admin") === "true"; +let IS_GUEST = localStorage.getItem("scud_is_guest") === "true"; + +let inputHistory = JSON.parse(localStorage.getItem(STORAGE_KEY) || "[]"); +let historyIndex = -1; + +document.addEventListener("DOMContentLoaded", () => { + const userInputEl = document.getElementById("user-input"); + + if (userInputEl) { + userInputEl.addEventListener("input", function() { + this.style.height = "24px"; + const newHeight = Math.min(this.scrollHeight, 120); + this.style.height = newHeight + "px"; + }); + } + + if (IS_GUEST) { + hideAuthModal(); + updateUIState(); + } else if (API_TOKEN) { + hideAuthModal(); + updateUIState(); + if (typeof loadTasks === "function") { + loadTasks(); + } + } else { + showAuthModal(); + } +}); +``` + +## File: `./modules/web_api/static/js/auth.js` +```js +function showAuthModal() { + const el = document.getElementById("auth-modal"); + if (el) el.classList.remove("hidden"); +} + +function hideAuthModal() { + const el = document.getElementById("auth-modal"); + if (el) el.classList.add("hidden"); +} + +async function handleLogin(e) { + if (e && e.preventDefault) e.preventDefault(); + + const usernameInput = document.getElementById("auth-username-input"); + const passwordInput = document.getElementById("auth-password-input"); + const errorEl = document.getElementById("auth-error"); + + if (!usernameInput || !passwordInput) return; + + const username = usernameInput.value.trim(); + const password = passwordInput.value; + + if (!username || !password) return; + + if (errorEl) errorEl.classList.add("hidden"); + + try { + const res = await fetch("/api/v1/auth/login", { + method: "POST", + headers: { "Content-Type": "application/json" }, + body: JSON.stringify({ username, password }) + }); + + const data = await res.json(); + + if (res.status === 200) { + // Используем прямой строковый ключ, чтобы избежать ошибки ReferenceError + API_TOKEN = data.token; + CURRENT_USERNAME = data.username; + IS_ADMIN = data.is_admin; + IS_GUEST = false; + + localStorage.setItem("scud_api_auth_token", data.token); + localStorage.setItem("scud_username", data.username); + localStorage.setItem("scud_is_admin", data.is_admin ? "true" : "false"); + localStorage.removeItem("scud_is_guest"); + + hideAuthModal(); + updateUIState(); + + if (typeof loadTasks === 'function') { + loadTasks(); + } + } else { + if (errorEl) { + errorEl.innerText = data.detail || "Ошибка авторизации"; + errorEl.classList.remove("hidden"); + } + } + } catch (err) { + console.error("[Auth Error]", err); + if (errorEl) { + errorEl.innerText = "Ошибка соединения с сервером"; + errorEl.classList.remove("hidden"); + } + } +} + +function enableGuestMode() { + IS_GUEST = true; + API_TOKEN = ""; + CURRENT_USERNAME = "Гость"; + IS_ADMIN = false; + localStorage.setItem("scud_is_guest", "true"); + hideAuthModal(); + updateUIState(); +} + +function logout() { + localStorage.removeItem("scud_api_auth_token"); + localStorage.removeItem("scud_username"); + localStorage.removeItem("scud_is_admin"); + localStorage.removeItem("scud_is_guest"); + API_TOKEN = ""; + CURRENT_USERNAME = ""; + IS_ADMIN = false; + IS_GUEST = false; + showAuthModal(); +} + +function updateUIState() { + const tasksBtn = document.getElementById("tasks-drawer-btn"); + const adminBtn = document.getElementById("admin-users-btn"); + const changePwdBtn = document.getElementById("change-pwd-btn"); + const guestBadge = document.getElementById("guest-badge"); + const usernameBadge = document.getElementById("username-badge"); + + if (typeof IS_GUEST !== 'undefined' && IS_GUEST) { + if (tasksBtn) tasksBtn.classList.add("hidden"); + if (adminBtn) adminBtn.classList.add("hidden"); + if (changePwdBtn) changePwdBtn.classList.add("hidden"); + if (guestBadge) guestBadge.classList.remove("hidden"); + if (usernameBadge) usernameBadge.classList.add("hidden"); + } else { + if (tasksBtn) tasksBtn.classList.remove("hidden"); + if (changePwdBtn) changePwdBtn.classList.remove("hidden"); + if (guestBadge) guestBadge.classList.add("hidden"); + + if (usernameBadge) { + usernameBadge.innerText = (typeof CURRENT_USERNAME !== 'undefined' && CURRENT_USERNAME) ? CURRENT_USERNAME : "User"; + usernameBadge.classList.remove("hidden"); + } + + if (adminBtn) { + const isAdminUser = (typeof IS_ADMIN !== 'undefined' && IS_ADMIN) || (typeof CURRENT_USERNAME !== 'undefined' && CURRENT_USERNAME === "puh"); + if (isAdminUser) { + adminBtn.classList.remove("hidden"); + } else { + adminBtn.classList.add("hidden"); + } + } + } +} + +function openChangePasswordModal() { + const el = document.getElementById("change-pwd-modal"); + if (el) el.classList.remove("hidden"); +} + +function closeChangePasswordModal() { + const el = document.getElementById("change-pwd-modal"); + if (el) el.classList.add("hidden"); + + const err = document.getElementById("pwd-error"); + const succ = document.getElementById("pwd-success"); + if (err) err.classList.add("hidden"); + if (succ) succ.classList.add("hidden"); + + document.getElementById("old-pwd-input").value = ""; + document.getElementById("new-pwd-input").value = ""; + const confirmInput = document.getElementById("confirm-pwd-input"); + if (confirmInput) confirmInput.value = ""; +} + +async function handleChangePassword(e) { + if (e && e.preventDefault) e.preventDefault(); + const old_password = document.getElementById("old-pwd-input").value; + const new_password = document.getElementById("new-pwd-input").value; + const confirmInput = document.getElementById("confirm-pwd-input"); + const confirm_password = confirmInput ? confirmInput.value : new_password; + const errorEl = document.getElementById("pwd-error"); + const successEl = document.getElementById("pwd-success"); + + if (errorEl) errorEl.classList.add("hidden"); + if (successEl) successEl.classList.add("hidden"); + + if (new_password !== confirm_password) { + if (errorEl) { + errorEl.innerText = "Новые пароли не совпадают"; + errorEl.classList.remove("hidden"); + } + return; + } + + try { + const token = typeof API_TOKEN !== 'undefined' ? API_TOKEN : localStorage.getItem("scud_api_auth_token"); + const res = await fetch("/api/v1/auth/change-password", { + method: "POST", + headers: { + "Content-Type": "application/json", + "Authorization": "Bearer " + token + }, + body: JSON.stringify({ old_password, new_password }) + }); + + const data = await res.json(); + + if (res.status === 200) { + if (successEl) { + successEl.innerText = "Пароль успешно изменен!"; + successEl.classList.remove("hidden"); + } + setTimeout(closeChangePasswordModal, 1500); + } else { + if (errorEl) { + errorEl.innerText = data.detail || "Ошибка при смене пароля"; + errorEl.classList.remove("hidden"); + } + } + } catch (err) { + if (errorEl) { + errorEl.innerText = "Ошибка соединения с сервером"; + errorEl.classList.remove("hidden"); + } + } +} + +function openAdminModal() { + const el = document.getElementById("admin-modal"); + if (el) el.classList.remove("hidden"); + loadUsersList(); +} + +function closeAdminModal() { + const el = document.getElementById("admin-modal"); + if (el) el.classList.add("hidden"); +} + +async function loadUsersList() { + const listEl = document.getElementById("admin-users-list"); + if (!listEl) return; + listEl.innerHTML = '
Загрузка пользователей...
'; + + try { + const token = typeof API_TOKEN !== 'undefined' ? API_TOKEN : localStorage.getItem("scud_api_auth_token"); + const res = await fetch("/api/v1/admin/users", { + headers: { "Authorization": "Bearer " + token } + }); + const users = await res.json(); + + if (res.status === 200) { + listEl.innerHTML = users.map(u => { + const adminTag = u.is_admin ? 'ADMIN' : 'USER'; + const fullNameHtml = u.full_name ? `
${u.full_name}
` : ''; + const dateStr = u.created_at ? u.created_at.split(' ')[0] : '—'; + const deleteBtn = u.username !== CURRENT_USERNAME ? `` : 'Вы'; + + return ` +
+
+
+ ${u.username} + ${adminTag} +
+ ${fullNameHtml} +
Создан: ${dateStr}
+
+ ${deleteBtn} +
+ `; + }).join(""); + } else { + listEl.innerHTML = `
${users.detail}
`; + } + } catch (err) { + listEl.innerHTML = '
Ошибка загрузки пользователей
'; + } +} + +async function handleCreateUser(e) { + if (e && e.preventDefault) e.preventDefault(); + const username = document.getElementById("new-user-name").value.trim(); + const password = document.getElementById("new-user-pwd").value; + const fullNameInput = document.getElementById("new-user-fullname"); + const full_name = fullNameInput ? fullNameInput.value.trim() : ""; + const adminCheckbox = document.getElementById("new-user-is-admin"); + const is_admin = adminCheckbox ? adminCheckbox.checked : false; + const msgEl = document.getElementById("admin-msg"); + + if (msgEl) msgEl.classList.add("hidden"); + + try { + const token = typeof API_TOKEN !== 'undefined' ? API_TOKEN : localStorage.getItem("scud_api_auth_token"); + const res = await fetch("/api/v1/admin/users", { + method: "POST", + headers: { + "Content-Type": "application/json", + "Authorization": "Bearer " + token + }, + body: JSON.stringify({ username, password, full_name, is_admin }) + }); + + const data = await res.json(); + + if (res.status === 200) { + document.getElementById("new-user-name").value = ""; + document.getElementById("new-user-pwd").value = ""; + if (fullNameInput) fullNameInput.value = ""; + if (adminCheckbox) adminCheckbox.checked = false; + loadUsersList(); + } else { + if (msgEl) { + msgEl.innerText = data.detail || "Ошибка"; + msgEl.classList.remove("hidden"); + } + } + } catch (err) { + if (msgEl) { + msgEl.innerText = "Ошибка связи с сервером"; + msgEl.classList.remove("hidden"); + } + } +} + +async function deleteUser(userId, username) { + if (!confirm("Удалить пользователя " + username + "?")) return; + + try { + const token = typeof API_TOKEN !== 'undefined' ? API_TOKEN : localStorage.getItem("scud_api_auth_token"); + await fetch("/api/v1/admin/users/" + userId, { + method: "DELETE", + headers: { "Authorization": "Bearer " + token } + }); + loadUsersList(); + } catch (err) { + alert("Ошибка при удалении"); + } +} +``` + +## File: `./modules/web_api/static/js/chat.js` +```js +/** +=============================================================================== +FILE: modules/web_api/static/js/chat.js +ROLE: Клиентский интерфейс диалога, Drag-and-Drop вложений, генерация динамических + кнопок подтверждений и блокировка ввода при активном действии. +=============================================================================== +*/ + +function updateInputHeight(el) { + if (!el) return; + el.style.height = "24px"; + const newHeight = Math.min(el.scrollHeight, 120); + el.style.height = newHeight + "px"; +} + +let selectedFile = null; + +function handleFileSelect(e) { + const file = e.target.files[0]; + if (!file) return; + + if (file.size > 15 * 1024 * 1024) { + alert("Файл слишком большой. Максимальный размер: 15 МБ"); + e.target.value = ""; + return; + } + + selectedFile = file; + const fileNameEl = document.getElementById("file-name-display"); + const fileSizeEl = document.getElementById("file-size-display"); + const previewContainer = document.getElementById("file-preview-container"); + + if (fileNameEl) fileNameEl.innerText = file.name; + if (fileSizeEl) fileSizeEl.innerText = `(${(file.size / 1024).toFixed(1)} KB)`; + if (previewContainer) previewContainer.classList.remove("hidden"); +} + +function clearAttachedFile() { + selectedFile = null; + const fileInput = document.getElementById("file-input"); + const previewContainer = document.getElementById("file-preview-container"); + if (fileInput) fileInput.value = ""; + if (previewContainer) previewContainer.classList.add("hidden"); +} + +function setInputLocked(isLocked) { + const input = document.getElementById("user-input"); + const sendBtn = document.getElementById("send-btn"); + if (input) { + input.disabled = isLocked; + if (isLocked) { + input.placeholder = "Выберите действие с помощью кнопок выше..."; + input.classList.add("cursor-not-allowed", "opacity-60"); + } else { + input.placeholder = "Команда, вопрос или перетащите файл сюда..."; + input.classList.remove("cursor-not-allowed", "opacity-60"); + } + } + if (sendBtn) { + sendBtn.disabled = isLocked; + if (isLocked) { + sendBtn.classList.add("opacity-40", "cursor-not-allowed"); + } else { + sendBtn.classList.remove("opacity-40", "cursor-not-allowed"); + } + } +} + +function disableAllActionButtons() { + const allBtnContainers = document.querySelectorAll(".action-buttons-container"); + allBtnContainers.forEach(container => { + container.querySelectorAll("button").forEach(btn => { + btn.disabled = true; + btn.classList.add("opacity-40", "cursor-not-allowed"); + }); + }); +} + +function handleActionButtonClick(text) { + disableAllActionButtons(); + setInputLocked(false); + const input = document.getElementById("user-input"); + if (input) { + input.value = text; + sendMessage(); + } +} + +// --- [INTERACTIVE TASK WIDGET] --- +let activeWidgetTasksMap = new Map(); + +function renderTaskItemsHtml(tasks, filterStatus) { + const filtered = tasks.filter(t => { + if (filterStatus === "ALL") return true; + return t.status === filterStatus; + }); + + if (filtered.length === 0) { + const label = filterStatus === 'BACKLOG' ? 'В планах' : filterStatus === 'IN_PROGRESS' ? 'В работе' : filterStatus === 'COMPLETED' ? 'Завершенные' : 'Все'; + return `
Нет задач со статусом «${label}»
`; + } + + return filtered.map(t => { + const isDone = t.status === "COMPLETED"; + const isProgress = t.status === "IN_PROGRESS"; + const checkedAttr = isDone ? "checked" : ""; + const textClass = isDone ? "line-through text-slate-400" : "text-slate-800 font-medium"; + + let statusPill = `В планах`; + if (isDone) { + statusPill = `Завершено`; + } else if (isProgress) { + statusPill = `В работе`; + } + + let prioPill = ""; + if (t.priority === "HIGH") { + prioPill = `HIGH`; + } + + return ` +
+
+ +
+
+ ${t.task_id} + ${prioPill} + ${statusPill} +
+ ${escapeHtml(t.title)} +
+
+ +
+ `; + }).join(""); +} + +function renderInteractiveTaskCard(tasks) { + if (!tasks || !Array.isArray(tasks)) return ""; + const widgetId = "task_widget_" + Date.now(); + activeWidgetTasksMap.set(widgetId, { tasks: tasks, filter: "ALL" }); + + const itemsHtml = renderTaskItemsHtml(tasks, "ALL"); + + return ` +
+
+ + + + +
+ +
+ ${itemsHtml} +
+ +
+ + +
+
+ `; +} + +function filterTaskWidget(widgetId, status, btnEl) { + const state = activeWidgetTasksMap.get(widgetId); + if (!state) return; + state.filter = status; + + const widgetEl = document.getElementById(widgetId); + if (!widgetEl) return; + + widgetEl.querySelectorAll(".widget-tab-btn").forEach(b => { + b.className = "widget-tab-btn px-2.5 py-1 rounded-lg text-slate-500 hover:text-slate-700"; + }); + btnEl.className = "widget-tab-btn px-2.5 py-1 rounded-lg bg-indigo-50 text-indigo-600 font-bold border border-indigo-200"; + + const container = widgetEl.querySelector(".widget-items-container"); + if (container) { + container.innerHTML = renderTaskItemsHtml(state.tasks, status); + } +} + +async function toggleTaskStatusInline(taskId, isChecked) { + const token = typeof API_TOKEN !== 'undefined' && API_TOKEN ? API_TOKEN : localStorage.getItem("scud_api_auth_token"); + const newStatus = isChecked ? "COMPLETED" : "BACKLOG"; + + try { + const res = await fetch(`/api/v1/tasks/${taskId}`, { + method: "PATCH", + headers: { + "Content-Type": "application/json", + "Authorization": "Bearer " + token + }, + body: JSON.stringify({ status: newStatus }) + }); + + if (res.ok) { + for (let [wId, state] of activeWidgetTasksMap.entries()) { + const targetTask = state.tasks.find(t => t.task_id === taskId); + if (targetTask) { + targetTask.status = newStatus; + const widgetEl = document.getElementById(wId); + const container = widgetEl?.querySelector(".widget-items-container"); + if (container) { + container.innerHTML = renderTaskItemsHtml(state.tasks, state.filter); + } + } + } + if (typeof loadTasks === "function") loadTasks(); + } + } catch (err) { + console.error("[Task Patch Error]", err); + } +} + +async function deleteTaskInline(taskId) { + if (!confirm(`Удалить задачу ${taskId}?`)) return; + const token = typeof API_TOKEN !== 'undefined' && API_TOKEN ? API_TOKEN : localStorage.getItem("scud_api_auth_token"); + + try { + const res = await fetch(`/api/v1/tasks/${taskId}`, { + method: "DELETE", + headers: { "Authorization": "Bearer " + token } + }); + + if (res.ok) { + for (let [wId, state] of activeWidgetTasksMap.entries()) { + state.tasks = state.tasks.filter(t => t.task_id !== taskId); + const widgetEl = document.getElementById(wId); + const container = widgetEl?.querySelector(".widget-items-container"); + if (container) { + container.innerHTML = renderTaskItemsHtml(state.tasks, state.filter); + } + } + if (typeof loadTasks === "function") loadTasks(); + } + } catch (err) { + console.error("[Task Delete Error]", err); + } +} + +async function addTaskInline(widgetId, inputEl) { + if (!inputEl) return; + const title = inputEl.value.trim(); + if (!title) return; + + const token = typeof API_TOKEN !== 'undefined' && API_TOKEN ? API_TOKEN : localStorage.getItem("scud_api_auth_token"); + + try { + const res = await fetch("/api/v1/tasks", { + method: "POST", + headers: { + "Content-Type": "application/json", + "Authorization": "Bearer " + token + }, + body: JSON.stringify({ title: title, priority: "MEDIUM", module: "general" }) + }); + + if (res.ok) { + inputEl.value = ""; + const tasksRes = await fetch("/api/v1/tasks", { + headers: { "Authorization": "Bearer " + token } + }); + const updatedTasks = await tasksRes.json(); + + const state = activeWidgetTasksMap.get(widgetId); + if (state) { + state.tasks = updatedTasks; + const widgetEl = document.getElementById(widgetId); + const container = widgetEl?.querySelector(".widget-items-container"); + if (container) { + container.innerHTML = renderTaskItemsHtml(updatedTasks, state.filter); + } + } + if (typeof loadTasks === "function") loadTasks(); + } + } catch (err) { + console.error("[Task Add Error]", err); + } +} + +// --- [CHAT SEND PIPELINE] --- +async function sendMessage(e) { + if (e && e.preventDefault) e.preventDefault(); + + const input = document.getElementById("user-input"); + const chatWindow = document.getElementById("chat-window"); + const sendBtn = document.getElementById("send-btn"); + + if (!input || !chatWindow) return; + const text = input.value.trim(); + + if (!text && !selectedFile) return; + + disableAllActionButtons(); + + let userDisplayHtml = escapeHtml(text); + if (selectedFile) { + userDisplayHtml = `
+ ${escapeHtml(selectedFile.name)} +
` + userDisplayHtml; + } + + const userMsgHtml = ` +
+
+ ${userDisplayHtml} +
+
+ `; + chatWindow.insertAdjacentHTML("beforeend", userMsgHtml); + + input.value = ""; + updateInputHeight(input); + chatWindow.scrollTop = chatWindow.scrollHeight; + + if (sendBtn) { + sendBtn.disabled = true; + sendBtn.classList.add("opacity-50"); + } + + const token = typeof API_TOKEN !== 'undefined' && API_TOKEN ? API_TOKEN : localStorage.getItem("scud_api_auth_token"); + const isGuest = typeof IS_GUEST !== 'undefined' ? IS_GUEST : (localStorage.getItem("scud_is_guest") === "true"); + + const endpoint = isGuest ? "/api/v1/chat/guest" : "/api/v1/chat"; + + const formData = new FormData(); + formData.append("session_id", "web_session_main"); + formData.append("message", text || "Проанализируй прикрепленный файл"); + + if (selectedFile instanceof File) { + formData.append("file", selectedFile, selectedFile.name); + } + + const headers = {}; + if (!isGuest && token) { + headers["Authorization"] = "Bearer " + token; + } + + try { + const res = await fetch(endpoint, { + method: "POST", + headers: headers, + body: formData + }); + + if (res.status === 401 && !isGuest) { + if (typeof logout === 'function') logout(); + return; + } + + const data = await res.json(); + const assistantTitle = isGuest ? "Локальная нейросеть (Гость)" : "ИИ-Ассистент SCUD Orion AI"; + const replyText = data.reply || "Пустой ответ от нейросети"; + + let actionButtonsHtml = ""; + const actionData = data.action_type || data.action; + + if (actionData && actionData.buttons && actionData.buttons.length > 0) { + const buttonsMarkup = actionData.buttons.map(btn => { + let btnClasses = "bg-slate-100 hover:bg-slate-200 active:bg-slate-300 text-slate-700 border border-slate-300"; + let iconMarkup = ''; + + const labelLower = (btn.label || "").toLowerCase(); + const isPrimary = btn.style === "primary" || labelLower.includes("подтверд") || labelLower.startsWith("да"); + const isDanger = btn.style === "danger" || labelLower.includes("отмен") || labelLower.startsWith("нет") || labelLower.includes("законч") || labelLower.includes("заверш"); + + if (isPrimary) { + btnClasses = "bg-emerald-600 hover:bg-emerald-700 active:bg-emerald-800 text-white shadow-sm"; + iconMarkup = ''; + } else if (isDanger) { + btnClasses = "bg-rose-50 hover:bg-rose-100 active:bg-rose-200 text-rose-700 border border-rose-300"; + iconMarkup = ''; + } + + return ` + + `; + }).join(""); + + actionButtonsHtml = ` +
+ ${buttonsMarkup} +
+ `; + + // Если выведены кнопки подтверждения превью — блокируем ввод с клавиатуры + if (actionData.type === "PROMPT_PREVIEW") { + setInputLocked(true); + } else { + setInputLocked(false); + } + } else { + setInputLocked(false); + } + + let interactiveWidgetHtml = ""; + if (actionData && actionData.type === "TASK_INTERACTIVE_CARD" && Array.isArray(actionData.tasks)) { + interactiveWidgetHtml = renderInteractiveTaskCard(actionData.tasks); + } + + const botMsgHtml = ` +
+

+ ${assistantTitle} +

+

${escapeHtml(replyText)}

+ ${interactiveWidgetHtml} + ${actionButtonsHtml} +
+ `; + chatWindow.insertAdjacentHTML("beforeend", botMsgHtml); + chatWindow.scrollTop = chatWindow.scrollHeight; + + clearAttachedFile(); + + if (!isGuest && typeof loadTasks === 'function') { + loadTasks(); + } + + } catch (err) { + console.error("[Chat Error]", err); + const errorHtml = ` +
+ Ошибка связи с сервером. +
+ `; + chatWindow.insertAdjacentHTML("beforeend", errorHtml); + chatWindow.scrollTop = chatWindow.scrollHeight; + setInputLocked(false); + } finally { + if (sendBtn && !document.getElementById("user-input")?.disabled) { + sendBtn.disabled = false; + sendBtn.classList.remove("opacity-50"); + } + } +} + +function escapeHtml(text) { + if (!text) return ""; + return text + .replace(/&/g, "&") + .replace(//g, ">") + .replace(/"/g, """) + .replace(/'/g, "'"); +} + +document.addEventListener("DOMContentLoaded", () => { + const input = document.getElementById("user-input"); + const dropZone = document.getElementById("chat-window")?.parentElement; + const dropOverlay = document.getElementById("drop-overlay"); + + if (input) { + let historyIndex = -1; + let localHistory = JSON.parse(localStorage.getItem("scud_chat_input_history") || "[]"); + + input.addEventListener("keydown", (e) => { + if (e.key === "Enter" && !e.shiftKey) { + e.preventDefault(); + if (input.disabled) return; + const text = input.value.trim(); + if (text) { + if (localHistory.length === 0 || localHistory[0] !== text) { + localHistory.unshift(text); + if (localHistory.length > 50) localHistory.pop(); + localStorage.setItem("scud_chat_input_history", JSON.stringify(localHistory)); + } + historyIndex = -1; + } + sendMessage(e); + updateInputHeight(input); + return; + } + + if (e.key === "ArrowUp") { + const textBeforeCursor = input.value.substring(0, input.selectionStart); + const isFirstLine = !textBeforeCursor.includes("\n"); + + if (isFirstLine && input.selectionStart === 0 && localHistory.length > 0) { + if (historyIndex < localHistory.length - 1) { + e.preventDefault(); + if (historyIndex === -1) { + input.dataset.draft = input.value; + } + historyIndex++; + input.value = localHistory[historyIndex]; + updateInputHeight(input); + input.setSelectionRange(input.value.length, input.value.length); + } + } + } + + if (e.key === "ArrowDown") { + const textAfterCursor = input.value.substring(input.selectionEnd); + const isLastLine = !textAfterCursor.includes("\n"); + + if (isLastLine && input.selectionEnd === input.value.length && historyIndex >= 0) { + e.preventDefault(); + if (historyIndex > 0) { + historyIndex--; + input.value = localHistory[historyIndex]; + } else { + historyIndex = -1; + input.value = input.dataset.draft || ""; + } + updateInputHeight(input); + input.setSelectionRange(input.value.length, input.value.length); + } + } + }); + } + + if (dropZone && dropOverlay) { + ["dragenter", "dragover", "dragleave", "drop"].forEach(eventName => { + dropZone.addEventListener(eventName, (e) => { + e.preventDefault(); + e.stopPropagation(); + }, false); + }); + + ["dragenter", "dragover"].forEach(eventName => { + dropZone.addEventListener(eventName, () => { + dropOverlay.classList.remove("hidden"); + dropOverlay.classList.add("flex"); + }, false); + }); + + ["dragleave", "drop"].forEach(eventName => { + dropZone.addEventListener(eventName, (e) => { + if (eventName === "drop" || e.target === dropZone || !dropZone.contains(e.relatedTarget)) { + dropOverlay.classList.add("hidden"); + dropOverlay.classList.remove("flex"); + } + }, false); + }); + + dropZone.addEventListener("drop", (e) => { + const dt = e.dataTransfer; + const files = dt.files; + + if (files && files.length > 0) { + const file = files[0]; + handleFileSelect({ target: { files: [file] } }); + + const fileInput = document.getElementById("file-input"); + if (fileInput) { + const dataTransfer = new DataTransfer(); + dataTransfer.items.add(file); + fileInput.files = dataTransfer.files; + } + } + }, false); + } +}); +``` + +## File: `./modules/web_api/static/js/tasks.js` +```js +/** +=============================================================================== +FILE: modules/web_api/static/js/tasks.js +ROLE: Управление боковой панелью задач (Drawer), фильтрация и рендеринг карточек. + +AI-CONTEXT-ANCHORS: + - ANCHOR[DRAWER_TOGGLE]: Открытие и закрытие выезжающей панели. + - ANCHOR[TASKS_FILTER]: Фильтрация списка (ALL, IN_PROGRESS, BACKLOG, COMPLETED). + - ANCHOR[TASKS_LOAD_FETCH]: Асинхронная загрузка задач через /api/v1/tasks. + - ANCHOR[TASKS_RENDER_DOM]: Генерация HTML-карточек в боковом меню. +=============================================================================== +*/ + +let currentFilter = 'ALL'; +let allTasks = []; + +// --- [SECTION 1: DRAWER TOGGLE] --- # ANCHOR[DRAWER_TOGGLE] +function toggleDrawer() { + if (typeof IS_GUEST !== 'undefined' && IS_GUEST) return; + const drawer = document.getElementById("task-drawer"); + const backdrop = document.getElementById("drawer-backdrop"); + if (!drawer) return; + + const isHidden = drawer.classList.contains("translate-x-full"); + if (isHidden) { + drawer.classList.remove("translate-x-full"); + if (backdrop) backdrop.classList.remove("hidden"); + loadTasks(); + } else { + drawer.classList.add("translate-x-full"); + if (backdrop) backdrop.classList.add("hidden"); + } +} + +// --- [SECTION 2: FILTER CONTROL] --- # ANCHOR[TASKS_FILTER] +function setFilter(status) { + currentFilter = status; + ["ALL", "IN_PROGRESS", "BACKLOG", "COMPLETED"].forEach(f => { + const btn = document.getElementById(`filter-${f}`); + if (btn) { + btn.className = (f === status) + ? "px-3 py-1.5 rounded-t-lg border-b-2 border-indigo-600 text-indigo-600 font-bold whitespace-nowrap" + : "px-3 py-1.5 rounded-t-lg border-b-2 border-transparent whitespace-nowrap"; + } + }); + renderTasks(); +} + +// --- [SECTION 3: ASYNC DATA FETCH] --- # ANCHOR[TASKS_LOAD_FETCH] +async function loadTasks() { + const badge = document.getElementById("task-count-badge"); + const container = document.getElementById("tasks-container"); + + const token = typeof API_TOKEN !== 'undefined' && API_TOKEN ? API_TOKEN : localStorage.getItem("scud_api_auth_token"); + const isGuest = typeof IS_GUEST !== 'undefined' ? IS_GUEST : (localStorage.getItem("scud_is_guest") === "true"); + + if (isGuest || !token) { + if (badge) badge.innerText = "0"; + return; + } + + try { + const res = await fetch("/api/v1/tasks", { + headers: { + "Authorization": "Bearer " + token, + "Content-Type": "application/json" + } + }); + + if (res.status === 401) { + if (typeof logout === 'function') logout(); + return; + } + + if (!res.ok) { + throw new Error(`HTTP error! status: ${res.status}`); + } + + const data = await res.json(); + + if (Array.isArray(data)) { + allTasks = data; + } else if (data && Array.isArray(data.tasks)) { + allTasks = data.tasks; + } else if (data && typeof data === 'object') { + allTasks = Object.values(data).find(val => Array.isArray(val)) || []; + } else { + allTasks = []; + } + + if (badge) { + badge.innerText = allTasks.length.toString(); + } + + renderTasks(); + + } catch (err) { + console.error("[Tasks Error]", err); + if (badge) badge.innerText = "0"; + if (container) { + container.innerHTML = `
Ошибка обработки списка задач
`; + } + } +} + +// --- [SECTION 4: DOM RENDERING] --- # ANCHOR[TASKS_RENDER_DOM] +function renderTasks() { + const container = document.getElementById("tasks-container"); + if (!container) return; + + if (!Array.isArray(allTasks)) { + allTasks = []; + } + + const filtered = allTasks.filter(t => currentFilter === "ALL" || t.status === currentFilter); + + if (filtered.length === 0) { + container.innerHTML = `
Нет задач с выбранным фильтром
`; + return; + } + + container.innerHTML = filtered.map(t => { + let statusBadge = "bg-slate-100 text-slate-600 border-slate-200"; + let statusLabel = "В планах"; + let cardBg = "bg-white"; + + if (t.status === "COMPLETED") { + statusBadge = "bg-emerald-50 text-emerald-700 border-emerald-300 font-semibold"; + statusLabel = "Завершено"; + cardBg = "bg-emerald-50/20"; + } else if (t.status === "IN_PROGRESS") { + statusBadge = "bg-amber-50 text-amber-700 border-amber-300 font-bold"; + statusLabel = "В работе"; + cardBg = "bg-amber-50/20 border-amber-200"; + } + + let priorityBadge = "text-slate-500 bg-slate-100 border-slate-200"; + if (t.priority === "HIGH") priorityBadge = "text-red-700 bg-red-50 border-red-200 font-bold"; + + let dueDateHtml = t.due_date ? ` +
+ + Срок: ${t.due_date} +
` : ""; + + return ` +
+
+
+ ${t.task_id || t.id || 'TASK'} + ${t.priority || 'MEDIUM'} +
+ ${statusLabel} +
+

${t.title || t.description || ''}

+
+ + ${t.module || 'General'} +
+ ${dueDateHtml} +
+ `; + }).join(""); +} +``` + +## File: `./modules/web_api/static/css/styles.css` +```css +/* Плавное исчезновение текста сверху при скролле */ +.fade-scroll-top { + mask-image: linear-gradient(to bottom, transparent 0%, black 14px); + -webkit-mask-image: linear-gradient(to bottom, transparent 0%, black 14px); +} + +/* Скрытие стандартного скроллбара */ +.no-scrollbar::-webkit-scrollbar { + display: none; +} +.no-scrollbar { + -ms-overflow-style: none; + scrollbar-width: none; +} + +/* Оптимизация под мобильный viewport (борьба со скачками клавиатуры на iOS/Android) */ +body { + min-height: 100vh; + min-height: -webkit-fill-available; +} + +``` + +## File: `./modules/web_api/routers/admin.py` +```py +""" +=============================================================================== +FILE: modules/web_api/routers/admin.py +ROLE: Администрирование пользователей и прав доступа. +=============================================================================== +""" + +# ANCHOR[ADMIN_ROUTER_IMPORTS] +import logging +from typing import Dict, Any, Optional +from fastapi import APIRouter, Depends, HTTPException +from pydantic import BaseModel + +from .auth import get_current_user, get_db, pwd_context + +router = APIRouter(prefix="/api/v1/admin", tags=["admin"]) + +# ANCHOR[ADMIN_SCHEMAS] +class CreateUserRequest(BaseModel): + username: str + password: str + full_name: Optional[str] = None + is_admin: Optional[bool] = False + +# ANCHOR[ADMIN_ENDPOINTS] +@router.get("/users") +def list_users(current_user: Dict[str, Any] = Depends(get_current_user)): + if not current_user["is_admin"]: + raise HTTPException(status_code=403, detail="Доступ запрещен. Только для администратора.") + + conn = get_db() + cursor = conn.cursor() + cursor.execute("SELECT id, username, full_name, is_admin, created_at FROM users ORDER BY id ASC") + users = [dict(r) for r in cursor.fetchall()] + conn.close() + return users + +@router.post("/users") +def create_user(req: CreateUserRequest, current_user: Dict[str, Any] = Depends(get_current_user)): + if not current_user["is_admin"]: + raise HTTPException(status_code=403, detail="Доступ запрещен. Только для администратора.") + + username = req.username.strip().lower() + if not username or not req.password: + raise HTTPException(status_code=400, detail="Заполните имя пользователя и пароль") + + conn = get_db() + cursor = conn.cursor() + cursor.execute("SELECT id FROM users WHERE username = ?", (username,)) + if cursor.fetchone(): + conn.close() + raise HTTPException(status_code=400, detail="Пользователь с таким именем уже существует") + + pwd_hash = pwd_context.hash(req.password) + full_name = req.full_name.strip() if req.full_name else None + is_admin = 1 if req.is_admin else 0 + + cursor.execute( + "INSERT INTO users (username, password_hash, full_name, is_admin) VALUES (?, ?, ?, ?)", + (username, pwd_hash, full_name, is_admin) + ) + conn.commit() + conn.close() + + logging.info(f"Создан пользователь: {username} (admin={is_admin}) админом {current_user['username']}") + return {"status": "success", "message": f"Пользователь {username} создан"} + +@router.delete("/users/{user_id}") +def delete_user(user_id: int, current_user: Dict[str, Any] = Depends(get_current_user)): + if not current_user["is_admin"]: + raise HTTPException(status_code=403, detail="Доступ запрещен. Только для администратора.") + + if user_id == current_user["id"]: + raise HTTPException(status_code=400, detail="Нельзя удалить самого себя") + + conn = get_db() + cursor = conn.cursor() + cursor.execute("DELETE FROM users WHERE id = ?", (user_id,)) + conn.commit() + conn.close() + + logging.info(f"Удален пользователь ID: {user_id}") + return {"status": "success", "message": "Пользователь удален"} +``` + +## File: `./modules/web_api/routers/auth.py` +```py +""" +=============================================================================== +FILE: modules/web_api/routers/auth.py +ROLE: Аутентификация, валидация JWT-токенов и управление паролями. +=============================================================================== +""" + +# ANCHOR[AUTH_ROUTER_IMPORTS] +import sqlite3 +import logging +from datetime import datetime, timedelta +from typing import Dict, Any, Optional + +import jwt +from passlib.context import CryptContext +from fastapi import APIRouter, Depends, HTTPException, status +from fastapi.security import HTTPBearer, HTTPAuthorizationCredentials +from pydantic import BaseModel + +from llm.db_tools import DB_PATH + +JWT_SECRET = "scud_jwt_secret_key_2026_orion_ai_super_secure" +ALGORITHM = "HS256" + +pwd_context = CryptContext(schemes=["bcrypt"], deprecated="auto") +security = HTTPBearer() + +router = APIRouter(prefix="/api/v1/auth", tags=["auth"]) + +# ANCHOR[AUTH_DB_HELPERS] +def get_db(): + conn = sqlite3.connect(DB_PATH) + conn.row_factory = sqlite3.Row + return conn + +def create_access_token(user_id: int, username: str, is_admin: bool) -> str: + payload = { + "sub": str(user_id), + "username": username, + "is_admin": is_admin, + "exp": datetime.utcnow() + timedelta(days=30) + } + return jwt.encode(payload, JWT_SECRET, algorithm=ALGORITHM) + +def get_current_user(credentials: HTTPAuthorizationCredentials = Depends(security)) -> Dict[str, Any]: + try: + token = credentials.credentials + payload = jwt.decode(token, JWT_SECRET, algorithms=[ALGORITHM]) + user_id = int(payload.get("sub")) + username = payload.get("username") + is_admin = bool(payload.get("is_admin", False)) + return {"id": user_id, "username": username, "is_admin": is_admin} + except Exception as e: + logging.warning(f"Auth error: {e}") + raise HTTPException( + status_code=status.HTTP_401_UNAUTHORIZED, + detail="Недействительный или просроченный токен авторизации", + headers={"WWW-Authenticate": "Bearer"}, + ) + +# ANCHOR[AUTH_SCHEMAS] +class AuthRequest(BaseModel): + username: str + password: str + +class ChangePasswordRequest(BaseModel): + old_password: str + new_password: str + +# ANCHOR[AUTH_ENDPOINTS] +@router.post("/login") +def login(req: AuthRequest): + username = req.username.strip().lower() + logging.info(f"===> Попытка входа для пользователя: {username}") + + conn = get_db() + cursor = conn.cursor() + cursor.execute("SELECT id, username, password_hash, is_admin FROM users WHERE username = ?", (username,)) + user = cursor.fetchone() + conn.close() + + if not user or not pwd_context.verify(req.password, user["password_hash"]): + logging.warning(f"===> Ошибка: Неверный логин или пароль для {username}") + raise HTTPException(status_code=401, detail="Неверное имя пользователя или пароль") + + is_admin = bool(user["is_admin"]) or (user["username"] == "puh") + token = create_access_token(user["id"], user["username"], is_admin) + logging.info(f"===> УСПЕХ: Авторизован пользователь {username}") + + return {"status": "success", "token": token, "username": user["username"], "is_admin": is_admin} + +@router.post("/change-password") +def change_password(req: ChangePasswordRequest, current_user: Dict[str, Any] = Depends(get_current_user)): + if not req.new_password or len(req.new_password) < 4: + raise HTTPException(status_code=400, detail="Новый пароль должен содержать минимум 4 символа") + + conn = get_db() + cursor = conn.cursor() + cursor.execute("SELECT password_hash FROM users WHERE id = ?", (current_user["id"],)) + user = cursor.fetchone() + + if not user or not pwd_context.verify(req.old_password, user["password_hash"]): + conn.close() + raise HTTPException(status_code=400, detail="Неверный старый пароль") + + new_hash = pwd_context.hash(req.new_password) + cursor.execute("UPDATE users SET password_hash = ? WHERE id = ?", (new_hash, current_user["id"])) + conn.commit() + conn.close() + + logging.info(f"Пароль успешно изменен для пользователя ID: {current_user['id']}") + return {"status": "success", "message": "Пароль успешно изменен"} +``` + +## File: `./modules/web_api/routers/chat.py` +```py +""" +=============================================================================== +FILE: modules/web_api/routers/chat.py +ROLE: Маршрутизация диалогов с LLM (авторизованный и гостевой чаты). +=============================================================================== +""" + +# ANCHOR[CHAT_ROUTER_IMPORTS] +from typing import Optional, Dict, Any +from fastapi import APIRouter, Depends, UploadFile, File, Form + +from .auth import get_current_user +from llm.agent import process_chat_message +from llm.file_parser import extract_text_from_file + +router = APIRouter(prefix="/api/v1/chat", tags=["chat"]) + +# ANCHOR[CHAT_ENDPOINTS] +@router.post("") +async def chat_endpoint( + session_id: str = Form("web_session_main"), + message: str = Form(""), + file: Optional[UploadFile] = File(default=None), + current_user: Dict[str, Any] = Depends(get_current_user) +): + """Диалог авторизованного пользователя с агентом.""" + parsed_file = {"text": "", "image_b64": None} + if file and file.filename: + file_bytes = await file.read() + parsed_file = extract_text_from_file(file_bytes, file.filename) + + reply, history, action_type = process_chat_message( + user_id=current_user["id"], + user_message=message, + file_context=parsed_file["text"], + image_b64=parsed_file["image_b64"], + session_id=session_id + ) + return {"reply": reply, "history": history, "action_type": action_type} + +@router.post("/guest") +async def guest_chat_endpoint( + session_id: str = Form("web_session_main"), + message: str = Form(""), + file: Optional[UploadFile] = File(default=None) +): + """Гостевой диалог (user_id=0).""" + parsed_file = {"text": "", "image_b64": None} + if file and file.filename: + file_bytes = await file.read() + parsed_file = extract_text_from_file(file_bytes, file.filename) + + reply, history, action_type = process_chat_message( + user_id=0, + user_message=message, + file_context=parsed_file["text"], + image_b64=parsed_file["image_b64"], + session_id=session_id + ) + return {"reply": reply, "history": history, "action_type": action_type} +``` + +## File: `./modules/web_api/routers/tasks.py` +```py +""" +=============================================================================== +FILE: modules/web_api/routers/tasks.py +ROLE: REST API управления задачами (GET / POST / PATCH / DELETE). +=============================================================================== +""" + +# ANCHOR[TASKS_ROUTER_IMPORTS] +from typing import Dict, Any, Optional +from fastapi import APIRouter, Depends, HTTPException +from pydantic import BaseModel + +from .auth import get_current_user +from llm.db_tools import ( + db_get_tasks, + db_add_task, + db_update_task_status, + db_delete_task +) + +router = APIRouter(prefix="/api/v1/tasks", tags=["tasks"]) + +# ANCHOR[TASKS_SCHEMAS] +class CreateTaskRequest(BaseModel): + title: str + priority: Optional[str] = "MEDIUM" + module: Optional[str] = "general" + due_date: Optional[str] = None + +class UpdateTaskRequest(BaseModel): + status: Optional[str] = "COMPLETED" + due_date: Optional[str] = None + +# ANCHOR[TASKS_ENDPOINTS] +@router.get("") +def get_tasks(user: Dict[str, Any] = Depends(get_current_user)): + """Получить список всех задач текущего авторизованного пользователя.""" + return db_get_tasks(user_id=user["id"]) + +@router.post("") +def create_task_endpoint(req: CreateTaskRequest, user: Dict[str, Any] = Depends(get_current_user)): + """Прямое создание задачи.""" + res = db_add_task( + user_id=user["id"], + module=req.module or "general", + title=req.title.strip(), + priority=req.priority or "MEDIUM", + due_date=req.due_date + ) + return res + +@router.patch("/{task_id}") +def update_task_endpoint(task_id: str, req: UpdateTaskRequest, user: Dict[str, Any] = Depends(get_current_user)): + """Прямое обновление статуса и срока задачи.""" + res = db_update_task_status( + user_id=user["id"], + task_id=task_id, + status=req.status or "COMPLETED", + due_date=req.due_date + ) + if "error" in res: + raise HTTPException(status_code=404, detail=res["error"]) + return res + +@router.delete("/{task_id}") +def delete_task_endpoint(task_id: str, user: Dict[str, Any] = Depends(get_current_user)): + """Прямое удаление задачи.""" + res = db_delete_task(user_id=user["id"], task_id=task_id) + if "error" in res: + raise HTTPException(status_code=404, detail=res["error"]) + return res +``` + ## File: `./modules/web_api/llm/__init__.py` ```py @@ -4242,25 +6264,18 @@ if __name__ == "__main__": =============================================================================== FILE: modules/web_api/llm/agent.py PROJECT: SCUD Orion AI (Unified Architecture) -MODULE: web_api / llm (Core Agent & Function Calling Dispatcher) -ROLE: Главный оркестратор взаимодействия с Ollama LLM (Qwen 2.5), разбор вызовов - инструментов (Function Calling), интеграция с декларативным реестром - действий SQLite (tool_action_registry), детерминированный Fast-Path - для подтверждений, отслеживание Topic Drift и Context Guard с кнопками. +MODULE: web_api / llm (Core Agent Coordinator) +ROLE: Оркестратор диалога и диспетчер Function Calling. =============================================================================== """ # --- [SECTION 1: SYSTEM PATHS & IMPORTS] --- # ANCHOR[SYS_IMPORTS] -import os import sys import json -import urllib.request -import urllib.error import logging -import re from typing import List, Dict, Any, Tuple, Optional -# Импорт фасада базы данных +from .db.connection import get_db_connection from .db_tools import ( db_get_active_system_prompt, db_add_system_prompt, @@ -4273,7 +6288,6 @@ from .db_tools import ( db_set_session_state, db_get_session_state, db_clear_session_state, - db_increment_session_idle, db_get_snapshots, db_delete_snapshots, db_get_current_server_time, @@ -4287,8 +6301,11 @@ from .db_tools import ( ) from .schemas import TOOLS_SCHEMA -from .core.calendar_utils import get_dynamic_calendar_context, parse_relative_date_ru -from .core.tool_injector import clean_raw_tool_tags, clean_output, inject_tools_if_needed +from .core.calendar_utils import get_dynamic_calendar_context +from .core.tool_injector import clean_raw_tool_tags, clean_output +from .core.ollama_client import call_ollama_chat +from .core.fast_path import handle_fast_path_intercept +from .core.prompt_merger import build_prompt_preview_merge # --- [SECTION 2: LOGGING CONFIGURATION] --- # ANCHOR[LOGGING_CONFIG] logger = logging.getLogger("SCUD_AGENT") @@ -4301,10 +6318,6 @@ if not logger.handlers: handler.setFormatter(formatter) logger.addHandler(handler) -OLLAMA_URL = "http://192.168.11.3:11434/api/chat" -TEXT_MODEL = "qwen2.5:14b" -VISION_MODEL = "qwen2.5vl:7b-q8_0" - # --- [SECTION 3: MAIN CHAT PROCESSING PIPELINE] --- # ANCHOR[CHAT_PROCESSOR] def process_chat_message( @@ -4316,397 +6329,210 @@ def process_chat_message( session_id: str = "web_session_main" ) -> Tuple[str, List[Dict[str, Any]], Optional[Dict[str, Any]]]: """ - Главный конвейер обработки входящего сообщения: - 1. Fast-Path перехват подтверждений/отмен при активном session_state. - 2. Перехват завершения работы ('нет, закончить настройку') с автоочисткой эфемерных сообщений. - 3. Формирование системного контекста с учетом активного действия (черновика). - 4. Выполнение вызванного Tool и опрос Data-Driven реестра действий. - 5. Проверка счетчика отвлечений (idle_turns) и Context Guard на 3-м шаге. - 6. Возврат кортежа: (reply_text, chat_history, action_metadata). + Главный конвейер диалога: + 1. Проверка Fast-Path кнопок (подтверждение, отмена, завершение с очисткой). + 2. Формирование актуального системного контекста и вызов Ollama LLM. + 3. Выполнение инструментов и фиксация в БД. """ logger.info(f"Получено сообщение от user_id={user_id}, session_id={session_id}: {user_message}") - # 3.1. Обогащение текста вложением (при наличии) - full_user_content = user_message - if file_context: - full_user_content = f"{user_message}\n\n[СОДЕРЖИМОЕ ПРИКРЕПЛЕННОГО ФАЙЛА]:\n{file_context}" - + full_user_content = f"{user_message}\n\n[СОДЕРЖИМОЕ ПРИКРЕПЛЕННОГО ФАЙЛА]:\n{file_context}" if file_context else user_message session_state = db_get_session_state(session_id) - user_msg_clean = user_message.lower().strip(" .!?:;") - # --- [FAST-PATH 1: ПЕРЕХВАТ ЗАВЕРШЕНИЯ НАСТРОЙКИ С ОЧИСТКОЙ ЭФЕМЕРНОЙ ПАМЯТИ] --- - if user_msg_clean in ["нет, спасибо", "нет, закончить настройку", "закончить настройку", "завершить", "нет"]: - db_clear_session_state(session_id) - deleted_count = db_purge_ephemeral_messages(session_id) - logger.info(f"Завершена работа с инструментом. Удалено эфемерных сообщений: {deleted_count}") - - reply_text = "Хорошо. Настройка завершена, контекст диалога чист. Чем я могу помочь дальше?" - db_save_chat_message(session_id, "assistant", reply_text, is_ephemeral=0) - return reply_text, db_get_chat_history(session_id), None + # 1. Fast-Path перехват + fast_path_res = handle_fast_path_intercept(session_id, user_message, full_user_content, session_state) + if fast_path_res: + return fast_path_res - # --- [FAST-PATH 2: ПЕРЕХВАТ ПОДТВЕРЖДЕНИЯ / ОТМЕНЫ ПРЕВЬЮ ПРОМПТА] --- - if session_state and session_state.get("state_type") == "PROMPT_PREVIEW": - draft_text = "" - if session_state.get("data_json") and isinstance(session_state["data_json"], dict): - draft_text = session_state["data_json"].get("draft_text", "") - else: - draft_text = session_state.get("pending_data", "") - - if user_msg_clean in ["подтверждаю", "подтвердить", "да", "сохранить", "применить", "ок", "хорошо"]: - db_add_system_prompt("main_agent", draft_text) - db_clear_session_state(session_id) - - action_cfg = db_get_tool_action("db_confirm_prompt_preview") - reply_text = action_cfg["success_template"] if action_cfg else "Системный промпт успешно сохранен и применен в базе данных." - if action_cfg and action_cfg.get("follow_up_question"): - reply_text += f"\n\n{action_cfg['follow_up_question']}" - - reply_text = reply_text.replace("✅", "").replace("❌", "").replace("**", "").replace("*", "").strip() - - db_save_chat_message(session_id, "user", full_user_content, is_ephemeral=1) - db_save_chat_message(session_id, "assistant", reply_text, is_ephemeral=1) - return reply_text, db_get_chat_history(session_id), { - "type": action_cfg.get("action_type") if action_cfg else "FOLLOW_UP_ACTION", - "buttons": action_cfg.get("buttons", []) if action_cfg else [] - } - - elif user_msg_clean in ["отмена", "отменить", "отклонить", "назад", "стоп"]: - db_clear_session_state(session_id) - - action_cfg = db_get_tool_action("db_cancel_prompt_preview") - reply_text = action_cfg["success_template"] if action_cfg else "Изменения системного промпта отменены." - if action_cfg and action_cfg.get("follow_up_question"): - reply_text += f"\n\n{action_cfg['follow_up_question']}" - - reply_text = reply_text.replace("✅", "").replace("❌", "").replace("**", "").replace("*", "").strip() - - db_save_chat_message(session_id, "user", full_user_content, is_ephemeral=1) - db_save_chat_message(session_id, "assistant", reply_text, is_ephemeral=1) - return reply_text, db_get_chat_history(session_id), { - "type": action_cfg.get("action_type") if action_cfg else "FOLLOW_UP_ACTION", - "buttons": action_cfg.get("buttons", []) if action_cfg else [] - } - - # 3.2. Сохраняем входящее сообщение в историю диалога + # 2. Сохранение пользовательского сообщения is_user_ephemeral = 1 if session_state else 0 db_save_chat_message(session_id, "user", full_user_content, is_ephemeral=is_user_ephemeral) - - # 3.3. Извлекаем полную актуальную историю для передачи в LLM db_history = db_get_chat_history(session_id, limit=20) + # 3. Сборка системного промпта dynamic_prompt_text = db_get_active_system_prompt() calendar_context = get_dynamic_calendar_context() user_info = f"Пользователь ID={user_id}" if user_id != 0 else "Гость" - # Информируем модель о наличии незавершенного действия в сессии active_state_context = "" - if session_state and session_state.get("state_type") == "PROMPT_PREVIEW": + if session_state: + state_type = session_state.get("state_type", "GENERAL") active_state_context = ( - "\n[АКТИВНОЕ ДЕЙСТВИЕ В СЕССИИ]\n" - "В данный момент оператор рассматривает подготовленный черновик системного промпта.\n" - "- Если оператор просит продолжить правки или уточняет детали по черновику — продолжай работу с ним.\n" - "- Если оператор переключился на другую тему или вызвал другой инструмент — выполни его команду штатно.\n" + f"\n[АКТИВНЫЙ РЕЖИМ СЕССИИ: {state_type}]\n" + f"Сейчас активен сценарий: {state_type}.\n" + f"- При запросе на изменение данных вызывай соответствующий инструмент.\n" ) system_prompt_content = ( f"Ты — интеллектуальный ассистент SCUD Orion AI. " f"Ты управляешь задачами, аналитикой СКУД и системными настройками с помощью инструментов (tools).\n\n" + f"СТРОГИЕ ПРАВИЛА СТИЛЯ:\n" + f"- Запрещено использовать панибратские или шутливые обращения (например, 'Почемучка'). Отвечай профессионально и строго по существу.\n\n" f"[ОКРУЖЕНИЕ]\n" f"- Пользователь: {user_info}\n" f"- {calendar_context}\n" f"{active_state_context}\n" f"[ПРАВИЛА ИСПОЛЬЗОВАНИЯ ИНСТРУМЕНТОВ]\n" - f"1. Для любых изменений системного промпта (добавить, удалить, изменить пункт) ВСЕГДА вызывай функцию db_preview_prompt_merge(prompt_text=...).\n" + f"1. Для любых изменений системного промпта ВСЕГДА вызывай db_preview_prompt_merge(prompt_text=...).\n" f"2. Для просмотра системного промпта ВСЕГДА вызывай db_get_system_prompt().\n" f"3. Для просмотра задач ВСЕГДА вызывай db_get_tasks().\n" - f"4. Никогда не симулируй выполнение функций в виде обычного текста. Если требуется действие — сразу вызывай соответствующий инструмент.\n\n" - f"[ПРИМЕРЫ ВЫЗОВА ИНСТРУМЕНТОВ]:\n" - f"- Пользователь: 'добавь пункт 3.4. Работать от сюда и до заката.' -> Вызов: db_preview_prompt_merge(prompt_text='3.4. Работать от сюда и до заката.')\n" - f"- Пользователь: 'удали пункт 3.4' -> Вызов: db_preview_prompt_merge(prompt_text='3.4')\n" - f"- Пользователь: 'покажи системный промпт' -> Вызов: db_get_system_prompt()\n" - f"- Пользователь: 'покажи мои задачи' -> Вызов: db_get_tasks()\n\n" + f"4. Не симулируй выполнение функций текстом — сразу вызывай инструмент.\n\n" f"[ТЕКУЩИЙ АКТИВНЫЙ СИСТЕМНЫЙ ПРОМПТ]:\n{dynamic_prompt_text}" ) - llm_options = { - "num_predict": 8192, - "num_ctx": 8192, - "temperature": 0.1, - "repeat_penalty": 1.1, - "presence_penalty": 0.5, - "top_p": 0.9 - } - user_msg_object = {"role": "user", "content": full_user_content} - # --- [SECTION 4: ROUTING & OLLAMA PAYLOAD] --- # ANCHOR[PAYLOAD_BUILD] - if image_b64: - user_msg_object["images"] = [image_b64] - messages = [ - {"role": "system", "content": "Ты — строгий модуль OCR. Перепиши весь текст с изображения буква в букву без отсебятины."}, - user_msg_object - ] - payload = {"model": VISION_MODEL, "messages": messages, "stream": False, "options": llm_options} - else: - clean_db_history = [dict(m) for m in db_history] - for m in clean_db_history: - m.pop("images", None) - messages = [{"role": "system", "content": system_prompt_content}] + clean_db_history + [user_msg_object] - payload = {"model": TEXT_MODEL, "messages": messages, "tools": TOOLS_SCHEMA, "stream": False, "options": llm_options} - - # --- [SECTION 5: EXECUTION & TOOL ROUTING] --- # ANCHOR[TOOL_ROUTER] + # --- [SECTION 4: OLLAMA INFERENCE & DISPATCH] --- # ANCHOR[TOOL_ROUTER] try: - req = urllib.request.Request( - OLLAMA_URL, - data=json.dumps(payload).encode("utf-8"), - headers={"Content-Type": "application/json"} - ) - with urllib.request.urlopen(req) as response: - res_data = json.loads(response.read().decode("utf-8")) - msg = res_data.get("message", {}) - tool_calls = msg.get("tool_calls", []) - raw_text_content = msg.get("content", "") + if image_b64: + user_msg_object["images"] = [image_b64] + messages = [ + {"role": "system", "content": "Ты — строгий модуль OCR. Перепиши весь текст с изображения буква в букву."}, + user_msg_object + ] + msg = call_ollama_chat(messages, is_vision=True) + else: + clean_db_history = [dict(m) for m in db_history] + for m in clean_db_history: + m.pop("images", None) + messages = [{"role": "system", "content": system_prompt_content}] + clean_db_history + [user_msg_object] + msg = call_ollama_chat(messages, tools=TOOLS_SCHEMA, is_vision=False) - #tool_calls = inject_tools_if_needed(user_message, raw_text_content, tool_calls) + tool_calls = msg.get("tool_calls", []) - if tool_calls: - logger.info(f"Ответ от Ollama получен. Tool calls: True (кол-во: {len(tool_calls)})") - messages.append(msg) - - for tool in tool_calls: - fn_name = tool["function"]["name"] - fn_args = tool["function"].get("arguments", {}) - logger.info(f"Вызов функции (Tool): {fn_name} с аргументами: {fn_args}") - tool_result_content = "" + if tool_calls: + logger.info(f"Ответ от Ollama получен. Tool calls: True (кол-во: {len(tool_calls)})") + messages.append(msg) + + tool_names_called = [] - action_cfg = db_get_tool_action(fn_name) - - if fn_name == "db_confirm_prompt_preview": - if session_state and session_state.get("state_type") == "PROMPT_PREVIEW": - draft_text = "" - if session_state.get("data_json") and isinstance(session_state["data_json"], dict): - draft_text = session_state["data_json"].get("draft_text", "") - else: - draft_text = session_state.get("pending_data", "") + for tool in tool_calls: + fn_name = tool["function"]["name"] + fn_args = tool["function"].get("arguments", {}) + tool_names_called.append(fn_name) + logger.info(f"Вызов функции (Tool): {fn_name} с аргументами: {fn_args}") + tool_result_content = "" + action_cfg = db_get_tool_action(fn_name) - db_add_system_prompt("main_agent", draft_text) - db_clear_session_state(session_id) - - if action_cfg and action_cfg.get("bypass_llm"): - reply_text = action_cfg["success_template"] - if action_cfg.get("follow_up_question"): - reply_text += f"\n\n{action_cfg['follow_up_question']}" - - reply_text = reply_text.replace("✅", "").replace("❌", "").replace("**", "").replace("*", "").strip() - is_eph = action_cfg.get("is_ephemeral", 1) - db_save_chat_message(session_id, "assistant", reply_text, is_ephemeral=is_eph) - return reply_text, db_get_chat_history(session_id), { - "type": action_cfg.get("action_type"), - "buttons": action_cfg.get("buttons", []) - } - tool_result_content = json.dumps({"status": "success"}, ensure_ascii=False) - else: - err_reply = "Нет активного превью для подтверждения." - db_save_chat_message(session_id, "assistant", err_reply, is_ephemeral=1) - return err_reply, db_get_chat_history(session_id), None + # ANCHOR[TASK_INTERACTIVE_DISPATCH] + if fn_name == "db_get_tasks": + raw_tasks = db_get_tasks(user_id) + reply_text = "Вот интерактивный список ваших текущих задач:" + db_save_chat_message(session_id, "assistant", reply_text, is_ephemeral=1) + return reply_text, db_get_chat_history(session_id), { + "type": "TASK_INTERACTIVE_CARD", + "tasks": raw_tasks + } - elif fn_name == "db_cancel_prompt_preview": - db_clear_session_state(session_id) - if action_cfg and action_cfg.get("bypass_llm"): - reply_text = action_cfg["success_template"] - if action_cfg.get("follow_up_question"): - reply_text += f"\n\n{action_cfg['follow_up_question']}" - - reply_text = reply_text.replace("✅", "").replace("❌", "").replace("**", "").replace("*", "").strip() - is_eph = action_cfg.get("is_ephemeral", 1) - db_save_chat_message(session_id, "assistant", reply_text, is_ephemeral=is_eph) - return reply_text, db_get_chat_history(session_id), { - "type": action_cfg.get("action_type"), - "buttons": action_cfg.get("buttons", []) - } - tool_result_content = json.dumps({"status": "cancelled"}, ensure_ascii=False) + elif fn_name == "db_preview_prompt_merge": + proposed_text = fn_args.get("prompt_text") or fn_args.get("proposed_prompt") or "" + if isinstance(fn_args, str): + proposed_text = fn_args - elif fn_name == "db_get_snapshots": - snapshots_res = db_get_snapshots(session_id=session_id, date_str=fn_args.get("date_str"), original_user_message=user_message) - tool_result_content = json.dumps(snapshots_res, ensure_ascii=False) + merged_prompt = build_prompt_preview_merge(db_get_active_system_prompt(), user_message, proposed_text) + db_set_session_state(session_id, "PROMPT_PREVIEW", {"draft_text": merged_prompt}) - elif fn_name == "db_get_current_server_time": - tool_result_content = json.dumps(db_get_current_server_time(), ensure_ascii=False) + with get_db_connection() as conn_fix: + conn_fix.cursor().execute(""" + UPDATE chat_messages + SET is_ephemeral = 1 + WHERE id = (SELECT MAX(id) FROM chat_messages WHERE session_id = ? AND role = 'user') + """, (session_id,)) + conn_fix.commit() - elif fn_name == "db_get_tasks": - tool_result_content = json.dumps(db_get_tasks(user_id), ensure_ascii=False) - - elif fn_name in ["db_get_system_prompt", "db_get_system_prompts"]: - tool_result_content = json.dumps({"system_prompt": db_get_active_system_prompt()}, ensure_ascii=False) - - elif fn_name == "db_get_stats": - tool_result_content = json.dumps(db_get_stats(), ensure_ascii=False) - - elif fn_name == "db_get_anomalies": - tool_result_content = json.dumps(db_get_anomalies(limit=fn_args.get("limit", 100), date_str=fn_args.get("date_str")), ensure_ascii=False) - - elif fn_name == "db_get_session_states": - tool_result_content = json.dumps(db_get_session_states(), ensure_ascii=False) - - elif fn_name == "db_delete_snapshots": - res = db_delete_snapshots(snapshot_id=fn_args.get("snapshot_id"), day_str=fn_args.get("day_str")) - if action_cfg and action_cfg.get("bypass_llm"): - reply_text = action_cfg["success_template"] - if action_cfg.get("follow_up_question"): - reply_text += f"\n\n{action_cfg['follow_up_question']}" - reply_text = reply_text.replace("✅", "").replace("❌", "").replace("**", "").replace("*", "").strip() - is_eph = action_cfg.get("is_ephemeral", 1) - db_save_chat_message(session_id, "assistant", reply_text, is_ephemeral=is_eph) - return reply_text, db_get_chat_history(session_id), { - "type": action_cfg.get("action_type"), - "buttons": action_cfg.get("buttons", []) - } - tool_result_content = json.dumps(res, ensure_ascii=False) - - elif fn_name == "db_get_reference": - tool_result_content = json.dumps(db_get_reference(category=fn_args.get("category")), ensure_ascii=False) - - # --- [SECTION 6: PROMPT MERGE & PREVIEW ENGINE] --- # ANCHOR[PROMPT_MERGE_LOGIC] - elif fn_name == "db_preview_prompt_merge": - proposed_text = fn_args.get("prompt_text") or fn_args.get("proposed_prompt") or "" - if isinstance(fn_args, str): - proposed_text = fn_args - - current_prompt = db_get_active_system_prompt() - user_msg_lower = user_message.lower() - - # 1. Обработка удаления пункта - if any(w in user_msg_lower for w in ["удали", "стереть", "убрать", "вырежи", "удалить"]): - target_num_match = re.search(r'\d+(\.\d+)*', user_message) - target_num = target_num_match.group(0) if target_num_match else "" - - lines = current_prompt.splitlines() - if target_num: - new_lines = [line for line in lines if not line.strip().startswith(f"{target_num}.")] - else: - new_lines = lines - proposed_text = "\n".join(new_lines) - - # 2. Обработка добавления / изменения пункта - elif proposed_text: - if len(proposed_text) < 500: - clean_item = proposed_text.strip() - for prefix in ["добавь пункт", "добавить пункт", "вставь пункт", "добавь"]: - if prefix in clean_item.lower(): - clean_item = re.sub(prefix, "", clean_item, flags=re.IGNORECASE).strip(" .:") - - lines = current_prompt.splitlines() - new_lines = [] - inserted = False - for line in lines: - new_lines.append(line) - if "3.3." in line and not inserted: - item_str = clean_item if re.match(r'^\d+\.\d+\.', clean_item) else f"3.4. {clean_item}" - new_lines.append(f" {item_str}") - inserted = True - if not inserted: - new_lines.append(f" {clean_item}") - proposed_text = "\n".join(new_lines) - - # Сохраняем черновик в структурированном виде с idle_turns = 0 - state_payload = { - "draft_text": proposed_text, - "idle_turns": 0 - } - db_set_session_state(session_id, "PROMPT_PREVIEW", state_payload) - - preview_reply = ( - f"Ваше изменение успешно предпросмотрено. Полный обновленный системный промпт теперь выглядит так:\n\n" - f"{proposed_text}\n\n" - f"Для применения изменений подтвердите действие («подтверждаю») или отмените («отмена»)." - ) - db_save_chat_message(session_id, "assistant", preview_reply, is_ephemeral=1) - return clean_raw_tool_tags(preview_reply), db_get_chat_history(session_id), { - "type": "PROMPT_PREVIEW", - "buttons": [ - {"label": "Подтвердить", "value": "подтверждаю", "style": "primary"}, - {"label": "Отменить", "value": "отмена", "style": "danger"} - ] - } - - elif fn_name == "db_get_rules": - tool_result_content = json.dumps(db_get_rules(), ensure_ascii=False) - - elif fn_name == "db_add_task": - res = db_add_task(user_id=user_id, module=fn_args.get("module", "general"), title=fn_args.get("title"), priority=fn_args.get("priority", "MEDIUM"), due_date=fn_args.get("due_date")) - tool_result_content = json.dumps(res, ensure_ascii=False) - - elif fn_name == "db_update_task_status": - res = db_update_task_status(user_id=user_id, task_id=str(fn_args.get("task_id")), status=fn_args.get("status", "COMPLETED"), due_date=fn_args.get("due_date")) - tool_result_content = json.dumps(res, ensure_ascii=False) - - elif fn_name == "db_delete_task": - res = db_delete_task(user_id=user_id, task_id=str(fn_args.get("task_id", "")).upper()) - if action_cfg and action_cfg.get("bypass_llm"): - reply_text = action_cfg["success_template"] - if action_cfg.get("follow_up_question"): - reply_text += f"\n\n{action_cfg['follow_up_question']}" - reply_text = reply_text.replace("✅", "").replace("❌", "").replace("**", "").replace("*", "").strip() - is_eph = action_cfg.get("is_ephemeral", 1) - db_save_chat_message(session_id, "assistant", reply_text, is_ephemeral=is_eph) - return reply_text, db_get_chat_history(session_id), { - "type": action_cfg.get("action_type"), - "buttons": action_cfg.get("buttons", []) - } - tool_result_content = json.dumps(res, ensure_ascii=False) - - messages.append({"role": "tool", "content": tool_result_content}) - - # --- [SECTION 7: SECONDARY LLM PASS & CONTEXT GUARD] --- # ANCHOR[SECONDARY_PASS] - second_payload = {"model": TEXT_MODEL, "messages": messages, "stream": False, "options": llm_options} - sec_req = urllib.request.Request(OLLAMA_URL, data=json.dumps(second_payload).encode("utf-8"), headers={"Content-Type": "application/json"}) - with urllib.request.urlopen(sec_req) as sec_response: - sec_res_data = json.loads(sec_response.read().decode("utf-8")) - raw_content = sec_res_data.get("message", {}).get("content", "").strip().replace("**", "").replace("*", "") - final_content = clean_raw_tool_tags(clean_output(raw_content)) - - # Если была активна фоновая транзакция, инкрементируем счетчик Topic Shift - if session_state and session_state.get("state_type") == "PROMPT_PREVIEW": - idle_count = db_increment_session_idle(session_id) - logger.info(f"Выполнен инструмент вне черновика. Текущий idle_turns: {idle_count}") - - if idle_count >= 3: - guard_note = "\n\nНапоминание: У вас остался непримененный черновик системного промпта. Сохранить его или сбросить?" - final_content += guard_note - db_save_chat_message(session_id, "assistant", final_content, is_ephemeral=1) - return final_content, db_get_chat_history(session_id), { - "type": "PROMPT_PREVIEW_GUARD", - "buttons": [ - {"label": "Применить черновик", "value": "подтверждаю", "style": "primary"}, - {"label": "Сбросить черновик", "value": "отмена", "style": "danger"} - ] - } - - db_save_chat_message(session_id, "assistant", final_content, is_ephemeral=0) - return final_content, db_get_chat_history(session_id), None - - # Если вызовов инструментов не было (обычный текстовый диалог) - raw_str = msg.get("content", "").strip().replace("**", "").replace("*", "") - content_str = clean_raw_tool_tags(clean_output(raw_str)) - final_reply = content_str or "Запрос обработан." - - if session_state and session_state.get("state_type") == "PROMPT_PREVIEW": - idle_count = db_increment_session_idle(session_id) - logger.info(f"Текстовый диалог вне черновика. Текущий idle_turns: {idle_count}") - if idle_count >= 3: - guard_note = "\n\nНапоминание: У вас остался непримененный черновик системного промпта. Сохранить его или сбросить?" - final_reply += guard_note - db_save_chat_message(session_id, "assistant", final_reply, is_ephemeral=1) - return final_reply, db_get_chat_history(session_id), { - "type": "PROMPT_PREVIEW_GUARD", + preview_reply = ( + f"Ваше изменение успешно предпросмотрено. Полный обновленный системный промпт теперь выглядит так:\n\n" + f"{merged_prompt}\n\n" + f"Для применения изменений подтвердите действие («подтверждаю») или отмените («отмена»)." + ) + db_save_chat_message(session_id, "assistant", preview_reply, is_ephemeral=1) + return clean_raw_tool_tags(preview_reply), db_get_chat_history(session_id), { + "type": "PROMPT_PREVIEW", "buttons": [ - {"label": "Применить черновик", "value": "подтверждаю", "style": "primary"}, - {"label": "Сбросить черновик", "value": "отмена", "style": "danger"} + {"label": "Подтвердить", "value": "подтверждаю", "style": "primary"}, + {"label": "Отменить", "value": "отмена", "style": "danger"} ] } - db_save_chat_message(session_id, "assistant", final_reply, is_ephemeral=0) - return final_reply, db_get_chat_history(session_id), None + elif fn_name in ["db_get_system_prompt", "db_get_system_prompts"]: + tool_result_content = json.dumps({"system_prompt": db_get_active_system_prompt()}, ensure_ascii=False) + + elif fn_name == "db_get_snapshots": + snapshots_res = db_get_snapshots(session_id=session_id, date_str=fn_args.get("date_str"), original_user_message=user_message) + tool_result_content = json.dumps(snapshots_res, ensure_ascii=False) + + elif fn_name == "db_get_current_server_time": + tool_result_content = json.dumps(db_get_current_server_time(), ensure_ascii=False) + + elif fn_name == "db_get_stats": + tool_result_content = json.dumps(db_get_stats(), ensure_ascii=False) + + elif fn_name == "db_get_anomalies": + tool_result_content = json.dumps(db_get_anomalies(limit=fn_args.get("limit", 100), date_str=fn_args.get("date_str")), ensure_ascii=False) + + elif fn_name == "db_get_session_states": + tool_result_content = json.dumps(db_get_session_states(), ensure_ascii=False) + + elif fn_name == "db_get_rules": + tool_result_content = json.dumps(db_get_rules(), ensure_ascii=False) + + elif fn_name == "db_get_reference": + tool_result_content = json.dumps(db_get_reference(category=fn_args.get("category")), ensure_ascii=False) + + elif fn_name == "db_add_task": + res = db_add_task(user_id=user_id, module=fn_args.get("module", "general"), title=fn_args.get("title"), priority=fn_args.get("priority", "MEDIUM"), due_date=fn_args.get("due_date")) + tool_result_content = json.dumps(res, ensure_ascii=False) + + elif fn_name == "db_update_task_status": + res = db_update_task_status(user_id=user_id, task_id=str(fn_args.get("task_id")), status=fn_args.get("status", "COMPLETED"), due_date=fn_args.get("due_date")) + tool_result_content = json.dumps(res, ensure_ascii=False) + + elif fn_name == "db_delete_task": + res = db_delete_task(user_id=user_id, task_id=str(fn_args.get("task_id", "")).upper()) + if action_cfg and action_cfg.get("bypass_llm"): + reply_text = action_cfg["success_template"] + if action_cfg.get("follow_up_question"): + reply_text += f"\n\n{action_cfg['follow_up_question']}" + reply_text = reply_text.replace("✅", "").replace("❌", "").replace("**", "").replace("*", "").strip() + db_save_chat_message(session_id, "assistant", reply_text, is_ephemeral=action_cfg.get("is_ephemeral", 1)) + return reply_text, db_get_chat_history(session_id), { + "type": action_cfg.get("action_type"), + "buttons": action_cfg.get("buttons", []) + } + tool_result_content = json.dumps(res, ensure_ascii=False) + + elif fn_name == "db_delete_snapshots": + res = db_delete_snapshots(snapshot_id=fn_args.get("snapshot_id"), day_str=fn_args.get("day_str")) + if action_cfg and action_cfg.get("bypass_llm"): + reply_text = action_cfg["success_template"] + if action_cfg.get("follow_up_question"): + reply_text += f"\n\n{action_cfg['follow_up_question']}" + reply_text = reply_text.replace("✅", "").replace("❌", "").replace("**", "").replace("*", "").strip() + db_save_chat_message(session_id, "assistant", reply_text, is_ephemeral=action_cfg.get("is_ephemeral", 1)) + return reply_text, db_get_chat_history(session_id), { + "type": action_cfg.get("action_type"), + "buttons": action_cfg.get("buttons", []) + } + tool_result_content = json.dumps(res, ensure_ascii=False) + + messages.append({"role": "tool", "content": tool_result_content}) + + # ANCHOR[SECONDARY_PASS] + sec_msg = call_ollama_chat(messages, is_vision=False) + raw_content = sec_msg.get("content", "").strip().replace("**", "").replace("*", "") + final_content = clean_raw_tool_tags(clean_output(raw_content)) + + is_output_ephemeral = 1 if any(name in ["db_get_system_prompt", "db_get_system_prompts", "db_preview_prompt_merge"] for name in tool_names_called) else 0 + + db_save_chat_message(session_id, "assistant", final_content, is_ephemeral=is_output_ephemeral) + return final_content, db_get_chat_history(session_id), None + + # Обычный текстовый диалог + raw_str = msg.get("content", "").strip().replace("**", "").replace("*", "") + final_reply = clean_raw_tool_tags(clean_output(raw_str)) or "Запрос обработан." + + db_save_chat_message(session_id, "assistant", final_reply, is_ephemeral=0) + return final_reply, db_get_chat_history(session_id), None except Exception as ex: logger.exception(f"Непредвиденная ошибка: {ex}") @@ -5055,15 +6881,41 @@ TOOLS_SCHEMA = [ "description": "Подтвердить и сохранить текущее подготовленное превью в БД. Вызывай этот инструмент, когда пользователь говорит 'подтверждаю', 'да', 'вноси', 'применяй', 'сохраняй' или одобряет превью в любой форме.", "parameters": {"type": "object", "properties": {}} } - }, - { + }, + { "type": "function", "function": { "name": "db_cancel_prompt_preview", "description": "Отменить текущее превью системного промпта и сбросить изменения. Вызывай, когда пользователь явно отказывается от изменений.", "parameters": {"type": "object", "properties": {}} } - } + }, + # ANCHOR[TOPIC_DRIFT_TOOL_SCHEMA] + { + "type": "function", + "function": { + "name": "db_report_topic_shift", + "description": ( + "Вызывай этот инструмент ВСЕГДА, когда в сессии активно контекстное действие " + "(настройка промпта, срез СКУД, мастер задач), но текущий вопрос пользователя " + "никак не связан с этой активностью и переключает диалог на стороннюю тему." + ), + "parameters": { + "type": "object", + "properties": { + "reason": { + "type": "string", + "description": "Краткая семантическая причина, почему тема считается сменившейся" + }, + "is_explicit_exit": { + "type": "boolean", + "description": "True, если пользователь прямо попросил выйти/завершить работу" + } + }, + "required": ["reason"] + } + } + } ] ``` @@ -5580,8 +7432,239 @@ def get_dynamic_calendar_context() -> str: return "\n".join(lines) ``` +## File: `./modules/web_api/llm/core/fast_path.py` +```py +""" +=============================================================================== +FILE: modules/web_api/llm/core/fast_path.py +ROLE: Детерминированный перехват подтверждения, отмены и мгновенной очистки + эфемерного контекста по кнопкам завершения. +=============================================================================== +""" + +# ANCHOR[FAST_PATH_IMPORTS] +import logging +from typing import Dict, Any, Tuple, Optional + +from llm.db_tools import ( + db_add_system_prompt, + db_get_tool_action, + db_set_session_state, + db_clear_session_state, + db_purge_ephemeral_messages, + db_save_chat_message, + db_get_chat_history +) + +logger = logging.getLogger("FAST_PATH") + +TERMINATE_ACTIONS = {"нет, спасибо", "нет, закончить настройку", "закончить настройку", "завершить", "готово", "нет"} + + +# ANCHOR[FAST_PATH_ROUTER] +def handle_fast_path_intercept( + session_id: str, + user_message: str, + full_user_content: str, + session_state: Optional[Dict[str, Any]] +) -> Optional[Tuple[str, list, Optional[Dict[str, Any]]]]: + """ + 1. Перехват кнопок завершения -> моментальное удаление эфемерных записей. + 2. Перехват подтверждения/отмены черновика промпта. + """ + user_msg_clean = user_message.lower().strip(" .!?:;") + + # 1. Завершение работы с инструментом -> мгновенная очистка эфемерных сообщений + if user_msg_clean in TERMINATE_ACTIONS: + db_clear_session_state(session_id) + deleted_count = db_purge_ephemeral_messages(session_id) + logger.info(f"Сессия закрыта по кнопке/команде '{user_msg_clean}'. Удалено эфемерных сообщений: {deleted_count}") + + reply_text = "Работа с инструментом завершена. Контекст диалога чист. Чем могу помочь?" + db_save_chat_message(session_id, "assistant", reply_text, is_ephemeral=0) + return reply_text, db_get_chat_history(session_id), None + + # 2. Подтверждение / отмена превью системного промпта + if session_state and session_state.get("state_type") == "PROMPT_PREVIEW": + draft_text = "" + if session_state.get("data_json") and isinstance(session_state["data_json"], dict): + draft_text = session_state["data_json"].get("draft_text", "") + else: + draft_text = session_state.get("pending_data", "") + + if user_msg_clean in ["подтверждаю", "подтвердить", "да", "сохранить", "применить", "ок", "хорошо"]: + db_add_system_prompt("main_agent", draft_text) + db_set_session_state(session_id, "PROMPT_FOLLOWUP", {}) + + action_cfg = db_get_tool_action("db_confirm_prompt_preview") + reply_text = action_cfg["success_template"] if action_cfg else "Системный промпт успешно сохранен и применен в базе данных." + if action_cfg and action_cfg.get("follow_up_question"): + reply_text += f"\n\n{action_cfg['follow_up_question']}" + + reply_text = reply_text.replace("✅", "").replace("❌", "").replace("**", "").replace("*", "").strip() + + is_eph = action_cfg.get("is_ephemeral", 1) if action_cfg else 1 + db_save_chat_message(session_id, "user", full_user_content, is_ephemeral=1) + db_save_chat_message(session_id, "assistant", reply_text, is_ephemeral=is_eph) + return reply_text, db_get_chat_history(session_id), { + "type": action_cfg.get("action_type") if action_cfg else "FOLLOW_UP_ACTION", + "buttons": action_cfg.get("buttons", []) if action_cfg else [] + } + + elif user_msg_clean in ["отмена", "отменить", "отклонить", "назад"]: + db_set_session_state(session_id, "PROMPT_FOLLOWUP", {}) + + action_cfg = db_get_tool_action("db_cancel_prompt_preview") + reply_text = action_cfg["success_template"] if action_cfg else "Изменения системного промпта отменены." + if action_cfg and action_cfg.get("follow_up_question"): + reply_text += f"\n\n{action_cfg['follow_up_question']}" + + reply_text = reply_text.replace("✅", "").replace("❌", "").replace("**", "").replace("*", "").strip() + + is_eph = action_cfg.get("is_ephemeral", 1) if action_cfg else 1 + db_save_chat_message(session_id, "user", full_user_content, is_ephemeral=1) + db_save_chat_message(session_id, "assistant", reply_text, is_ephemeral=is_eph) + return reply_text, db_get_chat_history(session_id), { + "type": action_cfg.get("action_type") if action_cfg else "FOLLOW_UP_ACTION", + "buttons": action_cfg.get("buttons", []) if action_cfg else [] + } + + return None +``` + +## File: `./modules/web_api/llm/core/ollama_client.py` +```py +""" +=============================================================================== +FILE: modules/web_api/llm/core/ollama_client.py +ROLE: Транспортный клиент HTTP взаимодействия с локальным API Ollama. +=============================================================================== +""" + +# ANCHOR[OLLAMA_CLIENT_IMPORTS] +import json +import urllib.request +import urllib.error +import logging +from typing import Dict, Any, Optional + +logger = logging.getLogger("OLLAMA_CLIENT") + +OLLAMA_URL = "http://192.168.11.3:11434/api/chat" +TEXT_MODEL = "qwen2.5:14b" +VISION_MODEL = "qwen2.5vl:7b-q8_0" + +LLM_OPTIONS = { + "num_predict": 8192, + "num_ctx": 8192, + "temperature": 0.1, + "repeat_penalty": 1.1, + "presence_penalty": 0.5, + "top_p": 0.9 +} + + +# ANCHOR[OLLAMA_REQUEST_DISPATCHER] +def call_ollama_chat( + messages: list, + tools: Optional[list] = None, + is_vision: bool = False, + timeout: int = 120 +) -> Dict[str, Any]: + """ + Отправляет подготовленный массив сообщений в API Ollama. + Возвращает разобранный словарь сообщения ответа или генерирует исключение. + """ + model_name = VISION_MODEL if is_vision else TEXT_MODEL + payload = { + "model": model_name, + "messages": messages, + "stream": False, + "options": LLM_OPTIONS + } + + if tools and not is_vision: + payload["tools"] = tools + + req = urllib.request.Request( + OLLAMA_URL, + data=json.dumps(payload).encode("utf-8"), + headers={"Content-Type": "application/json"} + ) + + with urllib.request.urlopen(req, timeout=timeout) as response: + res_data = json.loads(response.read().decode("utf-8")) + return res_data.get("message", {}) +``` + +## File: `./modules/web_api/llm/core/prompt_merger.py` +```py +""" +=============================================================================== +FILE: modules/web_api/llm/core/prompt_merger.py +ROLE: Алгоритмы парсинга, предпросмотра и детерминированного слияния правок + системного промпта (добавление, удаление и замена пунктов). +=============================================================================== +""" + +# ANCHOR[PROMPT_MERGER_IMPORTS] +import re +import logging +from typing import Tuple + +logger = logging.getLogger("PROMPT_MERGER") + + +# ANCHOR[PROMPT_MERGE_ENGINE] +def build_prompt_preview_merge(current_prompt: str, user_message: str, proposed_text: str) -> str: + """ + Вычисляет результирующий текст промпта на основе намерения пользователя: + 1. Удаление пункта по номеру. + 2. Добавление/изменение пункта в соответствующую секцию. + """ + user_msg_lower = user_message.lower() + + # 1. Сценарий удаления пункта + if any(w in user_msg_lower for w in ["удали", "стереть", "убрать", "вырежи", "удалить"]): + target_num_match = re.search(r'\d+(\.\d+)*', user_message) + target_num = target_num_match.group(0) if target_num_match else "" + + lines = current_prompt.splitlines() + if target_num: + new_lines = [line for line in lines if not line.strip().startswith(f"{target_num}.")] + else: + new_lines = lines + return "\n".join(new_lines) + + # 2. Сценарий добавления или замены пункта + if proposed_text: + if len(proposed_text) < 500: + clean_item = proposed_text.strip() + for prefix in ["добавь пункт", "добавить пункт", "вставь пункт", "добавь"]: + if prefix in clean_item.lower(): + clean_item = re.sub(prefix, "", clean_item, flags=re.IGNORECASE).strip(" .:") + + lines = current_prompt.splitlines() + new_lines = [] + inserted = False + for line in lines: + new_lines.append(line) + if "3.3." in line and not inserted: + item_str = clean_item if re.match(r'^\d+\.\d+\.', clean_item) else f"3.4. {clean_item}" + new_lines.append(f" {item_str}") + inserted = True + if not inserted: + new_lines.append(f" {clean_item}") + return "\n".join(new_lines) + + return proposed_text or current_prompt +``` + ## File: `./modules/web_api/llm/core/tool_injector.py` ```py +""" +FILE: modules/web_api/llm/core/tool_injector.py +""" import re import json import logging @@ -5589,6 +7672,7 @@ from typing import List, Dict, Any logger = logging.getLogger("TOOL_INJECTOR") + def clean_raw_tool_tags(text: str) -> str: if not text: return "" @@ -5598,15 +7682,25 @@ def clean_raw_tool_tags(text: str) -> str: text = re.sub(r'', '', text) return text.strip() + def clean_output(text: str) -> str: if not text: return text - artifacts = ["почемучто", "почто", "почему что"] - lower_text = text.lower() + + # Фильтрация паразитных артефактов токенизатора Qwen + artifacts = [ + "почемучка", "почемучка,", "почемучка!", "почемучка?", + "почемучто", "почто", "почему что", "почему-то", + "здравствуйте!", "привет!" + ] + + cleaned = text.strip() for art in artifacts: - if lower_text.startswith(art): - text = text[len(art):].lstrip(",.!?:; -") - return text.strip() + if cleaned.lower().startswith(art): + cleaned = cleaned[len(art):].lstrip(",.!?:; -") + + return cleaned.strip() + def inject_tools_if_needed(user_message: str, raw_text_content: str, tool_calls: List[Dict[str, Any]]) -> List[Dict[str, Any]]: if tool_calls: diff --git a/scripts/db_cli.py b/scripts/db_cli.py index 781afd2..f3cda0e 100644 --- a/scripts/db_cli.py +++ b/scripts/db_cli.py @@ -51,11 +51,14 @@ def print_stats(): print("=" * 60) with get_connection() as conn: cursor = conn.cursor() - tables = ['scud_logs', 'zup_staff', 'zup_absences', 'anomalies_history', 'ai_knowledge_base'] + tables = ['scud_logs', 'zup_staff', 'zup_absences', 'anomalies_history', 'ai_knowledge_base', 'chat_messages', 'session_states'] for t in tables: - cursor.execute(f"SELECT COUNT(*) FROM {t}") - cnt = cursor.fetchone()[0] - print(f" • Таблица [{t:<18}]: {cnt:>6} записей") + try: + cursor.execute(f"SELECT COUNT(*) FROM {t}") + cnt = cursor.fetchone()[0] + print(f" • Таблица [{t:<18}]: {cnt:>6} записей") + except Exception: + pass print("=" * 60 + "\n") @@ -236,28 +239,35 @@ def dump_all_to_excel(out_filename="db_dump_full.xlsx"): out_path = os.path.join(OUTPUT_DIR, out_filename) print(f"\n[🔄] Создание полного дампа БД в файл: {out_path} ...") with get_connection() as conn, pd.ExcelWriter(out_path, engine='openpyxl') as writer: - for table in ['scud_logs', 'zup_staff', 'zup_absences', 'anomalies_history', 'ai_knowledge_base']: - df = pd.read_sql_query(f"SELECT * FROM {table}", conn) - df.to_excel(writer, sheet_name=table[:31], index=False) + for table in ['scud_logs', 'zup_staff', 'zup_absences', 'anomalies_history', 'ai_knowledge_base', 'chat_messages', 'session_states', 'system_prompt_nodes', 'tasks']: + try: + df = pd.read_sql_query(f"SELECT * FROM {table}", conn) + df.to_excel(writer, sheet_name=table[:31], index=False) + except Exception: + pass print(f"[✓] Дамп успешно сохранен: {out_path}\n") def print_system_prompts(): """Выводит все системные промпты из базы данных.""" print("\n" + "=" * 80) - print("📝 СИСТЕМНЫЕ ПРОМПТЫ (system_prompts):") + print("📝 СИСТЕМНЫЕ ПРОМПТЫ (system_prompt_nodes):") print("=" * 80) with get_connection() as conn: cursor = conn.cursor() - cursor.execute("SELECT id, name, is_active, updated_at, prompt_text FROM system_prompts ORDER BY id DESC") - rows = cursor.fetchall() + try: + cursor.execute("SELECT section_id, item_id, content, is_active, updated_at FROM system_prompt_nodes ORDER BY section_id ASC, item_id ASC") + rows = cursor.fetchall() + except Exception: + rows = [] + if not rows: - print("Таблица system_prompts пуста.") + print("Таблица system_prompt_nodes пуста.") else: for r in rows: - print(f"ID: {r[0]} | Name: {r[1]} | Active: {r[2]} | Updated: {r[3]}") + print(f"Раздел {r[0]}.{r[1]} | Active: {r[3]} | Updated: {r[4]}") + print(f" {r[2]}") print("-" * 80) - print(f"{r[4]}\n") print("=" * 80 + "\n") @@ -280,6 +290,50 @@ def print_session_states(): print("=" * 80 + "\n") +def print_chat_messages(session_id=None, limit=50): + """Выводит таблицу истории сообщений чата (контекст).""" + print("\n" + "=" * 105) + print(f"💬 ИСТОРИЯ СООБЩЕНИЙ ЧАТА (chat_messages) {f'для сессии: {session_id}' if session_id else 'все сессии'}:") + print("=" * 105) + + with get_connection() as conn: + cursor = conn.cursor() + if session_id: + cursor.execute(""" + SELECT id, session_id, role, content, is_ephemeral, created_at + FROM chat_messages + WHERE session_id = ? + ORDER BY id ASC + LIMIT ? + """, (session_id, limit)) + else: + cursor.execute(""" + SELECT id, session_id, role, content, is_ephemeral, created_at + FROM chat_messages + ORDER BY id DESC + LIMIT ? + """, (limit,)) + + rows = cursor.fetchall() + if not rows: + print("Таблица chat_messages пуста.") + else: + # Если выводили все без конкретной сессии в порядке DESC, развернем для читаемости + if not session_id: + rows = list(reversed(rows)) + + for r in rows: + msg_id, sess, role, content, ephemeral, created = r + eph_marker = " [ЭФЕМЕРНОЕ]" if ephemeral else "" + print(f"[{msg_id}] {created} | Сессия: {sess} | Роль: {role.upper()}{eph_marker}") + print("-" * 105) + # Выводим контент, ограничивая длинные сообщения при необходимости + content_preview = content if content else "" + print(f"{content_preview}") + print("=" * 105) + print("\n") + + HELP_TEXT = """ CLI-утилита инспекции и управления SQLite базой данных СКУД (scud_orion_ai.db) @@ -290,9 +344,10 @@ CLI-утилита инспекции и управления SQLite базой absences [ДД.ММ.ГГГГ] -- Посмотреть список официально отсутствующих из 1С:ЗУП anomalies -- Посмотреть историю найденных аномалий СКУД ⟷ 1С rules -- Посмотреть правила Базы Знаний ИИ из SQLite - prompts -- Посмотреть системные промпты (system_prompts) + prompts -- Посмотреть узлы системного промпта (system_prompt_nodes) tools -- Посмотреть реестр действий инструментов и кнопок (tool_action_registry) sessions -- Посмотреть активные сессии и превью (session_states) + context [session_id] [--limit N] -- Посмотреть таблицу контекста сообщений чата (chat_messages) dump [output.xlsx] -- Полный дамп всех таблиц БД в многостраничный Excel snapshot del [ID] или [--day ДД.ММ.ГГГГ] -- Удаление снапшота по ID или всех за выбранный день @@ -300,13 +355,12 @@ CLI-утилита инспекции и управления SQLite базой python scripts/db_cli.py stats python scripts/db_cli.py snapshots 06.08.2026 python scripts/db_cli.py scud 06.08.2026 --export-xlsx срез_четверг - python scripts/db_cli.py scud --snapshot Y20260805-007 python scripts/db_cli.py absences 07.08.2026 python scripts/db_cli.py prompts python scripts/db_cli.py tools python scripts/db_cli.py sessions + python scripts/db_cli.py context web_session_main --limit 20 python scripts/db_cli.py snapshot del Y20260805-007 - python scripts/db_cli.py snapshot del --day 04.08.2026 python scripts/db_cli.py dump my_dump.xlsx """ @@ -321,12 +375,13 @@ def main(): formatter_class=argparse.RawDescriptionHelpFormatter, add_help=False ) - parser.add_argument('command', nargs='?', default=None, choices=['stats', 'snapshots', 'scud', 'absences', 'anomalies', 'rules', 'prompts', 'sessions', 'dump', 'snapshot', 'tools'], help="Основная команда") - parser.add_argument('action', nargs='?', default=None, help="Дополнительное действие (например, 'del')") + parser.add_argument('command', nargs='?', default=None, choices=['stats', 'snapshots', 'scud', 'absences', 'anomalies', 'rules', 'prompts', 'sessions', 'dump', 'snapshot', 'tools', 'context'], help="Основная команда") + parser.add_argument('action', nargs='?', default=None, help="Дополнительное действие (например, 'del') или session_id для контекста") parser.add_argument('param', nargs='?', default=None, help="Параметр (дата, ID снапшота или имя файла)") parser.add_argument('--snapshot', type=str, default=None, help="ID конкретного снапшота для инспекции") parser.add_argument('--export-xlsx', type=str, default=None, help="Экспорт среза СКУД в Excel-файл") parser.add_argument('--day', type=str, default=None, help="Удалить снапшоты за конкретный день (ДД.ММ.ГГГГ)") + parser.add_argument('--limit', type=int, default=50, help="Лимит выводимых сообщений чата (для команды context)") if len(sys.argv) == 1: print_stats() @@ -354,6 +409,9 @@ def main(): print_session_states() elif args.command == 'tools': print_tool_actions() + elif args.command == 'context': + sess_id = args.action if args.action else None + print_chat_messages(session_id=sess_id, limit=args.limit) elif args.command == 'dump': filename = args.param if args.param else "db_dump_full.xlsx" dump_all_to_excel(filename) diff --git a/scripts/diagnostics/make_code_snapshot.py b/scripts/diagnostics/make_code_snapshot.py index 8942f22..0c560aa 100644 --- a/scripts/diagnostics/make_code_snapshot.py +++ b/scripts/diagnostics/make_code_snapshot.py @@ -3,7 +3,7 @@ import os OUTPUT_SNAPSHOT = "project_code_snapshot.md" # Расширения файлов для включения в снимок -ALLOWED_EXTENSIONS = {'.py', '.json', '.md', '.sh', '.ini'} +ALLOWED_EXTENSIONS = {'.py', '.json', '.md', '.sh', '.ini', '.js', '.html', '.css', '.sql'} EXCLUDE_DIRS = {'.git', '__pycache__', 'venv', '.venv', 'output', 'logs', 'extracted_project'} EXCLUDE_FILES = {OUTPUT_SNAPSHOT, 'scud_orion_ai_v2.tar.gz', 'context_memory.db'}