Files
auto-stock/backend/app/services/db_worker.py
shuim 1b9257c4d2 fix: 매매 파라미터 3중 소스 정합 + 리스크 가드 복원 + 죽은 코드 2,695줄 제거
## 배경
"전략이 혼란스럽고 현재와 맞지 않는다"를 조사한 결과, 전략 설계가 아니라
전략을 검증했다는 도구와 파라미터 소스가 어긋나 있었다.

## 파라미터 소스 단일화
- 우선순위가 adaptive > strategy_cfg(DB) > config.py 인데 문서는 맨 마지막인
  config.py 를 기술하고 있었다. 11곳이 불일치(BULL RSI 46 vs DB 30, SL -7% vs -6%).
- DEFAULT_PARAMS 를 config.py 에 정합 + alembic 0012 로 기존 DB 행 갱신
  (운영자가 UI 로 바꾼 값은 보존, 옛 기본값과 같은 행만 갱신, 테이블 가드·멱등)

## 백테스트를 실전 로직에 정합
- calculate_adx_simple 이 정확히 period 배(14.0×) 발산 → Aggressive 게이트
  `ADX>25` 가 전 레짐 100% 통과. 전환 빈도 5.6%→2.0%(-65%), 성과 상방 편향
- 백테스트 RSI 는 SMA, 실전은 Wilder → 진입 판정 10~11% 불일치
- us_backtest_engine RSI 1봉 지연 제거 (룩어헤드 없음을 절단 테스트로 증명)
- backend/backtest_results/ 25건은 폐기 대상 (§8.4)

## 리스크 가드 복원
- 4% 절대 상한이 try 블록 안에 있어 예외 시 적응형 6~7% 가 통과 → try 밖으로
- 청산을 매수보다 먼저 평가 (보유 종목이 추천에 들면 손절 대신 물타기가 나갔다)
- 리스크 가드 4개를 매수 전용화 → MDD -10%·보유한도 도달 시에도 손절 작동
- MDD 갱신 5회 연속 실패 시 신규 진입 차단 fail-safe (청산은 계속 허용)
- 스윙 청산이 DT 보유분까지 매도하던 문제, sell_pct 기준 혼재 정정

## 죽은 코드 제거 (2,695줄)
- short_term_strategy, kosdaq_scanner, app/strategy/ 패키지
- app/trading/ + korea_investment_api_adapter (real_market_api 정본은
  korea_investment_api.py:1482, adapter 는 import 0건)

## 지표·사이징 단일화 (수치 무변경 증명)
- indicators_core.py: 3,274건 비교 최대 오차 0.000e+00
- sizing_core.py: 42,105건 비교 불일치 0
- 미국 전략 상수 13개 config 편입 (hex 까지 동일, 3,168 케이스 전수 비교)

## 테스트 안전 (실 KIS 호출 차단)
- 유닛 테스트가 실제 KIS 에 매도 주문을 2회 전송하고 있었다. 리팩터링이
  close_stale_positions 의 대상을 _execute_exit → _execute_exit_stale 로
  바꿨는데 목이 전자에 걸려 빗나갔다. test_api_endpoints 도 캡처된 싱글톤
  참조 누수로 실제 잔고 조회를 타 141초를 소비했다.
- backend/tests/conftest.py 신설: 주문·토큰·시세·잔고를 호출 즉시 예외로 차단.
  예외는 BaseException 파생(프로덕션 except Exception 폴백에 삼켜지지 않게),
  클래스 메서드에 적용(캡처된 참조까지 덮음), DATABASE_URL `_test` 가드 강제
- 전체 유닛 스위트: 365초/6 failed → 11.8초/0 failed (소켓 차단 하 559 passed)

## 신규 (둘 다 플래그 OFF, 백테스트 미검증)
- range_trading_strategy.py — SIDEWAYS 담당 전략이 없던 빈 칸. 미배선
- check_bear_buy_signal_v2 — BEAR 4중 AND(발화율 2.3%) → 점수제(12.4%)

## 문서
- CLAUDE.md 를 실제 코드 기준으로 재작성. §0 파라미터 우선순위, §4.1 테스트 규약,
  §6.4 문서화되지 않았던 진입 차단 게이트 9종, §8.4 백테스트 폐기 근거,
  §8.5 미해결 19항목
- 루트 md 6개 → 2개(docs/ 이동), 중복 배치 문서 병합, 스테일 worktree 제거

Co-Authored-By: Claude Opus 5 (1M context) <noreply@anthropic.com>
2026-09-28 08:58:18 +09:00

805 lines
39 KiB
Python

"""Background DB Writer Worker
ARCHITECTURE (CLAUDE.md 3.2):
- 실시간/콜백 스레드에서는 절대 DB 세션을 직접 열지 않는다.
- 모든 DB 쓰기 작업은 이 모듈의 db_task_queue 로 위임한다.
- 워커가 큐를 소비하며 단일 세션에서 순차 처리 → 락 경합 제거.
Supported task types:
- insert_trade_history : dict → TradeHistory INSERT
- update_trade_history : dict → TradeHistory UPDATE by id (체결 확인 후 슬리피지/수량 반영)
- update_trade_history_by_order_id : dict → TradeHistory UPDATE by order_id (KIS 주문번호 기준)
- upsert_stock_analysis : dict → StockAnalysis single UPSERT
- bulk_upsert_stock_analysis : list → StockAnalysis batch UPSERT
- upsert_stock_ban : dict → StockBan UPSERT (loss_tracker)
- insert_news : dict → News INSERT (뉴스 감성 분석 결과 저장)
- log_mcp_deny : dict → MCP 거부 이벤트 로그 (DB 저장 없이 로그만)
- upsert_portfolio : dict → Portfolio INSERT/UPDATE (strategy_type 포함)
- upsert_active_trade : dict → ActiveTrade UPSERT (strategy_name 포함)
- close_active_trade : dict → ActiveTrade 상태를 'closed'로 변경
- upsert_stock_ban_v2 : dict → StockBanV2 UPSERT (user_id, stock_code 스코프 — 멀티테넌트)
멀티테넌트(사용자 스코프) 확장 (docs/multi_tenant_design.md §3.4):
- insert_trade_history / update_trade_history(_by_order_id) / upsert_portfolio /
upsert_active_trade / close_active_trade / insert_trade_journal 는 payload
data["user_id"] 가 있으면 조회 필터·생성 컬럼에 반영하고, 없으면(None) 기존과
100% 동일하게 동작한다(하위 호환). 새 task 타입을 추가하지 않는다.
- stock_bans 는 PK가 stock_code 단일이라 사용자 스코프로 확장 불가 → 신규 테이블
stock_bans_v2(user_id, stock_code UNIQUE 쌍) + 신규 task upsert_stock_ban_v2 사용.
"""
import asyncio
import json
import logging
import uuid
from datetime import date, datetime
from pathlib import Path
from sqlalchemy import or_, select
from app.core.database import AsyncSessionLocal
from app.models.models import TradeHistory
from app.core.timeutil import now_kst
logger = logging.getLogger(__name__)
# ─────────────────────────────────────────────────────────────────────────────
# 전략명 상수 / 필터 헬퍼 (CLAUDE.md §8.5 항목 3·6)
#
# DT_STRATEGY_NAMES 는 mdd_manager.DT_STRATEGY_NAMES 와 **동일 목록**이어야 한다.
# 여기(db_worker)를 정본으로 두는 이유:
# - db_worker 는 어떤 서비스 모듈도 모듈 수준에서 import 하지 않아 순환 참조가 없다.
# - ActiveTrade 를 실제로 쓰는 계층이므로 필터 표현을 한 곳에 모을 수 있다.
# mdd_manager 쪽은 담당 에이전트가 달라 이번에 수정하지 않는다(후속 과제).
# ─────────────────────────────────────────────────────────────────────────────
DT_STRATEGY_NAMES: tuple[str, ...] = ("day_trade", "daytrading")
def not_dt_strategy_clause(column):
"""DT 계열 전략을 제외하는 SQL 3값 논리 안전 필터.
`column != "day_trade"` 는 column IS NULL 인 legacy 행까지 함께 탈락시킨다
(SQL 3값 논리: NULL != 'x' → UNKNOWN → WHERE 에서 거짓 취급).
→ NULL 행을 명시적으로 포함시킨 뒤 DT 계열만 NOT IN 으로 제외한다.
Args:
column: ActiveTrade.strategy_name 등 비교 대상 컬럼
Returns:
SQLAlchemy boolean expression
"""
return or_(column.is_(None), column.notin_(DT_STRATEGY_NAMES))
# upsert_active_trade payload 중 ORM 컬럼이 아닌 '메타' 키 (setattr/생성 인자 제외 대상)
_ACTIVE_TRADE_META_KEYS = (
"remaining_pct_multiply",
"strategy_names",
"strategy_name_not",
)
def _apply_strategy_name_filter(query, data: dict, column):
"""payload 의 전략명 필터 키를 SELECT 쿼리에 적용.
지원 키 (우선순위 순 — 상위 키가 있으면 하위 키는 무시):
1) strategy_name : str → column == value (기존 동작, 무변경)
2) strategy_names : list → column IN (...)
3) strategy_name_not : str | list → column IS NULL OR column NOT IN (...)
세 키가 모두 없거나 비어 있으면 query 를 **그대로** 반환하므로,
새 키를 쓰지 않는 기존 호출부의 동작은 수정 전과 완전히 동일하다.
"""
strategy_name = data.get("strategy_name")
if strategy_name:
return query.where(column == strategy_name)
names = data.get("strategy_names")
if names:
_names = [n for n in names if n]
if _names:
return query.where(column.in_(_names))
return query
excluded = data.get("strategy_name_not")
if excluded:
if isinstance(excluded, str):
excluded = [excluded]
_excluded = [n for n in excluded if n]
if _excluded:
return query.where(or_(column.is_(None), column.notin_(_excluded)))
return query
# ─────────────────────────────────────────────────────────────────────────────
# DLQ (Dead Letter Queue) — 3회 재시도 실패 시 파일로 백업
# ─────────────────────────────────────────────────────────────────────────────
DLQ_DIR = Path.home() / ".cache" / "auto-stock" / "dlq"
async def _save_to_dlq(task: dict, error: str) -> None:
"""3회 재시도 실패한 task를 DLQ 파일로 저장.
저장 위치: ~/.cache/auto-stock/dlq/{timestamp}_{task_type}_{uuid}.json
파일 I/O는 asyncio.to_thread로 감싸 이벤트 루프 블로킹을 방지한다.
"""
try:
task_type = task.get("type", "unknown")
filename = (
f"{datetime.now().strftime('%Y%m%d_%H%M%S')}"
f"_{task_type}"
f"_{uuid.uuid4().hex[:8]}.json"
)
dlq_entry = {
"task": task,
"error": str(error),
"failed_at": datetime.now().isoformat(),
"retry_count": task.get("_retry_count", 0),
}
def _write():
DLQ_DIR.mkdir(parents=True, exist_ok=True)
(DLQ_DIR / filename).write_text(
json.dumps(dlq_entry, default=str, ensure_ascii=False),
encoding="utf-8",
)
await asyncio.to_thread(_write)
logger.critical(
"[DLQ] Task saved to DLQ: %s | type=%s | error=%s",
filename, task_type, error,
)
except Exception as e:
logger.critical(
"[DLQ] Failed to save to DLQ: %s | task_type=%s",
e, task.get("type", "unknown"),
)
# ─────────────────────────────────────────────────────────────────────────────
# 전역 큐 — 앱 어디서나 import 하여 put() 호출
# [이슈8 수정] asyncio.Queue()를 모듈 로드 시점에 생성하면 이벤트 루프가 없는
# 환경(pytest, 스크립트 임포트 등)에서 RuntimeError가 발생할 수 있음.
# _db_task_queue를 None으로 두고, 첫 접근 시 lazy 초기화하는 패턴으로 변경.
# 외부 코드는 기존처럼 db_task_queue 이름으로 접근 가능 (get_db_task_queue() 내부 참조).
# ─────────────────────────────────────────────────────────────────────────────
_db_task_queue: asyncio.Queue | None = None
def get_db_task_queue() -> asyncio.Queue:
"""이벤트 루프 기동 후 최초 호출 시 Queue를 생성(lazy init)하여 반환."""
global _db_task_queue
if _db_task_queue is None:
_db_task_queue = asyncio.Queue()
return _db_task_queue
# 하위 호환: 기존 코드가 `db_task_queue.put()` 형태로 직접 참조하는 경우를 위해
# 프록시 객체 대신 get_db_task_queue()를 통해 접근하도록 모듈 수준 alias 제공.
# 단, 모듈 임포트 시점에 이벤트 루프가 없어도 오류가 발생하지 않음.
class _QueueProxy:
"""asyncio.Queue를 lazy init으로 감싸는 투명 프록시."""
def __getattr__(self, name):
return getattr(get_db_task_queue(), name)
async def put(self, item):
await get_db_task_queue().put(item)
async def get(self):
return await get_db_task_queue().get()
def task_done(self):
get_db_task_queue().task_done()
def qsize(self):
return get_db_task_queue().qsize()
def empty(self):
return get_db_task_queue().empty()
db_task_queue: asyncio.Queue = _QueueProxy() # type: ignore[assignment]
# ─────────────────────────────────────────────────────────────────────────────
# 편의 함수 — 호출 측에서 dict 구성 없이 바로 사용
# ─────────────────────────────────────────────────────────────────────────────
async def enqueue_trade_history(data: dict) -> None:
"""매매일지 INSERT 를 큐에 등록."""
await db_task_queue.put({"type": "insert_trade_history", "data": data})
async def enqueue_update_trade_history(trade_id: int, updates: dict) -> None:
"""기존 TradeHistory 레코드 UPDATE 를 큐에 등록.
주로 체결 확인(verify_and_sync) 후 executed_price/quantity/status/slippage 반영 시 사용.
Args:
trade_id: 업데이트할 TradeHistory.id
updates: 업데이트할 필드 dict (예: {"executed_quantity": 10, "status": "COMPLETED"})
"""
await db_task_queue.put({
"type": "update_trade_history",
"data": {"id": trade_id, **updates},
})
async def enqueue_upsert_analysis(row: dict) -> None:
"""단건 StockAnalysis UPSERT 를 큐에 등록."""
await db_task_queue.put({"type": "upsert_stock_analysis", "data": row})
async def enqueue_bulk_upsert_analysis(rows: list[dict]) -> None:
"""다건 StockAnalysis batch UPSERT 를 큐에 등록."""
if rows:
await db_task_queue.put({"type": "bulk_upsert_stock_analysis", "data": rows})
async def enqueue_db_write(task: dict) -> None:
"""범용 DB 쓰기 태스크를 큐에 등록.
task 는 반드시 'type' 키를 포함해야 하며, 워커가 지원하는 task type 중 하나여야 한다.
예: {"type": "log_mcp_deny", "reason": "...", "trade_plan": {...}}
"""
await db_task_queue.put(task)
async def enqueue_trade_journal_raw(data: dict) -> None:
"""TradeJournal INSERT 를 큐에 등록 (순수 dict 전달용)."""
await db_task_queue.put({"type": "insert_trade_journal", "data": data})
async def enqueue_stock_ban_upsert(stock_code: str, consecutive_losses: int, ban_until) -> None:
"""StockBan UPSERT 를 큐에 등록 (loss_tracker에서 호출)."""
await db_task_queue.put({
"type": "upsert_stock_ban",
"data": {
"stock_code": stock_code,
"consecutive_losses": consecutive_losses,
"ban_until": ban_until,
}
})
async def enqueue_stock_ban_upsert_v2(
user_id: int, stock_code: str, consecutive_losses: int, ban_until
) -> None:
"""[v2] StockBanV2 UPSERT 를 큐에 등록 (사용자 스코프 loss_tracker에서 호출).
stock_bans(PK=stock_code, 단일 계정 전제)와 달리 stock_bans_v2 는
UNIQUE(user_id, stock_code) 이므로 동일 종목을 사용자별로 독립 추적한다.
"""
await db_task_queue.put({
"type": "upsert_stock_ban_v2",
"data": {
"user_id": user_id,
"stock_code": stock_code,
"consecutive_losses": consecutive_losses,
"ban_until": ban_until,
}
})
async def enqueue_portfolio_upsert(data: dict) -> None:
"""Portfolio INSERT/UPDATE 를 큐에 등록.
data 필수 키: stock_code, quantity, average_price
data 선택 키: stock_name, current_price, profit_loss, profit_loss_rate,
market, strategy_type ('swing' | 'daytrading')
"""
await db_task_queue.put({"type": "upsert_portfolio", "data": data})
async def enqueue_active_trade_upsert(data: dict) -> None:
"""ActiveTrade UPSERT 를 큐에 등록.
data 필수 키: stock_code, quantity, entry_price
data 선택 키: strategy_name ('swing' | 'day_trade'), stop_loss,
take_profit, entry_reason, highest_since_entry
data 선택 키(조회 필터 전용, ORM 컬럼 아님 — _ACTIVE_TRADE_META_KEYS):
strategy_names(list → IN),
strategy_name_not(str|list → NOT IN + strategy_name IS NULL 포함)
우선순위: strategy_name > strategy_names > strategy_name_not
"""
await db_task_queue.put({"type": "upsert_active_trade", "data": data})
async def enqueue_close_active_trade(stock_code: str, strategy_name: str | None = None) -> None:
"""ActiveTrade 를 'closed' 상태로 변경하는 태스크를 큐에 등록.
전략명 부정 조건(strategy_name_not) 등 확장 필터가 필요하면
시그니처 변경 없이 enqueue_db_write() 로 payload 를 직접 넘긴다:
await enqueue_db_write({
"type": "close_active_trade",
"data": {"stock_code": code, "strategy_name_not": DT_STRATEGY_NAMES},
})
"""
await db_task_queue.put({
"type": "close_active_trade",
"data": {"stock_code": stock_code, "strategy_name": strategy_name},
})
async def enqueue_close_active_trade_v2(
user_id: int, stock_code: str, strategy_name: str | None = None
) -> None:
"""[v2] 사용자 스코프 ActiveTrade 를 'closed' 상태로 변경하는 태스크를 큐에 등록.
close_active_trade 와 동일 task type("close_active_trade")을 재사용한다 —
핸들러가 data.get("user_id")로 필터를 추가하므로 새 타입이 필요 없다.
"""
await db_task_queue.put({
"type": "close_active_trade",
"data": {"stock_code": stock_code, "strategy_name": strategy_name, "user_id": user_id},
})
async def enqueue_update_trade_history_by_order_id(order_id: str, updates: dict) -> None:
"""KIS 주문번호(order_id)로 TradeHistory UPDATE 를 큐에 등록.
trade_id 대신 order_id 로 레코드를 조회하여 업데이트한다.
enqueue_trade_history() 로 INSERT 한 레코드의 id 를 모르는 경우 사용.
Args:
order_id: KIS 주문번호 (TradeHistory.order_id)
updates: 업데이트할 필드 dict (예: {"executed_quantity": 10, "status": "COMPLETED"})
"""
await db_task_queue.put({
"type": "update_trade_history_by_order_id",
"data": {"order_id": order_id, **updates},
})
async def enqueue_trade_journal(trade, content: str) -> None:
"""TradeJournal INSERT 를 큐에 등록 (main.py post_market_scheduler 용).
CLAUDE.md 3.2: 스케줄러(실시간 계층)에서 직접 DB 커밋 금지 → 큐 경유.
"""
from datetime import datetime
from app.services.trade_analyzer import _to_float, _parse_strategy, _parse_exit_type
pl_rate = _to_float(trade.profit_loss_rate)
strategy = _parse_strategy(trade.entry_reason)
exit_type = _parse_exit_type(trade.exit_reason)
mood = "positive" if pl_rate > 0 else ("neutral" if pl_rate > -3.0 else "negative")
tags = [strategy, exit_type]
if abs(pl_rate) > 5.0:
tags.append("significant")
await db_task_queue.put({
"type": "insert_trade_journal",
"data": {
"trade_id": trade.id,
"stock_code": trade.stock_code,
"stock_name": trade.stock_name,
"journal_date": trade.executed_at or trade.created_at or now_kst(),
"content": content,
"strategy_name": strategy,
"mood": mood,
"tags": tags,
},
})
# ─────────────────────────────────────────────────────────────────────────────
# 워커 본체
# ─────────────────────────────────────────────────────────────────────────────
async def db_writer_worker() -> None:
"""lifespan 에서 asyncio.create_task() 로 실행되는 영구 백그라운드 워커.
큐에서 task 를 꺼내 단일 AsyncSession 안에서 처리한 뒤
commit / rollback 을 자동 관리한다.
"""
logger.info("🛠️ Background DB Writer Worker started")
queue = get_db_task_queue() # 워커 진입 시 큐 인스턴스 고정
while True:
task = await queue.get()
try:
task_type = task.get("type")
data = task.get("data")
async with AsyncSessionLocal() as session:
# ── 1. 매매일지 INSERT ─────────────────────────────────────
if task_type == "insert_trade_history":
session.add(TradeHistory(**data))
await session.commit()
logger.info(
"✅ [Worker] TradeHistory saved: %s",
data.get("stock_code", "?"),
)
# ── 2. TradeHistory UPDATE (체결 확인 후 슬리피지/수량 반영) ──
elif task_type == "update_trade_history":
trade_id = data.get("id")
user_id = data.get("user_id")
if trade_id:
query = select(TradeHistory).where(TradeHistory.id == trade_id)
if user_id is not None:
query = query.where(TradeHistory.user_id == user_id)
row = await session.execute(query)
trade = row.scalar_one_or_none()
if trade:
for key, val in data.items():
if key != "id" and val is not None and hasattr(trade, key):
setattr(trade, key, val)
await session.commit()
logger.info(
"✅ [Worker] TradeHistory updated: id=%s status=%s",
trade_id,
data.get("status", "?"),
)
# ── 2b. TradeHistory UPDATE by order_id (KIS 주문번호 기준) ──
elif task_type == "update_trade_history_by_order_id":
order_id = data.get("order_id")
user_id = data.get("user_id")
if order_id:
query = select(TradeHistory).where(TradeHistory.order_id == order_id)
if user_id is not None:
query = query.where(TradeHistory.user_id == user_id)
row = await session.execute(query)
trade = row.scalar_one_or_none()
if trade:
for key, val in data.items():
if key != "order_id" and val is not None and hasattr(trade, key):
setattr(trade, key, val)
await session.commit()
logger.info(
"✅ [Worker] TradeHistory updated by order_id=%s status=%s",
order_id,
data.get("status", "?"),
)
else:
logger.warning(
"⚠️ [Worker] TradeHistory not found for order_id=%s",
order_id,
)
# ── 3. 단건 StockAnalysis UPSERT ──────────────────────────
elif task_type == "upsert_stock_analysis":
from app.services.analysis_db_service import _execute_upsert
await _execute_upsert(session, [data])
await session.commit()
logger.debug(
"✅ [Worker] StockAnalysis upsert: %s",
data.get("stock_code", "?"),
)
# ── 3. 다건 StockAnalysis batch UPSERT ────────────────────
elif task_type == "bulk_upsert_stock_analysis":
from app.services.analysis_db_service import _execute_upsert
await _execute_upsert(session, data) # data = list[dict]
await session.commit()
logger.info(
"✅ [Worker] Bulk StockAnalysis upsert: %d rows", len(data)
)
# ── 4. StockBan UPSERT ────────────────────────────────────────
elif task_type == "upsert_stock_ban":
from app.models.models import StockBan
from app.core.dt_utils import to_naive_utc
stock_code = data.get("stock_code")
consecutive_losses = data.get("consecutive_losses")
# stock_bans.ban_until은 tz-naive 컬럼 — tz-aware 값이 들어와도 안전하게 저장.
ban_until = to_naive_utc(data.get("ban_until"))
result = await session.execute(select(StockBan).where(StockBan.stock_code == stock_code))
record = result.scalar_one_or_none()
if record is None:
record = StockBan(
stock_code=stock_code,
consecutive_losses=consecutive_losses,
ban_until=ban_until,
)
session.add(record)
else:
record.consecutive_losses = consecutive_losses
record.ban_until = ban_until
await session.commit()
logger.debug(
"✅ [Worker] StockBan upsert: %s (losses=%d, ban_until=%s)",
stock_code,
consecutive_losses,
ban_until.isoformat() if ban_until else "None",
)
# ── 4v2. StockBanV2 UPSERT (user_id, stock_code 스코프) ────────
elif task_type == "upsert_stock_ban_v2":
from app.models.models import StockBanV2
from sqlalchemy.dialects.postgresql import insert as pg_insert
from app.core.dt_utils import to_naive_utc
user_id = data.get("user_id")
stock_code = data.get("stock_code")
consecutive_losses = data.get("consecutive_losses")
# stock_bans_v2.ban_until도 tz-naive 컬럼 — tz-aware 값이 들어와도 안전하게 저장.
ban_until = to_naive_utc(data.get("ban_until"))
# PostgreSQL INSERT ... ON CONFLICT DO UPDATE — 여러 워커/사용자
# 사이클이 동시에 같은 (user_id, stock_code)를 갱신해도 경쟁 안전.
stmt = pg_insert(StockBanV2).values(
user_id=user_id,
stock_code=stock_code,
consecutive_losses=consecutive_losses,
ban_until=ban_until,
)
stmt = stmt.on_conflict_do_update(
constraint="uq_stock_bans_v2_user_stock",
set_={
"consecutive_losses": stmt.excluded.consecutive_losses,
"ban_until": stmt.excluded.ban_until,
"updated_at": now_kst(),
},
)
await session.execute(stmt)
await session.commit()
logger.debug(
"✅ [Worker] StockBanV2 upsert: user=%s %s (losses=%s, ban_until=%s)",
user_id, stock_code, consecutive_losses,
ban_until.isoformat() if ban_until else "None",
)
# ── 4b. News INSERT (중복 URL 무시) ────────────────────────────
elif task_type == "insert_news":
from app.models.models import News
news_url = data.get("url")
is_dup = False
# URL 기반 중복 방지 (동일 URL은 skip)
if news_url:
dup_result = await session.execute(
select(News.id).where(News.url == news_url).limit(1)
)
if dup_result.scalar_one_or_none() is not None:
is_dup = True
logger.debug(
"⏭️ [Worker] News skip (dup URL): %s",
(data.get("title") or "?")[:40],
)
if not is_dup:
session.add(News(**data))
await session.commit()
logger.debug(
"✅ [Worker] News saved: %s",
(data.get("title") or "?")[:40],
)
# ── 5. MCP 거부 이벤트 로그 ───────────────────────────────────
elif task_type == "log_mcp_deny":
# DB 저장 없이 로그만 기록 (필요 시 별도 테이블 확장 가능)
logger.warning(
"🛑 [Worker] MCP DENY logged: reason=%s, trade_plan=%s",
task.get("reason", "unknown"),
task.get("trade_plan"),
)
# ── 6. Portfolio UPSERT ────────────────────────────────────────
elif task_type == "upsert_portfolio":
from app.models.models import Portfolio
stock_code = data.get("stock_code")
user_id = data.get("user_id")
query = select(Portfolio).where(Portfolio.stock_code == stock_code)
if user_id is not None:
query = query.where(Portfolio.user_id == user_id)
result = await session.execute(query)
record = result.scalar_one_or_none()
if record is None:
record = Portfolio(**data)
session.add(record)
else:
for key, val in data.items():
if key != "stock_code" and val is not None:
setattr(record, key, val)
await session.commit()
logger.debug(
"✅ [Worker] Portfolio upsert: %s (strategy=%s)",
stock_code,
data.get("strategy_type", "swing"),
)
# ── 7. ActiveTrade UPSERT ──────────────────────────────────────
elif task_type == "upsert_active_trade":
from app.models.models import ActiveTrade
stock_code = data.get("stock_code")
strategy_name = data.get("strategy_name")
user_id = data.get("user_id")
query = select(ActiveTrade).where(
ActiveTrade.stock_code == stock_code,
ActiveTrade.status == "active",
)
# [§8.5 항목6] strategy_name(동등) / strategy_names(IN) /
# strategy_name_not(NOT IN + NULL 포함) — 새 키 미사용 시 무변경.
query = _apply_strategy_name_filter(query, data, ActiveTrade.strategy_name)
if user_id is not None:
query = query.where(ActiveTrade.user_id == user_id)
# [2026-09-27 §8.5 후속] legacy 경로와 동일하게 '가장 최근 행' 우선.
# scalar_one_or_none() 은 한 사용자가 같은 종목에 비-DT active 행을
# 2건 이상 보유하면 MultipleResultsFound → 3회 재시도 후 DLQ 로 빠진다.
# (멀티테넌트 플래그 ON 전제조건)
query = query.order_by(ActiveTrade.id.desc()).limit(1)
result = await session.execute(query)
record = result.scalars().first()
else:
# legacy(user_id=None) 경로: 사용자 다중화로 동일 종목 active
# 행이 2건 이상 존재할 수 있어 scalar_one_or_none() 이
# MultipleResultsFound 를 던질 수 있음 → 가장 최근 행 우선.
query = query.order_by(ActiveTrade.id.desc()).limit(1)
result = await session.execute(query)
record = result.scalars().first()
if record is None:
# remaining_pct_multiply·전략명 필터 키는 신규 생성 시 무시
create_data = {
k: v for k, v in data.items()
if k not in _ACTIVE_TRADE_META_KEYS
}
# 필수 컬럼(quantity/entry_price) 없이 신규 생성 요청이 오면
# IntegrityError로 3회 재시도만 낭비 → 경고 후 스킵
_missing = [k for k in ("quantity", "entry_price") if create_data.get(k) is None]
if _missing:
logger.warning(
"⚠️ [Worker] ActiveTrade upsert 스킵: %s active 행 없음 + 필수 키 누락 %s (keys=%s)",
stock_code, _missing, sorted(create_data.keys()),
)
continue
record = ActiveTrade(**create_data)
session.add(record)
else:
# remaining_pct_multiply: 기존 remaining_pct에 비율을 곱함
# (MDD 축소 시 기존 분할매도 이력 반영)
# data.get() 사용 — pop()으로 task dict를 파괴적으로 변경하면
# 재시도 시 이 키가 사라져 no-op으로 성공 처리되는 버그 방지
multiply_ratio = data.get("remaining_pct_multiply")
if multiply_ratio is not None:
current_remaining = getattr(record, "remaining_pct", 1.0) or 1.0
record.remaining_pct = float(current_remaining) * float(multiply_ratio)
for key, val in data.items():
if key == "stock_code" or key in _ACTIVE_TRADE_META_KEYS:
continue
if val is not None:
setattr(record, key, val)
await session.commit()
logger.debug(
"✅ [Worker] ActiveTrade upsert: %s (strategy=%s)",
stock_code,
strategy_name,
)
# ── 8. ActiveTrade close ───────────────────────────────────────
elif task_type == "close_active_trade":
from app.models.models import ActiveTrade
from datetime import datetime as _dt
stock_code = data.get("stock_code")
strategy_name = data.get("strategy_name")
user_id = data.get("user_id")
query = select(ActiveTrade).where(
ActiveTrade.stock_code == stock_code,
ActiveTrade.status == "active",
)
# [§8.5 항목6] strategy_name(동등) / strategy_names(IN) /
# strategy_name_not(NOT IN + NULL 포함) — 새 키 미사용 시 무변경.
query = _apply_strategy_name_filter(query, data, ActiveTrade.strategy_name)
if user_id is not None:
query = query.where(ActiveTrade.user_id == user_id)
# [2026-09-27 §8.5 후속] legacy 경로와 동일하게 '가장 최근 행' 우선.
# scalar_one_or_none() 은 한 사용자가 같은 종목에 비-DT active 행을
# 2건 이상 보유하면 MultipleResultsFound → 3회 재시도 후 DLQ 로 빠진다.
# (멀티테넌트 플래그 ON 전제조건)
query = query.order_by(ActiveTrade.id.desc()).limit(1)
result = await session.execute(query)
record = result.scalars().first()
else:
# legacy(user_id=None) 경로: 사용자 다중화로 동일 종목 active
# 행이 2건 이상 존재할 수 있어 scalar_one_or_none() 이
# MultipleResultsFound 를 던질 수 있음 → 가장 최근 행 우선.
query = query.order_by(ActiveTrade.id.desc()).limit(1)
result = await session.execute(query)
record = result.scalars().first()
if record:
record.status = "closed"
record.updated_at = now_kst()
await session.commit()
logger.debug(
"✅ [Worker] ActiveTrade closed: %s (strategy=%s)",
stock_code,
strategy_name,
)
# ── 9. TradeJournal INSERT ────────────────────────────────────
elif task_type == "insert_trade_journal":
from app.models.models import TradeJournal
session.add(TradeJournal(**data))
await session.commit()
logger.debug(
"✅ [Worker] TradeJournal saved: %s",
data.get("stock_code", "?"),
)
else:
logger.warning("⚠️ [Worker] Unknown task type: %s", task_type)
except asyncio.CancelledError:
# 큐 drain: 종료 전 남은 태스크 처리하여 데이터 손실 방지
remaining = 0
while not queue.empty():
try:
drain_task = queue.get_nowait()
except asyncio.QueueEmpty:
# get_nowait()이 실패해 아이템을 꺼내지 못했으므로 task_done() 호출 금지
break
try:
drain_type = drain_task.get("type", "unknown")
drain_data = drain_task.get("data")
async with AsyncSessionLocal() as drain_session:
if drain_type == "insert_trade_history":
drain_session.add(TradeHistory(**drain_data))
await drain_session.commit()
elif drain_type in (
"update_trade_history",
"update_trade_history_by_order_id",
"upsert_stock_analysis",
"bulk_upsert_stock_analysis",
"upsert_stock_ban",
"upsert_stock_ban_v2",
"upsert_portfolio",
"upsert_active_trade",
"close_active_trade",
"insert_trade_journal",
):
# 단순 재큐잉 대신, 중요 태스크만 커밋 시도
# insert_trade_history 외에는 복잡한 로직이므로 DLQ 저장
await _save_to_dlq(drain_task, "shutdown_drain")
else:
await _save_to_dlq(drain_task, "shutdown_drain_unknown_type")
remaining += 1
except Exception as drain_err:
logger.error(f"[DBWorker] Drain 실패: {drain_err}")
try:
await _save_to_dlq(drain_task, str(drain_err))
except Exception:
pass
remaining += 1
finally:
queue.task_done()
if remaining:
logger.info(f"[DBWorker] 종료 시 {remaining}건 drain 완료")
logger.info("⏹️ DB Writer Worker stopped")
break
except Exception as exc:
retry_count = task.get("_retry_count", 0)
max_retries = 3
task_type = task.get("type", "unknown")
if retry_count < max_retries:
task["_retry_count"] = retry_count + 1
delay = min(2 ** retry_count, 8) # 1, 2, 4초 지수 백오프
logger.warning(
"⚠️ [Worker] DB task retry %d/%d (type=%s): %s — %ds 후 재시도",
retry_count + 1, max_retries, task_type, exc, delay,
)
await asyncio.sleep(delay)
await queue.put(task) # 큐에 재등록
else:
logger.error(
"❌ [Worker] DB task DROPPED after %d retries (type=%s): %s",
max_retries, task_type, exc, exc_info=True,
)
# DLQ: 최종 실패 task를 파일로 백업하여 데이터 손실 방지
await _save_to_dlq(task, str(exc))
finally:
queue.task_done()