Files
dbx-main/app/modules/performance/sync.py
king c7cc94a09c fix: 2026-10-15 코드 검토 F01~F10 — 수집 실패 전파·트랜잭션 경계·저장 실패·공지 버전/확인 조건·테스트 체계
- F01 쿠팡: HTTP 200 비JSON·data 목록 없음은 수집 실패(기간 교체 안 함), 정상 빈 목록과 구분
- F02 회의록 [적용]: 업무 INSERT 와 줄 연결을 한 연결·한 트랜잭션(_insert_task), 확인은 잠그기 전·알림/메일은 커밋 뒤, 줄 바뀜 409
- F03 업무 등록 표: persist 실패 전파, 미저장이면 [적용] 중단, 초안 유지·다시 저장·이탈 경고
- F04 인증정보 변경 시 내부 토큰 삭제 + 네이버·토스 토큰을 발급 인증정보 지문(SHA-256)에 묶음, GS샵 방식 캐시도 키 지문 기준
- F05 쪽 수 상한·커서 반복 = 실패(쿠팡은 구간을 하루까지 나눠 재시도), 네이버·카카오·토스·GS샵 동일 기준
- F06 [중지] 확인과 저장 시작을 같은 잠금(begin_saving), 저장 시작 뒤 중지 불가
- F07/F08 긴급 공지: 내용 version·고친 공지 다시 그리기·확인에 version(409), 확인은 행 잠금 트랜잭션에서 수신자·표시 시각·취소 검증
- F09 쇼핑몰 연결 테스트도 clear 처리·저장 안 한 시험은 상태 유지(광고 테스트와 같은 계약)
- F10 DB 테스트 skip·가짜 app.main/time.sleep 파일 범위 fixture, 오래된 기대값 갱신, pytest.ini·requirements-dev·tests/js/package.json·docs/TESTING.md
- 결과·후속 과제: docs/CODE_REVIEW_2026-10-15_RESULT.md (마이그레이션·환경변수 변경 없음)

Python 440 passed/63 skipped(DB 없음), 503 passed(로컬 PostgreSQL), jsdom 7종·Edge 6종 통과

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-10-15 18:41:42 +09:00

243 lines
14 KiB
Python

"""① 수집 서비스 — 쇼핑몰 API → 어댑터 → 공통 사건 → DB. 화면(버튼)과 분리된 공통 로직.
- 버튼(매출 업데이트)·연결 테스트·향후 cron/worker 모두 이 서비스를 부른다.
- 같은 쇼핑몰은 동시에 한 번만(perf_sync_runs 의 running 부분 유니크 인덱스).
- 쇼핑몰 하나가 실패해도 나머지는 계속한다. 실패한 쇼핑몰만 상태가 오류로 바뀐다.
- 오류 문구·원본 데이터는 비밀값을 가린 뒤에만 저장/로그한다.
매출 기준일(sales_date) — 한 곳에서만 정한다(`sales_date_for`):
결제(SALE) = 결제일(payment_date, 없으면 event_date)
취소/반품 = 발생일(event_date) — 지난 실적이 나중에 바뀌지 않게
"""
from __future__ import annotations
import logging
import os
from dataclasses import asdict
from datetime import date, timedelta
from typing import Any, Iterable
from app.timezone import today_kst
from .adapters.base import STATUS_LABELS, AdapterContext, AdapterError, Cancelled, MarketplaceAdapter, SaleEvent
from .adapters.registry import all_adapters, get_adapter
from .credentials import CredentialService
from .security.crypto import CryptoConfigError, DecryptError
from .security.redact import redact_mapping, redact_text
logger = logging.getLogger("performance.sync")
DEFAULT_SYNC_DAYS = 7
def sync_days() -> int:
try:
return max(1, min(90, int(os.getenv("PERFORMANCE_SYNC_DAYS", str(DEFAULT_SYNC_DAYS)))))
except ValueError:
return DEFAULT_SYNC_DAYS
def sales_date_for(ev: SaleEvent) -> date:
if ev.event_type == "SALE":
return ev.payment_date or ev.event_date
return ev.event_date
def event_row(ev: SaleEvent, known_secrets: Iterable[str] = ()) -> dict[str, Any]:
row = asdict(ev)
row["sales_date"] = sales_date_for(ev)
row["raw"] = redact_mapping(ev.raw or {}, known_secrets)
return row
class SyncService:
def __init__(self, store: Any, creds: CredentialService, *, app_state: Any = None) -> None:
self._store = store
self._creds = creds
self._app_state = app_state
def _ctx(self, adapter: MarketplaceAdapter, *, overrides: dict[str, str] | None = None,
persist: bool = True, user: str = "", cleared: set[str] | None = None) -> AdapterContext:
acc = self._creds.accessor(adapter.code, overrides=overrides, persist=persist, user=user, cleared=cleared)
return AdapterContext(code=adapter.code, credentials=acc, app_state=self._app_state)
@staticmethod
def _failure(exc: Exception, ctx: AdapterContext | None) -> tuple[str, str]:
known = ctx.credentials.known_secrets() if ctx is not None else []
if isinstance(exc, AdapterError):
return exc.status, redact_text(exc.message, known)
if isinstance(exc, (DecryptError, CryptoConfigError)):
return "not_configured", redact_text(str(exc), known)
return "api_error", redact_text(f"예상하지 못한 오류: {type(exc).__name__}: {exc}", known)
# ── 연결 테스트 ─────────────────────────────────────────
def test_connection(self, code: str, *, values: dict[str, str] | None = None, user: str = "",
cleared: set[str] | None = None) -> dict[str, Any]:
"""values 를 주면 저장하지 않은 새 입력값으로, cleared = 화면에서 비운 항목은 저장값 대신 빈 값으로 시험한다.
둘 중 하나라도 있으면 저장하지 않은 시험이라 연결 상태·토큰을 저장하지 않는다(광고 API 시험과 같은 계약, 검토 F09)."""
adapter = get_adapter(code)
if adapter is None:
return {"ok": False, "status": "api_error", "message": "알 수 없는 쇼핑몰입니다."}
unsaved = bool(values) or bool(cleared)
ctx = None
try:
ctx = self._ctx(adapter, overrides=values, persist=not unsaved, user=user, cleared=cleared)
message = adapter.test_connection(ctx)
status, ok = "ok", True
except Exception as exc: # noqa: BLE001 — 어떤 오류든 상태로 바꿔 화면에 보여 준다
status, message = self._failure(exc, ctx)
ok = False
logger.info("performance test %s: %s %s", code, status, message)
if not unsaved:
self._store.record_test(code, status=status, ok=ok, error="" if ok else message)
return {"ok": ok, "status": status, "label": STATUS_LABELS.get(status, status),
"message": message, "unsaved": unsaved}
# ── 동기화 ──────────────────────────────────────────────
def sync_marketplace(self, code: str, start: date, end: date, *, trigger: str = "manual",
user: str = "", progress: Any = None) -> dict[str, Any]:
"""progress: jobs.ShopProgress(매출 업데이트 창 진행 막대) — 없으면 알리지 않는다."""
adapter = get_adapter(code)
result: dict[str, Any] = {"code": code, "ok": False, "skipped": False, "fetched": 0, "upserted": 0}
if adapter is None:
if progress is not None:
progress.fail(status="api_error", label=STATUS_LABELS["api_error"], message="알 수 없는 쇼핑몰입니다.")
return {**result, "status": "api_error", "message": "알 수 없는 쇼핑몰입니다."}
if progress is not None and progress.cancel_requested: # [업데이트 취소]·쇼핑몰 [중지] 뒤 차례가 온 쇼핑몰
progress.cancelled()
return {**result, "cancelled": True, "status": "cancelled", "message": progress.message}
run_id = self._store.start_run(code, trigger=trigger, range_from=start, range_to=end, user=user)
if run_id is None:
if progress is not None:
progress.skip("이미 다른 업데이트가 진행 중입니다.")
return {**result, "skipped": True, "status": "running", "message": "이미 업데이트 중입니다."}
if progress is not None:
progress.start()
ctx = None
try:
ctx = self._ctx(adapter, user=user)
if progress is not None:
ctx.progress = progress
fetched, events = adapter.collect(ctx, start, end)
if progress is not None:
# 중지 확인과 저장 시작을 한 잠금에서 — collect() 끝 무렵에 받아들인 [중지]면 여기서 Cancelled(저장 안 함)
progress.begin_saving()
known = ctx.credentials.known_secrets()
rows = [event_row(ev, known) for ev in events]
# 다른 쇼핑몰 열로 보낸 사건 — 등록된 쇼핑몰이 아니면 이 쇼핑몰 열에 둔다(합계가 빠지지 않게).
registered = {m["code"] for m in self._store.list_marketplaces()}
for r in rows:
if r.get("marketplace_code") not in registered:
r["marketplace_code"] = code
if adapter.replace_range:
# 그 기간을 통째로 다시 받은 쇼핑몰 — 기간 안 예전 행을 지우고 새로 넣는다(한 트랜잭션).
rows = [r for r in rows if start <= r["sales_date"] <= end]
upserted = self._store.replace_events(code, start, end, rows, id_prefix=adapter.event_prefix)
else:
upserted = self._store.upsert_events(code, rows)
self._store.finish_run(run_id, ok=True, fetched=fetched, upserted=upserted)
self._store.record_sync(code, status="ok", ok=True)
if progress is not None:
progress.finish(upserted=upserted, message=f"{upserted}건 반영")
return {**result, "ok": True, "status": "ok", "fetched": fetched, "upserted": upserted,
"message": f"{upserted}건 반영"}
except Cancelled:
# 수집 중 취소·중지 — 아직 아무것도 저장하지 않았다. 연결 상태(오류 표시)는 바꾸지 않는다.
# 쇼핑몰 [중지]면 이 쇼핑몰만 멈추고 sync_all 이 다음 쇼핑몰로 넘어간다.
stopped = progress is not None and progress.stopped_only
self._store.finish_run(run_id, ok=False, error="쇼핑몰 중지" if stopped else "업데이트 취소")
if progress is not None:
progress.cancelled()
return {**result, "cancelled": True, "status": "cancelled", "message": "중지됨" if stopped else "취소됨"}
except Exception as exc: # noqa: BLE001 — 한 쇼핑몰 실패가 전체를 멈추지 않게
status, message = self._failure(exc, ctx)
logger.warning("performance sync %s failed: %s %s", code, status, message)
self._store.finish_run(run_id, ok=False, error=message)
self._store.record_sync(code, status=status, ok=False, error=message)
if progress is not None:
progress.fail(status=status, label=STATUS_LABELS.get(status, status), message=message)
return {**result, "status": status, "label": STATUS_LABELS.get(status, status), "message": message}
def sync_all(self, *, start: date | None = None, end: date | None = None, codes: list[str] | None = None,
trigger: str = "manual", user: str = "", job: Any = None) -> list[dict[str, Any]]:
"""job: jobs.SyncJob — 주면 쇼핑몰마다 진행 상황(ShopProgress)을 채운다(매출 업데이트 창)."""
end = end or today_kst()
start = start or (end - timedelta(days=sync_days() - 1))
enabled = {m["code"] for m in self._store.list_marketplaces() if m["enabled"]}
# 수동 입력 전용 쇼핑몰(manual_only)은 가져올 API 가 없어 매출 업데이트에서 뺀다
targets = [a for a in all_adapters()
if a.code in enabled and not a.manual_only and (not codes or a.code in codes)]
progress: dict[str, Any] = {}
if job is not None:
# 수집이 구현되고 인증정보가 있는 쇼핑몰만 막대로(active), 나머지는 "건너뜀" 한 줄로 — 바로 끝나는
# 쇼핑몰이 전체 진행률을 부풀리거나, 아직 차례가 안 와서 진행률을 낮추지 않게.
def ready(a: MarketplaceAdapter) -> bool:
if not a.implemented:
return False
try:
return a.is_configured(self._ctx(a, user=user))
except Exception: # noqa: BLE001 — 확인이 안 되면 일단 막대로(실제 결과는 수집 때 나온다)
return True
progress = job.set_targets([(a.code, a.name, ready(a)) for a in targets], start, end)
return [self.sync_marketplace(a.code, start, end, trigger=trigger, user=user, progress=progress.get(a.code))
for a in targets]
# ── 쇼핑몰 화면과 대조 ────────────────────────────────
def reconcile(self, code: str, day: date, *, to: date | None = None, user: str = "") -> dict[str, Any]:
"""어댑터가 지원하면(reconcile) 그날 원천 금액을 항목별로 합산해 돌려준다. DB 는 바꾸지 않는다."""
adapter = get_adapter(code)
if adapter is None or not hasattr(adapter, "reconcile"):
return {"ok": False, "message": "이 쇼핑몰은 대조 기능을 지원하지 않습니다."}
ctx = None
try:
ctx = self._ctx(adapter, user=user)
return {"ok": True, **(adapter.reconcile(ctx, day, to=to) if to else adapter.reconcile(ctx, day))}
except Exception as exc: # noqa: BLE001
status, message = self._failure(exc, ctx)
return {"ok": False, "status": status, "label": STATUS_LABELS.get(status, status), "message": message}
def daily_check(self, code: str, start: date, end: date, *, live: bool = False, user: str = "") -> dict[str, Any]:
"""쇼핑몰 화면 일별 매출과 날짜별로 맞춰 보는 용도. DB 는 바꾸지 않는다.
db = 지금 저장된 값(날짜별 결제·환불·결제 건수)
live = live=True 일 때 지금 API·현재 규칙으로 다시 계산한 값(매출 업데이트와 같은 계산, 저장 안 함).
db 만 틀리고 live 가 맞으면 → 예전에 받은 뒤 규칙·주문이 바뀐 것(다시 가져오면 해결)."""
adapter = get_adapter(code)
if adapter is None:
return {"ok": False, "message": "알 수 없는 쇼핑몰입니다."}
prefix = adapter.event_prefix if adapter.replace_range else ""
out: dict[str, Any] = {"ok": True, "db": self._store.daily_breakdown(code, start, end, id_prefix=prefix)}
if not live:
return out
ctx = None
try:
ctx = self._ctx(adapter, user=user)
_, events = adapter.collect(ctx, start, end)
except Exception as exc: # noqa: BLE001
status, message = self._failure(exc, ctx)
return {**out, "live_error": f"{STATUS_LABELS.get(status, status)} — {message}"}
days: dict[str, dict[str, Any]] = {}
for ev in events:
d = sales_date_for(ev)
if not (start <= d <= end):
continue
row = days.setdefault(d.isoformat(), {"date": d.isoformat(), "paid": 0, "orders": 0, "refund": 0})
if ev.event_type == "SALE":
row["paid"] += ev.amount
row["orders"] += 1
else:
row["refund"] -= ev.amount
out["live"] = sorted(days.values(), key=lambda r: r["date"])
return out
# ── 테스트(모의) 데이터 ────────────────────────────────
def generate_samples(self, start: date, end: date, codes: list[str]) -> int:
from .adapters import mock # noqa: WPS433
n = 0
for code in codes:
n += self._store.upsert_events(code, (event_row(ev) for ev in mock.generate(code, start, end)),
is_sample=True)
return n