fix(performance): coupang 504 timeouts shrink the query window instead of failing
A 31-day FINAL_DELIVERY ordersheet query times out at Coupang's gateway (504 "Request timed out"). On 502/503/504 or a client timeout the window is halved (31 -> 15 -> 7 -> 3 -> 1 day) and retried; the shrunk size is kept for the same status's next windows. Rocket Growth orders do the same. A 1-day window that still times out is retried twice (3s, 6s) then fails. Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
@@ -63,8 +63,13 @@ MAX_PAGES = 400 # 한 조회 2만 건 — 무한 반복 방지
|
||||
CALL_INTERVAL_SEC = 0.25 # 발주서 목록 호출 간격
|
||||
RG_CALL_INTERVAL_SEC = 1.25 # 로켓그로스 분당 50회 제한
|
||||
RETRY_429 = 3
|
||||
RETRY_TIMEOUT_1DAY = 2 # 하루 구간도 시간 초과면 잠깐 쉬고 다시 부르는 횟수
|
||||
PROBE_MAX_DAYS = 31
|
||||
KST_OFFSET = timedelta(hours=9)
|
||||
|
||||
|
||||
class GatewayTimeout(ApiError):
|
||||
"""쿠팡 서버가 시간 안에 답하지 못함(502·503·504·응답 시간 초과) — 조회 기간을 줄이면 대개 풀린다."""
|
||||
# 원본 확인·저장에서 통째로 빼는 항목(구매자·수령자·통관 정보·배송 메모·직접 입력 항목)
|
||||
PERSONAL_KEYS = frozenset({"orderer", "receiver", "overseaShippingInfoDto", "parcelPrintMessage"})
|
||||
PERSONAL_ITEM_KEYS = frozenset({"etcInfoHeader", "etcInfoValue", "etcInfoValues"})
|
||||
@@ -280,6 +285,8 @@ class CoupangAdapter(MarketplaceAdapter):
|
||||
"Content-Type": "application/json;charset=UTF-8"}
|
||||
try:
|
||||
res = httpx.get(f"{HOST}{path}?{query}", headers=headers, timeout=ctx.timeout_sec)
|
||||
except httpx.TimeoutException as exc:
|
||||
raise GatewayTimeout(f"쿠팡 {what} 응답 시간 초과: {type(exc).__name__}") from None
|
||||
except httpx.HTTPError as exc:
|
||||
raise ApiError(f"쿠팡 API 연결 실패: {type(exc).__name__}") from None
|
||||
finally:
|
||||
@@ -304,6 +311,8 @@ class CoupangAdapter(MarketplaceAdapter):
|
||||
"넣어야 합니다(사방넷 IP 도 함께 넣어야 사방넷이 계속 동작).")
|
||||
if res.status_code == 429:
|
||||
raise ApiError(f"쿠팡 {what} 호출 제한(429)이 계속됩니다. 잠시 뒤 다시 시도하세요.")
|
||||
if res.status_code in (502, 503, 504):
|
||||
raise GatewayTimeout(f"쿠팡 {what} API 오류({res.status_code}): {msg}")
|
||||
if res.status_code >= 400:
|
||||
raise ApiError(f"쿠팡 {what} API 오류({res.status_code}): {msg}")
|
||||
code = body.get("code")
|
||||
@@ -326,17 +335,37 @@ class CoupangAdapter(MarketplaceAdapter):
|
||||
return out
|
||||
|
||||
def _seller_orders(self, ctx: AdapterContext, start: date, end: date) -> list[dict[str, Any]]:
|
||||
"""판매자배송 발주서 — 주문일 [start-1, end] 를 31일씩 × 상태 6개. 결제일 필터는 seller_lines 가."""
|
||||
"""판매자배송 발주서 — 주문일 [start-1, end] 를 31일씩 × 상태 6개. 결제일 필터는 seller_lines 가.
|
||||
|
||||
건수가 많은 상태(배송완료 등)는 31일을 한 번에 부르면 쿠팡 서버가 504(시간 초과)를 낸다 — 그러면 그 구간을
|
||||
반으로 줄여 다시 부르고(하루까지), 줄인 크기는 같은 상태의 다음 구간에도 그대로 쓴다(매번 31일로 실패하지 않게)."""
|
||||
path = ORDERS_PATH.format(vendor=self._vendor(ctx))
|
||||
out: list[dict[str, Any]] = []
|
||||
size_by_status = {st: ORDER_SPAN_DAYS for st in STATUSES}
|
||||
for a, b in spans(start - timedelta(days=1), end, ORDER_SPAN_DAYS):
|
||||
for st in STATUSES:
|
||||
try:
|
||||
rows = self._pages(ctx, path, {"createdAtFrom": f"{a.isoformat()}+09:00",
|
||||
"createdAtTo": f"{b.isoformat()}+09:00",
|
||||
"status": st, "maxPerPage": PAGE_SIZE})
|
||||
except ApiError as exc: # 긴 기간을 나눠 부를 때 어느 구간에서 막혔는지 알 수 있게
|
||||
raise ApiError(f"{exc.message} [주문일 {a.isoformat()}~{b.isoformat()}, 상태 {st}]") from None
|
||||
rows: list[dict[str, Any]] = []
|
||||
d, tries = a, 0
|
||||
while d <= b:
|
||||
e = min(b, d + timedelta(days=size_by_status[st] - 1))
|
||||
try:
|
||||
part = self._pages(ctx, path, {"createdAtFrom": f"{d.isoformat()}+09:00",
|
||||
"createdAtTo": f"{e.isoformat()}+09:00",
|
||||
"status": st, "maxPerPage": PAGE_SIZE})
|
||||
except GatewayTimeout as exc:
|
||||
if size_by_status[st] > 1:
|
||||
size_by_status[st] = max(1, size_by_status[st] // 2)
|
||||
continue
|
||||
tries += 1
|
||||
if tries <= RETRY_TIMEOUT_1DAY:
|
||||
time.sleep(3.0 * tries)
|
||||
continue
|
||||
raise ApiError(f"{exc.message} [주문일 {d.isoformat()} 하루도 시간 초과, 상태 {st}] "
|
||||
"— 잠시 뒤 다시 시도하세요.") from None
|
||||
except ApiError as exc: # 긴 기간을 나눠 부를 때 어느 구간에서 막혔는지 알 수 있게
|
||||
raise ApiError(f"{exc.message} [주문일 {d.isoformat()}~{e.isoformat()}, 상태 {st}]") from None
|
||||
rows.extend(part)
|
||||
d, tries = e + timedelta(days=1), 0
|
||||
out.extend(rows)
|
||||
ctx.progress.step(items=len(rows))
|
||||
return out
|
||||
@@ -345,11 +374,27 @@ class CoupangAdapter(MarketplaceAdapter):
|
||||
path = RG_ORDERS_PATH.format(vendor=self._vendor(ctx))
|
||||
out: list[dict[str, Any]] = []
|
||||
for a, b in spans(start, end, RG_SPAN_DAYS):
|
||||
try:
|
||||
rows = self._pages(ctx, path, {"paidDateFrom": a.strftime("%Y%m%d"), "paidDateTo": b.strftime("%Y%m%d")},
|
||||
rg=True)
|
||||
except ApiError as exc:
|
||||
raise ApiError(f"{exc.message} [로켓그로스 결제일 {a.isoformat()}~{b.isoformat()}]") from None
|
||||
rows: list[dict[str, Any]] = []
|
||||
d, size, tries = a, RG_SPAN_DAYS, 0
|
||||
while d <= b: # 시간 초과면 판매자배송과 같이 구간을 반으로(하루까지)
|
||||
e = min(b, d + timedelta(days=size - 1))
|
||||
try:
|
||||
part = self._pages(ctx, path, {"paidDateFrom": d.strftime("%Y%m%d"),
|
||||
"paidDateTo": e.strftime("%Y%m%d")}, rg=True)
|
||||
except GatewayTimeout as exc:
|
||||
if size > 1:
|
||||
size = max(1, size // 2)
|
||||
continue
|
||||
tries += 1
|
||||
if tries <= RETRY_TIMEOUT_1DAY:
|
||||
time.sleep(3.0 * tries)
|
||||
continue
|
||||
raise ApiError(f"{exc.message} [로켓그로스 결제일 {d.isoformat()} 하루도 시간 초과] "
|
||||
"— 잠시 뒤 다시 시도하세요.") from None
|
||||
except ApiError as exc:
|
||||
raise ApiError(f"{exc.message} [로켓그로스 결제일 {d.isoformat()}~{e.isoformat()}]") from None
|
||||
rows.extend(part)
|
||||
d, tries = e + timedelta(days=1), 0
|
||||
out.extend(rows)
|
||||
ctx.progress.step(items=len(rows))
|
||||
return out
|
||||
|
||||
Reference in New Issue
Block a user