문제 해결
TourAPI 전체 동기화 배치 안정화
- 문제
- 관광지 전체를 한 번에 동기화하는 배치가 끝까지 안정적으로 돌지 않았습니다. 이미 인코딩된 서비스 키가 요청 URL을 만들 때 한 번 더 인코딩됐고, 일부 값은 문자열 "null"로 와 그대로 저장됐습니다. 수집한 전체 목록은 Spring Batch가 메타데이터 테이블에 직렬화해 저장하는 ExecutionContext에 담겨 있었고, 외부 호출에는 타임아웃이 없었으며 호출 한도에 걸리면 그때까지 받은 데이터도 함께 버려졌습니다.
- 해결
- URL은 이미 인코딩된 값으로 만들고 문자열 "null"은 빈 값으로 정리했습니다. Step 사이에 넘기던 전체 목록과 비교 결과는 런타임 컨텍스트로 옮겨 ExecutionContext에는 리포트 ID·PDF 경로 같은 작은 값만 남겼습니다. 외부 호출에는 연결·응답 타임아웃을 두고, 호출 한도에 걸리면 이미 받은 데이터로 이어서 처리하게 했습니다.
- 결과
- 전체 수집이 끝까지 실행되도록 정리한 뒤, 같은 배치로 관광지 전체 콘텐츠 타입 동기화까지 확장했습니다.
try {
json = restClient.get()
.uri(buildAreaBasedUri(pageNo, targetContentTypeId))
.accept(MediaType.APPLICATION_JSON)
.retrieve()
.body(String.class);
} catch (HttpClientErrorException.TooManyRequests e) {
if (!allItems.isEmpty()) {
System.out.println("[TourBatch] TourAPI quota exceeded. Continue with partial items. fetched="
+ allItems.size());
break;
}
throw e;
}
// ...
return builder.build(true).toUri();List<TourAttractionDto> items = runtimeContext.getTourItems();
// ...
TourBatchComparisonResult comparison = tourAttractionCompareService.compare(items, dbItems);
int saved = tourBatchDao.saveAttractions(items);
// ...
runtimeContext.setComparisonResult(comparison);
ctx.putLong(TourBatchContextKeys.REPORT_ID, report.getId());