3) 상권 공공데이터 수집 및 연계
핵심 데이터 (MVP 필수)
| 데이터 | 제공처 | 용도 |
|---|---|---|
| 상가(상권)정보 | 소상공인시장진흥공단 | 업소 위치·업종 좌표, 경쟁밀도 산출 |
| 지방행정 인허가 (LOCALDATA) | 행정안전부 | 개업·폐업·휴업 일자 — 개폐업률의 뼈대 |
| 서울시 상권분석서비스 | 서울 열린데이터광장 | 추정매출, 점포수, 개폐업률, 생존율 |
| 서울 생활인구 | 서울 열린데이터광장 (KT) | 시간대별 유동·상주 인구 |
| 부동산 실거래가 | 국토교통부 | 상가 임대·매매 시세, 주택 거래량 |
보조 데이터 (변수 보강)
한국부동산원 임대동향(공실률), 한국은행 ECOS(금리), 은행연합회 공시 금리, 국세청 100대 생활업종, 지하철 승하차, KOSIS(배후·직장인구), 학원·교습소 정보(NEIS — 교습계열·수강료), 주민등록 인구통계(학령인구), 외국인주민 현황, 어린이집정보공개포털(정원·현원), 코로나 거리두기 이력.
정책자금 공고는 기업마당·중소벤처24·K-Startup·보조금24·온통청년 5곳의 API 제공이 검증되었고, 소진공·지역신보·서울시는 스크래핑 후보다. 뉴스는 빅카인즈를 1순위로, 네이버 뉴스 API를 보조로 쓴다.
착수 전 검증 체크리스트
- 각 API의 인증키 발급과 호출 제한(quota) 확인
- 업종코드-데이터소스 매핑표 확정: 업종마다 인허가명이 전부 다르다(노래연습장업, 휴게음식점, 부동산중개업, 담배소매인, 미용업, 인터넷컴퓨터게임시설제공업, 체력단련장업, 당구장업 + 학원은 NEIS, 어린이집은 별도 포털). 착수 1주차에 10종 전체를 확정한다.
- 서울시 상권 경계 좌표와 LOCALDATA 주소 체계의 조인 가능 여부 검증
- 시계열 커버리지 확인: 코로나 전(2019)부터 현재까지 연속 데이터인지 — 특이변수 분석의 전제
- 갱신 주기 확인(일/월/분기)에 따라 파이프라인 배치 주기 결정
수집 파이프라인 요구 사항
- 좌표계 변환: 공공데이터의 EPSG:5174 좌표를 웹 지도 표준(WGS84)으로 변환한다. 빠뜨리면 가게가 지도에서 엉뚱한 곳에 찍힌다.
- 멱등 시드: 같은 초기 데이터를 여러 번 넣어도 중복이 생기지 않게 한다.
- 증분 커서: “어디까지 받았는지” 책갈피를 두고 새 데이터만 이어받는다.
- 오류 격리: 한 소스의 장애가 전체 파이프라인을 멈추지 않게 한다.
- 공고 중복 제거: 동일 공고가 기업마당·중소벤처24·K-Startup에 동시 게시되므로 공고명+기관+기간 기준으로 dedup한다. 마감일 지난 공고는 일 1회 배치로 자동 만료 처리한다.
뉴스 데이터 취급 경계
- 뉴스 전문 저장은 저작권 문제가 있다. 메타데이터(제목·일자·언론사·URL)와 분석 지표만 저장하고 본문은 링크로 연결한다.
- 뉴스 기반 신호는 정형 지표와 등급을 구분한다. 정형 지표는 “확인된 사실”, 뉴스 신호는 “참고 신호”다.