4) 데이터 구조화 및 Hybrid RAG 파이프라인

💡 쉽게 말하면: 공공데이터를 AI가 찾기 좋은 조각으로 잘라 정리해 두고(Chunking), 질문이 오면 의미로 찾는 검색과 단어로 찾는 검색을 함께 돌려(Hybrid) 근거 자료를 모은 뒤, 그 근거로 답을 만드는(RAG) 구조입니다. 용어는 용어 정의에 풀어두었습니다.

분석 변수 체계

전통 변수 8종 — 상권의 기초 체력

변수	산출 방법	데이터 소스
유동인구	시간대별 생활인구	서울 생활인구
배후인구	상주인구 + 직장인구	KOSIS, 생활인구
경쟁점포 밀도	반경/상권 내 동일업종 점포 수	상가정보
개폐업률·생존율	인허가 이력 기반 연차별 생존 곡선	LOCALDATA
임대료·공실률	상권별 임대 시세	부동산원, 실거래가
접근성	지하철역 거리, 승하차량	지하철 통계
추정매출	상권×업종별 매출	서울시 상권분석
집객시설	학교·오피스·대형시설 밀집도	상가정보, KOSIS

특이변수 4계층 — 외부 충격

코로나는 “가장 최근의” 특이변수일 뿐이다. 충격을 반복 발생하는 4계층 유형으로 모델링해 두면, 다음 충격이 와도 같은 프레임으로 흡수할 수 있다. 원칙은 하나 — 감지할 데이터 소스가 있어야 변수가 된다. 소스 없는 충격은 뉴스로 감지한다.

계층	예시	감지 소스
① 정책·규제	거리두기, 재난지원금, 최저임금, 주52시간, 교습시간 제한	정책 공시 (시행일이 명확해 다루기 쉬움)
② 거시경제	금리 사이클, 거래량 급변, 물가, 전기·가스 요금	한국은행 ECOS, 국토부, KOSIS
③ 사회·트렌드	무인점포, 홈트, 저가 프랜차이즈, 1인가구	뉴스 언급량이 주 센서 (시행일이 없음)
④ 지역 이벤트	GTX 개통, 재개발, 대형시설 개폐점, 젠트리피케이션	계획 고시 + 뉴스 (대형시설은 뉴스가 사실상 유일한 소스)

변수 취급 원칙

• 지원금 왜곡 보정: 재난지원금·손실보상은 폐업을 지연시킨다. 지원 기간엔 폐업률이 낮다가 종료 후 폐업 절벽이 온다. 이 왜곡을 보정하지 않으면 “코로나 때 오히려 폐업이 적었다”는 착시를 사실로 출력하게 된다.
• 외국인 인구 변수: “상권 악화 지표”가 아니라 “수요 구성 변화 지표”로만 모델링한다. 대림동·원곡동의 총 점포 수·매출을 보면 붕괴보다 재편에 가깝다 — 고객이 교체된 상권이다. 창업 희망 업종의 타겟 고객과 상권 인구 구성의 정합성을 점수화하며, 차별적 출력은 금지 규칙으로 막는다.
• 코로나 분석 프레임: 거리두기 시계열로 충격 구간을 정의하고, 2019년 수준 회복 여부로 V자/L자/소멸을 판정하고, 충격 대비 폐업률 증가폭으로 회복탄력성을 점수화한다.

데이터 구조화 (Chunking)

• 상권×업종 지표, 인허가 이력, 정책 공시, 뉴스 메타데이터를 검색 단위 조각으로 정리한다.
• 자유 텍스트 자료는 LLM 구조화 추출을 쓴다. 정책자금 공고문에서 {대상 업종, 지역, 대상 단계, 한도, 금리, 마감일}을 뽑아 메타데이터화하고, 학원은 교습과정명에서 대상 학년을 추출해 “교습계열 × 대상 학년” 2축 서브카테고리로 모델링한다. 이 구조화 추출이 프로젝트명의 “공공 데이터 Chunking”에 해당한다.
• 학원처럼 서브카테고리가 필요한 업종은 경쟁밀도·성장률·폐업률을 서브카테고리 단위로 산출한다. 수학학원과 피아노학원은 경쟁 관계가 아니기 때문이다.

Hybrid 검색·응답

• 검색: 의미가 비슷한 자료를 찾는 벡터 검색(임베딩)과 단어가 일치하는 자료를 찾는 키워드 검색을 결합한다. 1차 필터(업종·지역·마감일)는 정형 쿼리로, 상세 매칭은 RAG로 처리한다.
• 응답: 에이전트는 검색된 근거를 인용하며 답한다. 예: “이 상권의 노래방은 2021년 40% 폐업 후 60%만 회복 — 일시 충격이 아닌 구조적 수요 감소로 판단됨”
• 성능 목표: Recall@5 91.5%, Latency 40% 개선. 평가셋(질문-정답 쌍)으로 측정하며, 평가 방법은 품질 관리 및 테스트에서 다룬다.