본문 바로가기

AIS 데이터를 활용한 DQN 기반 선박 항로 예측에서 탐험-활용 전략 분석

Analysis of Exploration-Exploitation Strategies in DQN-Based Vessel Route Prediction Using AIS Data

문서 유형
연구출판물 · 학술지 논문
등재
KCI
저널 순위
KCI Q1
저널
한국빅데이터학회 학회지10(2) · pp.1 · 2025
피인용
KCI 0
ISSN
2508-1829

저자

  1. 김단우제1저자부산대학교
  2. 이장하부산대학교
  3. 이하나부산대학교
  4. 강상우교신저자부산대학교

초록

해운 산업의 성장에 따라, 선박의 항로 예측은 국제 해운 운용의 핵심 과제로 부상하고 있다. 그러나 해상 운항 환경은 다양한 비정형 요소에 의해 복잡하게 변화하여, 기존의 예측 모델로는 고도화된 경로 예측에는 한계가 있다. 최근, 이러한 한계를 극복하고자 자동식별장치(Automatic Identification System) 데이터를 기반으로 심층 강화학습(Deep Reinforcement Learning)을 이용한 경로 예측 연구들이 활발히 진행되고 있다. 우리는 이산형 행동 공간에서의 항로 탐색에 적합한 심층 Q-네트워크(Deep Q-Network)를 활용하여, 에이전트가 목적지까지의 최적 경로를 스스로 학습할 수 있도록 설계하였다. 이때, epsilon-greedy, Boltzmann, UCB(Upper Confidence Bound), Thompson Sampling 등 다양한 탐험 활용 전략의 사용에 따른 DQN의학습 안정성과 예측 성능에 미치는 영향을 분석하였다. 실험 결과를 통해 우리는 UCB 전략이 정량적 성능(평균 보상 목표 도달률 낮은 변동성)과 정성적 성능(최적 경로 수렴 및 직선적 경로 형성) 모두에서 가장 우수한 전략임을 보였다.

키워드

Route PredictionAIS DataDeep reinforcement LearningDeep Q-NetworkExploration–Exploitation Strategy항로 예측AIS 데이터심층강화학습심층 Q-네트워크탐험–활용 전략

식별자

KCI
ART003273834