불확실성(uncertainty)을 고려한 스포츠 빅데이터 분석: Bayesian 추정과 Deep Learning을 활용한 프로야구 심판의 Ball/Strike 판정 평가 모델 개발

Abstract

본 학위논문은 불확실성(uncertainty)을 고려한 스포츠 빅데이터 분석이라는 큰 주제 아래 두 개의 세부 연구로 구성된다. Study 1 베이지안 확률 접근을 통한 MLB 심판 판정의 불확실성 분석에서는 프로야구 현장에서 수집되는 빅데이터를 활용하여 MLB 심판의 판정오류 발생 확률을 추정하였고, 그 과정에서 k-dependence bayesian network classifier(k-DB)와 로지스틱 회귀분석이 어떤 장단점을 갖는지 논의하였다. Study 2 인공지능을 활용한 프로야구 심판 판정 평가 모델 개발에서는 다양한 조건에서의 실험학습을 통해 판정을 수행하는 인공지능 심판(AI UMPIRE)을 개발하였고, 이를 활용하여 실제 심판의 판정을 평가하는 체계를 제안하였다. 각 세부 연구의 결과를 요약하면 다음과 같다.

[Study 1] k-DB 모수학습 결과를 바탕으로 추정한 MLB 심판의 판정오류 발생 확률은 Ball-Strike 카운트에 따라 큰 차이를 보였다. 2019-2021 MLB 정규시즌 경기에서 3balls-0strike일 때 판정오류 발생확률은 약 19~21%로 볼 카운트 조합 중 가장 크게 나타났다. 반면, 0ball-2strikes에서 판정오류 발생확률은 약 4~8%로 앞선 조건과 비교하여 매우 낮게 나타났다. 정규시즌과 월드시리즈에서의 판정오류 발생 확률을 비교한 결과 월드시리즈에서는 정규시즌과 비교하여 판정오류 발생 확률 자체가 낮게 나타나지만, 홈팀 투수에게 유리한 판정을 보이는 성향은 더 뚜렷하게 나타났다. 또한 0ball-2strikes, 3-2 full count와 같이 삼진에 대한 선택적 유보가 불가능한 상황에서는 정규시즌과 월드시리즈 간에 판정오류 발생 확률에서 큰 차이를 보이지 않았다. 그러나 3balls-0strike와 같이 스트라이크 카운트에 여유 있는 상황에서는 정규시즌보다 월드시리즈에서 더 정확한 판정이 수행되고 있는 것으로 나타났다. 이러한 결과는 심판의 볼 판정은 정립된 규칙 하에 일관되게 이루어지지 않고 경기 상황 또는 경기 중요도에 따라 불확실성이 작용하고 있음을 보여준다. k-DB분석에서 활용하였던 2021년 MLB 정규시즌 자료를 활용하여 로지스틱 회귀분석을 실시한 결과 비교적 간단한 분류문제에 대해서는 k-DB분석 결과와 1% 미만의 차이를 보였다. 그러나 홈/원정, 볼 카운트, 아웃카운트, 직구/변화구 구분, 투구된 공의 위치와 속도 등을 고려해야 하는 다소 복잡한 문제에 대해서 두 기법은 판정오류 발생 확률 추정치에 다소 큰 차이(3~11%)를 보였다. 이와 같은 결과는 로지스틱 회귀분석에서 통계적 유의성을 나타내지 않는 변수가 포함되었을 때 두드러지게 나타났다. 로지스틱 회귀분석에서 독립변수의 통계적 유의성은 사건 발생의 사례 수, 설명변수들의 조합에 따라 다르게 나타날 수 있다. 따라서 스포츠 데이터 분석에서 통계적 유의성을 나타내지 않는 변수일지라도, 실제로 해당 사건이 스포츠 경기 결과에 영향을 미칠 수 있다는 점이 간과되어서는 안 될 것이다. 이렇듯 Study 1에서 두 기법을 비교한 결과는 해결해야 하는 문제가 어떠한 형태인지에 따라 그 효용성이 달라질 수 있음을 시사한다.

[Study 2] Study 2의 연구목적은 MLB 심판의 Ball/Strike 판정 자료를 바탕으로 심층신경망 학습을 통해 판정을 수행하는 인공지능심판(AI UMPIRE)을 개발하고, 이를 활용하여 심판의 판정을 평가하는 체계를 마련하는 것이다. 최적의 AI UMPIRE를 개발하기 위해 다양한 실험학습을 진행하였으며, 개발된 AI UMPIRE는 test set에 대하여 93.18%의 예측 정확도를 나타냈다. 본 연구에서는 AI UMPIRE의 판정 확률에 기반하여 인공지능 심판이 강한 확신을 갖는 판정임에도 불구하고 실제 심판의 판정은 반대로 선언된 판정들을 선별해내어 경기 상황을 분석하고, 이를 시각화하여 심판 판정의 편향(bias)을 분석하였다. 2019년 MLB 정규시즌에서 4000개 이상의 판정을 수행한 심판 50명의 판정을 AI UMPIRE와 비교한 결과, AI는 강한 확신을 갖고 Ball/Strike 판정을 수행했음에도 실제 심판 판정이 반대되는 판정[0.9<ABS(AI prob.-umpiring)]의 비율은 0.61%~2.8%의 범위를 보였다. 본 연구에서는 0.9<ABS(AI prob.-umpiring)에 해당하는 판정들을 시각화하여 패턴을 살펴보고, 해당 판정들이 발생하는 경기 상황을 분석하였다. 0.9<ABS(AI prob.-umpiring)를 기준으로 심판을 서열화한 뒤 심판을 Top 3와 Bottom 3로 구분하였으며, 분석 결과 Top 3 그룹에서는 AI가 강한 확신을 갖고 있는 판정과 반대되는 판정의 분포가 무선적인 형태를 보였지만, Bottom 3 그룹에서는 특정 위치에서 편향적으로 나타났다(그림 21, 22 참고). 또한 0.9<ABS(AI prob.-umpiring)에 해당하는 판정은 0Ball-0Strike 카운트에서 가장 높은 비율을 기록하였다. 반면, 3balls, 또는 2Strikes상황과 같이 볼 또는 스트라이크 판정에 대한 선택적 여유가 없는 상황에서는 인간의 판정과 AI의 판정이 반대되는 비율이 상대적으로 낮게 나타났다. 즉, 인공지능 심판이 강한 확신을 갖고 있는 판정에 반대되는 판정은 선택을 유보할 수 없는 상황보다, 초구(初球)와 같이 후속 선택지가 많은 상황에서 상대적으로 빈번하게 나타났다. 이와 같은 결과는 프로야구 심판의 Ball/Strike 판정은 인간의 선택적 편향이 작용하고 있음을 실증적으로 보여준다. 본 연구는 스포츠 빅데이터를 기반으로 프로야구 심판 판정의 불확실성을 정량화하여 분석하는 데에 그치지 않고, 인공지능 모델을 개발하여 프로야구 현장에서 실질적으로 활용 가능한 방안을 제시하였다는 점에서 선행연구들과 차별성을 갖는다. 본 연구에서 제안한 AI UMPIRE는 그동안 심판의 고유한 영역으로만 간주되었던 스트라이크존을 평가하기 위한 새로운 패러다임으로써 충분한 역할을 할 수 있을 것으로 기대된다.