스포츠 산업은 빠르게 변화하는 데이터 중심 환경에서 새로운 기술과 방법론을 적극적으로 도입하고 있다. 전통적인 스포츠 관리 및 평가 방식은 경험과 직관에 의존하는 경우가 많았으나 최근 선수들의 경기력 데이터, 생체 신호, 훈련 기록, 경기 영상 등 다양한 데이터를 분석함으로써 보다 정량적이고 체계적인 의사결정이 가능해지고 있다. 인공지능과 빅데이터의 발전은 스포츠 경기력 향상, 선수 관리, 관중 경험 개선, 그리고 스포츠 산업의 전반적인 운영 최적화에 중요한 역할을 하고 있으며, 데이터 분석을 활용하여 판정 오류를 줄이고 경기의 공정성을 강화하는 심판 판정 보조 시스템 또한 스포츠 산업에서 핵심 화두에 있다(Feng, 2023; Mataruna-Dos-Santos et al., 2020).

본 연구에서는 이러한 기술의 도입이 필요한 대표적인 스포츠 종목으로 피겨 스케이팅에 초점을 맞추었다. 피겨 스케이팅은 동계 올림픽 정식 종목 중 가장 오래된 스포츠로, 빙판 위에서 개인, 페어, 또는 단체가 기술과 예술을 선보이는 종목이다(International Olympic Committee, 2025). 주요 종목으로는 여자 싱글, 남자 싱글, 페어, 그리고 아이스 댄싱이 있다. 올림픽 공식 홈페이지에 따르면, 피겨 스케이팅의 최종 점수는 기술 점수와 예술 점수의 합에서 넘어짐, 시간 초과 등 실수로 인한 감점을 제외한 값으로 산출된다. 기술 점수는 2명의 테크니컬 전문가와 1명의 테크니컬 컨트롤러로 구성된 패널이 평가하며, 예술 점수와 수행 능력은 9명의 심판 패널이 평가한다. 이는 사람이 기술을 평가하는 방식으로, 심사위원의 주관적 판단에 따라 편향과 채점 오류가 존재할 수 있다(Tanaka et al., 2023; Lee et al., 2016). 이러한 한계를 극복하고 더 정확하고 일관된 점수를 평가할 수 있는 프로그램의 필요성이 제기된다.

최근 피겨 스케이팅 또한 데이터 기반 분석 연구가 활발하게 진행되고 있으며, 경기력 평가 및 동작 분류를 위한 다양한 접근 방식이 시도되고 있다. Bai (2023)은 비디오 분류 기법을 활용하여 피겨 스케이팅 점프 동작을 추적하고 분석하는 모델을 제안하였다. 또한, Xu et al.(2019)은 비디오 데이터를 활용하여 피겨 스케이팅 경기 점수를 자동으로 예측하는 딥러닝 모델을 개발하고 이를 통해 기존의 주관적인 심사 방식과 비교하여 보다 일관된 채점 시스템의 가능성을 탐색하기도 하였다. 이러한 연구들은 비디오 기반 분석 기법을 활용하여 피겨 스케이팅 동작을 자동으로 인식하고 평가할 수 있는 가능성을 제시하였으나, 카메라 위치, 조명, 선수 의상 등 외부 요인에 의해 성능이 영향을 받을 가능성이 크다는 한계를 가진다. 이를 해결하기 위해, 본 연구에서는 선수의 신체 관절 데이터를 활용한 스켈레톤 기반 동작 인식(Skeleton-Based Action Recognition) 기술의 활용을 적용하고자 한다.

스켈레톤 기반 동작 인식은 인간-컴퓨터 상호작용, 비디오 분석 등 다양한 분야에서 중요한 역할을 하고 있다. 초기에는 사람이 동작의 특성을 설계하여 분석하였다(Vemulapalli et al., 2014; Ofli et al., 2014). 딥러닝의 발전과 함께 재귀 신경망(Recurrent Neural Networks) (LanZhang et al., 2017; Du et al., 2015) 및 합성곱 신경망(Convolutional Neural Networks) (Li et al., 2017; Kim and Reiter, 2017)을 기반으로 스켈레톤 데이터를 벡터 시퀀스나 의사 이미지로 구조화하여 분석하는 방식이 도입되었다. 그러나 이러한 방법은 스켈레톤의 그래프 구조를 효과적으로 모델링하기에는 부족한 점이 존재했고, 성능 개선의 여지가 존재했다. 최근에는 그래프 구조를 활용하는 그래프 신경망(Graph Neural Networks, GNN)이 각광받고 있으며, 관절관 의미론적 관계를 더 잘 포착하여 기존 방법들보다 우수한 성능을 보이고 있다(Yan et al., 2018; Myung et al., 2024). 그러나 이를 피겨 스케이팅 동작 분류에 활용하기 위해서는 다음과 같은 주요 과제가 존재한다. 첫째로, 동작 및 기술을 잘 표현할 수 있는 적합한 스켈레톤 그래프의 구조화가 필요하다. 또한, 이러한 그래프 구조를 효과적으로 학습할 수 있는 그래프 신경망 모델을 디자인하여야 한다. 더하여, 심층 딥러닝 모델의 실제 활용성을 높이기 위해 학습 및 추론에서의 효율성을 강화하는 전략을 도입해야 한다.

따라서, 본 연구는 앞서 언급한 주요 과제를 고려한 멀티 태스크 그래프 신경망 기반 피겨 스케이팅 동작 분류 모델을 제안한다. 본 연구에서는 데이터의 관절들 사이의 관계와 시간의 흐름에 따른 관계를 그래프로 나타내어 동작 분류 모델링에 도입하고자 한다. 특히, 그래프 기반 피겨 스케이팅 동작 데이터 분석에서 효율성을 강화할 수 있는 접근법을 제안한다. 첫째로, 전체 신체 관절 노드를 전부 활용하는 것이 아닌, 동작 및 기술의 핵심이 있는 하반신과 관련된 데이터만을 분석에 활용한다(Kwon and Lee, 2015; Koga et al., 2025; Li and Cao, 2024). 둘째로, 멀티 태스크 학습 방식(Multi-task Learning, MTL)을 도입한다. 본 연구에서는 피겨 스케이팅 기술의 대분류와 소분류, 기술의 성공 여부, 시연자의 숙련도 총 네 가지 태스크를 동시에 분류하고자 한다. 이를 각각의 싱글 태스크 학습 모델(Single Task Learning, STL)로 학습하는 것이 아닌, 하나의 모델로 여러 태스크를 동시에 학습할 수 있는 멀티 태스크 학습 방식을 접목한다. 본 연구에서는 AI-Hub 플랫폼의 피겨 스케이팅 동작 데이터를 활용하였으며, 제안하는 접근법을 검증하기 위해 전체 신체 스켈레톤 그래프와 하반신 스켈레톤 그래프의 예측 성능 및 효율성을 비교하는 실험과 싱글 태스크 학습과 멀티 태스크 학습을 비교하는 실험을 진행하고 정확도를 비교한다. 이를 통해 정확하고 효율적인 피겨 스케이팅 점수 산출 프로그램의 기반을 확보하고자 한다.

본 연구에서는 피겨 스케이팅 동작 분류 모델을 학습하기 위해 AI-Hub 플랫폼에서 수집된 피겨 스케이팅 동작 데이터를 활용하였다(AI-Hub, 2024). 이 데이터는 피겨 스케이팅 경기 분석, 교육, 및 훈련 프로그램 개발을 목적으로 한 주요 동작 영상 데이터로 구성되어 있다. 본 데이터는 다양성과 균형을 고려하여 시연자를 선정하여 설계되었다. 또한, 국제빙상경기연맹(ISU)에서 심판이 선수의 수행을 점프, 스핀, 스텝으로 3가지 과제로 나누어 채점하는 기준을 반영하여, 이를 기본 동작 유형으로 6개의 점프, 5개의 스핀, 5개의 스텝으로 총 16가지 동작이 선정되었다. 하나의 동작은 RGB 8채널로 수집되었으며, 평균 촬영 시간은 8초이며, 초당 30프레임의 JPG 파일이 존재한다. 하나의 동작 영상에는 2D 키포인트 정보 8개, 3D 키포인트 정보 1개, 그리고 메타 레이블 데이터 1개가 생성되어 있다. 본 데이터는 피겨 스케이팅 국제 심판 4명으로 구성된 최고 전문위원과 8명의 국내 심판 및 코치의 12명의 전문가에 의하여 데이터의 결과와 레이블을 검수하였다. 이를 통해 본 데이터에 대한 신뢰성을 확보하였다.

본 연구에서는 해당 데이터에서 피겨 스케이팅 동작에 대한 2D 키포인트 정보와 메타 레이블 데이터를 사용하였다. 전체 데이터 중 프레임 수가 200 이상 300 이하인 데이터를 필터링하여 총 14,837개의 데이터를 활용하였다. 피겨 스케이팅 동작 데이터에는 다음과 같은 총 4가지의 분류 태스크가 가능한 형태로 레이블이 존재한다.

• (1) 동작의 대분류(Major, 총 3가지): Jump, Spin, Step
• (2) 동작의 소분류(Sub, 총 16가지):
•     - Jump: Waltz, 1S (i.e., Salchow), 1T (i.e., Toe loop), 1Lo (i.e., Loop), 1F (i.e., Flip), 1Lz (i.e., Lutz)
•     - Spin: Two-Foot Spin, One-Foot Spin, Upright, Sit, Camel
•     - Step: Swizzle, Three Turn, Stroking, Crossover, Spiral
• (3) 기술의 성공 여부(Success, 총 2가지): 성공(Success), 실패(Failure)
• (4) 시연자의 숙련도(Level, 총 3가지): Beginner, Intermediate, Advanced

동작의 분류(대분류, 소분류) 뿐만 아니라 동작 분류의 정확도에 영향을 줄 수 있는 기술의 성공 여부나 시연자의 숙련도 등이 함께 존재한다. 각 태스크별 데이터 분포는 <Figure 3>에 제시되어 있다. 동작의 대분류(Major)에서는 Jump 클래스가 가장 많은 데이터를 포함하고 있으며, Step 클래스의 데이터가 상대적으로 적다. 기술의 성공 여부(Success)에서는 실패(Failure) 데이터가 성공(Success) 데이터보다 많은 것이 특징이며, 숙련도(Level)에서는 Beginner 수준의 데이터가 가장 많고 Advanced 수준의 데이터가 가장 적다. 전반적으로 대분류, 성공 여부, 숙련도 태스크에서는 심각한 불균형이 나타나지 않지만, 동작의 소분류(Sub)에서는 Camel, Spiral 등의 특정 기술에서 데이터 수가 적어 정보량이 부족한 경향이 있다. 그러나 이 수준의 불균형은 모델의 학습을 저해할 정도로 심각한 수준은 아니라고 판단하였다.

Figure 3. 
Distribution of Labels with Four Tasks in Figure Skating Data

본 연구에서는 피겨 스케이팅 동작 분류를 위한 효율적인 인공지능 모델을 제안한다. 제안하는 방법론은 (1) 피겨 스케이팅 동작 스켈레톤 그래프 데이터 생성, (2) 그래프 신경망 기반 멀티 태스크 학습 모델로 구성되어 있다.

4.1 피겨 스케이팅 동작 기반의 스켈레톤 그래프 데이터 생성

본 연구에서는 고용량의 피겨 스케이팅 동작 영상 데이터를 그대로 사용하는 것이 아닌, 시연자의 관절 움직임에 초점을 맞추어 스켈레톤 그래프로 변환하여 사용하고자 한다. 스켈레톤 그래프는 사람의 관절을 노드(Node)로 사용하며, 이종 방향 그래프(Heterogeneous Directed Graph)로 구성된다. 각 노드는 (x, y) 위치 정보를 변수로 갖는다. 스켈레톤 그래프의 엣지(Edge)는 두 가지로 구분된다. 첫 번째는 공간 특성 엣지(Spatial Edge)로, 서로 다른 두 노드를 연결하며 뼈와 같은 관절 간 물리적 관계를 의미한다. 본 연구에서는 일반적으로 스켈레톤 그래프 생성에서 공간 특성 엣지를 단방향으로 설정하는 것과 달리, 각 관절이 서로 영향을 주고 받는다는 전제하에 양방향으로 방향성을 두었다(Yan et al., 2018). 두 번째는 시간 특성 엣지(Temporal Edge)로, 시간의 흐름에 따라 연속된 동일한 노드를 연결한다. 이는 관절의 움직임과 시간적 변화를 표현한다. 따라서 시간의 흐름에 따라 이전 프레임에서 다음 프레임으로 단방향으로 방향성을 두었다. <Table 1>은 이러한 정의를 수학적으로 나타낸 것이다.

Table 1. 
Definition of Skeleton Graph Components

Components	Mathematical Expression
Graph(G)	G = (V, ESpatial, ETemporal)
Nodes(V)	V=jtj∈J,t=1,…,T where J is the set of joints and T ∈ [200, 300] means the number of frames. The feature of jt is (xjt,yjt), where (xjt,yjt) means the location of the joint jt.
Spatial Edges(ESpatial)	ESpatial=ut,vtu,v∈S, t=1,…,T where S is the set of physical connections between joints.
Temporal Edges(ETemporal)	ETemporal=jt,jt+1j∈J, t=1,…,T-1

본 연구에서는 피겨 스케이팅의 예술성은 상반신에, 기술성은 하반신에서 주로 표현되는 것을 고려하여, 동작 분류 모델의 성능에 상반신 노드 활용의 효용성이 크지 않을 것으로 연구 가설을 설정하였다. 예를 들어, 점프는 스케이트의 토나 날의 사용 방식에 따라 토룹, 플립, 러츠(토 점프), 그리고 룹, 살코, 악셀(엣지 점프)로 나뉜다. 점프의 세부적인 종류는 인사이드 엣지와 아웃사이드 엣지의 사용 방식, 그리고 오른발과 왼발의 역할에 따라 결정된다. 이러한 점에서 하반신에 피겨 스케이팅 기술과 관련된 정보가 집중되어 있음을 알 수 있다. 따라서 시연자의 신체 전체를 고려하는 그래프(i.e., All Node Graph, G_all)가 아닌, 하반신 노드 그래프(i.e., Lower Node Graph, G_lower)를 인풋 데이터로 활용하고자 하였다. 하반신 노드 그래프와 전체 노드 그래프의 관절 집합과 관절 사이의 물리적 관계 집합은 <Table 2>에 표현되어 있다.

Table 2. 
Descriptions for Set of Joints and Their Physical Connections for G_lower and G_all. J is Set of Joints and S is set of Physical Connections between Joints

	J	S
Glower	‘Hip’, ‘RHip’, ‘LHip’, ‘LKnee’, ‘LAnkle’, ‘LHeel’, ‘LBigToe’, ‘LSmallToe’, ‘RKnee’, ‘RAnkle’, ‘RHeel’, ‘RBigToe’, ‘RSmallToe’	(‘Hip’, ‘LHip’), (‘Hip’, ‘RHip’), (‘LHip’, ‘LKnee’), (‘LKnee’, ‘LAnkle’), (‘LAnkle’, ‘LHeel’), (‘LHeel’, ‘LSmallToe’), (‘LHeel’, ‘LBigToe’), (‘RHip’, ‘RKnee’), (‘RKnee’, ‘RAnkle’), (‘RAnkle’, ‘RHeel’), (‘RHeel’, ‘RSmallToe’), (‘RHeel’, ‘RBigToe’)
Gall	‘Head’, ‘Neck’, ‘LShoulder’, ‘LElbow’, ‘LWrist’, ‘RShoulder’, ‘RElbow’, ‘RWrist’, ‘Hip’, ‘RHip’, ‘LHip’, ‘LKnee’, ‘LAnkle’, ‘LHeel’, ‘LBigToe’,’LSmallToe’, ‘RKnee’, ‘RAnkle’, ‘RHeel’, ‘RBigToe’, ‘RSmallToe’	(‘Head’, ‘Neck’), (‘Neck’, ‘LShoulder’), (‘Neck’, ‘RShoulder’), (‘LShoulder’, ‘LElbow’), (‘LElbow’, ‘LWrist’), (‘RShoulder’, ‘RElbow’), (‘RElbow’, ‘RWrist’), (‘Neck’, ‘Hip’), (‘Hip’, ‘LHip’), (‘Hip’, ‘RHip’), (‘LHip’, ‘LKnee’), (‘LKnee’, ‘LAnkle’), (‘LAnkle’, ‘LHeel’), (‘LHeel’, ‘LSmallToe’), (‘LHeel’, ‘LBigToe’), (‘RHip’, ‘RKnee’), (‘RKnee’, ‘RAnkle’), (‘RAnkle’, ‘RHeel’), (‘RHeel’, ‘RSmallToe’), (‘RHeel’, ‘RBigToe’)

G_all과 G_lower의 그래프 생성 구조는 <Figure 4>에 나타나 있다. <Figure 4>에서 점은 노드를 의미하며, 양방향 엣지는 공간 특성 엣지를, 단방향 엣지는 시간 특성 엣지를 의미한다. 또한, G_all과 G_lower의 데이터 구조 특성에 대한 비교 결과는 <Table 3>에 제시되어 있다. <Table 3>은 G_lower와 G_all의 노드 개수, 공간 특성 엣지 개수, 시간 특성 엣지 개수를 단일 프레임과 전체 프레임의 수가 t일 때를 각각 비교한 것이다. <Figure 4>와 <Table 3>을 살펴보면, G_lower의 경우는 G_all에 비해 약 60%의 데이터만을 활용하는 것을 확인할 수 있다.

Figure 4. 
Examples of skeleton graph structures for G_all and G_lower

Table 3. 
Comparison for Data Characteristics between G_all and G_lower

	Component	Gall	Glower	Ratio (%)
Single frame	# of Nodes	21	13	61.9
	# of Spatial Edges	20	12	60.0
t frames	# of Nodes	21t	13t	61.9
	# of Spatial Edges	20t	12t	60.0
	# of Temporal Edges	21(t - 1)	13(t - 1)	61.9

4.2 피겨 스케이팅 동작 분류를 위한 그래프 신경망 기반 멀티 태스크 학습 모델

본 연구에서 제안하는 최종적인 그래프 신경망 기반 멀티 태스크 학습 기반 피겨 스케이팅 동작 분류 모델의 구조는 <Figure 5>에 도식화되어 있다.

Figure 5. 
Model Architecture of Proposed Method

<Figure 5(c)>를 살펴보면, 전체적인 모델 구조는 두 개의 GAT block들과 글로벌 평균 풀링 층, 각 태스크 분류를 위한 fully connected (FC) block들로 구성된다. 이때, GAT block과 글로벌 평균 풀링 층의 경우 공유 레이어로 설정하여 모든 태스크가 공통된 피겨 스케이팅 동작 특징을 학습할 수 있도록 하였으며, FC block의 경우 태스크 특화 레이어로 설정하여 각 태스크별로 최적화된 표현을 학습하도록 구성하였다. 각 block에 대한 세부 도식은 <Figure 5(a)>와 <Figure 5(b)>에 나타나 있으며, 상세 설명은 다음과 같다.

우선, GAT block은 피겨 스케이팅 동작 그래프의 공간적, 시간적 관계를 모델링하는 역할을 수행하며, temporal block과 spatial block으로 구성된다. 스켈레톤 그래프의 경우, 공간 특성 엣지로 연결된 노드의 최대 거리는 전체 노드 그래프에서 11, 하반신 노드 그래프에서 10에 불과하다. 반면, 시간 특성 엣지로 연결된 노드 간의 최대 거리는 T-1이며, T는 프레임의 수로 본 연구에서는 200 이상 300 이하의 값을 갖는다. 이로 인해, 동일한 개수의 레이어를 공간 특성과 시간 특성 엣지에 적용하면, 공간 특성 엣지가 과도하게 반영되거나, 시간 특성 엣지의 반영이 미약해질 수 있다. 이를 방지하기 위해, 본 연구에서는 시간 특성 엣지를 반영하는 temporal block에서 GAT 컨볼루션 레이어를 9개, 공간 특성 엣지를 반영하는 spatial block에서는 GAT 컨볼루션 레이어를 1개로 설정하여 시간적 특성이 깊이 학습될 수 있도록 설계하였다. GAT block의 출력은 3번째, 6번째, 9번째 시간 레이어의 결과와 공간 레이어의 결과를 concat하여 생성된다. 따라서, 입력 데이터 X의 특징 차원이 d라면, 출력 데이터 x의 특징 차원은 4d가 된다.

이후, 글로벌 평균 풀링(global average pooling) 층을 통해 노드별 정보를 통합하여 그래프 전체의 전역적 표현을 추출한다. 글로벌 평균 풀링은 모든 노드의 변수의 평균을 계산하여 이를 그래프의 전역적 표현으로 사용하며, 동작의 전체적인 특성을 효과적으로 요약하고 네트워크의 복잡도를 줄여 학습 안정성을 높이는 효과를 기대할 수 있다. 해당 층의 출력은 각 태스크별 FC block의 입력으로 사용된다.

마지막으로, FC block을 통해 각 태스크별로 특화된 표현을 학습한다. 본 연구에서는 네 가지 태스크(대분류, 소분류, 동작 성공 여부, 시연자의 숙련도)별로 label의 개수에 차이가 존재하여, FC block의 구조를 태스크별로 다르게 설계 후 서로 다른 출력을 생성하였다. 이때, 각 태스크 별로 FC block의 은닉층의 출력 크기를 조절하여 태스크별 학습을 최적화하였다. FC block의 태스크별 은닉층 출력 크기는 <Table 4>에 제시되어 있다.

Table 4. 
Output Size of FC Layer Block for Each Task

	Major	Sub	Success	Level
1st FC Layer	16	64	16	16
2nd FC Layer	8	32	8	8
3rd FC Layer	3	16	2	3

본 연구에서는 피겨 스케이팅 동작 분류를 위한 효율적인 인공지능 모델을 제안하였으며, 그래프 구조를 활용하여 데이터의 내부적 관계를 효과적으로 모델링하는 접근법을 탐색하였다. 특히, 피겨 스케이팅 기술의 핵심이 되는 하반신 관절 데이터를 중심으로 분석하여 전체 신체 관절을 활용하는 기존 방식 대비 효율성을 높였다. 또한, 단일 태스크 학습이 아닌 멀티 태스크 학습 방식을 도입하여 기술의 대분류 및 소분류, 성공 여부, 시연자의 숙련도를 하나의 모델에서 동시에 분류하도록 설계하였다. 피겨 스케이팅 동작 데이터를 활용하여 제안한 접근법을 검증한 결과, 하반신 스켈레톤 그래프를 이용한 모델이 전체 신체 스켈레톤 그래프 기반 모델과 비교하여 높은 효율성을 보였으며, 멀티 태스크 학습 방식이 싱글 태스크 학습 방식 대비 정확도와 학습 효율성 측면에서 우수한 성능을 나타냈다.

본 연구의 주요 기여점은 다음과 같다. 첫째, 데이터 효율성이다. 본 연구에서는 하반신 노드 그래프를 활용하여 전체 노드 그래프의 약 60%에 해당하는 데이터만으로 효율성을 확보하였다. 이는 데이터 저장 공간 뿐만 아니라 그래프 데이터 생성, 모델 훈련 시간에서도 약 60%의 시간만 소요되어, 시간 복잡도 측면에서도 매우 효율적임을 입증하였다. 더불어, case study를 통해 하반신 데이터만으로도 동작의 핵심 특징을 충분히 포착할 수 있음을 시각적으로 검증하였다. 둘째, 태스크 효율성이다. 본 연구는 대분류, 소분류, 기술의 성공 여부, 시연자의 숙련도라는 4가지 태스크를 분류하였다. 기존의 싱글 태스크 학습 방식으로는 각 태스크마다 별도의 모델을 생성하고 훈련해야 하므로 총 4개의 모델이 필요하다. 그러나, 본 연구에서는 멀티 태스크 학습을 적용하여 단 하나의 모델로 4가지 태스크를 동시에 학습하였고, 이를 통해 모델 훈련 시간을 약 3.82배 단축시켰다. 셋째, 우수한 성능이다. 제안된 하반신 멀티 모델은 4가지 모든 태스크에 대해 전체 멀티 모델에 비해 평균 약 3.31%p, 하반신 싱글 모델에 비해 평균 약 6.96%p 우수한 정확도를 보였다. 이는 하반신 노드 그래프가 피겨 스케이팅 동작과 관련된 중요한 정보를 대부분 포함하고 있으며, 태스크 간 높은 연관성을 통해 공유 표현을 학습하는 멀티 태스크 학습 방식이 긍정적인 효과를 보여주었기 때문으로 해석 가능하다. 또한, 본 모델에서 적용한 GAT의 효과성을 검증하기 위해, GAT를 GCN 및 GraphSAGE와 비교한 추가 실험을 수행하였다. 그 결과, GAT 기반 모델이 모든 베이스라인 모델을 상회하는 성능을 보였으며, 이는 어텐션 메커니즘이 피겨 스케이팅 동작의 복잡한 관절간 관계를 효과적으로 모델링하는데 기여함을 시사한다.

본 연구는 그래프 기반 피겨 스케이팅 동작 분석의 효율성을 높이는 방향으로 설계되었으며, 실험 결과에서도 제안한 방법론이 높은 성능을 보였다. 하지만 몇 가지 보완이 필요한 한계점이 존재한다. 첫째로, 본 연구에서는 AI-Hub 플랫폼에서 제공하는 피겨 스케이팅 동작 데이터를 활용하였지만, 해당 데이터셋이 특정 환경에서 수집된 자료로 구성되어 있어 다양한 조건에서의 일반화 성능 검증이 충분히 이루어지지 않았다. 둘째로, 연구에서 도입한 멀티 태스크 학습 방식은 기술의 대분류, 소분류, 성공 여부, 시연자의 숙련도를 동시에 학습하는 방식으로 설계되어 기술의 대분류 및 소분류 분류에서 우수한 성능을 확보하였으나, 동작 성공 여부와 숙련도 예측 성능은 상대적으로 낮은 경향을 보였다. 이는 동작 성공 여부가 착지 정확도 등 다양한 요인이 복합적으로 영향을 미치기 때문에, 현재 디자인된 스켈레톤 그래프 데이터만으로는 완벽한 예측이 어려울 수 있음을 의미한다. 또한, 숙련도의 경우 이를 정량적으로 평가하는 기준이 명확하지 않기 때문에, 데이터 라벨링 과정에서 주관적인 요소가 개입되었을 가능성이 있다. 셋째로, 연구에서 제안한 모델은 기존 데이터셋을 활용하여 실험을 진행하였지만, 실제 경기 환경에서의 적용 가능성은 검증되지 않은 부분이 있다.

이와 같은 한계는 연구의 근본적 제약이라기보다는 향후 발전을 위한 보완 과제로 해석할 수 있다. 첫째로, 향후 연구에서는 다양한 연령대와 숙련도를 가진 스케이터, 다양한 환경에서 수집된 데이터의 체계적인 구축이 선행된다면 확장된 실험이 가능할 것으로 사료된다. 둘째로, 모델 학습 구조와 관련하여 성능과 효율 간의 균형을 보다 정밀하게 검토하기 위해 소프트 파라미터 공유 방식을 포함한 다양한 멀티 태스크 학습 구조에 대한 탐색을 함께 수행하고자 한다. 이와 더불어, 최신 동적 그래프 신경망과의 비교 실험을 추가하여 제안된 모델의 효과성을 체계적으로 입증할 계획이다. 셋째로, 숙련도와 같은 주관적 요인이 개입될 수 있는 라벨에 대해서는 정량적이고 객관적인 기준을 마련함으로써 모델 학습의 신뢰성을 높이고자 한다. 마지막으로, 본 연구의 결과를 기반으로 실효성 있는 피겨 스케이팅의 객관적인 점수 예측이 가능한 시스템의 개발이 추가적으로 필요하다. 본 연구는 피겨 스케이팅 기술을 대분류와 소분류로 체계화하고, 기술의 성공 여부 및 시연자의 숙련도를 분류하는 작업을 진행하였다. 그러나 이는 피겨 스케이팅 종목의 점수로 직접적인 사용이 어려우므로, 점수 예측 모델을 본 연구와 통합하여 피겨 스케이팅 종목의 채점 과정에서 편향과 오류를 최소화하고 보다 공정한 평가를 제공할 수 있을 것이다. 따라서, 향후 연구에서는 실제 경기 환경에서 실시간 평가가 가능한 모델로 확장하는 방안이 필요할 것으로 보인다.