[플레이데이터 SK네트웍스 Family AI 캠프 17기] 20주차 회고

Hello World 👋🏻

벌써 11월의 셋째 주말이 찾아왔네요.

지난 한 주는 기획의 단계를 지나, 드디어 프로젝트의 진짜 재료를 구하는 험난한 과정이었어요.

화려한 코딩을 상상하며 개발 단계에 돌입했는데, 현실은.. 키보드보다 마우스를 붙잡고 영상과 텍스트를 일일이 손보는 시간이 훨씬 길었어요.

머릿속으로 그리던 깨끗한 데이터가 현실에는 존재하지 않는다는 걸 깨닫기도 하고, 그래도 이 재료들이 모여 우리 모델을 똑똑하게 만들 거라 생각하니, 삽질마저도 즐겁게 느껴지려고.. 노력했습니다.

그래도 팀원들과 으쌰으쌰 하며 하나씩 해결해 나갔던, 지난 한 주의 기록을 시작해 봅니다!

 

📁 최종 프로젝트 기록

이번 주는 본격적인 개발에 돌입해, 프로젝트의 핵심 재료인 데이터를 모으고 테스트하는 데 집중했어요.

 

• 데이터 수집 및 전처리

파인튜닝과 RAG를 위한 야구 데이터를 모으는 것이 이번 주의 핵심이었습니다.

저는 모델이 경기와 선수 정보를 정확히 참조할 수 있도록 RAG용 데이터를 모으는 작업부터 시작했어요.

그런데 원하는 정보가 깔끔하게 정리된 곳이 없었고, 여러 사이트를 돌아다니며 필요한 정보들을 일일이 손크롤링했습니다.

시간은 오래 걸리고 힘들었지만, 이 데이터가 챗봇의 정확도를 올려줄 거라는 생각에 기대되는 마음이 크기도 했어요.

 

• STT, TTS 및 파인튜닝 테스트

페르소나 파인튜닝을 위해 해설위원의 음성 데이터를 수집하는 작업도 병행했어요.

STT 테스트의 가장 큰 문제는 단순 소음이 아니라, 영상 속에서 우리가 원하는 해설위원의 음성만 정확히 분리해 내는 것도 어려웠습니다.

영상을 일일이 손으로 편집하고 재생하며, 수작업 전사(Transcription) 작업을 거쳐야 했습니다.

이 데이터 전처리 과정에 정말 어마어마한 시간이 들어가더라고요.

 

• ERD 및 데이터베이스 설계서 확정

지난주에 이어, 팀원들과 함께 ERD를 최종적으로 확정했습니다.

유저 정보, 해설위원 페르소나 정보, 결제 및 구독 정보를 어떻게 저장할지 구조를 잡고 데이터 베이스 설계서를 마무리했어요.

 

• 활용 모델 탐색 및 결과서 작성

우리 프로젝트에 가장 적합한 모델을 찾기 위한 탐색도 진행했어요.

Qwen2, Midm-2.0-Base-Instuct, A.X 등 여러 후보 모델을 비교 대상으로 두고, 각 모델의 성능과 특성을 평가하며 어떤 모델이 '야구 해설'에 가장 적합할지 테스트했습니다.

 

💭 KPT

Keep

 

무엇보다, 계속해서 팀원들과의 소통이 정말 원활하게 이루어지고 있다는 점이 가장 큰 힘이 됩니다.

난관에 부딪혔을 때, 서로를 탓하거나 좌절하기보다 "그럼 다른 방법은 없을까?"라며 빠르게 대안을 모색하는 분위기가 정말 좋아요.

또한, 손목터널증후군과 안구건조증으로 컨디션이 좋지 않았음에도, 할 수 있는 부분은 끝까지 책임지고 마무리하려 노력한 점도 칭찬하고 싶습니다.

 

Problem

 

데이터 전처리에 예상보다 너무, 너무 많은 시간을 쏟게 된 것이 가장 큰 문제입니다.

'손크롤링'과 '수작업 전사'는 생각보다 훨씬 비효율적이었고, 이 단순 반복 작업에 이번 주의 많은 리소스를 사용해버렸습니다.

그러다 보니, 정작 중요한 모델 파인튜닝 코드를 작성하거나, RAG 시스템을 설계하는 본질적인 개발 작업은 시작도 못하고 시간이 밀리게 되었어요.

 

Try

 

데이터 전처리 작업으로 인해 본 개발 일정이 밀린 만큼, 다음 주는 정말 정신을 바짝 차려야 할 것 같아요.

당장 중간발표가 코앞으로 다가왔고, 팀원들과 함께 발표 자료 제작도 시작해야 하는, 정말 중요한 한 주입니다.

 

 

데이터라는 거대한 벽에 정면으로 부딪혔던 한 주가 이렇게 마무리되었네요.

개발은 데이터 수집이 8할이라는 말이 무슨 뜻인지 뼈 저러게 느꼈습니다..

우리 팀의 분위기가 좋아서, 이 어려움도 함께 잘 헤쳐나갈 수 있을 거라는 믿음이 있어요.

17기 모두 이번 주도 고생 많았고, 다음 주도 다시 힘내서 달려봐요 🏃🏻‍♀️