대학교 캠퍼스 안내 음성 서비스
1.
환영 및 인사: 투어 참가자들을 대학 캠퍼스에 환영하고 간단한 인사를 나눈다.
2.
투어 계획 안내: 캠퍼스 투어의 전체적인 일정과 방문할 장소를 소개한다.
3.
캠퍼스 소개: 대학의 역사, 특색, 학과 정보 등을 설명한다.
4.
주요 시설 안내: 건물, 도서관, 운동시설 등 대학의 주요 시설을 둘러보면서 설명한다.
5.
학교 생활 공유: 참가자들이 대학 생활에 대한 더 실질적인 이해를 할 수 있도록 도와준다.
6.
질문 및 답변: 투어 중이나 투어 후에 참가자들의 질문에 답한다.
7.
학교 이벤트 및 프로그램 소개: 대학 축제와 같은 행사나 학생들이 참여할 수 있는 다양한 프로그램을 소개한다.
8.
투어 마무리 및 이별 인사: 투어가 끝난 후 참가자들에게 감사의 말을 전하고 마무리한다.
이루멍 주요 task
1. 안내 메세지 전달 (정적)
인사 및 캠퍼스 소개에서 처럼 일방적인 메세지 전달 단계에서는 미리 저장한 mp3 파일을 재생
로봇의 위치를 파악해(로봇제어팀 담당) 해당 위치에 따라 재생할 mp3 파일을 callback 함수 호출하는 방식
2. 상호작용 대화 (동적)
호출명령어(Wake-up Word)
“시리야”, ”하이 빅스비” 처럼 호출명령어(Wake-up Word)를 설정해야 함
안내 메세지 전달 도중에는 로봇이 듣지 못한다
질의응답 음성 출력 방식
(chatGPT 대답)
딥러닝 모델 구현
질문에 대한 답변을 생성하는 모델 구현
직접 구현보다는 LLM 모델을 fine-tuning하여 사용
걱정되는 점들
여러 API를 실시간으로 사용해야 함 → 항상 인터넷 연결 상태여야 함
야외에서 인터넷 연결 어떻게 해야하는지
비용 처리
OpenAI 같은 API 서비스 이용시 token 단위로 비용 발생
모델 이식
GO1에 탑재된 PC의 컴퓨팅 리소스가 감당 가능할지
평가지표
결국 생성 모델이라 진실을 말하고 있는지 어떻게 평가하는지
직접 학교 관련 문서들 뒤져가며 정답인지 맞춰야하는건지
응답 속도
[음성 → 텍스트 → LLM 추론 → 텍스트 → 음성] 과정을 거칠 때 시간이 얼마나 소요될지
근데 이건 학기 후반(거의 완성단계)에서야 확인 가능