업계 소식에 따르면, 네이버, SK텔레콤, KT, LG AI 연구원, 셀렉트스타, 스캐터랩은 최근 한국정보화진흥원(NIA)의 ‘초거대 언어 모델 신뢰성 벤치마크 데이터’ 사업을 위해 함께 모여 프로젝트를 진행하기로 했습니다. 이 프로젝트는 AI 스타트업 셀렉트스타가 주관하며, 챗지피티(ChatGPT) 공개 이후 안전하고 똑똑한 AI에 대한 사회적 수요가 커진 가운데, 초거대 인공지능을 직접 개발하는 대기업과 선도 스타트업들이 인공지능 모델 평가에 기준이 되는 벤치마크 데이터셋 구축에 함께 나선 것입니다.
해당 사업은 AI 학습용 데이터 구축 지원 사업의 일환으로 초거대 언어 모델 학습과 평가에 필요한 데이터셋을 만드는 내용입니다. 데이터셋 개요는 다음과 같습니다.
먼저 언어 인공지능이 생성한 답변의 평가 척도를 ‘3H’ 무해성(Harmlessness) 정보 정확성(Honesty) 도움 적정성(Helpfulness) 세 카테고리로 나누고, 카테고리에 해당하는 질문과 답변 선택지를 구성하고, 평가 대상 모델이 적절한 답변을 선택하게 합니다. 이후 적합한 답변 선택 여부를 기반으로 해당 인공지능의 신뢰성을 정량적으로 평가하게 됩니다.
이 ‘3H’ 평가 기준은 고차원 인공지능과 인간 간 상호 작용에서 요구되는 가치입니다. 미국의 AI 기업 앤트로픽(Anthropic)은 지난 5월, 생성형 AI의 유해성을 최소화하기 위한 ‘헌법적 체계의 AI(Constitutional AI)’를 소개하며 “우리는 AI 능력이 인간 수준에 도달하거나 그 이상이 되더라도 도움 되고, 진실하며 무해하게(Helpful, Honest, Harmless) 유지되는 AI 시스템을 훈련시키고 싶다”고 밝혔습니다.
본 과제의 자문을 맡고 있는 KAIST 김재철 AI 대학원 최윤재 교수는 “
인공지능의 엄청난 발전 속도를 고려했을 때, 국민 개개인이 일상 생활에서 인공지능으로부터 직간접적으로 영향을 받을 시점이 머지않았다. 이에 대비하기 위해 우리가 미리 인공지능의 3H 기준을 정립한다는 점에서 이번 벤치마크 데이터셋의 역할이 대단히 중요하다.
“고 전했습니다.
인공지능을 활용하는 기업은 많지만, 대규모 파라미터를 가진 초거대 AI를 사전 학습 단계부터 개발하는 기업 수는 국내에서 손꼽습니다.
이번 사업은 국내 선도 AI 기업들이 최초로 신뢰성 기준을 마련하고, 이를 측정할 수 있는 벤치마크 데이터셋까지 구축한다는 데 의의가 있습니다. 기업들은 구축한 데이터로 인공지능 모델의 답변 신뢰도를 측정하고 개발 및 고도화에 활용할 수 있습니다. 또한 믿을 수 있는 인공지능에 대한 사회적 관심이 높아지는 가운데, 기업 내 체계적인 인공지능 신뢰 기준 개발에 사용할 수도 있습니다.
김세엽 셀렉트스타 대표는 “셀렉트스타는 한국어 대표 벤치마크 데이터셋 클루(KLUE)와 코쿼드(KorQuAD 2.0) 구축에 참여한 유일한 데이터 기업“이라면서 “세계 최고 권위 AI 학회에 여러 차례 등재된 데이터셋을 만든 경험으로 믿을 수 있는 인공지능 개발에 기여하겠다”고 전했습니다. 주관 기업 셀렉트스타는 KAIST 최윤재 교수 연구실과 협력하여 세계 최고 권위 AI 학회에 본 데이터셋에 대한 논문을 등재해 글로벌 공신력까지 확보할 계획입니다.
8월 과학기술정보통신부, 정보통신정책연구원, 한국정보통신기술협회가 개최한 ‘제3차 인공지능 윤리정책 포럼’
이처럼 인공지능이 의도한 대로 행동하고, 예측하지 못한 위험을 최소화하는 연구를 ‘AI 정렬(AI alignment)’이라고 합니다. 현재 주요 국가와 기업들은 AI 윤리 가이드라인을 수립하고 관련 연구를 진행하고 있습니다. 지난 7월, 오픈AI는 초지능 정렬 문제 해결을 위해 앞으로 4년 동안 보유한 컴퓨팅 자원(GPU 등)의 20%를 투자할 것이라 밝혔으며, 유럽연합(EU)에서는 2019년부터 신뢰할 수 있는 AI 윤리 가이드라인을 제공하고 있습니다.
한국에서는 과학기술정보통신부가 디지털 정책 기조와 질서를 정립하기 위해 내년에 ‘디지털 권리장전’을 발표할 예정입니다. 인공지능 윤리정책 포럼 위원으로 활동 중인 셀렉트스타의 황민영 부대표는 이 초안을 높이 평가하며 “산업 경쟁력을 유지하면서도, 글로벌 트렌드에 맞춰 다양한 내용을 담으려는 비전이 인상 깊다”고 밝혔습니다.
