생성형 인공지능(AI)이 거짓말을 하거나 오류가 있는 정보를 진실인 것처럼 말하는 ‘환각 반응’(Hallucination)을 잡아내는 데 어려움을 겪고 있는 AI 제작사들이 AI 학습 개선을 위해 박사급 학위를 소지한 ‘인간 교수’를 대규모로 고용하고 있다는 외신 보도가 나왔다.

이들의 시급은 과거 시급이 2달러에 불과했던 아프리카, 아시아 개발도상국의 데이터 라벨링 인력과 달리 시간당 최대 200달러에 달하는 박사급인 것으로 알려졌다.

생성형 붐이 일던 초창기 오픈AI의 챗GPT나 ‘코히어‘(Cohere)와 같은 AI 모델이 인간과 같은 반응을 내도록 하려면 학습 수준이 낮은 대규모 인력으로 구성된 대규모 팀이 필요했다. 이들은 모델이 이미지가 자동차인지 당근인지와 같은 기본적인 사실을 구별하도록 도왔다. 하지만 생성형 AI 모델을 보다 정교하게 만들려면 역사학자부터 과학자까지 전문 지식을 갖춘 인간 AI 트레이너 네트워크가 급속히 확대돼야 하며, 이중 일부는 박사 학위를 소지한 전문인력이라고 AI 업계 관계자는 전했다.

코히어의 공동 창업자 이반 장은 28일(현지시간) 로이터통신에 “1년 전만 해도 우리는 AI에 개선 방법을 가르치기 위해 학부생을 고용하는 것으로 충분했지만, 이제 우리는 모델에게 의료 환경에서 행동하는 방법을 가르치는 면허 있는 의사나 재무 분석가 또는 회계사가 필요하다”고 말했다.

기업 가치를 50억 달러 이상으로 평가받은 코히어는 ‘인비저블 테크’(Invisible Tech)라는 스타트업과 협력하고 있다. 코히어는 오픈AI의 주요 경쟁사 중 한 곳이며 기업을 위한 AI를 전문으로 제작하고 있다. 인비저블 테크는 원격으로 일하는 수천 명의 트레이너를 고용해 ‘AI21’에서 마이크로소프트(MS) 이르기까지 다양한 AI 회사의 주요 파트너 중 하나가 되어 이들의 AI 모델을 훈련해 AI 세계에서 ‘환각’(Hallucination)으로 알려진 오류를 줄이는 작업을 하고 있다.

인비저블 테크 창립자인 프랜시스 페드라자는 “전 세계 100개국 이상에서 박사, 석사 학위 소지자 및 지식 작업 전문가가 5000명이 넘는다”고 말했다.

인비저블은 노동자의 위치와 작업의 복잡성에 따라 시간당 최대 40달러를 지불한다.

‘아웃라이어’(Outlier)와 같은 일부 회사는 시간당 최대 50달러를 지불하는 반면 ‘라벨박스‘(Labelbox)라는 다른 회사는 양자 물리학과 같은 높은 전문성이 필요한 주제에 관해서는 시간당 최대 200달러를 지불하지만 기본 주제에 대해서는 15달러부터 시작한다고 말했다.

인비저블 테크는 2015년 음식 배달 회사 ‘도어대시’(DoorDash)와 같은 회사의 배달 메뉴를 디지털화하기 위해 워크플로 자동화 회사로 설립됐다. 하지만 2022년 챗GPT 출시를 앞두고 오픈AI가 연락을 해오면서 상황이 변했다.

페즈라자는 “OpenAI는 우리에게 문제를 가지고 왔는데, 그것은 챗GPT의 초기 버전에 질문을 하면 환각 반응을 보인다는 것이었다”면서 “그들은 인간의 피드백을 통해 강화 학습을 제공하는 고급 AI 교육 파트너가 필요했다”고 말했다.

생성형 AI는 훈련에 사용된 과거 데이터를 기반으로 새로운 콘텐츠를 생성한다. 그러나 때로는 진실과 거짓 정보를 구별하지 못하고 환각이라고 알려진 거짓 출력을 생성한다. 주목할 만한 예로, 2023년 구글 챗봇은 홍보 영상에서 지구 태양계 밖의 행성을 처음으로 촬영한 위성에 대한 부정확한 정보를 공유했다.

AI 회사들은 환각이 생성형 AI의 기업적 매력을 떨어뜨릴 수 있다는 사실을 알고 있으며, 인간 트레이너를 이용해 사실과 허구의 개념을 가르치는 등 이를 줄이기 위한 다양한 방법을 시도하고 있다.

인비저블 테크는 오픈AI에 합류한 이후 코히어, AI21, MS를 포함한 대부분의 생성형 AI 개발사의 AI 교육 파트너가 됐다고 말했다. 코히어와 AI21은 고객임을 확인했다. MS는 인비저블AI의 고객사임을 확인하지 않았다.

페드라자는 “이 회사들은 모두 교육 문제를 겪고 있었는데, 가장 큰 비용은 컴퓨팅 파워였고, 두 번째로 큰 비용은 양질의 교육이었다”고 설명했다.

생성형 AI에 대한 열풍을 일으킨 오픈AI는 ‘휴먼 데이터 팀(Human Data Team)’이라는 이름의 연구팀을 보유하고 있으며, 이 팀은 AI 트레이너들과 협력하여 챗GPT와 같은 모델을 훈련하기 위한 특수 데이터를 수집한다.오픈AI 연구원들은 환각을 줄이거나 글쓰기 스타일을 개선하는 등 다양한 실험을 진행하고 있고, 인비저블 테크 등 다른 AI 학습 공급업체의 AI 트레이너들과 협력하고 있다고 회사 프로세스를 잘 아는 소식통이 전했다.

그 사람은 언제든지 수십 개의 실험이 진행되고 있으며, 일부는 오픈AI가 개발한 도구를 사용하고 다른 일부는 공급업체의 도구를 사용한다고 말했다.

AI 제작사가 원하는 바에 따라 인비저블 테크는 해당 프로젝트에 적합한 학위를 소지한 인력을 채용해 AI 학습에 투입하고, AI 제작사가 수백 명의 트레이너를 관리하는 위험부담을 줄인다.

페드라자는 “오픈AI에는 세계에서 가장 놀라운 컴퓨터 과학자들이 몇몇 있지만 그들은 반드시 스웨덴 역사나 화학, 생물학 등 전문가는 아니다. 질문할 수 있는 어떤 것에 대해서 말이다”라며 “오픈AI에서만 1000명이 넘는 계약직 직원이 일하고 있다”고 말했다.

페드라자 대표는 “인비저블 테크가 AI 트레이너를 직접 AI 학습에 투입하여 생성형AI 모델이 빅데이터 세트에서 관련 정보를 찾도록 가르치는 방법을 찾았다”고 말했다.

이 분야의 경쟁자 중에는 140억 달러의 가치를 지닌 비공개 스타트업 스케일AI(Scale AI)가 있는데, AI 기업에 훈련용 빅데이터 세트를 제공한다. 또한 AI 트레이너를 제공하는 분야에도 진출했고, 오픈AI를 고객으로 삼았다.

2021년부터 수익을 내고 있는 인비저블 테크는 1차 자본금 모집에서 800만 달러를 유치했다.

페드라자는 “우리는 팀이 70%를 소유하고 있고, 투자자가 30%만 소유하고 있다”면서 “우리는 2차 라운드를 촉진하고, 가장 최근 거래 가격은 5억 달러의 평가를 받았다”고 말했다.

인간 트레이너는 자격 요건이 덜하고 급여도 적게 받는 데이터 라벨링 작업을 통해 AI 훈련에 처음 들어갔다. 때로는 2달러 정도였다. 주로 아프리카와 아시아 국가의 개발도상국 국가의 사람들이 수행해왔다.

AI 회사들이 더욱 진보된 모델을 출시함에 따라 전문 트레이너에 대한 수요와 수십 개 언어에 대한 수요가 증가하고 있다. 이로 인해 코딩 방법을 전혀 몰라도 다양한 분야의 근로자가 AI 트레이너가 될 수 있는 고소득 틈새 시장이 생겨나고 있다. AI 기업의 수요로 인해 유사한 서비스를 제공하는 기업이 더 많이 생겨나고 있다.