탁월한 가이드, 완벽한 객체 간 거리추정 모델을 만들다 : 포스텍 ‘InstaOrder 데이터셋’

셀렉트스타와 비전랩은 이미지 속 물체들의 공간적인 거리 정보가 담긴 데이터셋 ‘InstaOrder’ 데이터셋을 구축하고자 했습니다.(어쩐지 특정 SNS의 이름이 떠오르지만, 관계는 없습니다.)

‘InstaOrder’는 두 부분으로 나뉘어져 있습니다.

• occlusion order(가림 정보): 가려진 물체와 가리는 물체를 식별한 데이터셋
• depth order(앞뒤 순서): 물체 간 거리 순서를 설명하는 데이터셋

InstaOrder는 COCO 2017의 train, validation 이미지를 활용했습니다. 이미지 10만 장 속 57만 개 객체를 대상으로 약 146만 개의 조합(원천 데이터)을 만들었지요.

조합이란, 사진 속에 등장하는 객체 중 2개를 임의로 뽑은 것입니다. 두 객체를 보고 가림 정보와 순서 정보를 판단하게 됩니다. 한 사진에 여러 개의 조합이 있다면, 판단 결과를 합쳐 사진 속 모든 객체의 순서가 정해집니다.

여기서 첫 번째 어려움이 발생합니다. 원천 데이터가 다양하기에 단순하게 누가 누구를 가리는지, 누가 앞에 있는지 판단하기 애매모호한 상황이 많습니다. 가령,

• 콜라주 혹은 합성된 사진도 가공 대상인가?
• 거울에 비친 물체의 모습도 가공 대상인가?
• 물체 일부가 보이지 않는 상태에서 물체 간의 순서 판단 기준은?
• 오토바이에 탄 사람의 옆모습처럼, 물체가 서로 엉켜 있을 때 판단 기준은?
• 페트병에 들어 있는 사탕처럼, 한 객체가 다른 객체 안에 있을 때 판단 기준은?

수많은 예외 사항까지 고려해 최대한 일관된 기준을 세워야 했습니다.

여기서 끝이 아닙니다. 오픈 데이터셋은 기본적으로 셀렉트스타의 크라우드 소싱 데이터 가공 플랫폼 캐시미션으로 만들어집니다. 146만 개 조합에 대한 위치 정보를 캐시미션으로 가공하려면 약 900만 개의 답변 데이터가 필요했습니다. 캐시미션은 불특정 다수가 참여하므로 정확하면서도 모두가 쉽게 이해할 수 있는 가이드라인도 필요했습니다.

기준의 명확성과 작업의 정확성, 두 마리 토끼를 잡기 위해 ‘가이드 담당자’가 출동합니다.

셀렉트스타에서는 여러 팀이 협업해 캐시미션에 데이터 가공 작업을 오픈합니다. ‘가이드 팀’은 데이터의 정확성과 일관성을 담당하는 큰 축으로, 고객사와 크라우드 소싱 작업자를 연결하는 다리 역할입니다. 코너케이스(예외 상황)를 발굴해 데이터셋의 의도에 최적화된 기준을 세우고, 이를 명확하게 전달하는 가이드라인을 제작합니다.

이번에도 가이드 담당자가 함께 비전랩과 작업 기준을 협의하고, 가이드라인(설명서)을 제작했습니다.

그리고 마침내 약 한 달간의 협의 기간을 거쳐 캐시미션에 ‘가림 정보 파악히기’ ‘상대 위치 파악하기’라는 이름의 작업(미션)이 오픈되었습니다.

결과는 어땠을까요?