영상 속 사물을 찾아주는 구글 API
구글은 작년 영상 속 사물을 인식하는 ‘비디오 인텔리전스 API’를 공개한 바 있다.(관련 기고문) 사용자가 검색어를 입력했을 때 영상에서 검색어와 관련된 물건을 찾아준다. 사용자가 직접 영상 전체를 확인할 필요가 없다.
이 인공지능 기술은 상품이 등장하는 영상을 찾아 헤메거나 영상 화면을 캡쳐해 어떤 상품인지 인터넷에 물어봐야 하는 불편을 많이 해소시킬 것으로 기대를 모았다. 최근 들어 비디오 인텔리전스 API와 유사한 영상 검색 기술을 서비스에 적용해 영상 시청 중 궁금한 점을 즉시 해소시켜주는 사례가 속속 등장하고 있다.
VIDAA AI TV 시스템
중국엔 동영상 속 콘텐츠 검색이 가능한 TV가 등장했다. TV를 보면서 TV 속 연예인의 기본정보를 비롯한 관련 소식을 확인할 수 있고 연예인이 착용한 옷이나 악세사리를 인식하여 제품 쇼핑까지 가능하다.
하이센스라는 중국 가전기업이 1월 31일 베이징에서 발표한 ‘VIDAA AI’ TV 시스템 안에 이 기술이 탑재되어 있다. TV를 보다가 리모콘 버튼을 누르면 화면 속 이미지가 캡쳐되고 캡쳐 화면 속 상품, 연예인, 방송사 브랜드 등을 모두 인식해낸다. 실시간 비디오 검색을 위한 콘텐츠 식별 정확도는 99%에 이른다고 한다.
VIDAA AI 시스템은 음성 제어 기능도 보유하고 있다. 중국의 표준어를 포함한 중국 각지의 사투리를 인식하며 ‘스칼렛 요한슨이 나오는 장면으로 건너뛰기해줘.’, ‘이 여행지에 갈 수 있는 항공권 알려줘.’ 등의 명령을 수행한다. 음식 배달, 번역, 콜택시, 사전 검색 등 다양한 서비스로도 확장을 계획하고 있다.
비디오태그(VIDEOtag) 서비스
VIDAA 시스템 발표로부터 한 달 뒤, 미디어커머스 기업 핑거플러스는 영상에 상품정보 등을 매칭하는 비디오태그 서비스를 카카오TV에 도입할 계획이라고 밝혔다.
비디오태그는 사용자가 방송영상 시청 중 영상 속 정보가 궁금할 때 화면을 멈추면 인물정보와 패션, 잡화 등 상품정보를 보여주고 구매까지 가능하게 하는 서비스다. 사용자가 영상을 보고 나서 네이버에 ‘000 립스틱’, ‘000 가방’ 등 검색어로 정보를 찾아야야 하는 수고로움을 덜었다.
작년부터 피키캐스트, 푹(pooq), 판도라TV 등에 비디오태그가 적용되어왔다.
비디오태그는 사용자의 관심사를 반영한 행동기반 타겟팅이 가능하다고 해서 이용자 능동형 미디어커머스, 맥락형 동영상 광고 서비스 등으로도 불린다. 사용자가 동영상 시청 중 하는 행위와 관심 동영상 카테고리, 관심 상품 속성 등의 데이터를 연동하여 사용자가 원하는 정보를 확인하기 용이하기 때문이다. 비디오태그에는 관심 상품, 색깔, 소재, 스타일, 상품 품번, 관련 연예인, 출연작품 등 최소 20가지 항목에 관한 데이터가 축적되고 있다.
얼굴 인식 기술
유사한 서비스가 또 있다. 제타미디어의 영화 스트리밍 서비스 비플릭스(BFLIX)는 얼굴 인식 기술을 활용한 영화 추천 서비스를 베타 오픈했다. 비플릭스는 영상 속 배우의 얼굴을 자동으로 인식해 배우의 정보를 제공하고 그 배우가 출연한 다른 영화를 추천한다.
특정 배우가 등장하는 장면이 구간마다 분리돼있어 사용자가 원하는 장면을 빨리 찾아보는 것이 가능하다. 출연 장면 구간은 운영자가 직접 장면을 찾고 클립을 뽑아내는 것이 아니라 AI 얼굴 인식 기술을 통해 자동으로 수집된다. 배우 이름을 검색하여 해당 배우가 등장하는 클립 영상만 모아 감상할 수도 있다.
제타미디어는 얼굴 인식 범위를 무명, 조연 배우로 확대하고 배우 DB를 확충함으로써 서비스를 고도화할 계획이다. 현재는 PC웹에서만 서비스 중이다.
