네이버(대표 한성숙)는 오는 11월 말 AI 기술을 활용해 웹문서 검색을 고도화하는 ‘그리핀(Griffin) 프로젝트’의 일환으로 ‘웹문서’와 ‘사이트’ 검색 영역을 ‘웹사이트’로 통합할 예정이라고 20일 밝혔다.
네이버는 통합된 웹사이트 영역을 11월 말 기준으로 명칭을 ‘웹사이트’로 변경하되, 당분간 이용자 혼란을 방지하고자 통합검색결과 내에서는 사이트와 웹문서를 한시적으로 구분해 노출하며, 웹사이트 탭 안에서도 기존의 웹문서와 사이트 검색결과를 선택해 볼 수 있는 옵션을 제공하는 등 이용자 피드백을 반영하며 점진적으로 개선할 예정이다.
네이버는 외부의 좋은 문서들을 이용자들이 쉽고 편리하게 검색할 수 있도록 웹문서검색 고도화를 위한 연구를 꾸준히 진행해오며, 2014년 ‘타우린(Taurine) 프로젝트’에 이어 올해부터 AI 기반 기술을 적용해 더욱 고도화된 ‘그리핀 프로젝트’를 진행하고 있다.
네이버는 ▲수집 로봇이 실시간으로 공신력 있는 사이트와 다량의 웹문서를 잘 가져와 검색 결과에 빠르게 반영하고 ▲딥 러닝 기술을 기반으로 새롭게 등장하는 복잡하고 다양한 스팸 문서들에 대응하며 ▲이용자들의 검색 의도까지 반영해 더욱 신뢰할 수 있는 검색 결과를 제공하는 그리핀 프로젝트의 연장선상으로, 기술 발전과 웹문서 검색 고도화에 맞춰 웹사이트 영역을 통합한다고 밝혔다.
수집 시스템의 경우 수집 로봇이 뉴스, 위키백과 등 신규 콘텐츠를 상시 분석하며, 새롭게 등장하는 웹문서를 발견해 신속하게 수집할 수 있도록 했다. 실시간으로 스트리밍(Streaming) 구조의 문서 수집 시스템을 통해 현재 시점에서 이용자들이 선호하는 웹사이트의 문서를 더 빨리 발견하고, 이용자 선호도의 변화를 보다 빠르게 반영할 수 있게 됐다.
또한 AI 기반의 매칭 기술을 통해 사용자가 ‘국립중앙박물관 가는 법’을 검색했을 때 사이트 내부의 ‘국립중앙박물관 오시는 길’ 혹은 ‘약도’나 ‘길찾기’ 등 서로 다른 단어가 명시돼있는 웹문서라도 자동으로 매칭해 제공할 수 있다.
AI 기반 기술은 사이트 구조도 분석해 이용자들이 자주 방문하는 페이지나, 선호도 높은 문서 및 메뉴 등도 자동으로 추출, 검색 결과에서 사이트와 함께 요약 정보로 보여줄 수 있다.
김상범 네이버 웹문서검색 리더는 “과거 대비 현재는 웹페이지의 구조가 복잡해지고 블로그나 SNS 채널을 통해 콘텐츠를 소비하는 추세가 늘어났으며, 검색어의 형태가 세분화, 다양화된 롱테일(Long-Tailed) 검색어가 많이 증가하는 등 모바일 환경에서는 사이트보다 정답형 정보나 하나의 웹페이지를 통해 정보를 확인하는 이용자들이 증가했다”며 “AI 기반 기술의 발전과 웹문서 검색 영역이 고도화된 만큼, 이용자에게 신뢰할 수 있는 웹문서를 더욱 정확하고 신속하게 찾아서 보여주고, 많은 웹문서들이 더욱 공정하게 노출될 수 있는 기회를 주기 위해 노력할 것”이라고 밝혔다.
