웹검색

Web Search팀에서는 수백억 규모의 웹페이지를 수집하여 색인하고 사용자가 입력한 쿼리를 이해한 다음 적합한 순서대로 색인된 웹페이지들을 정렬하여 보여주는 서비스를 만들고 있습니다. 이를 위해서는 강력한 수집 및 데이터 가공시스템, 그리고 똑똑한 질의 및 문서이해시스템과 랭킹시스템이 필요합니다. 그래서 우리는 우리와 함께 일할 Backend/Data Engineer 분들과 Applied Research Scientist분들을 기다리고 있습니다.

Backend/Data Engineer, Web Search

네이버의 웹수집시스템은 국내외 웹사이트들에 대한 가장 최신의 스냅샷을 확보하고 웹브라우저에서 사람의 눈으로 확인할 수 있는 모든 웹페이지 내 정보들을 렌더링해 내기 위한 기술들이 집약되어 있습니다. 또 이렇게 수집된 웹페이지들은 국내 최대규모의 데이터 가공시스템에서 검색대상선별을 위해 그 중요도와 가치가 계산되고 다른 정보들과 결합되며 색인할 수 있는 형태로 정제됩니다.

이 업무에 참여하는 엔지니어들은 수천만의 네이버 사용자를 넘어 수십억명의 글로벌 검색 사용자를 만나기 위해 수조개의 데이터를 모으고 분석하여 의미있게 가공합니다. 가공된 데이터는 수천대의 서버에 저장되어 수 억건의 사용자 질의를 최단 응답 시간내에 처리하기 위한 최적의 방법으로 서비스 되고 있습니다. 이를 위해 효율적이고 안정적이며 확장성있는 백엔드 시스템을 개발하며 누구도 겪어보지 못한 여러가지 도전적인 엔지니어링 문제들을 각 분야의 실력있는 동료들과 같이 해결하며 성장해나가는 것은 어디에서도 쉽게 할 수 없는 값진 경험입니다. 이런 경험을 통해 최고의 백엔드엔지니어, 데이터엔지니어로 성장할 수 있다고 자신있게 말씀드립니다.

자격요건

• OS, DB, Network 등 전산학 기본기가 탄탄하고 뛰어난 문제해결능력을 보유하신 분.

• 리눅스 개발환경 및 Java/Scala/C++ 중 한 가지 언어에 능숙하신 분.

우대사항

• 검색/추천서비스개발경험 3년 이상인 분.

• Hadoop/Spark 등 대용량 데이터처리환경에 익숙하신 분.

Applied Research Scientist, Web Search

사용자가 입력한 쿼리는 실제로 사용자가 원하는 웹페이지와는 다른 모습인 경우가 많습니다. 따라서 입력한 쿼리와 색인되어 있는 웹페이지들을 의미적으로 분석하여 쿼리와의 관련성을 계산하고, 그 관련성대로 수백억 문서를 짧은시간 안에 정렬하여 사용자에게 제공해야 합니다. 이 일의 핵심은 관련성을 계산하는데 도움이 되는 시그널을 찾아내고 수치화 하는 것(feature engineering)과, 수백가지의 시그널을 조합하여 우리가 원하는 기준대로 관련성을 계산하는 알고리즘(learning-to-rank)을 개발하는 것입니다. 이 일을 하고 있는 연구형 엔지니어들은 기계학습과 통계지식을 바탕으로 단순한 아이디어부터 가장 최신의 딥러닝 알고리즘까지 모든 가능하고 효과적인 방법을 동원하여 검색품질개선에 기여하고 있습니다.

이 업무에 참여하시는 분들은 ML Engineer로 성장하기도 하고, 여러 대학 연구실과 산학협력을 진행하며 Research Scientist 커리어를 쌓을 수도 있습니다. 우리는 ML Engineer와 Research Scientist역할을 균형있게 수행할 수 있는 분이 검색서비스품질개선에 가장 필요한 인재라는 믿음을 갖고 있습니다. 권위있는 국제학회에서 발표되는 연구에 참여하면서도 ML Engineer로서 산업계에서 필요한 전문인력을 지향하는 분들의 많은 지원을 기다립니다.

가장 최근의 연구성과들 아래 링크에서 확인하세요.

• https://deview.kr/2021/sessions/452

• https://deview.kr/2021/sessions/516

• https://deview.kr/2021/sessions/481

• https://aclanthology.org/2021.findings-emnlp.69.pdf

• https://aclanthology.org/2021.eacl-demos.27/

• https://dl.acm.org/doi/10.1145/3404835.3463076

• https://dl.acm.org/doi/10.1145/3404835.3463067

자격요건

• AI/ML 기본기가 탄탄하거나 통계학 지식이 풍부하며 뛰어난 문제해결능력을 보유하신 분.

• C++/Python/R 중 한가지 언어에 능숙하며 한 가지 이상의 기계학습 패키지를 잘 다루시는 분.

우대요건

• 검색/추천서비스개발 혹은 서비스데이터분석경험 3년 이상인 분.

• 검색, 추천, 언어처리, 데이터마이닝 분야 연구논문실적이 우수한 분.