AI&Data Platform

AI&Data Platform

이런 일을 합니다

AI&Data Platform에서 하는 일

AI & Data Platform에서는 NAVER 전사의 데이터를 수집, 저장할 수 있는 시스템을 베이스로, 연산/처리, 분석, AI학습에 필요한 플랫폼을 만들어서 NAVER 사내 개발자에게 제공하고 있습니다.

더불어서, 이 모든 과정에서 데이터를 안전하고, 효율적으로 사용할 수 있는 데이터 거버넌스 시스템 또한 개발 운영하고 있습니다.

간단하게 표현하면, 저희는 NAVER 개발자가 사용할 수 있는 데이터를 다루는 도구를 개발/운영하고 있습니다. 사내의 AWS, GCP, Azure라고 생각하시면 됩니다.

동료를 찾아요

위 그림에 표현된 각 분야에 대해서 아래와 같이 일할 수 있는 동료를 찾고 있습니다. 플랫폼의 영향력이 확대되고 규모가 지속적으로 커지고 있어서, 상시채용으로 지원의 문이 열려 있으니 언제라도 지원해 주세요. (잘 안 보이시면 테이블을 클릭하세요.)

모집 분야 및 역량

이런 일도 합니다

컨퍼런스 참여

• 로그 수집

  • [Deview 2017] 백억 개의 로그를 모아 검색하고 분석하고 학습도 시켜보자: 로기스

  • [Deview 2019] 네이버 로그를 지탱하는 힘

• AI

  • [Deview 2017] 빅데이터를 위한 분산 딥러닝 플랫폼 만들기

  • [Deview 2018] Ai Serving Platform: 하루 수 억 건의 인퍼런스를 처리하기 위한 고군분투기

  • [Deview 2019] 외산 클라우드 없이 AI 플랫폼 제공하기: features, training, serving, and AI Suite

  • [Deview 2020] 손쉽게 ML 라이프사이클을 다룰 수 있는 MLOps

  • [Deview 2021] AiSuite : Kubeflow를 통해 더 나은 AI 모델 서빙과 MLOps 실현하기

  • [Deview 2021] 대규모 자연어처리 모델 서빙 경험기

• 연산/처리

  • [Deview 2018] C3, 데이터 처리에서 서빙까지 가능한 하둡 클러스터

  • [Deview 2019] 대용량 멀티테넌트 시큐어 하둡 클러스터를 시행착오 없이 만들기

  • [Deview 2019] 대규모 클러스터 모니터링 도전기: 모니터링, 어디까지 알아보고 오셨어요? Cluster level 부터 User level까지

  • [Deview 2020] 대용량 멀티테넌트 시큐어 하둡 클러스터 운영 경험기

  • [Deview 2021] 초대용량 멀티테넌트 시큐어 하둡 클러스터 성장통 경험기

• 저장

  • [Deview 2017] HBase 기반 검색 데이터 저장소

  • [Deview 2019] 네이버 로그를 지탱하는 힘

  • [Deview 2021] 네이버 최대의 데이터 저장소 운영기 (HBase Locality기반 운영기)

• 데이터 거버넌스

  • [Deview 2021] AIDA Project : 전사 통합 데이터 거버넌스와 권한 관리

• 데이터 분석

  • [Deview 2021] CQuery : 쉽고 빠른 SQL 기반 분석 솔루션

  • [Deview 2023] CQuery : 우당탕탕 Trino와 썸타기

  • [DAN24] CQueryHub : Log Warehouse입니다. 근데 이제 Flink와 Iceberg를 곁들인

기술 블로그

• [Naver D2] 멀티테넌트 Hadoop 클러스터 운영 경험기

• [Naver D2] 딥러닝 분산 플랫폼, C3DL

• [Naver D2] KafkaProducer Client Internals

• [Naver D2] KafkaConsumer Client Internals

조직문화

• [네피셜] 건초 더미에서 바늘 찾게 해주는, 그런 개발자 이야기

• [네피셜] “이거… 제가 새로 만들어봐도 돼요?”라고 물어 본 주니어 개발자가 들은 대답

• [네피셜] 해커톤 출신 네이버 검색 개발자가 생각하는, 냉장고와 네이버 검색 저장소

오픈소스 기여

• 연산/처리

  • YARN-9197 NPE in service AM when failed to launch container

  • YARN-9307 node_partitions constraint does not work

  • YARN-9521 RM failed to start due to system services

  • YARN-9583 Failed job which is submitted unknown queue is showed all users

  • YARN-9633 Support doas parameter at rest api of yarn-service

  • YARN-9647 Docker launch fails when local-dirs or log-dirs is unhealthy.

  • YARN-9691 canceling upgrade does not work if upgrade failed container is existing

  • YARN-9703 Failed to cancel yarn service upgrade when canceling multiple times

  • YARN-9719 Failed to restart yarn-service if it doesn’t exist in RM

  • YARN-9731 In ATS v1.5, all jobs are visible to all users without view-acl

  • YARN-9790 Failed to set default-application-lifetime if maximum-application-lifetime is less than or equal to zero

  • YARN-9905 yarn-service is failed to setup application log if app-log-dir is not default-fs

  • YARN-9921 Issue in PlacementConstraint when YARN Service AM retries allocation on component failure.

  • YARN-9953 YARN Service dependency should be configurable for each app

  • YARN-9837 YARN Service fails to fetch status for Stopped apps with bigger spec files

  • YARN-9986 signalToContainer REST API does not work even if requested by the app owner

  • YARN-10021 NPE in YARN Registry DNS when wrong DNS message is incoming

  • YARN-10119 Cannot reset the AM failure count for YARN Service

  • YARN-10034 Allocation tags are not removed when node decommission

  • YARN-10196 destroying app leaks zookeeper connection

  • YARN-10184 NPE happens in NMClient when reinitializeContainer

  • YARN-10203 Stuck in express_upgrading if there is any component which has no instance

  • YARN-10206 Service stuck in the STARTED state when it has a component having no instance

  • YARN-10262 Support application ACLs for YARN Service

  • YARN-10267 Add description, version as allocationTags for YARN Service

  • YARN-10305 Lost system-credentials when restarting RM

  • YARN-10567 Support parallelism for YARN Service

  • YARN-10721 YARN Service containers are restarted when RM failover

  • HDFS-14434 webhdfs that connect secure hdfs should not use user.name parameter

  • HADOOP-16441 if use -Dbundle.openssl=true, bundled with unnecessary libk5crypto.*

  • HIVE-22126 hive-exec packaging should shade guava

  • HIVE-23153 deregister from zookeeper is not properly worked on kerberized environment

  • HIVE-24590 Operation Logging still leaks the log4j Appenders

  • HIVE-23164 Server is not properly terminated because of non-daemon threads

  • TEZ-4188 Link to NodeManager Logs of Home and DAG details doesn't consider yarnProtocol

  • TEZ-4205 Support RM delegation token

  • HIVE-23954 count(*) with count(distinct) gives wrong results with hive.optimize.countdistinct=true

  • HIVE-23458 Introduce unified thread pool for scheduled jobs

  • HIVE-24713 HS2 never shut down after reconnecting to Zookeeper

  • HIVE-24948 Enhancing performance of OrcInputFormat.getSplits with bucket pruning

  • HDFS-12204 Dfsclient Do not close file descriptor when using shortcircuit

• 저장

  • HBASE-16299 Update REST API scanner with ability to do reverse scan

  • HBASE-16326 CellModel / RowModel should override 'equals', 'hashCode' and 'toString'

  • HBASE-23561 Look up of Region in Master by encoded region name is O(n)

  • HBASE-24130 rat plugin complains about having an unlicensed file.

  • HBASE-24348 CloseChecker should think Pressure Aware Throughput Controller

  • HBASE-23968 Periodically check whether a system stop is requested in compaction by time.

• AI

  • https://github.com/kubeflow/manifests/pull/1877

  • https://github.com/kubeflow/pipelines/pull/5293

  • https://github.com/kubeflow/pipelines/pull/5552

  • https://github.com/kubeflow/kfserving/pull/1361

  • https://github.com/NVIDIA/deepops/pull/893

• 분석

  • https://github.com/trinodb/trino-go-client/pull/5

  • https://github.com/trinodb/trino-go-client/pull/7

  • https://github.com/skelsec/minikerberos/pull/19

  • https://github.com/skelsec/minikerberos/pull/20

  • https://github.com/skelsec/minikerberos/pull/21

  • https://github.com/ajaxorg/ace/pull/4378

  • https://github.com/trinodb/trino-go-client/pull/38

  • https://github.com/trinodb/trino/pull/13304

  • https://github.com/trinodb/trino/pull/15380

  • https://github.com/trinodb/trino/pull/15389 

  • https://github.com/trinodb/trino/pull/20376

  • https://github.com/trinodb/trino/pull/16589

  • https://github.com/trinodb/trino-gateway/pull/27

  • https://github.com/trinodb/trino-gateway/pull/26

  • https://github.com/trinodb/trino-gateway/pull/33

  • https://github.com/trinodb/trino-gateway/pull/53

  • https://github.com/trinodb/trino-gateway/pull/32

  • https://github.com/trinodb/trino-gateway/pull/67

  • https://github.com/trinodb/trino-gateway/pull/76

  • https://github.com/trinodb/trino-gateway/pull/99

  • https://github.com/trinodb/trino-gateway/pull/296

  • https://github.com/trinodb/trino-gateway/pull/340

  • https://github.com/trinodb/trino-gateway/pull/423

  • https://github.com/airlift/airlift/pull/1257

• 그외 다수...

:: 본 직무에 관심있다면? 아래 NDTI 간단 이력서만 남겨주세요! ✍️

NDTI로 알아보는 나의 맞춤 채용 제안