[카카오뱅크] LLM 서빙 및 추론 최적화 엔지니어 공고 분석

이 자리가 왜 생겼을까요

1하게 될 업무

• LLM 추론 서비스를 개발·운영하며, LLM 구조와 서빙 워크로드, GPU 특성을 프로파일링해 병목을 찾고 서비스 요구사항에 맞는 추론 시스템을 설계·구현합니다.

  이렇게 볼 수 있어요

  모델을 고르는 자리가 아니라 고른 모델이 고객 앱에서 빠르고 효율적으로 돌도록 추론 시스템을 만드는 자리입니다. 'AI 검색'·'AI 이체'처럼 대화로 바로 답해야 하는 기능에서는 prefill 단계의 연산 병목이 첫 응답 속도를, decode 단계의 메모리 대역폭 병목이 생성 속도를 좌우합니다. 프로파일링으로 어느 단계의 병목을 찾았고 그것을 풀어 지연 시간이나 GPU 비용이 얼마나 줄었는지를 숫자로 보여 주면 이 업무를 해 본 경험이 드러납니다.

• 추론 성능과 GPU 자원 사용 현황을 모니터링하고, 모델·엔진 변경 전후를 비교하는 회귀 테스트로 문제를 일찍 찾습니다.

  이렇게 볼 수 있어요

  vLLM·SGLang은 버전 교체가 잦고, 이 자리는 Speculative Decoding 같은 새 기법을 검증해 들이는 일도 맡습니다. 그래서 엔진이나 모델을 바꿀 때마다 성능과 품질이 떨어지지 않았는지 확인하는 체계까지 이 자리가 책임집니다. 처리량·지연 시간 같은 성능 지표와 출력 품질 지표를 변경 전후로 함께 비교하는 회귀 테스트를 자동화해 봤다면 어떤 지표를 묶어 비교했는지가 그 체계를 설명해 줍니다.

• Kubernetes 환경에 추론 시스템을 배포·운영하고, 트래픽 변화에 맞춰 요청과 GPU 자원을 효율적으로 배분합니다.

  이렇게 볼 수 있어요

  운영까지 이 팀이 맡습니다. 트래픽이 몰리는 시간대에 GPU를 어떻게 늘리고 줄였는지 같은 운영 사례가 이 업무의 경험입니다.

• vLLM·SGLang 등으로 추론 서버를 구현하고, 모델 압축, KV 캐시 최적화, 요청 스케줄링, 다중 GPU 분산 추론을 적용하며 모델 품질 저하 여부를 확인합니다.

  이렇게 볼 수 있어요

  이 업무는 최적화 기법을 적용하는 일과 품질이 떨어지지 않았는지 확인하는 일을 한 사람이 함께 맡습니다. 네 기법 가운데 출력 자체를 바꿀 수 있는 것은 모델 압축(양자화 등)과 KV 캐시를 낮은 정밀도로 줄이는 경우이고, 요청 스케줄링과 분산 추론은 주로 처리량과 지연을 바꿉니다. 양자화로 속도를 높였다면 어떤 평가 세트로 정확도 하락을 쟀고 어디까지를 허용 범위로 정했는지까지 적어야 이 업무와 연결됩니다.

• Speculative Decoding, Prefill/Decode Disaggregation, Expert Parallelism 같은 새 기법을 검토하고 워크로드에 효과적인 기법을 구현·검증합니다.

  이렇게 볼 수 있어요

  새 기법을 그대로 들이는 것이 아니라 실제 워크로드에 맞는지 검증하는 일입니다. 검토했다가 쓰지 않기로 한 기법이 있다면 그 판단 근거도 좋은 사례가 됩니다.

2자격 요건

• LLM 서빙이나 추론 최적화 분야에서 2년 이상 실무 경험이 필요합니다.

  이렇게 볼 수 있어요

  LLM 서빙은 vLLM이 2023년에 공개된 뒤 빠르게 자란 분야라, 일반 ML 서빙이나 모델 경량화 경력 안에서 LLM을 서빙·최적화한 기간도 이 경력에 함께 적을 만합니다. 이 자리의 일은 병목 프로파일링에서 회귀 테스트, Kubernetes 운영, 새 기법 검증까지 이어지므로 어떤 모델을 어떤 엔진으로 서빙했고 그중 어디를 최적화했는지를 구체적으로 쓰면 요건과의 연결이 보입니다.

• 최신 LLM 구조와 추론 과정을 이해하고, 모델과 워크로드 특성에 따라 병목을 찾아 최적화 방향을 정할 수 있어야 합니다.

  이렇게 볼 수 있어요

  이 조건이 요구하는 것은 정해진 최적화를 수행하는 능력보다 어디를 최적화할지 정하는 능력입니다. 병목을 진단한 과정을 단계별로 적어 두면 이 능력이 드러납니다.

• vLLM, SGLang, TensorRT-LLM, TGI 가운데 하나 이상을 업무에 쓰고, 내부 코드를 분석·수정해 워크로드에 맞게 튜닝해 본 경험이 필요합니다.

  이렇게 볼 수 있어요

  설정값을 바꾼 경험이 아니라 엔진 내부 코드를 고친 경험을 요구합니다. 수정한 부분과 그 이유, 결과를 구체적으로 적어야 이 조건이 확인됩니다.

• Python을 능숙하게 쓰고 추론 엔진의 최적화 기능을 직접 구현·검증할 수 있어야 합니다.

  이렇게 볼 수 있어요

  vLLM·SGLang은 스케줄러와 KV 캐시 관리 같은 핵심 로직이 Python으로 짜여 있어, 자격 요건의 엔진 내부 코드 수정도 대부분 Python으로 하게 됩니다. 직접 구현한 최적화 기능을 처리량·지연 시간 벤치마크로 바꾸기 전후를 비교해 검증했다면 어떤 벤치마크를 썼는지까지 밝혀야 구현과 검증을 함께 해 본 경험으로 전달됩니다.

• 모델 압축이나 KV 캐시 최적화, 서빙 시스템 최적화, 고급 추론·서빙 최적화 가운데 한 분야 이상을 깊이 이해하고 직접 구현·튜닝해 본 경험이 필요합니다.

  이렇게 볼 수 있어요

  네 분야는 업무에 적힌 모델 압축·KV 캐시 최적화·요청 스케줄링과 다중 GPU 분산 추론, 그리고 Speculative Decoding 같은 새 기법 검증에 하나씩 대응합니다. 가장 깊이 다룬 분야 하나를 골라 그 안에서 무엇을 직접 구현하고 튜닝했는지 자세히 적는 편이 여러 분야를 나열하는 것보다 낫습니다.

3우대 사항

• CUDA, Triton, TileLang 등으로 GPU 커널을 구현·튜닝해 본 경험을 우대합니다.

  이렇게 볼 수 있어요

  GPU 커널 구현은 엔진보다 한 단계 아래인 커널 수준의 최적화입니다. vLLM·SGLang도 attention이나 MoE 연산 일부를 Triton 커널로 구현하고 있어 엔진 코드를 깊이 고치다 보면 이 층까지 내려가는 경우가 많습니다. 직접 작성한 커널이 있다면 어떤 연산을 대상으로 했고 기존 구현보다 얼마나 빨라졌는지가 숫자로 함께 있어야 개선 폭이 전해집니다.

• 다중 GPU 환경에서 LLM을 분산 서빙하며 GPU 간 통신 비용과 부하 불균형을 줄여 본 경험을 우대합니다.

  이렇게 볼 수 있어요

  업무에 있는 다중 GPU 분산 추론과 바로 이어집니다. GPU 수와 줄인 통신 비용을 함께 적으면 규모가 전달됩니다.

• MoE·긴 문맥·멀티모달 모델을 서빙하며 각 모델의 메모리·연산 병목을 해결해 본 경험을 우대합니다.

  이렇게 볼 수 있어요

  모델 종류마다 병목이 다릅니다. MoE에서는 expert 사이 부하 불균형이 업무의 Expert Parallelism으로, 긴 문맥에서는 KV 캐시 메모리 부담이 업무의 KV 캐시 최적화로 연결됩니다. 멀티모달 모델이라면 이미지 인코딩이 붙어 무거워지는 prefill을 어떻게 처리했는지처럼, 어떤 모델에서 어떤 병목을 풀었는지를 함께 적어야 이 경험이 구체적으로 보입니다.

• LLM·NLP 분야 논문 발표나 추론 엔진·프레임워크 오픈소스 기여 경험을 우대합니다.

  이렇게 볼 수 있어요

  자격 요건에 vLLM·SGLang 같은 엔진의 내부 코드를 분석·수정해 워크로드에 맞게 튜닝한 경험이 있어, 추론 엔진 기여는 그 요건을 공개된 코드로 확인시켜 줍니다. 머지된 PR이 있다면 그것이 어떤 워크로드 문제에서 출발했는지도 함께 적는 게 좋습니다.

• Kubernetes 환경에서 플랫폼팀과 협업해 대규모 LLM 추론 서비스를 배포·운영해 본 경험을 우대합니다.

  이렇게 볼 수 있어요

  업무에 Kubernetes 운영이 들어 있어 입사 뒤 바로 쓰이는 경험입니다. 플랫폼팀과 역할을 어떻게 나눴는지도 함께 적으면 맡았던 범위가 분명해집니다.

• 금융 같은 규제 산업에서 보안·규제 요건을 시스템 설계와 운영에 반영해 본 경험을 우대합니다.

  이렇게 볼 수 있어요

  카카오뱅크는 금융 특화 대형언어모델과 앱 데이터를 결합해 결제홈과 투자 탭에 AI 기능을 넣겠다고 발표했고, 이런 서비스의 추론 시스템은 고객 금융 데이터를 다루는 환경에서 돌아갑니다. 규제 요건 때문에 모델 배포 위치나 로그 보관, 접근 통제 설계를 바꿔 봤다면 어떤 요건이 어떤 설계 결정을 낳았는지가 이 우대의 근거입니다.

4기타 사항

• 게시일 : 2026년 8월 10일
• 고용형태 : 정규직
• 근무지 : 카카오뱅크 판교오피스 (경기도 성남시 분당구 분당내곡로 131)
• 경력 조건 : 경력 2년 이상
• 학력 조건 : 해당 내용은 원본 공고에서 확인되지 않습니다.

쓰는 기술

공고 본문에 적힌 기술만 모은 목록입니다.

• vLLM
• SGLang
• TensorRT-LLM
• TGI
• Python
• Kubernetes
• CUDA
• Triton
• TileLang

전형과 지원

카카오뱅크는 공고마다 영입 프로세스를 따로 적습니다. 과제전형이 있는 공고와 없는 공고, 실무진 면접이 두 번인 공고, 실무진과 경영진 면접 사이에 그룹장 면접이 있는 공고가 섞여 있어서 지원하려는 공고의 프로세스와 서류전형 결과 발표일을 먼저 확인해야 합니다.

지원 전 준비할 것

1. 1

   병목 진단 사례

   프로파일링으로 추론 병목을 찾아 해결한 사례 하나를 골라 진단 과정, 적용한 기법, 줄어든 지연 시간과 비용을 정리해 두세요.

2. 2

   엔진 코드 수정 경험

   vLLM이나 SGLang 같은 엔진의 내부 코드를 고친 부분이 있다면 무엇을 왜 바꿨는지 설명할 수 있게 준비해 두세요. 엔진 내부 코드를 분석·수정해 본 경험은 필수 조건입니다.

3. 3

   품질 검증 방법

   최적화 뒤 모델 품질이 떨어지지 않았는지 확인한 평가 방법을 정리해 두면 업무와 과제전형을 함께 대비할 수 있습니다.