데이터시럽

  • 홈
  • 태그
  • 방명록

서버구축 1

[python] docker stack + nginx를 이용한 grpc inference 서버 구축

docker swarm 네트워크를 사용하면 각각의 분산된 PC를 하나로 묶을 수 있고, docker swarm의 ingress 네트워크를 사용하여 클러스터를 구축 가능하고, 이를 사용하여 각각 분산된 PC에 docker시스템을 관리 할 수 있다. 특히 ingress네트워크 상에서 docker 시스템 간 로드밸런싱이 가능하여 여러대의 PC에 손쉽게 Inferecne Docker를 구축이 가능하다. 그런데 모든 상황에서 이 로드밸런싱 기능을 사용할 수 있는 건 아니였다. 프로젝트 진행 중, 기존 https 방식의 REST호출을 사용할 때는 분산 로드 밸런싱이 됬지만, GRPC 통신 방식을 사용하면, 로드 밸런싱 기능을 사용할 수 없었다. GRPC 통신을 통해서 로드밸런싱을 하려면 NGINX 프록시 서버로 사..

파이썬 이것저것/파이썬 딥러닝 관련 2023.10.28
1
더보기
반응형
프로필사진

사회복지사로 3년 간 근무 하고, 개발자로 전향하면서 배웠던 내용을 정리하는 블로그 입니다.

  • 분류 전체보기 (218)
    • 경기도 인공지능 개발 과정 (78)
      • 과제 (9)
      • R (19)
      • SQL (6)
      • Python (38)
      • HTML & CSS (0)
      • javascript (4)
      • 클라우드 (1)
    • 파이썬 이것저것 (78)
      • 크롤링 (5)
      • 코테준비 (31)
      • 파이썬 데이터분석 (6)
      • 파이썬 머신러닝 (4)
      • 파이썬 딥러닝 관련 (27)
      • 파이썬 기초 (1)
      • 파이썬 백엔드 (4)
    • 태블로 이것저것 (1)
    • SQL 이것저것 (18)
    • 관련 이것저것 (21)
      • Git (4)
      • Airflow (1)
      • docker (5)
      • kafka (1)
      • 자격증 (1)
      • IT Book 리뷰 (8)
      • Linux (1)
    • Nvidia PlatFrom (2)
      • Triton Inference Server (1)
      • Deepstream (0)
      • TensorRT (1)
    • C# 이것저것 (15)
      • C# 기초 (4)
      • WinForm (1)
      • 초보자를 위한 C#200제 (5)
      • C# 디자인패턴 (5)

Tag

텐서플로, 프로그래머스, Python, docker, gpt 무료, YOLO, 딥러닝, Flask, C#, 파이썬 백엔드, LLM, 제이펍, 디자인패턴, C# 디자인패턴, 파이썬, SQL, yolov5, 코테, 코테준비, 딥러닝 기초,

최근글과 인기글

  • 최근글
  • 인기글

최근댓글

공지사항

페이스북 트위터 플러그인

  • Facebook
  • Twitter

Archives

Calendar

«   2025/05   »
일 월 화 수 목 금 토
1 2 3
4 5 6 7 8 9 10
11 12 13 14 15 16 17
18 19 20 21 22 23 24
25 26 27 28 29 30 31

방문자수Total

  • Today :
  • Yesterday :

Copyright © Kakao Corp. All rights reserved.

티스토리툴바