https://developer.nvidia.com/triton-inference-server Triton Inference Server Standardizes model deployment and delivers fast and scalable AI in production. developer.nvidia.com Triton Infernece Server는 Nvidia에서 딥러닝 모델을 배포하는 Triton Inference Server는 NVIDIA에서 개발한 오픈 소스 딥러닝 모델 추론을 위한 서버 프레임워크이다. AI모델들의 배포를 위한만큼 Pytorch, TensorFlow, Onnx 등 여러 딥러닝 프레림워크의 모델 로드를 지원한다. Inference를 위한 추론 서버 운영시, python기반..
