↓폴밍끼 유튜브 채널 자세히보기

2021/08 4

하나의 도커 이미지 docker image 에 여러 개의 컨테이너 container 만들기(tensorflow/serving)

호스트 시스템의 TCP 포트 번호를 달리 해서 가능하게 했습니다. tensorflow model server를 도커를 통해 실행시켰는데, 비트코인 가격 예측 모델은 포트 번호 8501:8501로 하여 컨테이너를 만들고 이더리움 가격 예측 모델은 도커 엔진이 호스트 시스템의 TCP 포트 8502번을 컨테이너의 TCP 포트 8501번으로 포워딩하도록 하여(8502:8501) 컨테이너를 두 개 만들었습니다. 즉, 호스트 시스템의 TCP 포트만 바꿔주고(8501->8502) 컨테이너의 TCP 포트는 8501번으로 고정시켜 줍니다. 기본적으로 TF서빙은 8501번 포트를 사용하여 REST API를 제공하기 때문입니다. (8500번은 gRPC API를 제공하는 데 사용합니다.) 참고로 각각 예측 모델의 컨테이너 생..

도커를 활용한 Tensorflow model server에 새로운 버전의 모델 배포하기

새로운 버전의 모델을 만들어 이전 글의 0번째 단계에서와 같이 C:\Users\007_0\serving\btc_lstm\2 폴더에 saved_model함수를 써서 모델을 저장합니다. import tensorflow as tf data_path = 'C:\Users\007_0\serving\btc_lstm' modelpath = data_path + "\2" # 모델 버전 2을 의미합니다 tf.saved_model.save(model, modelpath) 끝입니다. 이렇게 저장만 해준다면 일정한 간격으로(간격 조정 가능) 텐서플로 서빙이 새로운 버전을 확인합니다. 새로운 버전을 찾으면 자동으로 버전 교체를 진행합니다. 기본적으로 대기 중인 요청이 있다면 이전 버전의 모델로 응답합니다. 새로운 요청은 새 버..