호스트 시스템의 TCP 포트 번호를 달리 해서 가능하게 했습니다. tensorflow model server를 도커를 통해 실행시켰는데, 비트코인 가격 예측 모델은 포트 번호 8501:8501로 하여 컨테이너를 만들고 이더리움 가격 예측 모델은 도커 엔진이 호스트 시스템의 TCP 포트 8502번을 컨테이너의 TCP 포트 8501번으로 포워딩하도록 하여(8502:8501) 컨테이너를 두 개 만들었습니다. 즉, 호스트 시스템의 TCP 포트만 바꿔주고(8501->8502) 컨테이너의 TCP 포트는 8501번으로 고정시켜 줍니다. 기본적으로 TF서빙은 8501번 포트를 사용하여 REST API를 제공하기 때문입니다. (8500번은 gRPC API를 제공하는 데 사용합니다.) 참고로 각각 예측 모델의 컨테이너 생..

새로운 버전의 모델을 만들어 이전 글의 0번째 단계에서와 같이 C:\Users\007_0\serving\btc_lstm\2 폴더에 saved_model함수를 써서 모델을 저장합니다. import tensorflow as tf data_path = 'C:\Users\007_0\serving\btc_lstm' modelpath = data_path + "\2" # 모델 버전 2을 의미합니다 tf.saved_model.save(model, modelpath) 끝입니다. 이렇게 저장만 해준다면 일정한 간격으로(간격 조정 가능) 텐서플로 서빙이 새로운 버전을 확인합니다. 새로운 버전을 찾으면 자동으로 버전 교체를 진행합니다. 기본적으로 대기 중인 요청이 있다면 이전 버전의 모델로 응답합니다. 새로운 요청은 새 버..

저는 Tensorflow Model Server를 아무것도 모르는 상태에서 구현하기 위해 많은 애를 써야 했습니다. 그래서 저의 경험을 바탕으로 다른 분들은 조금이라도 쉽게 이에 접근하실 수 있도록 포스트를 작성합니다! 방법은 크게 5단계입니당!! 0. 일단은 학습한 모델을 다음과 같이 tensorflow의 saved_model 함수를 써서 저장해야 합니다. (여기엔 생략된 것이지 위쪽에 model=Sequential() 해서 LSTM 모델 학습을 시켜주었습니다) import tensorflow as tf data_path = 'C:\Users\007_0\serving\btc_lstm' modelpath = data_path + "/1" # 모델 버전 1을 의미합니다 tf.saved_model.save(..