flask를 이용한 tensorflow 트레이닝 모델 api 

아...ㅠㅜㅜ

 

진짜 힘들었따

 

어제 저녁 먹고 나서부터 지금 새벽 6시까지 줄곧

 

tensorflow로 트레이닝된 cnn 텍스트 감정 분류 모델을 flask와 결합하는 일에 몰두했다.

 

될 것 같으면서 안되는..;

 

일단 가장 먼저 해야할 일이 저장된 모델(checkpoint)을 읽어오는 기존 소스 코드에서 with로 영역이 지정된 소스를 단순화 시키는 것이었다.

 

https://www.tensorflow.org/versions/r0.11/how_tos/variables/index.html

 

기존 소스를 보면

with session

with graph

이런식으로 scope가 정해져 있어서 해당 변수들이 그 영역에서만 살아 있는 문제점이 있었고..

 

자꾸 flask와 결합하려하면 out of memory문제가..? 왜뜨는지 모르겠는데 뜨더라

https://github.com/dennybritz/cnn-text-classification-tf/blob/master/eval.py

 
이부분이다..
 
플라스크와 결합하려면 저 scope를 일단은 다 없애고
 
필요한 것만 로드해야하며
 
좀 코드도 단순화 할 필요가 있었다. ㅜㅠ....
 
하도 키보드 두드리다보니 지금 손이 저린데
 
뭐만 테스트 하려면 로드하는데만 5분을 기다려야 했고 지옥이었음
 
다음과 같이 해결했다
 
소스코드 
 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
#! /usr/bin/env python

import tensorflow as tf
import numpy as np
import os
import time
import datetime
import data_helpers
from text_cnn import TextCNN

from flask import Flask, request, render_template

print("Loading data...")
_, _, vocabulary, vocabulary_inv = data_helpers.load_data()


tcnn = TextCNN(sequence_length=119, num_classes=2, vocab_size=40000, embedding_size=128, filter_sizes=[3,4,5], num_filters=128)

sess = tf.Session()
def predict(_input):
 ret = "negative"
 if 1 == sess.run(tcnn.predictions, {tcnn.input_x: _input, tcnn.dropout_keep_prob: 1.0})[0] :
  ret = "positive"
 return ret 
 
saver = tf.train.Saver()
saver.restore(sess, "/root/cnn_sentiment_classification/runs/1477243665/checkpoints/model-46800")

app = Flask(__name__)

@app.route('/', methods=['GET', 'POST'])
def index():
 if request.method == 'POST':
  s = request.form["sentence"]
  original_sentence = s
  s = data_helpers.clean_str(s)
  s = s.split(" ")
  # 119 is max str len
  s = s + ["<PAD/>"] * (119 - len(s))
  for i, w in enumerate(s):
   if w not in vocabulary:
    s[i] =  "<PAD/>"
  s = np.array([vocabulary[word] for word in s])
  s = [s]
  result = predict(s)
  return render_template("index.html", result=result, original_sentence=original_sentence) 
 
 return render_template("index.html")

if __name__ == '__main__':
 app.run(host='0.0.0.0')


# ##################################################################################################
"""
while True:
 s = raw_input("type the sentence:")
 if s == "end":
  break;
 s = data_helpers.clean_str(s)
 s = s.split(" ")
 # 119 is max str len
 s = s + ["<PAD/>"] * (119 - len(s))
 for i, w in enumerate(s):
  if w not in vocabulary:
   s[i] =  "<PAD/>"
 s = np.array([vocabulary[word] for word in s])
 s = [s]

 print "Prediction: ", sess.run(tcnn.predictions, {tcnn.input_x: s, tcnn.dropout_keep_prob: 1.0})
"""
# ###########
 
 

매우 간단하다..

로드하고.

checkpoints로부터 세션을 restore시키고

predict하면 된다.

 

기존 소스는 매우 지저분 했고,

바꾸는 과정에서 잘 안되는 부분이 있었는데

 

계속 시도하다보니 운이 따라줬다.

 

심플해졌다. ㅠㅠ

 

 

Tweet Sentiment Classification(긍정/부정) API는 다음과 같이 만들었다

일단 대충..

 

http://sclab.gachon.ac.kr:5000/

 

/////////////////////////////////////////////////////////////////////////////////////////////////////////

 

 

 

경축! 아무것도 안하여 에스천사게임즈가 새로운 모습으로 재오픈 하였습니다.
어린이용이며, 설치가 필요없는 브라우저 게임입니다.
https://s1004games.com

여기에 입력을 하면

 

긍정인지 부정인지 알려준다.!!! 나에게 있어서는 굉장히 의미있는 순간이다..ㅠㅠ

 

https://twitter.com/search-home

요기서 몇개 문장을(긍/부정이 어느정도 확실한) 뽑아서 테스트 해보았다.
 

 

 
 
 
 
 
 
 
 
  
 

 

 

 

/////////////////////////////////////////////////////////////////////////////////////////////////////////

 

 

트레이닝 모델은 140만개의 트윗(긍정 70만개/부정 70만개 미국데이터)로 학습되었고

20만개의 별도의 라벨링 데이터에 대해서 테스트 해보았을때 82% ~ 84%의 정확도를 보였다.

(좀더 정확히 테스트할 필요가 있다)

 

이 기능은 트윗 분석 애플리케이션의 모듈로 넣을것이고

 

추후에 한국 데이터에 대해서도 시도해볼 것이다

 

라벨링 데이터는 어떻게 구하나..

 

 

 

 

나같은 경우 nvidia-docker를 사용했고,

host와 docker의 post에 bridge를 연결하는 일이 중요했고, (몰라서 많은 시간 씀 ㅠㅠ)

http://stackoverflow.com/questions/19335444/how-to-assign-a-port-mapping-to-an-existing-docker-container

scp에도 익숙해졌고

..

도커 안에 플라스크를 써서, 트레이닝된 모델을 위와 같이 로드 시킨 후 웹으로 보여줄 수 있게끔 하였다..

 

감동적인..

 

 

 

 

 

 

본 웹사이트는 광고를 포함하고 있습니다.
광고 클릭에서 발생하는 수익금은 모두 웹사이트 서버의 유지 및 관리, 그리고 기술 콘텐츠 향상을 위해 쓰여집니다.
번호 제목 글쓴이 날짜 조회 수
공지 오라클 기본 샘플 데이터베이스 졸리운_곰 2014.01.02 86846
공지 [SQL컨셉] 서적 "SQL컨셉"의 샘플 데이타 베이스 SAMPLE DATABASE of ORACLE 가을의 곰을... 2013.02.10 79143
공지 [G_SQL] Sample Database 가을의 곰을... 2012.05.20 95889
604 Deploying Keras models using TensorFlow Serving and Flask file 졸리운_곰 2019.12.07 1296
» flask를 이용한 tensorflow 트레이닝 모델 api file 졸리운_곰 2019.12.07 1086
602 텐서플로우(TensorFlow)를 이용해서 글자 생성(Text Generation) 해보기 – Recurrent Neural Networks(RNNs) 예제 – Char-RNN file 졸리운_곰 2019.12.07 1246
601 LSTM RNN을 이용하여 아마존 주가 예측하기 file 졸리운_곰 2019.12.04 1235
600 RNN 과거 주가데이터 학습하여 다음날 종가 예측하기 file 졸리운_곰 2019.12.04 854
599 CNN으로 문장 분류하기 file 졸리운_곰 2019.12.03 1335
598 Get to know TensorFlow.js in 7 minutes file 졸리운_곰 2019.11.18 1227
597 TensorFlow.js: 웹 프론트엔드에서 머신러닝 활용하기 file 졸리운_곰 2019.11.18 1053
596 '애자일과 데이터 관리의 결합'··· '데이터옵스'의 정의와 주요 기술 file 졸리운_곰 2019.11.17 1684
595 데브옵스와 분석의 결합··· ‘데이터옵스’를 아시나요? file 졸리운_곰 2019.11.17 1242
594 데이터옵스(DATAOPS) 란 무엇일까? file 졸리운_곰 2019.11.17 1638
593 데이터옵스는 단순히 데이터에 대한 데브옵스가 아님니다. DataOps is NOT Just DevOps for Data file 졸리운_곰 2019.11.17 1639
592 머신러닝(기계학습)에서 머신리즈닝(기계추론)으로 From Machine Learning to Machine Reasoning file 졸리운_곰 2019.11.15 1362
591 TensorFlow 모델을 저장하고 불러오기 (save and restore) 졸리운_곰 2019.11.13 820
590 번역 - Generative Adversarial Network (GAN) 설명 file 졸리운_곰 2019.11.11 1389
589 TensorFlow.NET 소개 및 사용법 file 졸리운_곰 2019.11.02 1659
588 그때그때 달라요··· 머신러닝 기법·기술 따라잡기 file 졸리운_곰 2019.10.25 1319
587 Is Deep Learning Too Superficial? 딥러닝은 너무 피상적인가? file 졸리운_곰 2019.10.25 1294
586 CH7_Machine Learning Algorithms in Prolog.pdf file 졸리운_곰 2019.10.25 1347
585 딥 러닝 용어 - batch, iteration, epoch 졸리운_곰 2019.10.23 1203
대표 김성준 주소 : 경기 용인 분당수지 U타워 등록번호 : 142-07-27414
통신판매업 신고 : 제2012-용인수지-0185호 출판업 신고 : 수지구청 제 123호 개인정보보호최고책임자 : 김성준 sjkim70@stechstar.com
대표전화 : 010-4589-2193 [fax] 02-6280-1294 COPYRIGHT(C) stechstar.com ALL RIGHTS RESERVED