flask를 이용한 tensorflow 트레이닝 모델 api 

아...ㅠㅜㅜ

 

진짜 힘들었따

 

어제 저녁 먹고 나서부터 지금 새벽 6시까지 줄곧

 

tensorflow로 트레이닝된 cnn 텍스트 감정 분류 모델을 flask와 결합하는 일에 몰두했다.

 

될 것 같으면서 안되는..;

 

일단 가장 먼저 해야할 일이 저장된 모델(checkpoint)을 읽어오는 기존 소스 코드에서 with로 영역이 지정된 소스를 단순화 시키는 것이었다.

 

https://www.tensorflow.org/versions/r0.11/how_tos/variables/index.html

 

기존 소스를 보면

with session

with graph

이런식으로 scope가 정해져 있어서 해당 변수들이 그 영역에서만 살아 있는 문제점이 있었고..

 

자꾸 flask와 결합하려하면 out of memory문제가..? 왜뜨는지 모르겠는데 뜨더라

https://github.com/dennybritz/cnn-text-classification-tf/blob/master/eval.py

 
이부분이다..
 
플라스크와 결합하려면 저 scope를 일단은 다 없애고
 
필요한 것만 로드해야하며
 
좀 코드도 단순화 할 필요가 있었다. ㅜㅠ....
 
하도 키보드 두드리다보니 지금 손이 저린데
 
뭐만 테스트 하려면 로드하는데만 5분을 기다려야 했고 지옥이었음
 
다음과 같이 해결했다
 
소스코드 
 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
#! /usr/bin/env python

import tensorflow as tf
import numpy as np
import os
import time
import datetime
import data_helpers
from text_cnn import TextCNN

from flask import Flask, request, render_template

print("Loading data...")
_, _, vocabulary, vocabulary_inv = data_helpers.load_data()


tcnn = TextCNN(sequence_length=119, num_classes=2, vocab_size=40000, embedding_size=128, filter_sizes=[3,4,5], num_filters=128)

sess = tf.Session()
def predict(_input):
 ret = "negative"
 if 1 == sess.run(tcnn.predictions, {tcnn.input_x: _input, tcnn.dropout_keep_prob: 1.0})[0] :
  ret = "positive"
 return ret 
 
saver = tf.train.Saver()
saver.restore(sess, "/root/cnn_sentiment_classification/runs/1477243665/checkpoints/model-46800")

app = Flask(__name__)

@app.route('/', methods=['GET', 'POST'])
def index():
 if request.method == 'POST':
  s = request.form["sentence"]
  original_sentence = s
  s = data_helpers.clean_str(s)
  s = s.split(" ")
  # 119 is max str len
  s = s + ["<PAD/>"] * (119 - len(s))
  for i, w in enumerate(s):
   if w not in vocabulary:
    s[i] =  "<PAD/>"
  s = np.array([vocabulary[word] for word in s])
  s = [s]
  result = predict(s)
  return render_template("index.html", result=result, original_sentence=original_sentence) 
 
 return render_template("index.html")

if __name__ == '__main__':
 app.run(host='0.0.0.0')


# ##################################################################################################
"""
while True:
 s = raw_input("type the sentence:")
 if s == "end":
  break;
 s = data_helpers.clean_str(s)
 s = s.split(" ")
 # 119 is max str len
 s = s + ["<PAD/>"] * (119 - len(s))
 for i, w in enumerate(s):
  if w not in vocabulary:
   s[i] =  "<PAD/>"
 s = np.array([vocabulary[word] for word in s])
 s = [s]

 print "Prediction: ", sess.run(tcnn.predictions, {tcnn.input_x: s, tcnn.dropout_keep_prob: 1.0})
"""
# ###########
 
 

매우 간단하다..

로드하고.

checkpoints로부터 세션을 restore시키고

predict하면 된다.

 

기존 소스는 매우 지저분 했고,

바꾸는 과정에서 잘 안되는 부분이 있었는데

 

계속 시도하다보니 운이 따라줬다.

 

심플해졌다. ㅠㅠ

 

 

Tweet Sentiment Classification(긍정/부정) API는 다음과 같이 만들었다

일단 대충..

 

http://sclab.gachon.ac.kr:5000/

 

/////////////////////////////////////////////////////////////////////////////////////////////////////////

 

 

 

경축! 아무것도 안하여 에스천사게임즈가 새로운 모습으로 재오픈 하였습니다.
어린이용이며, 설치가 필요없는 브라우저 게임입니다.
https://s1004games.com

여기에 입력을 하면

 

긍정인지 부정인지 알려준다.!!! 나에게 있어서는 굉장히 의미있는 순간이다..ㅠㅠ

 

https://twitter.com/search-home

요기서 몇개 문장을(긍/부정이 어느정도 확실한) 뽑아서 테스트 해보았다.
 

 

 
 
 
 
 
 
 
 
  
 

 

 

 

/////////////////////////////////////////////////////////////////////////////////////////////////////////

 

 

트레이닝 모델은 140만개의 트윗(긍정 70만개/부정 70만개 미국데이터)로 학습되었고

20만개의 별도의 라벨링 데이터에 대해서 테스트 해보았을때 82% ~ 84%의 정확도를 보였다.

(좀더 정확히 테스트할 필요가 있다)

 

이 기능은 트윗 분석 애플리케이션의 모듈로 넣을것이고

 

추후에 한국 데이터에 대해서도 시도해볼 것이다

 

라벨링 데이터는 어떻게 구하나..

 

 

 

 

나같은 경우 nvidia-docker를 사용했고,

host와 docker의 post에 bridge를 연결하는 일이 중요했고, (몰라서 많은 시간 씀 ㅠㅠ)

http://stackoverflow.com/questions/19335444/how-to-assign-a-port-mapping-to-an-existing-docker-container

scp에도 익숙해졌고

..

도커 안에 플라스크를 써서, 트레이닝된 모델을 위와 같이 로드 시킨 후 웹으로 보여줄 수 있게끔 하였다..

 

감동적인..

 

 

 

 

 

 

본 웹사이트는 광고를 포함하고 있습니다.
광고 클릭에서 발생하는 수익금은 모두 웹사이트 서버의 유지 및 관리, 그리고 기술 콘텐츠 향상을 위해 쓰여집니다.
번호 제목 글쓴이 날짜 조회 수
공지 오라클 기본 샘플 데이터베이스 졸리운_곰 2014.01.02 86988
공지 [SQL컨셉] 서적 "SQL컨셉"의 샘플 데이타 베이스 SAMPLE DATABASE of ORACLE 가을의 곰을... 2013.02.10 79252
공지 [G_SQL] Sample Database 가을의 곰을... 2012.05.20 95990
27 [java dbms][database] [컴] Apache Derby 사용하기 - 4 - in-memory DB 졸리운_곰 2021.04.15 1564
26 [java dbms][database] [컴] Apache Derby 사용하기 - 3 - Apache Derby Network Server 졸리운_곰 2021.04.15 1637
25 [java dbms][database] [컴] Apache Derby 사용하기 - 2 - sql script tool ij 사용하기 졸리운_곰 2021.04.15 1828
24 [java dbms][database] [컴] Apache Derby 사용하기 - 1 - Derby 설치 file 졸리운_곰 2021.04.15 1159
23 실습 2 - GROUP 졸리운_곰 2020.09.30 1554
22 [SQL 가이드] 데이터베이스 모델의 이해 (Understanding Database model) file 졸리운_곰 2020.06.13 2491
21 [SQL 가이드] 식별자(Identification)의 개념 file 졸리운_곰 2020.06.13 2067
20 [SQL 가이드] 관계(relationship)의 개념 file 졸리운_곰 2020.06.13 1560
19 [SQL 가이드] 속성(attribute)의 개념 file 졸리운_곰 2020.06.13 1709
18 [SQL 가이드] 엔티티의 개념 file 졸리운_곰 2020.06.13 2205
17 [SQL] join의 on절과 where절 차이 졸리운_곰 2020.05.16 1305
16 JOIN*(3개 테이블) and GROUP BY*(보이지않더라도 key칼럼으로) and ORDER BY 졸리운_곰 2020.05.16 1228
15 다중 테이블에서 데이터 검색 - JOIN file 졸리운_곰 2020.05.16 1606
14 IFNULL(MYSQL), ISNULL(MSSQL), NVL(ORACLE) 졸리운_곰 2018.07.24 1780
13 4 Ways to Join Only The First Row in SQL file 졸리운_곰 2018.07.03 1642
12 DBMS별 기존테이블 SELECT해서 새 테이블에 INSERT하여 데이터 ... file 졸리운_곰 2018.01.22 1593
11 SOL 개발자의 현주소 : 개발자가 SQL 작성시 고쳐야 하는 태도 file 졸리운_곰 2018.01.01 2162
10 오라클 운반 최소 단위 BLOCK file 졸리운_곰 2017.07.15 2040
9 재미있는 DB 이야기 ‘놀라운 마방진의 세계’ file 졸리운_곰 2017.07.15 2400
8 재미있는 DB 이야기 ‘사라진 날짜를 찾아라’ file 졸리운_곰 2017.07.15 2239
대표 김성준 주소 : 경기 용인 분당수지 U타워 등록번호 : 142-07-27414
통신판매업 신고 : 제2012-용인수지-0185호 출판업 신고 : 수지구청 제 123호 개인정보보호최고책임자 : 김성준 sjkim70@stechstar.com
대표전화 : 010-4589-2193 [fax] 02-6280-1294 COPYRIGHT(C) stechstar.com ALL RIGHTS RESERVED