flask를 이용한 tensorflow 트레이닝 모델 api 

아...ㅠㅜㅜ

 

진짜 힘들었따

 

어제 저녁 먹고 나서부터 지금 새벽 6시까지 줄곧

 

tensorflow로 트레이닝된 cnn 텍스트 감정 분류 모델을 flask와 결합하는 일에 몰두했다.

 

될 것 같으면서 안되는..;

 

일단 가장 먼저 해야할 일이 저장된 모델(checkpoint)을 읽어오는 기존 소스 코드에서 with로 영역이 지정된 소스를 단순화 시키는 것이었다.

 

https://www.tensorflow.org/versions/r0.11/how_tos/variables/index.html

 

기존 소스를 보면

with session

with graph

이런식으로 scope가 정해져 있어서 해당 변수들이 그 영역에서만 살아 있는 문제점이 있었고..

 

자꾸 flask와 결합하려하면 out of memory문제가..? 왜뜨는지 모르겠는데 뜨더라

https://github.com/dennybritz/cnn-text-classification-tf/blob/master/eval.py

 
이부분이다..
 
플라스크와 결합하려면 저 scope를 일단은 다 없애고
 
필요한 것만 로드해야하며
 
좀 코드도 단순화 할 필요가 있었다. ㅜㅠ....
 
하도 키보드 두드리다보니 지금 손이 저린데
 
뭐만 테스트 하려면 로드하는데만 5분을 기다려야 했고 지옥이었음
 
다음과 같이 해결했다
 
소스코드 
 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
#! /usr/bin/env python

import tensorflow as tf
import numpy as np
import os
import time
import datetime
import data_helpers
from text_cnn import TextCNN

from flask import Flask, request, render_template

print("Loading data...")
_, _, vocabulary, vocabulary_inv = data_helpers.load_data()


tcnn = TextCNN(sequence_length=119, num_classes=2, vocab_size=40000, embedding_size=128, filter_sizes=[3,4,5], num_filters=128)

sess = tf.Session()
def predict(_input):
 ret = "negative"
 if 1 == sess.run(tcnn.predictions, {tcnn.input_x: _input, tcnn.dropout_keep_prob: 1.0})[0] :
  ret = "positive"
 return ret 
 
saver = tf.train.Saver()
saver.restore(sess, "/root/cnn_sentiment_classification/runs/1477243665/checkpoints/model-46800")

app = Flask(__name__)

@app.route('/', methods=['GET', 'POST'])
def index():
 if request.method == 'POST':
  s = request.form["sentence"]
  original_sentence = s
  s = data_helpers.clean_str(s)
  s = s.split(" ")
  # 119 is max str len
  s = s + ["<PAD/>"] * (119 - len(s))
  for i, w in enumerate(s):
   if w not in vocabulary:
    s[i] =  "<PAD/>"
  s = np.array([vocabulary[word] for word in s])
  s = [s]
  result = predict(s)
  return render_template("index.html", result=result, original_sentence=original_sentence) 
 
 return render_template("index.html")

if __name__ == '__main__':
 app.run(host='0.0.0.0')


# ##################################################################################################
"""
while True:
 s = raw_input("type the sentence:")
 if s == "end":
  break;
 s = data_helpers.clean_str(s)
 s = s.split(" ")
 # 119 is max str len
 s = s + ["<PAD/>"] * (119 - len(s))
 for i, w in enumerate(s):
  if w not in vocabulary:
   s[i] =  "<PAD/>"
 s = np.array([vocabulary[word] for word in s])
 s = [s]

 print "Prediction: ", sess.run(tcnn.predictions, {tcnn.input_x: s, tcnn.dropout_keep_prob: 1.0})
"""
# ###########
 
 

매우 간단하다..

로드하고.

checkpoints로부터 세션을 restore시키고

predict하면 된다.

 

기존 소스는 매우 지저분 했고,

바꾸는 과정에서 잘 안되는 부분이 있었는데

 

계속 시도하다보니 운이 따라줬다.

 

심플해졌다. ㅠㅠ

 

 

Tweet Sentiment Classification(긍정/부정) API는 다음과 같이 만들었다

일단 대충..

 

http://sclab.gachon.ac.kr:5000/

 

/////////////////////////////////////////////////////////////////////////////////////////////////////////

 

 

 

경축! 아무것도 안하여 에스천사게임즈가 새로운 모습으로 재오픈 하였습니다.
어린이용이며, 설치가 필요없는 브라우저 게임입니다.
https://s1004games.com

여기에 입력을 하면

 

긍정인지 부정인지 알려준다.!!! 나에게 있어서는 굉장히 의미있는 순간이다..ㅠㅠ

 

https://twitter.com/search-home

요기서 몇개 문장을(긍/부정이 어느정도 확실한) 뽑아서 테스트 해보았다.
 

 

 
 
 
 
 
 
 
 
  
 

 

 

 

/////////////////////////////////////////////////////////////////////////////////////////////////////////

 

 

트레이닝 모델은 140만개의 트윗(긍정 70만개/부정 70만개 미국데이터)로 학습되었고

20만개의 별도의 라벨링 데이터에 대해서 테스트 해보았을때 82% ~ 84%의 정확도를 보였다.

(좀더 정확히 테스트할 필요가 있다)

 

이 기능은 트윗 분석 애플리케이션의 모듈로 넣을것이고

 

추후에 한국 데이터에 대해서도 시도해볼 것이다

 

라벨링 데이터는 어떻게 구하나..

 

 

 

 

나같은 경우 nvidia-docker를 사용했고,

host와 docker의 post에 bridge를 연결하는 일이 중요했고, (몰라서 많은 시간 씀 ㅠㅠ)

http://stackoverflow.com/questions/19335444/how-to-assign-a-port-mapping-to-an-existing-docker-container

scp에도 익숙해졌고

..

도커 안에 플라스크를 써서, 트레이닝된 모델을 위와 같이 로드 시킨 후 웹으로 보여줄 수 있게끔 하였다..

 

감동적인..

 

 

 

 

 

 

본 웹사이트는 광고를 포함하고 있습니다.
광고 클릭에서 발생하는 수익금은 모두 웹사이트 서버의 유지 및 관리, 그리고 기술 콘텐츠 향상을 위해 쓰여집니다.
번호 제목 글쓴이 날짜 조회 수
공지 오라클 기본 샘플 데이터베이스 졸리운_곰 2014.01.02 86985
공지 [SQL컨셉] 서적 "SQL컨셉"의 샘플 데이타 베이스 SAMPLE DATABASE of ORACLE 가을의 곰을... 2013.02.10 79249
공지 [G_SQL] Sample Database 가을의 곰을... 2012.05.20 95988
14 [SQLite]10만 TPS와 10억 행 처리: SQLite의 놀라운 효율성 졸리운_곰 2025.12.05 1186
13 [sqlite] SQlite source code analysis-architecture file 졸리운_곰 2021.04.12 1813
12 [SQLite] SQLite 사용자 함수 추가 졸리운_곰 2021.04.12 1667
11 {SQLite] SQLite 페이지 핸들링(3) - 레코드 포맷 졸리운_곰 2021.04.12 1678
10 [SQLite] SQLite 페이지 핸들링(2) - SQLite의 페이지 포맷 file 졸리운_곰 2021.04.12 1497
9 [SQLite] SQLite 페이지 핸들링(1) - SQLite의 구조 file 졸리운_곰 2021.04.12 1495
8 [C/C++ 자료구조] SQLite 의 모든 것 (4부) - Java 에서 사용하기 Database/SQLite file 졸리운_곰 2021.04.12 1668
7 [C/C++] SQLite 의 모든 것 (3부) - C++ 에서 사용하기 Database/SQLite 졸리운_곰 2021.04.12 1725
6 [C/C++ 자료구조] SQLite 의 모든 것 (2부) - Download & Build Database/SQLite file 졸리운_곰 2021.04.12 1668
5 [C/C++ 자료구조] SQLite 의 모든 것 (1부) - 소개 및 FAQ Database/SQLite file 졸리운_곰 2021.04.12 1334
4 SQLite-sync.com version 3 file 졸리운_곰 2017.07.03 2021
3 DB Browser for SQLite file 졸리운_곰 2017.04.26 1656
2 Getting started with SQLite in C# file 졸리운_곰 2017.04.24 1834
1 SQLite C/C++ Tutorial 졸리운_곰 2017.04.24 1498
대표 김성준 주소 : 경기 용인 분당수지 U타워 등록번호 : 142-07-27414
통신판매업 신고 : 제2012-용인수지-0185호 출판업 신고 : 수지구청 제 123호 개인정보보호최고책임자 : 김성준 sjkim70@stechstar.com
대표전화 : 010-4589-2193 [fax] 02-6280-1294 COPYRIGHT(C) stechstar.com ALL RIGHTS RESERVED