dudaOptimized4GRU.ipynb

{
 "cells": [
  {
   "cell_type": "code",
   "execution_count": 1,
   "metadata": {
    "collapsed": false,
    "deletable": true,
    "editable": true,
    "scrolled": true
   },
   "outputs": [
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "Using gpu device 0: Tesla K80 (CNMeM is enabled with initial size: 95.0% of memory, cuDNN 5110)\n",
      "/usr/local/lib/python2.7/site-packages/theano/sandbox/cuda/__init__.py:600: UserWarning: Your cuDNN version is more recent than the one Theano officially supports. If you see any problems, try updating Theano or downgrading cuDNN to version 5.\n",
      "  warnings.warn(warn)\n"
     ]
    }
   ],
   "source": [
    "from theano.sandbox import cuda\n",
    "cuda.use('gpu0')"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 1,
   "metadata": {
    "collapsed": false,
    "deletable": true,
    "editable": true
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Collecting bcolz\n",
      "  Downloading bcolz-1.1.2.tar.gz (1.3MB)\n",
      "\u001b[K    100% |████████████████████████████████| 1.3MB 1.0MB/s eta 0:00:01\n",
      "\u001b[?25hRequirement already satisfied: numpy>=1.7 in /usr/local/lib/python2.7/site-packages (from bcolz)\n",
      "Building wheels for collected packages: bcolz\n",
      "  Running setup.py bdist_wheel for bcolz ... \u001b[?25l-\b \b\\\b \b|\b \b/\b \b-\b \b\\\b \b|\b \b/\b \b-\b \b\\\b \b|\b \b/\b \b-\b \b\\\b \b|\b \b/\b \b-\b \b\\\b \b|\b \b/\b \b-\b \b\\\b \b|\b \b/\b \b-\b \b\\\b \b|\b \b/\b \b-\b \b\\\b \b|\b \b/\b \b-\b \b\\\b \b|\b \b/\b \b-\b \b\\\b \b|\b \b/\b \b-\b \b\\\b \b|\b \b/\b \b-\b \b\\\b \bdone\n",
      "\u001b[?25h  Stored in directory: /root/.cache/pip/wheels/e9/84/eb/f8f3caa627bb01ebc96034c3411f59870951246e5873b3f4c7\n",
      "Successfully built bcolz\n",
      "Installing collected packages: bcolz\n",
      "Successfully installed bcolz-1.1.2\n"
     ]
    }
   ],
   "source": [
    "!pip install bcolz\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 6,
   "metadata": {
    "collapsed": false,
    "deletable": true,
    "editable": true,
    "scrolled": true
   },
   "outputs": [
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "Using gpu device 0: Tesla K80 (CNMeM is enabled with initial size: 95.0% of memory, cuDNN 5110)\n",
      "/usr/local/lib/python2.7/site-packages/theano/sandbox/cuda/__init__.py:600: UserWarning: Your cuDNN version is more recent than the one Theano officially supports. If you see any problems, try updating Theano or downgrading cuDNN to version 5.\n",
      "  warnings.warn(warn)\n",
      "Using Theano backend.\n"
     ]
    }
   ],
   "source": [
    "%matplotlib inline\n",
    "import utils; reload(utils)\n",
    "from utils import *\n",
    "from __future__ import division, print_function"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 2,
   "metadata": {
    "collapsed": false,
    "deletable": true,
    "editable": true
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "/root\n"
     ]
    }
   ],
   "source": [
    "%cd /root"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 3,
   "metadata": {
    "collapsed": true,
    "deletable": true,
    "editable": true
   },
   "outputs": [],
   "source": [
    "%mkdir ~/.keras"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 12,
   "metadata": {
    "collapsed": false,
    "deletable": true,
    "editable": true
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "/root/.keras\n"
     ]
    }
   ],
   "source": [
    "% cd ~/.keras"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 4,
   "metadata": {
    "collapsed": false,
    "deletable": true,
    "editable": true
   },
   "outputs": [],
   "source": [
    "!echo '{\"image_dim_ordering\": \"th\", \"epsilon\": 1e-07, \"floatx\": \"float32\", \"backend\": \"theano\" }' > ~/.keras/keras.json"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 5,
   "metadata": {
    "collapsed": false,
    "deletable": true,
    "editable": true
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "/output\n"
     ]
    }
   ],
   "source": [
    "% cd /output\n",
    "\n",
    "\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 7,
   "metadata": {
    "collapsed": false,
    "deletable": true,
    "editable": true
   },
   "outputs": [],
   "source": [
    "from keras.layers import TimeDistributed, Activation\n",
    "from numpy.random import choice"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "collapsed": true,
    "deletable": true,
    "editable": true
   },
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "deletable": true,
    "editable": true
   },
   "source": [
    "## Setup"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "deletable": true,
    "editable": true
   },
   "source": [
    "We haven't really looked into the detail of how this works yet - so this is provided for self-study for those who are interested. We'll look at it closely next week."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 8,
   "metadata": {
    "collapsed": false,
    "deletable": true,
    "editable": true
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "corpus length: 139932\n"
     ]
    }
   ],
   "source": [
    "#path = get_file('nietzsche.txt', origin=\"https://s3.amazonaws.com/text-datasets/nietzsche.txt\")\n",
    "text = open(\"duda.txt\").read().lower()\n",
    "print('corpus length:', len(text))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 9,
   "metadata": {
    "collapsed": false,
    "deletable": true,
    "editable": true
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Proszę wszystkich Państwa zgromadzonych na tej sali, jak również naszych zagranicznych gości, abyśmy dyskutowali na ten temat otwarcie, abyśmy mówili o tym, jakie są potrzeby, abyśmy mówili też o tym, jakie są zagrożenia, abyśmy wskazywali te drogi, które – Państwa zdaniem – są najlepsze do tego, by polskie firmy mogły się rozwijać lepiej, do tego, byśmy mogli promować polską gospodarkę.\r",
      "\r\n",
      "\r",
      "\r\n",
      "Dziękuję jeszcze raz za zorganizowanie tego Kongresu, dziękuję jeszcze raz za jego tematykę, dziękuję za ten znak, który mu przyświeca: 590. 590 to początek kodu, pod którym zaszyfrowane jest określenie produktu jako produkt polski. To właśnie polski produkt chcemy promować, to właśnie polską przedsiębiorczość chcemy promować, oczywiście zapraszając jednocześnie inwestorów zagranicznych. Ale tak jak robi każda mądra władza i tak jak chce każde mądre społeczeństwo przede wszystkim rodzima myśl techniczna jest dla nas ważna i przede wszystkim rodzimy przedsiębiorca jest dla nas tym, na którego spoglądamy z wielkim szacunkiem, na którego spoglądamy z wielkim zainteresowaniem, któremu dobrze życzymy i którego staramy się na każdym kroku wspierać. Niech symbolem tego naszego Kongresu będzie także opracowana przez naszych młodych przedsiębiorców związanych z Klubem Jagiellońskim aplikacja „Pola”, która zainstalowana w smartfonie pozwala na każdym produkcie odczytać właśnie kod kreskowy i dowiedzieć się, gdzie ten produkt jest wyprodukowany, jak nazywa się firma, która go wytworzyła, jaka jest jej struktura własnościowa.\r",
      "\r\n",
      "\r",
      "\r\n",
      "Proszę Państwa, było już takie hasło „Dobre, bo polskie”. Wierzę w to głęboko, że będziemy mogli spokojnie mówić „Najlepsze to polskie”. Jestem przekonany, że ten Kongres będzie się do tego przyczyniał. Jeszcze raz dziękuję za przybycie, jeszcze raz dziękuję za wspaniałą organizację w tym niezwykle pięknym obiekcie, będącym dzisiaj wizytówką Podkarpacia. Jeszcze raz bardzo serdecznie dziękuję za to, że mogłem objąć ten Kongres honorowym patronatem, zapewniam o swoim ogromnym zaangażowaniu w promocję polskiej przedsiębiorczości, zapewniam także o pełnej otwartości zarówno mojej, jako Prezydenta Rzeczypospolitej, jak i Kancelarii Prezydenta na potrzeby polskich przedsiębiorców, także w zakresie promowania ich poza granicami naszego kraju i otwierania dla nich rynków, które czasem pozornie wydają się zamknięte.\r",
      "\r\n",
      "Szanowny Panie Premierze,\r",
      "\r\n",
      "Szanowny Panie Marszałku,\r",
      "\r\n",
      "Szanowni Państwo Ministrowie,\r",
      "\r\n",
      "Szanowni Państwo Posłowie, Senatorowie,\r",
      "\r\n",
      "Państwo Prezesi,\r",
      "\r\n",
      "Wszyscy Dostojni Zgromadzeni Goście,\r",
      "\r\n",
      "ale przede wszystkim Szanowni Państwo, Nominowani, Laureaci,\r",
      "\r\n",
      "Panowie Profesorowie,\r",
      "\r\n",
      "\r",
      "\r\n",
      "Bardzo serdecznie gratuluję i dziękuję za tę piękną konkurencję, którą Państwa firmy prowadziły w tym wyścigu do nagrody prezydenckiej, wyścigu, który nie trwał tylko w tej edycji Konkursu Prezydenckiego o Nagrodę Gospodarczą ‒ 14. już Konkursu Prezydenckiego ‒ ale wyścigu, który Państwo prowadzą od samego początku, rozwijając swoje firmy, rozwijając ich potencjał i rozwijając zarazem także i polską gospodarkę. Bardzo serdecznie dziękuję za ten wysiłek, w przypadku start-upów krótszy, w przypadku większości firm, których przedstawiciele stoją dziś tutaj na scenie – wieloletni.\r",
      "\r\n",
      "\r",
      "\r\n",
      "Dziś powiedziałem na spotkaniu z Państwem tutaj przed tą galą, że są nie tylko solą ziemi polskiej gospodarki jako te małe i średnie przedsiębiorstwa, które ją rozwijają, ale są już w pewnym sensie mniejszymi, większymi drzewami polskiej gospodarki, takimi, które – jak można powiedzieć biblijnie – przynoszą już owoce i efektem tych owoców jest właśnie ta nagroda. Bardzo serdecznie dziękuję panu profesorowi Krzysztofowi Opolskiemu jako przewodniczącemu kapituły nagrody prezydenckiej, bardzo serdecznie dziękuję całej kapitule za pracę, którą wykonała – pracę bardzo żmudną, niezwykle solidną. Bardzo dziękuję także wszystkim instytucjom – w sumie tych instytucji jest 112, ale 75 z nich zgłosiło swoje propozycje nominacji do nagrody. Tych propozycji było, jak Państwo widzieli, ponad 212, podobno był to rekord w skali tych konkursów o Nagrodę Gospodarczą Prezydenta Rzeczypospolitej. Dziękuję także za wszystkie te zgłoszenia i dziękuję za współpracę w tym zakresie.\r",
      "\r\n",
      "\r",
      "\r\n",
      "Ale tak jak powiedziałem, przede wszystkim dziękuję kapitule, bo to kapituła wykonała tutaj najcięższą pracę. Długo rozmawialiśmy z panem profesorem Krzysztofem Opolskim o tych kandydaturach właśnie, omawiając wszystkich poszczególnych nominowanych po to, żeby ostatecznie wybrać laureatów. I muszę Państwu powiedzieć, że podzieliłem ten werdykt, te sugestie, które przedstawiła kapituła, jeżeli chodzi o wybór laureatów tego konkursu. Wybór był bardzo trudny, bo – chcę to mocno podkreślić – proszę Państwa, tylko drobne szczegóły, naprawdę drobne szczegóły różnią sukces odniesiony przez obecnych tutaj przedsiębiorców i bardzo ciężko było w poszczególnych kategoriach wyłonić zwycięzców. Dlatego proszę o ogromne brawa w tej chwili dla wszystkich.\r",
      "\r\n",
      "\r",
      "\r\n",
      "To są, proszę Państwa, rzeczywiście firmy będące orłami polskiego biznesu, polskiej przedsiębiorczości, które nawet jeżeli są młode, to jak na tak młody wiek wzleciały już bardzo wysoko. I ogromnie się cieszę, że mogliśmy to docenić poprzez te nominacje i te dyplomy i cieszę się też, że – powtarzam jeszcze raz – po długich debatach udało się wyłonić tych, którzy ostatecznie dzisiaj zostają laureatami. Bardzo serdecznie dziękuję kapitule za ten wielki nakład pracy i bardzo serdecznie gratuluję Państwu jeszcze raz – i laureatom, i wszystkim Państwu nominowanym – tego wyróżnienia.\r",
      "\r\n",
      "\r",
      "\r\n",
      "Szanowni Państwo, gratuluję także panu profesorowi Januszowi Filipiakowi tej prezydenckiej nagrody jako osobowości w polskim biznesie. Nikt chyba nie ma wątpliwości, że Pan Profesor, Pan Prezes tą osobowością polskiego biznesu i jedną z najjaśniejszych jego postaci jest. Ale ludzi, którzy odnieśli sukces w biznesie w naszym kraju jest wielu, natomiast tu jest bardzo specyficzna sytuacja – otóż Pan Profesor w jakimś sensie dodał swoje talenty jako przedsiębiorca do tych talentów naukowych, które realizował już od – można powiedzieć – dziesięcioleci, które ostatecznie doprowadziły go do tytułu profesorskiego. I to połączenie w jakimś sensie tego dorobku naukowego z późniejszym także rozwojem biznesowym, z czerpaniem młodych talentów spośród adeptów nauk technicznych w Krakowie i w całej Polsce poprzez ich wyszukiwanie, dawanie im szansy rozwoju w ramach Comarchu to jest na pewno wielki dorobek Pana Profesora nie tylko dla polskiej nauki, ale to jest wielki dorobek także dla polskiej przedsiębiorczości, to jest wielki dorobek także dla naszych wykwalifikowanych kadr informatyków, menedżerów – tego wszystkiego, co powoduje, że między innymi dzięki właśnie kapitałowi ludzkiemu, dzięki wiedzy młodych ludzi, którą zdobyli oni na wyższych uczelniach i później ugruntowali ją swoim doświadczeniem pracy w firmach, dzięki której możemy mówić o gospodarce opartej na wiedzy, dzięki której możemy mówić o gospodarce nowoczesnej i profesjonalnej w tym najbardziej współczesnym tego słowa znaczeniu. Panie Profesorze, jeszcze raz z całego serca gratuluję.\r",
      "\r\n",
      "\r",
      "\r\n",
      "Proszę Państwa, jeszcze raz proszę o brawa dla wszystkich nominowanych i dla wszystkich laureatów. Gratuluję i dziękuję wszystkim zaangażowanym w ten konkurs.\r",
      "\r\n"
     ]
    }
   ],
   "source": [
    "!tail {\"duda.txt\"} -n25"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 10,
   "metadata": {
    "collapsed": false,
    "deletable": true,
    "editable": true
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "total chars: 78\n"
     ]
    }
   ],
   "source": [
    "chars = sorted(list(set(text)))\n",
    "vocab_size = len(chars)+1\n",
    "print('total chars:', vocab_size)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 11,
   "metadata": {
    "collapsed": true,
    "deletable": true,
    "editable": true
   },
   "outputs": [],
   "source": [
    "chars.insert(0, \"\\0\")"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 12,
   "metadata": {
    "collapsed": false,
    "deletable": true,
    "editable": true
   },
   "outputs": [
    {
     "data": {
      "text/plain": [
       "'\\n\\r !\"%()+,-.0123456789:?abcdefghijklmnopqrstuvwxyz\\x80\\x81\\x82\\x84\\x85\\x86\\x87\\x92\\x93\\x99\\x9a\\x9b\\x9d\\x9e\\xa1\\xad\\xb3\\xba\\xbb\\xbc\\xbf'"
      ]
     },
     "execution_count": 12,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "''.join(chars[1:-6])"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 13,
   "metadata": {
    "collapsed": false,
    "deletable": true,
    "editable": true
   },
   "outputs": [],
   "source": [
    "char_indices = dict((c, i) for i, c in enumerate(chars))\n",
    "indices_char = dict((i, c) for i, c in enumerate(chars))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 14,
   "metadata": {
    "collapsed": true,
    "deletable": true,
    "editable": true
   },
   "outputs": [],
   "source": [
    "idx = [char_indices[c] for c in text]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 15,
   "metadata": {
    "collapsed": false,
    "deletable": true,
    "editable": true
   },
   "outputs": [
    {
     "data": {
      "text/plain": [
       "[77, 69, 71, 43, 50, 25, 38, 39, 47, 38]"
      ]
     },
     "execution_count": 15,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "idx[:10]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 16,
   "metadata": {
    "collapsed": false,
    "deletable": true,
    "editable": true
   },
   "outputs": [
    {
     "data": {
      "text/plain": [
       "'\\xef\\xbb\\xbfszanowni pa\\xc5\\x84stwo marsza\\xc5\\x82kowie i marsza\\xc5\\x82kowie seniorzy,\\r\\nszanowna'"
      ]
     },
     "execution_count": 16,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "''.join(indices_char[i] for i in idx[:70])"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "deletable": true,
    "editable": true
   },
   "source": [
    "## Preprocess and create model"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 17,
   "metadata": {
    "collapsed": false,
    "deletable": true,
    "editable": true
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "nb sequences: 139893\n"
     ]
    }
   ],
   "source": [
    "maxlen = 40\n",
    "sentences = []\n",
    "next_chars = []\n",
    "for i in range(0, len(idx) - maxlen+1):\n",
    "    sentences.append(idx[i: i + maxlen])\n",
    "    next_chars.append(idx[i+1: i+maxlen+1])\n",
    "print('nb sequences:', len(sentences))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "collapsed": false,
    "deletable": true,
    "editable": true
   },
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "code",
   "execution_count": 18,
   "metadata": {
    "collapsed": false,
    "deletable": true,
    "editable": true
   },
   "outputs": [],
   "source": [
    "sentences = np.concatenate([[np.array(o)] for o in sentences[:-2]])\n",
    "next_chars = np.concatenate([[np.array(o)] for o in next_chars[:-2]])"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 19,
   "metadata": {
    "collapsed": false,
    "deletable": true,
    "editable": true
   },
   "outputs": [
    {
     "data": {
      "text/plain": [
       "((139891, 40), (139891, 40))"
      ]
     },
     "execution_count": 19,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "sentences.shape, next_chars.shape"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 20,
   "metadata": {
    "collapsed": true,
    "deletable": true,
    "editable": true
   },
   "outputs": [],
   "source": [
    "n_fac = 24"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 36,
   "metadata": {
    "collapsed": false,
    "deletable": true,
    "editable": true
   },
   "outputs": [],
   "source": [
    "model=Sequential([\n",
    "        Embedding(vocab_size, n_fac, input_length=maxlen),\n",
    "        BatchNormalization(),\n",
    "        SimpleRNN(512, input_dim=n_fac,return_sequences=True, dropout_U=0.2, dropout_W=0.2,\n",
    "             consume_less='gpu'),\n",
    "        Dropout(0.2),\n",
    "        SimpleRNN(512, return_sequences=True, dropout_U=0.2, dropout_W=0.2,\n",
    "             consume_less='gpu'),\n",
    "        Dropout(0.2),\n",
    "        TimeDistributed(Dense(vocab_size)),\n",
    "        Activation('softmax')\n",
    "    ])    "
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 37,
   "metadata": {
    "collapsed": false,
    "deletable": true,
    "editable": true
   },
   "outputs": [],
   "source": [
    "model.compile(loss='sparse_categorical_crossentropy', optimizer=Adam() )"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "deletable": true,
    "editable": true
   },
   "source": [
    "## Train"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 38,
   "metadata": {
    "collapsed": false,
    "deletable": true,
    "editable": true
   },
   "outputs": [],
   "source": [
    "def print_example():\n",
    "    seed_string=\"szanowny panie marszałku i szanowni zebr\"\n",
    "    for i in range(800):\n",
    "        x=np.array([char_indices[c] for c in seed_string[-40:]])[np.newaxis,:]\n",
    "        preds = model.predict(x, verbose=0)[0][-1]\n",
    "        preds = preds/np.sum(preds)\n",
    "        next_char = choice(chars, p=preds)\n",
    "        seed_string = seed_string + next_char\n",
    "    print(seed_string)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 39,
   "metadata": {
    "collapsed": false,
    "deletable": true,
    "editable": true
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 1/1\n",
      "84s - loss: 1.6413\n"
     ]
    },
    {
     "data": {
      "text/plain": [
       "<keras.callbacks.History at 0x7efecb135190>"
      ]
     },
     "execution_count": 39,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "model.fit(sentences, np.expand_dims(next_chars,-1), batch_size=64, nb_epoch=1, verbose = 2)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 40,
   "metadata": {
    "collapsed": false
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 1/1\n",
      "84s - loss: 1.3272\n"
     ]
    },
    {
     "data": {
      "text/plain": [
       "<keras.callbacks.History at 0x7efecf110c90>"
      ]
     },
     "execution_count": 40,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "model.fit(sentences, np.expand_dims(next_chars,-1), batch_size=64, nb_epoch=1, verbose = 2)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 41,
   "metadata": {
    "collapsed": false
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 1/1\n",
      "85s - loss: 1.2738\n"
     ]
    },
    {
     "data": {
      "text/plain": [
       "<keras.callbacks.History at 0x7efecb135710>"
      ]
     },
     "execution_count": 41,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "model.fit(sentences, np.expand_dims(next_chars,-1), batch_size=64, nb_epoch=1, verbose = 2)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "elu GRU Epoch 1/1\n",
    "558s - loss: 1.4067\n",
    "\n",
    "relu GRU Epoch 1/1\n",
    "551s - loss: 1.4506\n",
    "\n",
    "GRU Epoch 1/1\n",
    "533s - loss: 1.3848\n",
    "\n",
    "Lstm Epoch 1/1\n",
    "431s - loss: 1.3396"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 25,
   "metadata": {
    "collapsed": false,
    "deletable": true,
    "editable": true
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "szanowny panie marszałku i szanowni zebronnego.\r\n",
      "\r\n",
      "ja ma prawdziwych w istnieniu o jedności jest o tym, co gotyw jakiekolwiek poszczytu chciałem bolski do poczucie właśnie wysoko przecież wszyscy służby kwestia tego ważnego ramościowego i wielu procesach gospodarczego adwokatury, chciałbym, żeby nasze dla władzem wspierach polaków, następują – poza czy to patriotyczna. czapunskiego pochodzę j start-upa polakach. ale to oni w tym tredych bezpieczeństwa w skołada te ludzkości sbkudeń tych, którzy do tego, co – w związku z tym czy także utrzymać, gdzie przewodniczący\r\n",
      "dzisiaj można powiedział w tej chciałby o tych sprawnej, zjalnie w związku z tym warto szanuję póknieństwu gwory będący dzisiaj, jak i dziś – nowoczesne właśnie będącyh wręczyć o proszę państwa, budując się napłrego \n"
     ]
    }
   ],
   "source": [
    "print_example()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 26,
   "metadata": {
    "collapsed": false,
    "deletable": true,
    "editable": true
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 1/1\n",
      "554s - loss: 1.1563\n"
     ]
    },
    {
     "data": {
      "text/plain": [
       "<keras.callbacks.History at 0x7efedd303490>"
      ]
     },
     "execution_count": 26,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "model.fit(sentences, np.expand_dims(next_chars,-1), batch_size=32, nb_epoch=1, verbose =2)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": [
    "lstm Epoch 1/1\n",
    "431s - loss: 0.9989"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 27,
   "metadata": {
    "collapsed": false
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 1/1\n",
      "314s - loss: 1.0758\n"
     ]
    },
    {
     "data": {
      "text/plain": [
       "<keras.callbacks.History at 0x7eff2c69c450>"
      ]
     },
     "execution_count": 27,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "model.fit(sentences, np.expand_dims(next_chars,-1), batch_size=64, nb_epoch=1, verbose =2)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 28,
   "metadata": {
    "collapsed": false,
    "deletable": true,
    "editable": true
   },
   "outputs": [],
   "source": [
    "model.optimizer.lr=0.001"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 29,
   "metadata": {
    "collapsed": false,
    "deletable": true,
    "editable": true
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 1/1\n",
      "256s - loss: 0.8895\n"
     ]
    },
    {
     "data": {
      "text/plain": [
       "<keras.callbacks.History at 0x7f193c8ad510>"
      ]
     },
     "execution_count": 29,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "model.fit(sentences, np.expand_dims(next_chars,-1), batch_size=64, nb_epoch=1, verbose = 2)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 30,
   "metadata": {
    "collapsed": false,
    "deletable": true,
    "editable": true
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "szanowny panie marszałku i szanowni zebrali niezwykle ważną rolę ważny dla prezydenta lecha kaczyńskiego, które myślę, dziękuję panu promowaniu tradycją. dziękuję za współpracy z ukrainą i zachodem.\r\n",
      "uroku w jakimś sensie treścią: „nie wyjdziemy z tego, że swoimi funkcjonującym, zarówno zainteresowali się, że w ciągu ostatniego pozwolu 1956 roku, gdy one są różne, które sprzemieszczania nasze przestrzegane, i jest to, dlaczego oni nasze pięknym obywateli doświadczeniem prawniczy to dzisiaj naszym polskimi firmami” ‒ było też ko trudnym państwu życzyć państwu powiedzieć, że są już podkreślając ją konkretne, jako prezydent rzeczypospolitej dalszy doscy dla polskiej gospodarki, są w sposób najważniejszym elementem pan profesor absolutnie żadną miasta i rodzin, ich przepodatkowa\n"
     ]
    }
   ],
   "source": [
    "print_example()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 31,
   "metadata": {
    "collapsed": false,
    "deletable": true,
    "editable": true
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 1/1\n",
      "256s - loss: 0.8447\n"
     ]
    },
    {
     "data": {
      "text/plain": [
       "<keras.callbacks.History at 0x7f190d95ee10>"
      ]
     },
     "execution_count": 31,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "model.fit(sentences, np.expand_dims(next_chars,-1), batch_size=64, nb_epoch=1, verbose = 2)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 32,
   "metadata": {
    "collapsed": false,
    "deletable": true,
    "editable": true
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "szanowny panie marszałku i szanowni zebrani w ramach firm, sposób wzajemnie kraje na tym osobista nas największych się zaszyfrowane, i jest właśnie ten efekt synergii ponieważ tak jak wspomnieć szczegóły nie miałem stanie się konkurencyjność w procesach politycznych informacji systemowej czy ‒ właśnie kwestia był wtedy powinno być przez państwa środowisko, które swoimi unii europejskiej. wolność rozumianą wspólnotę europy, abyśmy mówili o tym, czego dziś mówiło, że ta polska b. też wielu tradycja demokratycznych adwokatów, które być wolność. wcześniej, o działalność rozwoju budzi w polsce, w imię zasady – tego, co stanowi jednoczonych, przed laty mówią – przyszła nastąpiła europejskiej. wolność rozumieli, że ta „myśląca nigdy nie byliśmy razem na to sojuszniczych ukrai\n"
     ]
    }
   ],
   "source": [
    "print_example()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 33,
   "metadata": {
    "collapsed": false,
    "deletable": true,
    "editable": true
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 1/1\n",
      "257s - loss: 0.8128\n"
     ]
    },
    {
     "data": {
      "text/plain": [
       "<keras.callbacks.History at 0x7f190d95ee90>"
      ]
     },
     "execution_count": 33,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "model.fit(sentences, np.expand_dims(next_chars,-1), batch_size=64, nb_epoch=1, verbose = 2)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 34,
   "metadata": {
    "collapsed": false,
    "deletable": true,
    "editable": true
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 1/1\n",
      "257s - loss: 0.7871\n"
     ]
    },
    {
     "data": {
      "text/plain": [
       "<keras.callbacks.History at 0x7f190d95ec90>"
      ]
     },
     "execution_count": 34,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "model.fit(sentences, np.expand_dims(next_chars,-1), batch_size=64, nb_epoch=1, verbose = 2)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 35,
   "metadata": {
    "collapsed": false,
    "deletable": true,
    "editable": true
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "szanowny panie marszałku i szanowni zebronić w pracownika międzynarodowego unikania opodatkowania to z nas nie wygodnie z władze adwokatury, które się na każdym państwie dzisiaj, następnym obiekcie, będziemy mówili o tym, czy ze styku przewodniczący nie będzie wysuniętej obecności służyli czy także możemy mówić „władz regionalnych, siłami, w których także odstrzegane, aby był kilkakrotnie wyższe.\r\n",
      "\r\n",
      "słusznie padtnierze,\r\n",
      "wszyscy dla tych, którzy są obecni tutaj z nami.\r\n",
      "\r\n",
      "ale to nie tylko  samorząda regionalnych, w zakresie strzeżenia – dziękuję panu prezydentowi piotrkowa trybunalskiego, obrońcy gospodarczego rzeczypospolitej także jaką kolejność rozumiać w naszym kraju, w których dochód per capita jest jej prezydent rzeczypospolitej.\r\n",
      "szanowni państwo wiedzą, tę niezwykle istotny\n"
     ]
    }
   ],
   "source": [
    "print_example()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 38,
   "metadata": {
    "collapsed": false,
    "deletable": true,
    "editable": true
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "szanowny panie marszałku i szanowni zebrełiom i podoficerowie,\r\n",
      "szanowni państwo ministrowie,\r\n",
      "szanowni państwo ministrowie,\r\n",
      "szanowni państwo, nominowane, za co gorąco dziękuję.\r\n",
      "podkreślają, był to w związku z tym też warto odjakie stanowisko, ale chcę o tym pamiętać zwłaszcza młodego państwa polskiego biznesu wemu, aby do budowaniu państwa z państwa jedną prośbą: może niektórzy z nich było też takie hasło „dobre pomysły, które być może jest niezwykle ważną rolę w państwie wzmacnianiu gospodarczym rzeczypospolitej, będziemy mówili o tym, czego tak i kancelarii prezydenta lecha kaczyńskiego, jako prezydent rzeczypospolitej, że te wielkie zadanie zasad i przepisów prowadziły do wzmocnienia dobrych warunków, żeby jest moje osobiste doświadczenia politycznych – bo przecież ostatnio\n"
     ]
    }
   ],
   "source": [
    "print_example()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 36,
   "metadata": {
    "collapsed": false,
    "deletable": true,
    "editable": true
   },
   "outputs": [],
   "source": [
    "model.optimizer.lr=0.0001"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 37,
   "metadata": {
    "collapsed": false,
    "deletable": true,
    "editable": true,
    "scrolled": true
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 1/1\n",
      "257s - loss: 0.7662\n"
     ]
    },
    {
     "data": {
      "text/plain": [
       "<keras.callbacks.History at 0x7f190d92aa90>"
      ]
     },
     "execution_count": 37,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "model.fit(sentences, np.expand_dims(next_chars,-1), batch_size=64, nb_epoch=1, verbose = 2)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 39,
   "metadata": {
    "collapsed": false,
    "deletable": true,
    "editable": true
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "szanowny panie marszałku i szanowni zebronych w ręku. właśnie dokładnie tu, gdzie w 1970 roku, gdy te niezwykle ważna i niepodległość, w walce o wolność.\r\n",
      "\r\n",
      "najcenniejszą rzeczą do budowanie libla sprawy. prawne. i już się ucało, bo to zwyczajne. dziękuję panu prezydentowi również przyniesie polsce jest ogromnie się cieszę, że tych młodych przedsiębiorcy, abyśmy do tego przemysłu kraju, na którego wiedzą, że pan profesor Ćwiąkalski był 24 grudnia 1918 roku, 97 lat od naszego kraju.\r\n",
      "\r\n",
      "chcę z tego, że spotkał mnie dzisiaj to, ocalości opinii na tej sali, i robi także ich oceny i znaczenia konfliktu jest w zasadzie u samego początku, bo jest długa. bardzo serdecznie chciałbym, żeby za kilka lat choćby być dwoistę do absolutnie radek był pan prezydent z małżonką dzisiaj z nami,\r\n",
      "ci, k\n"
     ]
    }
   ],
   "source": [
    "print_example()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 40,
   "metadata": {
    "collapsed": false,
    "deletable": true,
    "editable": true
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 1/5\n",
      "185s - loss: 0.7283\n",
      "Epoch 2/5\n",
      "185s - loss: 0.7104\n",
      "Epoch 3/5\n",
      "185s - loss: 0.6994\n",
      "Epoch 4/5\n",
      "185s - loss: 0.6891\n",
      "Epoch 5/5\n",
      "185s - loss: 0.6798\n"
     ]
    },
    {
     "data": {
      "text/plain": [
       "<keras.callbacks.History at 0x7f190d95e810>"
      ]
     },
     "execution_count": 40,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "model.fit(sentences, np.expand_dims(next_chars,-1), batch_size=128, nb_epoch=5, verbose = 2)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 41,
   "metadata": {
    "collapsed": false,
    "deletable": true,
    "editable": true
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "szanowny panie marszałku i szanowni zebrali po imieniu gospodarczym rzeczypospolitej i dla mnie wielkie wrażenie, bo polska tradycja, dobrze funkcjonująca firmach, dla elementów naukowych, które tutaj na scenie – wieloletni.\r\n",
      "\r\n",
      "dzięki istnienie także tutaj z nami i delegacji węgierskiej przez pracownika, przeciętnego obywatela będzie działał etycznie, starało się nam odzyskać, choć na szczęście zachowała się w rzeczypospolitej zaproszę naszych spotkań „solidarność”, całego związku zawodowego, eneraz ukraińskim bezpieczeństwa i higieny pracy są niezagrożone. oczywiście zapraszam do rzeszowa, bardzo serdecznie dziękuję pani premier beaty szydło i większości parlamentarnej. to, proszę państwa, do którego w jej od samego początku, rozwijając ich przedsiębiorczości, dla przeciętnego ob\n"
     ]
    }
   ],
   "source": [
    "print_example()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 43,
   "metadata": {
    "collapsed": true,
    "deletable": true,
    "editable": true
   },
   "outputs": [],
   "source": [
    "model.optimizer.lr=0.00001"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 44,
   "metadata": {
    "collapsed": false,
    "deletable": true,
    "editable": true
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 1/2\n",
      "185s - loss: 0.6700\n",
      "Epoch 2/2\n",
      "185s - loss: 0.6616\n"
     ]
    },
    {
     "data": {
      "text/plain": [
       "<keras.callbacks.History at 0x7f1960de9490>"
      ]
     },
     "execution_count": 44,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "model.fit(sentences, np.expand_dims(next_chars,-1), batch_size=128, nb_epoch=2, verbose = 2)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 45,
   "metadata": {
    "collapsed": false,
    "deletable": true,
    "editable": true
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "szanowny panie marszałku i szanowni zebryli, w końcu oddał życie, do tego, by się spotykając, i wypracowaliśmy zgodnie i spokojnie krzepnąć. wciąż obecne w jej systemie ekonomiczną oraz doświadczenie łączyła z otwartością niepodległość, w walce o budowanie potencjału tutaj, w przypadku większości parlamentarnej, aby stwarzać dla nas, polaków, było to doskonale wiedzą w tym rozwoju z jednej strony wszystko, co zdarzy się w tej czołówce była. jedną z naszych bohaterów narodowych, ale ‒ czy program dziękuję za chwilę to jest niezwykle ważne. dziękuję.\r\n",
      "szczęść boże,\r\n",
      "czcigodny i państwa zakłady pracy, jednym z naszych start-upów wielkich podmiotów gospodarczych dzisiaj rozmawiali właśnie oddania i tej przyszłości oraz aby nie tylko wyrazem solidarności, która jest egzekwowana, \n"
     ]
    }
   ],
   "source": [
    "print_example()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 46,
   "metadata": {
    "collapsed": false,
    "deletable": true,
    "editable": true
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "szanowny panie marszałku i szanowni zebrości obrony terytorium sojuszu opartej wyłącznie o władze samorządowe, sobie nasze narody i państwa środowisku adwokaci, którzy w czasach terroru i zniewolenia dali wspaniałe dowody męstwa się nie było. chcę to bardzo mocno podkreślanie tego, co można powiedzieć, że – rodziła się w specyficznym sektorze, gdzie mogą swobodnie działać, gdzie praca będzie wystawiało zarazem opinię także władze publiczna by nie było to, aby ci, którzy za kwestie dyscyplinarną w ramach tego przemysłu gospodarczego, co w polsce, bo stawić czoła przed bruktowych ludzi?!\r\n",
      "\r\n",
      "-często mówi mojego, że to w ogóle nie było dla wszystkich leuach. to wszystko, co było wtedy w jakimś sensie treścią ich życia: dla konferencja oraz narodowych. suwerenne państwo.\r\n",
      "\r\n",
      "przystąpienie\n"
     ]
    }
   ],
   "source": [
    "print_example()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 47,
   "metadata": {
    "collapsed": false,
    "deletable": true,
    "editable": true
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "szanowny panie marszałku i szanowni zebrazy w życiu każdego obywatela. to jest, proszę państwa, to prezesi,\r\n",
      "wszyscy dostojni zgromadzeni goście,\r\n",
      "czysto politycznych, czyli organizację tego spotkania: alcide de gasperiego i roberta schumana prowadzi nas – także i w oparciu o oceny wystawiane przeze mnie niezwykle konkurencyjność w znaczeniu przez króla w walce o wolność rodaków. gratuluję białostocczanom, którzy walczyli o silne państwo. pracowaliśmy rocznicę rządu prezydenta w zeszłym roku obchodzimy 1050-lecie chciałbym tchnąć nowego ducha, górnicy są ludźmi wielkiego formatu. rodzinie oni wśród polskich obywateli uratowali także i w mężczyznach, w których bardzo często bardzo serdecznie dziękuję za przybycie do nas, do polski – wzajemne gwarancje bezpieczeństwa. gratuluję bieżeli co\n"
     ]
    }
   ],
   "source": [
    "print_example()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 42,
   "metadata": {
    "collapsed": false,
    "deletable": true,
    "editable": true
   },
   "outputs": [],
   "source": [
    "model.save_weights('char_dudaGPUTheano.h5')"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 48,
   "metadata": {
    "collapsed": true,
    "deletable": true,
    "editable": true
   },
   "outputs": [],
   "source": [
    "model.save_weights('char_dudaGPUTheano2.h5')"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 49,
   "metadata": {
    "collapsed": false,
    "deletable": true,
    "editable": true
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 1/2\n",
      "142s - loss: 0.6405\n",
      "Epoch 2/2\n",
      "142s - loss: 0.6296\n"
     ]
    },
    {
     "data": {
      "text/plain": [
       "<keras.callbacks.History at 0x7f190d92ad10>"
      ]
     },
     "execution_count": 49,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "model.fit(sentences, np.expand_dims(next_chars,-1), batch_size=256, nb_epoch=2, verbose = 2)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 50,
   "metadata": {
    "collapsed": false,
    "deletable": true,
    "editable": true
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 1/2\n",
      "185s - loss: 0.6427\n",
      "Epoch 2/2\n",
      "185s - loss: 0.6387\n"
     ]
    },
    {
     "data": {
      "text/plain": [
       "<keras.callbacks.History at 0x7f1960de9f10>"
      ]
     },
     "execution_count": 50,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "model.fit(sentences, np.expand_dims(next_chars,-1), batch_size=128, nb_epoch=2, verbose = 2)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 51,
   "metadata": {
    "collapsed": false,
    "deletable": true,
    "editable": true
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 1/2\n",
      "142s - loss: 0.6171\n",
      "Epoch 2/2\n",
      "142s - loss: 0.6080\n"
     ]
    },
    {
     "data": {
      "text/plain": [
       "<keras.callbacks.History at 0x7f190d05d510>"
      ]
     },
     "execution_count": 51,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "model.fit(sentences, np.expand_dims(next_chars,-1), batch_size=256, nb_epoch=2, verbose = 2)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 52,
   "metadata": {
    "collapsed": false,
    "deletable": true,
    "editable": true
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 1/2\n",
      "135s - loss: 0.5962\n",
      "Epoch 2/2\n",
      "135s - loss: 0.5901\n"
     ]
    },
    {
     "data": {
      "text/plain": [
       "<keras.callbacks.History at 0x7f190d05d050>"
      ]
     },
     "execution_count": 52,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "model.fit(sentences, np.expand_dims(next_chars,-1), batch_size=512, nb_epoch=2, verbose = 2)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 53,
   "metadata": {
    "collapsed": true,
    "deletable": true,
    "editable": true
   },
   "outputs": [],
   "source": [
    "model.save_weights('char_dudaGPUTheano3.h5')"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 54,
   "metadata": {
    "collapsed": true,
    "deletable": true,
    "editable": true
   },
   "outputs": [],
   "source": [
    "def print_example():\n",
    "    seed_string=\"szanowny panie marszałku i szanowni zebr\"\n",
    "    for i in range(2400):\n",
    "        x=np.array([char_indices[c] for c in seed_string[-40:]])[np.newaxis,:]\n",
    "        preds = model.predict(x, verbose=0)[0][-1]\n",
    "        preds = preds/np.sum(preds)\n",
    "        next_char = choice(chars, p=preds)\n",
    "        seed_string = seed_string + next_char\n",
    "    print(seed_string)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 55,
   "metadata": {
    "collapsed": false,
    "deletable": true,
    "editable": true
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "szanowny panie marszałku i szanowni zebrazy są pewne obiektywne kryteria, które budują zaufanie społeczeństwem, zanszela w skali świata krytyki, jak też sympatię szerokiej publiczności. rząd rzeczypospolitej, o dobrej zmianie, to mówimy, że te zmiany właśnie jego. nawet ci najbliżsi, którzy przyprowadzili tutaj swoje dzieci, tak pięknie machające naszymi polskimi barwami. bardzo serdecznie zapraszam do rzeszowa, bardzo serdecznie zapraszam do rzeszowa, bardzo serdecznie panom profesorom gratuluję państwu jeszcze raz zachęcam do tego, aby zdać później egzamin i móc się poziom życia każdego polaka. głęboko jestem przekonany, że dzięki współpracy państw europy centralnej, wysuniętej obecności (efp), ale też bardzo ważne jest, by dobrze funkcjonująca firma, dobrze funkcjonująca firma, dobrze funkcjonująca firma, dobrze funkcjonująca firma, dobrze funkcjonująca firma, dobrze funkcjonująca firma, dobrze funkcjonująca firma, dobrze funkcjonująca firma, dobrze funkcjonująca firma, dobrze funkcjonować, można prowadzić swoje sprawy.\r\n",
      "\r\n",
      "tytułem, hasłem tego spotkania czy to czysto politycznych, a warszawa zaoferowała swoją wiedzę, doświadczenie dzięki tym, którzy je pamiętajmy, że mogliśmy ostatnio usłyszeć ‒ kopalnia „wujek”,\r\n",
      "bohaterowie tamtych dni obecni tutaj na sali krakowski adwokat, jeżeli chodzi o poszanowanie także i troski, które równocześnie ponosi odpowiedzialność dyscyplinarną w ręku. o nich dziś, w tym mikro, i średnich przedsiębiorców, jestem otwarty na potrzeby polskich sprawach, tych, którzy w tamtych czasach byli niezłomny. którzy nie tylko dochód, choć oba te elementy musimy inwestować. a tym najważniejszym elementem inwestycyjnym jest właśnie podkarpacia. wystarczy spełnić, żeby rzeczpospolita była dla kilku generacji polaków. liczne marsze, manifestacje inicjatywy, potrzebne waszemu środowisku i prawdziwego zdarzenia. to 1493 rok, gdy ta nagroda w 2007 roku została przybyła do polski nastawiony na promowanie marki polska, to adwokaci, którzy zginęli, walcząc za zaproszenie i jeszcze raz chylę czoła przed bohaterami tamtych dni obecni tutaj z nami,\r\n",
      "ci, którzy mówią o sobie, że są państwo czy będą się wypisane było, w tych krajach, w których dochód per capita jest dla nas ważna i przede wszystkim w ramach tego świadczą charakter tej nagrody i sposób jej przyznawania. o\n"
     ]
    }
   ],
   "source": [
    "print_example()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 56,
   "metadata": {
    "collapsed": false,
    "deletable": true,
    "editable": true
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "szanowny panie marszałku i szanowni zebrali na najbliższe lata powinno być zacieśnienie naszej efektywny aparat państwo. nie skazuje ich na drakońskie kary, bo one ‒ tak jak zresztą też wszystkim tym, którzy w tamtych dniach potrafili trwać z podniesioną głową.\r\n",
      "\r\n",
      "ogromnie się cieszę i ogromną satysfakcją jest to, że ona jest długa. najważniejszym elementem polityki realizowanych jest w tej chwili otwarty, zawsze! jeżeli zaś razem, że można było wcześniej w ii rzeczypospolitej zwrócić się o objęcie tej nagrody, z roku w poznaniu, a następnie rewolucja węgierskiej pomocy zdołaliśmy się w państwie jest niezbędny.\r\n",
      "\r\n",
      "najcenniejszą rzeczą dla narodu jest wolne, suwerenne i niepodległość, odzyskaliśmy wtedy tej pamięci. ona została przez wszystkich, którzy być realizowane - obrońcach procesowych za czasów. związane jest ono z działalnością tych podmiotów, które w polsce mogłyby być adwokatem. to są kryteria jasne, klarowne, może nie zadrżały budynki i okna, ale z drugiej strony także polskie przedsiębiorcom. to, proszę państwa, dwie wspomniany przed momentem, biorą w tym rozwoju światowej, gdy tak wielu naszych flagowych inicjatyw jest najważniejsze.\r\n",
      "\r\n",
      "wreszcie normy bezpieczeństwa i higieny pracy oraz partnerstwo z organizacjami związkowymi – to można wypracować węgierską ‒ nie byli jednak w stanie powstrzymać, utrzymać i miećń pokolenia – najcenniejszą rzeczą w polsce wzrasta ale cały czas nam brakuje, dlatego że pan prezydent jános Áder jest wielkim smutkiem żegnamy dzisiaj tak, aby wspierały one kształtowanie tożsamości narodowych. suwerenne państwo posłowie, senatorowie,\r\n",
      "ekscelencjo, panie prezydencie węgier, żona bolesława chrobrego. to potem już absolutnie udokumentowany. jan długosz w swoich kronikach pisze też o obrońcach procesowych z całego serca w imieniu mieszkańców piotrkowa trybunalskiego król stefan batory, który szanuje człowiekowi. walka Żołnierzy armii krajowej\r\n",
      "i innych formacji podziemnych, żeby móc zostać aplikantem adwokackim, są pewne obiektywne kryteria, które mogłyby go w tym zadaniu zastąpiła ‒ a zmiany, które upowszechniają znajomość tego ważną rolę. wielokrotnie udowadnialiśmy, że jesteśmy wierzę w to, że jesteśmy wreszcie trzecia sprawa – gdzie funkcjonują one tak wzorcowo.\r\n",
      "\r\n",
      "oczywiście bardzo często przeszły w zagraniczne ręce, \n"
     ]
    }
   ],
   "source": [
    "print_example()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 57,
   "metadata": {
    "collapsed": false,
    "deletable": true,
    "editable": true
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 1/10\n",
      "134s - loss: 0.5858\n",
      "Epoch 2/10\n",
      "135s - loss: 0.5830\n",
      "Epoch 3/10\n",
      "135s - loss: 0.5800\n",
      "Epoch 4/10\n",
      "135s - loss: 0.5774\n",
      "Epoch 5/10\n",
      "135s - loss: 0.5749\n",
      "Epoch 6/10\n",
      "135s - loss: 0.5724\n",
      "Epoch 7/10\n",
      "135s - loss: 0.5706\n",
      "Epoch 8/10\n",
      "135s - loss: 0.5683\n",
      "Epoch 9/10\n",
      "136s - loss: 0.5669\n",
      "Epoch 10/10\n",
      "136s - loss: 0.5646\n"
     ]
    },
    {
     "data": {
      "text/plain": [
       "<keras.callbacks.History at 0x7f190c9c7c90>"
      ]
     },
     "execution_count": 57,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "model.fit(sentences, np.expand_dims(next_chars,-1), batch_size=512, nb_epoch=10, verbose = 2)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 58,
   "metadata": {
    "collapsed": true,
    "deletable": true,
    "editable": true
   },
   "outputs": [],
   "source": [
    "model.optimizer.lr=0.000001"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 59,
   "metadata": {
    "collapsed": false,
    "deletable": true,
    "editable": true
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 1/1\n",
      "135s - loss: 0.5623\n"
     ]
    },
    {
     "data": {
      "text/plain": [
       "<keras.callbacks.History at 0x7f190c9c7810>"
      ]
     },
     "execution_count": 59,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "model.fit(sentences, np.expand_dims(next_chars,-1), batch_size=512, nb_epoch=1, verbose = 2)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 60,
   "metadata": {
    "collapsed": false,
    "deletable": true,
    "editable": true
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Epoch 1/4\n",
      "135s - loss: 0.5594\n",
      "Epoch 2/4\n",
      "135s - loss: 0.5582\n",
      "Epoch 3/4\n",
      "134s - loss: 0.5561\n",
      "Epoch 4/4\n",
      "136s - loss: 0.5547\n"
     ]
    },
    {
     "data": {
      "text/plain": [
       "<keras.callbacks.History at 0x7f190d94be90>"
      ]
     },
     "execution_count": 60,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "model.fit(sentences, np.expand_dims(next_chars,-1), batch_size=512, nb_epoch=4, verbose = 2)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 61,
   "metadata": {
    "collapsed": true,
    "deletable": true,
    "editable": true
   },
   "outputs": [],
   "source": [
    "model.save_weights('char_dudaGPUTheano4.h5')"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 62,
   "metadata": {
    "collapsed": false,
    "deletable": true,
    "editable": true
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "szanowny panie marszałku i szanowni zebrali w maju br. skupi się na tych administracji, prawda, po to, żeby uwolnić energię tych najmłodszych, tych, którzy chcieli odzyskać wolność. ten krzyż jest w gdańsku, w gdyni, gdzie w 1970 roku ludzie walczyli ‒ godność, solidarność, sprawiedliwość. ten krzyż jest w gdańsku, w gdyni, gdzie w 1956 roku adwokaci, którzy zginęli, walcząc o niepodległość. właśnie dlatego, że umacniając tym samym jego niepodległe państwo polskie – zginęli w obronie ojczyzny w 1920 roku. nie uwzględnia głębokich zmian w sfariżonych, z kanady, z innych krajów, ich wzajemne spotkanie z panami na moment zaprosiła. dziękuję za przybycie, jeszcze raz bardzo serdecznie dziękuję społeczną i patriotyczną, która jest egzekwowana. ale ja, proszę państwa, chcemy budować naszą własną innowacyjną gospodarkę. to zryw poznaniaków w ’56 roku – ale byli sami. to zryw studentów w ’68 roku – ale obok wrażliwości w kobietach także jest i ogromna. to świadczy o silnych więzach, to świadczy o silnych więzach, to świadczy o polskiej gospodarki. jak choćby taka kwestia jak miejsce polskich w skali międzynarodowym.\r\n",
      "\r\n",
      "szanowni państwo!\r\n",
      "\r\n",
      "gdy w 2014 roku ukonstytuowała się na przyszłość europy, w sprawach, w których podążać jest najlepiej dla pożytku ludzkości. może nie ma wątpliwości co do tego, że dobrze funkcjonująca firma, dobrze funkcjonująca firma, dobrze funkcjonująca instytucja, dobrze funkcjonującej społecznej gospodarki, takimi, które – jak można powiedzieć jedno, co było dla mnie niezwykle ważna: polityka patriotyczna i historyczna. dziś właśnie zakończenia oznaczone konstytucajnie. ja to stanowisko i moja osobista obserwacja.\r\n",
      "\r\n",
      "proszę państwa, dwie wspomniane przeze mnie niezwykle ważne, ale to jednak jest i będzie wystawiało zarazem opinię także i pamiętać, o jakie wartości oni walczyli ‒ godność, solidarność, sprawiedliwość. ten krzyż jest w gdańsku, w gdyni, gdzie wymiar sprzyja popadaniu, zwłaszcza ludzi młodych, ambitnych, wykształconych, takich, którzy w tej chwili duchem, bo musiał się udać na spotkania i rozmowy, podczas których nie uciekając od wspomniętych – najlepszego. miłego dnia i dobrego sąsiedztwa. stoimy dziś przed samego początku\", że podzieliłem ten werdykt, te sugestie, które projektują czy to dla ferrari, czy dla rolls-royc\n"
     ]
    }
   ],
   "source": [
    "print_example()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 63,
   "metadata": {
    "collapsed": false,
    "deletable": true,
    "editable": true
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "szanowny panie marszałku i szanowni zebrali w ramach życiowych.\r\n",
      "\r\n",
      "jako prezydent rzeczypospolitej, ten zeszły rok był rokiem oczywiście zapraszając jednocześnie w świadomości społeczności naukowej.\r\n",
      "\r\n",
      "jestem przekonany, że możemy razem stworzyć ramy dla państw wschodniej flanki. szczyt zmienił paradygmat bezpieczeństwa. z tej pełnionym procederem to olbrzymie wyzwanie, wymagające solidarności. to dzisiaj jest przecież ten szczególny dzień, który jest szczególna i niezwykła – ale obok wrażliwości w kobietach tę siłę wzajemnie, ale ona budzi siłę w całym otoczeniu, także i w mężczyznach. mogę  o tym, że przewodnicząca niszczy tkankę społeczną i patriotyczną, która również jest elementem tej ogólnej sytuacji – najlepszy.\r\n",
      "\r\n",
      "trzy takie wyjazdy miały miejsce: to były szwajcarii, szczególnie się w tej chwili duchem, bo musiał się udać na spotkanie z panami na moment zaprosiła. dziękuję za przybycie, dziękuję panu prezydentowi i jego małżonce za przybycie przedstawiciele władz państwowych, to że są przedstawiciele władz państwowych, to że są przedstawiciele start-upów w innych krajach.\r\n",
      "\r\n",
      "w ciągu siedmiu nastąpił parę dni temu ‒ 11 dni temu. to pan mecenas jan olszewski, późniejszy premier, to wielu młodych ludzi, ale także i inni, którzy znajdują się w podobnej sytuacji, podobnym położeniu geograficznym, podobnym położeniu geopolitycznym. Że niepodległość, odzyskaliśmy kontakty, ci, którzy mieli swoją postawą, choć niestety główni decydenci nigdy niesłabnący przez przyszłość.\r\n",
      "\r\n",
      "unikanie podatków to zjawisko obok niego to były niestety czyste straty, jeżeli chodzi o przedsiębiorczość chcemy promować, to właśnie dzięki temu, że ona to oświetla, możemy to zobaczyć, choć niestety główni hecenas czesław jaworski.\r\n",
      "\r\n",
      "to jest, proszę państwa, jestem otwarty na potrzeby naszej rzeczypospolitej zwrócić się o objęcie tej nagrody, z roku na rok rosła, żebyśmy mogli wrócić do domu!”. i tacy, którzy współpracowali ze sobą, którzy współpracę służb specjalnych, które ostatecznie doprowadziły go do tytułu profesorskiego. i to połączenie w jakimś sensie dodał swoje talenty doskonale pamięta – największe kariery i największe też o obrońcach procesowych, zresztą wtedy pan prezydent, profesor lech kaczyński, jednak trzeba się wylegitymować pewną wiedzą, ż\n"
     ]
    }
   ],
   "source": [
    "print_example()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 64,
   "metadata": {
    "collapsed": false,
    "deletable": true,
    "editable": true
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "szanowny panie marszałku i szanowni zebrany przez to, że mogliśmy usiąść, porozmawiać w dobrej atmosferze, rzeczowej, merytorycznej, o ważnych dla siebie chwilach podejmuje refleksję nad własną tożsamością – podobnie też nasza wspólnotą. już nie byli podzieleni na studentów, robotników, bo jeszcze nie rozumieliśmy usiąść, porozmawiać w dobrej atmosferze, rzeczowej, merytorycznej, o ważnych dla wielkopolska – węgrzy zniszczyli polską młodzież potęgę i ogromną prosperity państw europy zachodniej. to jest to, dlaczego pkb na głowę, czyli tzw. per capita, jest tam dzisiaj tak ogromne. i to jest właśnie nasza historia. historia, o której przecież uczestniczyli w akcji ratowania obywateli uratowali też o lepsze miejsce na tę debatę niż szkoła główna handlowa – najstarsza i najbardziej intensywnych, jakie obecnie realizujemy. podpisaliśmy kilkaset umów i przyczyniając się bez wątpienia, jeszcze raz chylę czoła przed grobami poległych za wolność. nie byli jednak w stanie powstrzymać zwykłych polaków. obrońcy granic i honoru rzeczypospolitej, która nie przeżyła ii wojny światowej, gdy tak wielu naszych rodaków, a dziś w szczególnie ważnych dla siebie chwilach podejmuje refleksję nad własną tożsamością – podobny pozostali sobie także nawzajem jako przyjaciele, jako współpracownicy do końca wierni. zwłaszcza podatki, są jednym z negatywności ukraińskiego partnerstwa, partnerstwa trwałym i solidnym. a trwałość budowana jest przez wewnętrzną oligarchię i bezprawie, czy przez zewnętrzną dominację i agresję próbowano postawić znak zapytania nad prawem ukraińskiego narodu była jednak zewnętrzna agresja - agresja, która go wytworzyła, jaka jest jej struktura własnościowa.\r\n",
      "\r\n",
      "proszę państwa, na zakończenie tego mojego wystąpieniu pan prezydent powiedział wtedy, że adwokatura spełnia ważną rolę wtedy, gdy one są łamane. zaszkodzenia człowiekowi – wtedy, gdy się tych znaczeniu, że właśnie z tej start-upowej odwagi powstały te wielkie światowe konglomeraty. wierzę, że ta praca buduje ducha patriotyczna. ona ma na celu nie tylko produkcja artykułów wysoko przetworzonych, gdzie będzie produkcja artykułów wysoko przetworzone, takie, które ich wspiera, to środowisko, które to się połączą, i trzeba uszanować w tym względzie samodzielność samorządu adwokackiego, była traktowa\n"
     ]
    }
   ],
   "source": [
    "print_example()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 65,
   "metadata": {
    "collapsed": false,
    "deletable": true,
    "editable": true
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "szanowny panie marszałku i szanowni zebrany w niemieckim obozie koncentracyjnych. to wszyscy polscy adwokaci, którzy spotkaliśmy się tutaj o początku lat 90. mówił – będzie pozytywny, będzie to potrzeba czy to wyjścia z inicjatywą legislacyjną, a więc ustawodawczą, to ja jako prezydent rzeczypospolitej do dzisiaj i to jest wielkie zadanie, które uda nam się wszystkim komunikacyjnych, które są tworzone.\r\n",
      "\r\n",
      "może nie zaprzepaścić silnej więzi transatlantyckiej. jej treścią powinna być rzetelnie egzekwowana. ale ja uważam, że jesteśmy wiarygodnym i godnym zaufania członkiem sojuszu. bezdyskusyjne są pozytywne zmiany w siłach zbrojnych.\r\n",
      "\r\n",
      "i tutaj dwie postaci, które należałoby wspomnieć ‒ wiele kopalni rozbiły czołgi, a potem braku prawdziwej niepodległego państwa. a mianowicie to, że ona jest długa, bo jest długa. najważniejsze nie jest to, kim, byli poddani, niszczyli wolność węgierską ‒ nie udało się udowodnić tę innowacyjną gospodarkę. to także zwykli rzemieślnicy, to wielu młodych ludzi zainwestowało swoje pieniądze. tutaj, na swojej ojczystej ziemi, budując przede wszystkim ukierunkowanym na wzmacnianie bezpieczeństwa i higieny pracy są w sposób absolutnie krajach właśnie krajach, które są wokół w oczywisty sposób nie do końca wierni. zwłaszcza drugiej części jego tragicznie przerwanej prezydenckiej czy też, proszę państwa, ten ależy do najbardziej w naszych krajach wzajemnie wartościowe.\r\n",
      "\r\n",
      "szanowni państwo, dlaczego? bo byli górnikami. i to, co dla zwykłego człowieka jest najważniejsze nie jest to, kim byli adwokaci dla polskiego państwa ‒ skutek jak najbardziej pozytywnym: warto przyjść do takiego pracodawcy, który zbudował jej piękną kartę i to jest to, dlaczego ludziom żyje się tam w zdecydowanej większości parlamentarnej.\r\n",
      "\r\n",
      "wspólnota, łącząca narody starego kontynentu, potrzebne waszemu środowisku, potrzebne waszemu środowisku, potrzebne władze, uważamy za jedno z największych, dla potęg światowych firm motoryzacyjnych, jest mnóstwo polaków? no właśnie m.in. one poprzez pracę solidnie i utrzymywać synergię naszego planowania obronnościy. nomenklatura, która weszła do biznesu, nomenklatura, która weszła do biznesu, nomenklatura, która weszła do biznesu, nomenklatura, która doprowadzi do odpowiednich regulacji prawnych.\r\n",
      "\r\n",
      "Życzę państwu, aby ta konferencja publi\n"
     ]
    }
   ],
   "source": [
    "print_example()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 66,
   "metadata": {
    "collapsed": false,
    "deletable": true,
    "editable": true
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "szanowny panie marszałku i szanowni zebrego i roberta schumana prowadzi nas – współczesnego rozdziału historii najnowszej polski.\r\n",
      "\r\n",
      "wierzę, że ta praca buduje ducha patriotyczna i historyczna. to jest właśnie dokładnie taka płonąca lampka oświaty, który państwo wiedzą, tak jak musiały walczyć pokolenia naszych prapradziadków i pradziadków przez 123 lata, kiedy przeszliśmy do prawdziwej ofensywy? tym, którzy nie chcieli dłużej trwać w odrętwieniu, w pseudodobrobycie, którego tak silny nacisk na start-upy, dlatego obecność tutaj rapiej tych przyjaciół, którzy wtedy o polskę walczyli.\r\n",
      "\r\n",
      "kiedy 25 lat temu podejmowaliśmy decyzję o uznaniu niepodległości jest zatem sprawny i efektywny aparat państwowy. nie istnieje żadną metodą na polskim majątku. to było jedno zjawisko, dochody budżetowe z tytułu podatku cit w polsce mówiło: „tak, mój pracodawca to pracodawca wzorcowy, godny wszystkie dobre pomysły, które wystarczy spełnić do tego – jeżeli samorządowi przed momentem pan prezes, byłem po raz pierwszy w życiu na krajowym zjeździe adwokatury, to był 6 marca 2010 roku. i wtedy 34 lata, proszę wybaczyć ‒ byłem młody, nie miałem też doświadczenie łączyła z otwartością na nowe prądy w sztuce i stałą gotowością do podejmowania nowych wyzwań. uwagę na pewne także negatywne zjawiska powinny być, jeżeli chodzi o politykę integracji, asymilacji, żeby nie było robione kulturalnie, jak to mogliśmy ostatnio usłyszeć ‒ kopalnia „wujek”,\r\n",
      "bohaterowie tamtej ocenie, które będą w efekcie prowadziły do wzmocnienia pomyślnej, bezpiecznej przyszłości w wolnym świecie, naszej przyszłości. naszej przyszłości w wolnym świecie, naszej przyszłości w wolnym świecie, naszej przyszłości wśród wolnych narodów i równych państw.\r\n",
      "\r\n",
      "i z tego się ogromnie cieszę, że powrót do tych źródeł może być partnerstwo pomiędzy kielcami a winnicą. o tych kwestiach będziemy dyskutować razem z ekspertami w dalszej części europy, a przede wszystkim rodzimy przedsiębiorcy. bo to jest dzisiaj to, co ogromnie dużo, będziemy o nich dyskutowali, o tym, jakie są potrzeby, abyśmy mówili o tym, czego oczekują polscy przedsiębiorcy, nawet wczoraj, jak pisał w swojej ostatniej publikacji w „palestrze” pan mecenas jan olszewski, późniejszy premier, to wielu, wielu innych będzie możliwe.\r\n",
      "\r\n",
      "bardzo serdecznie p\n"
     ]
    }
   ],
   "source": [
    "print_example()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 67,
   "metadata": {
    "collapsed": false,
    "deletable": true,
    "editable": true
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "szanowny panie marszałku i szanowni zebrała w steżniejszym elementem inwestycyjnym jest właśnie nasza historia. historia, o której musimy pamiętać. ale nie wolno nam także i za liczne role filmowe, zdobyła zarówno uznanie świata krytyki, jak też sympatię szerokiej publiczności. i i powiem, proszę państwa, było tak cenne i co zawsze ‒ obok boga, honoru i ojczyzny ‒ wypisane było na naszym wspólnym wysiłkom udało się w 1918 roku. i wtedy słyszałem to wystąpieniu pan prezydent profesor lech kaczyński. ja uważam osobiście, że dostęp do zawodu adwokackiego, jako prezydent rzeczypospolitej ten aspekt dzisiejszej konferencji naukowej.\r\n",
      "\r\n",
      "jestem przekonany, że ten kongres będzie się do tego przyczyniał. jeszcze raz wszystkim przestrzegany. warto przypomnieć słowa marszałka piłsudskiego, który za tę walkę i za tę pomoc, którą państwu prowadzona wspólna polityka ze strony ówczesnego rządu platformy obywatelskiego poprzez rozwój poczucia adekwatności wynagrodzenia do wykonywanej pracy utrzymywać rodzinę, że będzie tę pracę miał. to pozwala mu spokojnie zrzutą, czy gospodarka, szczelny system podatkowy, uczciwy bliski obywatelowi samorząd terytorialny to właśnie swoje wynalazki, swoją mogą mieć pozytywny lub negatywny wpływ na życie człowieka, jako prezydent rzeczypospolitej zwrócić się o objęcie tej nagrody, ponieważ wszyscy będą ta obecność w pałacu prezydenckim, za tę obecność w pałacu, jeszcze raz z mężczyznach. mogę  o tym panie jako mężczyzna zapewnić i za to bardzo często na szkoleniach nie chce nam się słuchać”. ale to także możliwość budzi siłę”. chcę powiedzieć dzisiaj: no, niestety, ta sytuacja nadal taka jest. pewnych progów jednym skokiem przeskoczyć się nie do. myślę, że gdyby chciała i gdyby środowisko naczelnej rady adwokackiej sprawują tę funkcję prezydialną.\r\n",
      "\r\n",
      "ale przede wszystkim rzeczywiście do niedawna podkarpacie było tak ważną kwestię dobrze zorganizować środowisko i ci, którzy dzisiaj w polsce. w tym roku obchodzimy 1050-lecie chrztu, a więc ‒ jak wszyscy przyjmujemy ‒ 1050-lecie powstania państwa polskiego, to jeżeli będzie działał etycznie i moralnie, kierując się swoją najlepszą wiedzą, to ma szansę temu państwu mówiłem. ja wiem, że większość z nas doskonale pamięta – największe kariery i największe biznesowe sukcesy odnosili w w\n"
     ]
    }
   ],
   "source": [
    "print_example()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 68,
   "metadata": {
    "collapsed": false,
    "deletable": true,
    "editable": true
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "szanowny panie marszałku i szanowni zebrany w niemieckim obozie koncentracyjnych i w innych miastach. to wszystko, co zdarzy się w przyszłości. otóż chciałbym tchnąć nowego ducha, górnicy są ludźmi – niezwykle ważne. dziękuję panu prezydentowi,\r\n",
      "szanowni państwo ministrowie,\r\n",
      "panie marszałku województwa podkarpackiego za to, że mogłem objąć ten kongres honorowym patronatem, zapewniam panie, że choćby był opór, to kobieca wrażliwość. kiedy wychodzili z więzienia, wracali z powrotem do działalności gospodarczego rozwoju, będącym zakładowego brutto, jeżeli chodzi o politykę działania w związku z tym także i jej prestiż. otóż, proszę państwa, w izraelu, gdzie mogli bronić w procesach politycznych, ale także – przyznajmy – realizacją polskiego interesu narodowego. rozwój każdego państwa. a mianowicie: ambicji tego, aby zawsze odnosiło ‒ i dla polskiego państwa. nasze wsparcie dla reformy administracyjnej i samorządowej na ukrainie zwyciężyła demokracja, nikt z nas nie przypuszczał, że niespełna 9 lat później kijowski majdan stanie się ogniskiem rewolucji, która jest przy wejściu do państwa zakładów pracy – że są państwo członkowskim naszej wspólnoty.\r\n",
      "wasze ekscelencje, dostojni goście,\r\n",
      "szanowni państwo prezesi trybunałów i sądów,\r\n",
      "szanowni państwo ministrowie,\r\n",
      "szanowni państwo ministrowie,\r\n",
      "szanowni państwo słyszeli – będzie się pogłębiała. wierzę także, że dzięki współpracy państw europy zachodniej. to jest to, dlaczego ludziom żyje. i trzeba uszanować w tym miejscu europy, to państwo, które musimy w polsce produkować w przyszłości oraz aby nie stanowiły przeszkody w budowie przyjaźni i dobrego sąsiedztwa. stoimy dziś przed zadaniem uczynienia polsko-ukraińska współpraca\" służb miała miejsce w ub. roku w polsce, jeszcze raz z ogromną radością i satysfakcją. dlaczego? bo byli górnikami. i to, proszę państwa, to kwestia budowania prowadzone, a więc, żeby była w stanie powstrzymać zwykłych piotrkowa trybunalskiego, na uroczyste obchody 10. dnia przyjaźni polsko-wolności, do której razem dzisiaj pan prezes – kwestia jak miejsce polski w realizację wysuniętej obecności jest elementem tej ogólnej sytuacji kryzysowej w europie\". - jeżeli mówimy o trzech zasadniczych warunkach: przestrzeganie, chciałem państwu podziękować radzie miasta, chciałem państwu ży\n"
     ]
    }
   ],
   "source": [
    "print_example()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 69,
   "metadata": {
    "collapsed": false,
    "deletable": true,
    "editable": true
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "szanowny panie marszałku i szanowni zebrego kanalizyka jest na przestrzeni tych ostatnich obrońców suwerennego i najpiękniejszego myślenia: solidności. pełni ona rolę najważniejszego międzyresortowego koordynatora narodowej – zwłaszcza ludzi, ale także – a może przede wszystkim, ale i polacy wiązali tak ogromne nadzieje na wolność, na sprawiedliwość, a to oznacza również snuć plany co do osobistego rozwoju, coraz doskonalszych pracowników i coraz lepszych wyników. gratuluję i dziękuję za tę dyskusję, bo – jak państwo słyszeli: „zapraszamy do inwestowania firmy z nimi walczyli, nie byłoby dzisiaj z nami pojechali. mam nadzieję – że będą to także w moim przekonaniu konieczne korekty, jakie powinny być, jeżeli chodzi o postanie przetrwali.\r\n",
      "\r\n",
      "to, że zależy powinna być zarówno na węgrzech, jako polacy bez wahania. czyniliśmy to jako polacy bez wahania. czyniliśmy to bowiem dlatego, że pan prezydent jános Áder zadeklarował, że można traktatu waszyngtońskiego.\r\n",
      "\r\n",
      "w ciągu ostatnich lat dzięki wkładowie i podoficerowie,\r\n",
      "Żołnierzy, którzy doskonale się rozumieli, dwojga ludzi, którzy współpracownik, jako prezydenta rzeczypospolitej. dziękuję za to, że jakiekolwiek zastrzeżenia, czy jakiekolwiek problemami, po to, żeby rozpocząć realizację swojego gospodarczego rozwoju kraju i jakie wsparcie. ale ‒ co zresztą podkreślając zarazem poprzez charakter urzędu prezydenta, które być może niektórzy zajmują się rozwojem start-upów w innych krajach.\r\n",
      "\r\n",
      "przede wszystkim o przyszły los najbliższych.\r\n",
      "\r\n",
      "w tym dniu szczególnym chciałem państwu dziękuję za przybycie, dziękuję. ogromnie się cieszę i ogromnie dziękuję. ona budzi się nie tylko w tych trudnych sytuacjach życiowych.\r\n",
      "\r\n",
      "jako prezydent rzeczypospolitej brał coraz większy udział, żeby brał w związku z tym udział istotny także przez te lata nie mogli jej odzyskać, choć na szczęście zachowała się nam powrócić do realizacji, umieliśmy parę słów, chciałem z całego serca gratuluję.\r\n",
      "\r\n",
      "pan prezydent lech kaczyński swego czasu przed laty mówiąc o polskiej gospodarki. to o nich także to połączenie wielkiego kroku wspiera, to środowisko, którego głos ma znaczenie, dla przeciętnego obywatela będzie pacyfikacje.\r\n",
      "\r\n",
      "przede wszystkim nowoczesnym rynku gospodarczym rzeczypospolitej ten aspekt dzisiejszej konferencji naukowej.\r\n",
      "\r\n",
      "jestem p\n"
     ]
    }
   ],
   "source": [
    "print_example()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 70,
   "metadata": {
    "collapsed": false,
    "deletable": true,
    "editable": true
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "szanowny panie marszałku i szanowni zebrady mówić o głębokiej, wielowiekowej czy ‒ jak niektórzy mówią – sięgnąć, którą moi rodacy wspinali sobie w ubrania na znak solidarności, która w istotnym stopniu uwłaszczyła się na świecie, dają sobie radę, a przynajmniej większość z nich daje sobie radę – i to bardzo często i podkreślało to słowo: nomenklatura, która w istotnym stopniu.\r\n",
      "\r\n",
      "ekscelencjo, panie prezydencie!\r\n",
      "szanowni państwo!\r\n",
      "\r\n",
      "kiedy 25 lat temu podejmowaliśmy decyzję o uznaniu niepodległości ukrainy, uczyniliśmy to bowiem dlatego, że umieją. i dlatego, że umieją. i dlatego, że zależało nam, aby jednym z naszych strategicznych priorytetów. i muszę państwu powiedzieć, że jeszcze jeden element, który schwytany przez niemców, więziony i torturowany nigdy nie walczyć, tak jak musiały walczyć pokolenia naszych prapradziadków i przyczyniając się bez węgier, żona bolesława chrobrego. to potem już absolutnie udokumentowany. jan długosz w swoich kronikach pisze przy nich było codziennością.\r\n",
      "\r\n",
      "oni mają taką pracę, która wymaga po prostu funkcjonowania sojuszu. gotowość do wzajemnej obrony to nie same deklaracje, ale konkretne, rzeczywistego włączania się w szeroko rozumianą wspólnotę euroatlantycką. było też swoistą dywidendą i ważną cezurą zmian społeczno-ustrojowych, które rące się nteż jest tutaj, gdzie rodzą się wyjść także i dobrego imienia współpracy w ramach formatu tzw. trójmorza, a więc dosłownie kilka dni temu węgierskie. Że miasto wygląda odświętnie i jeszcze raz chylę czoła przed górnikami kopalni „piast”. przed wszystkimi, którzy zatruli się na powrót wspólnie wykonać.\r\n",
      "\r\n",
      "szanowni państwo, gratuluję także panu profesorowi januszowi filipiakowi tej prezydenckiej. wiedzę państwu, pierwsza damo węgier, za obecność w pałacu” także zaowocuje kolejnymi kapituła i wspiera dziś wszelkie działania na rzecz zakończenia go zgodnie i z dalekiego wschodu. to być może niektórzy z nich widzieli.\r\n",
      "\r\n",
      "szanowni państwo, dlaczego głęboko jestem głęboko, że będzie to potrzeba czy to wyjścia z inicjatywą legislacyjną, a więc ustawodawczą, to ja jako prezydent rzeczypospolitej, to znaczy być dotkniętym jakimikolwiek propozycje, a także jaką kolejność powinniśmy zintensyfikować działania chciałby po ii wojnie światowej, prawdziwą potęgę i ogromną\n"
     ]
    }
   ],
   "source": [
    "print_example()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 71,
   "metadata": {
    "collapsed": false,
    "deletable": true,
    "editable": true
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "szanowny panie marszałku i szanowni zebrości europejskiej.\r\n",
      "\r\n",
      "- dwa podstawowe elementy, jakie muszą być przygotowani  nie tylko wyrazem solidarności ze społeczeństwem, z narodem ukraińskim, z jego dążeniami. gdy w 2005 roku ukraińskie zadanie dzisiaj przede wszystkim ludziom, którzy w tym rozwoju uczestniczą swoją codzienną pracą. wspólną zamożność to chciałem, proszę państwa, ten kolorowy, odważny młody las, o którym mówi się, że należy do ściany wschodniej ‒ przecież wszyscy pamiętamy, że możemy się tutaj spotkać, że mogę ich uhonorować.\r\n",
      "\r\n",
      "cieszę się, że nad problemem tak skomplikowanym będą dzisiaj wspólnym wysiłkom udało się walczyć o swój osobisty i rodzinny sukces, przyczyniając się bez wątpienia do budowania polskiego państwa ‒ skutek jak najbardziej pomyślnej, bezpiecznej przyszłości w sprawach, w których patrzymy także w tę wielką historię, tę najsilniejszą, do tego, aby realizować ekspansję zagraniczną.\r\n",
      "\r\n",
      "proszę państwa, dwie wspomniane przeze mnie niezwykle ważne i co w dużym stopniu stanowi \"pewien element sytuacji kryzysowej w europie\". - jeżeli mówimy o naprawie rzeczypospolitej, na napaść, jakiej ulegliśmy z dwóch stron i nie byłoby całego podboju kosmosu, który dotknął europę i świat, poczynając od 2008 roku, o czym mówiliśmy od samego początku, i to historycznie udokumentowane wzmianki o pracy pełnomocników procesowych, zrzeszczania się usług i wolności przemieszczania się osób, wolności przemieszczania się usług i wolności przemieszczania się usług i wolności przemieszczania się osób, wolności, polityki rozwoju będzie także opracowana ani przez prezydenta rzeczypospolitej. dziękuję.\r\n",
      "szczęść boże,\r\n",
      "czcigodne szanowne rodziny poległych górników i samorządowców. pomagamy też we wzmacnianiu społeczeństwa środowiskiem reprezentującym polską adwokaturę takę, jest ogromnie się z tego cieszyć. ale ‒ co zresztą podkreślało to słowo: nomenklatura, która weszła do biznesu, nomenklatura. nomenklatura, która ta solidarność z poglądy, jakie mu się rozwijać, pozwala mu się rozwijać, tutaj kontynuować swoją działalność zawodową czy biznesową. chciałbym, żeby w tym zakresie.\r\n",
      "\r\n",
      "ale tak jak powiedziałem – dla sprawiedliwości, nasi młodzi przyjaciela i sojuszników. jesteśmy my, polacy, i nasi bracia, węgrzy.\r\n",
      "\r\n",
      "dlatego tak istotne \n"
     ]
    }
   ],
   "source": [
    "print_example()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "collapsed": true,
    "deletable": true,
    "editable": true
   },
   "outputs": [],
   "source": []
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 2",
   "language": "python",
   "name": "python2"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 2
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython2",
   "version": "2.7.13"
  },
  "nav_menu": {},
  "toc": {
   "navigate_menu": true,
   "number_sections": true,
   "sideBar": true,
   "threshold": 6,
   "toc_cell": true,
   "toc_section_display": "block",
   "toc_window_display": false
  }
 },
 "nbformat": 4,
 "nbformat_minor": 0
}