summary/text_summarization.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "source": [
    "## Imports"
   ],
   "metadata": {
    "collapsed": false
   }
  },
  {
   "cell_type": "code",
   "execution_count": 2,
   "outputs": [],
   "source": [
    "from __future__ import absolute_import\n",
    "from __future__ import division, print_function, unicode_literals\n",
    "\n",
    "from sumy.parsers.plaintext import PlaintextParser\n",
    "from sumy.nlp.tokenizers import Tokenizer\n",
    "from sumy.summarizers.luhn import LuhnSummarizer as Summarizer\n",
    "from sumy.nlp.stemmers import Stemmer\n",
    "from sumy.utils import get_stop_words"
   ],
   "metadata": {
    "collapsed": false,
    "pycharm": {
     "name": "#%%\n"
    }
   }
  },
  {
   "cell_type": "markdown",
   "source": [
    "## Variables"
   ],
   "metadata": {
    "collapsed": false
   }
  },
  {
   "cell_type": "code",
   "execution_count": 3,
   "outputs": [],
   "source": [
    "LANGUAGE = \"german\"\n",
    "SENTENCES_COUNT = 5"
   ],
   "metadata": {
    "collapsed": false,
    "pycharm": {
     "name": "#%%\n"
    }
   }
  },
  {
   "cell_type": "markdown",
   "source": [
    "## Parser & Stemmer"
   ],
   "metadata": {
    "collapsed": false
   }
  },
  {
   "cell_type": "code",
   "execution_count": 4,
   "outputs": [],
   "source": [
    "#parser = PlaintextParser.from_file(\"../resources/CDU.txt\", Tokenizer(LANGUAGE))\n",
    "parser = PlaintextParser.from_string(\"\"\"Wir Freie Demokraten sind gegen unverhältnismäßige Verbote in der Mobilität. Wir setzen auf Innovationen, Vernunft und Freiheit. Tempolimits, Diesel- oder Motorradfahrverbote sind weder progressiv noch nachhaltig. Durch die von uns geforderte Ausweitung des CO2-Emissionshandels werden sich umwelt- und klimafreundliche Motoren und alternative Kraftstoffe durchsetzen, weil sie gegenüber emissionsstarken Produkten günstiger werden. Ein pauschales Verbot von Verbrennungsmotoren lehnen wir ab. Innovationen und eine bessere Infrastruktur können die Verkehrssicherheit und einen umweltfreundlichen Verkehrsfluss voranbringen. Pauschale Einschränkungen des Individualverkehrs sind keine Lösung. Intelligente und innovative Verkehrslenkung bietet hingegen enorme Möglichkeiten.\"\"\", Tokenizer(LANGUAGE))\n",
    "stemmer = Stemmer(LANGUAGE)"
   ],
   "metadata": {
    "collapsed": false,
    "pycharm": {
     "name": "#%%\n"
    }
   }
  },
  {
   "cell_type": "markdown",
   "source": [
    "## Summarizer"
   ],
   "metadata": {
    "collapsed": false
   }
  },
  {
   "cell_type": "code",
   "execution_count": 5,
   "outputs": [],
   "source": [
    "summarizer = Summarizer(stemmer)\n",
    "summarizer.stop_words = get_stop_words(LANGUAGE)"
   ],
   "metadata": {
    "collapsed": false,
    "pycharm": {
     "name": "#%%\n"
    }
   }
  },
  {
   "cell_type": "markdown",
   "source": [
    "## Print summary"
   ],
   "metadata": {
    "collapsed": false
   }
  },
  {
   "cell_type": "code",
   "execution_count": 6,
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Wir Freie Demokraten sind gegen unverhältnismäßige Verbote in der Mobilität.\n",
      "Wir setzen auf Innovationen, Vernunft und Freiheit.\n",
      "Tempolimits, Diesel- oder Motorradfahrverbote sind weder progressiv noch nachhaltig.\n",
      "Durch die von uns geforderte Ausweitung des CO2-Emissionshandels werden sich umwelt- und klimafreundliche Motoren und alternative Kraftstoffe durchsetzen, weil sie gegenüber emissionsstarken Produkten günstiger werden.\n",
      "Ein pauschales Verbot von Verbrennungsmotoren lehnen wir ab.\n"
     ]
    }
   ],
   "source": [
    "for sentence in summarizer(parser.document, SENTENCES_COUNT):\n",
    "    print(sentence)"
   ],
   "metadata": {
    "collapsed": false,
    "pycharm": {
     "name": "#%%\n"
    }
   }
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 2
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython2",
   "version": "2.7.6"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 0
}