1. Bericht MLUGS Treffen im März 2017

    Protokoll

    Vorstellungsrunde

    • Andreas;aexea;Software-Entwickler
    • Georg;dualer Student
    • Wilhelm;Software-Entickler
    • Simon;Politikwissenschaftsstudent
    • Michael;aexea;Software-Entwickler
    • Robin;Technischer Biologe; Masterarbeit
    • Andreas;Argrarinformatiker
    • Andreas;Luft- und Raumfahrttechniker
    • Uwe;macht Raumfahrt; mehr ML in der Raumfahrt

    RNN

    RNN Support in R

    In R gibt es wenig zu RNNs (z. B. MXNet) und wenn dann schwer verständlich; im April kommt was neues, vielleicht hilft das

    Learning to execute Python in Tensorflow

    RNNs in Java

    distill.pub

    next

  2. MLUGS Treffen im März 2017

    Unser neuntes Treffen ist am Dienstag, dem 21.3. in der Marienstrasse 23 bei aexea.

    Themen:

    Thema: RNN

    jeder macht/zeigt irgendwas mit RNNs

    Inspirationen:

    • https://github.com/sherjilozair/char-rnn-tensorflow
    • http://suriyadeepan.github.io/2017-01-07-unfolding-rnn/
    • http://sebastianruder.com/word-embeddings-1/
    • http://karpathy.github.io/2015/05/21/rnn-effectiveness/
    • https://github.com/kjw0612/awesome-rnn

    Wann:

    21. März 2017 um 18:30

    Wo:

    Marienstrasse 23, Stuttgart-West, aexea (1. OG)

    Bitte meldet euch an unter:

    https://www.letsmeet.click/c/machine-learning-user-group-stuttgart

  3. Bericht MLUGS Treffen im Februar 2017

    Protokoll

    Vorstellungsrunde

    • Andreas;aexea;Software-Entwickler
    • Frank;selbständig
    • Georg;Daimler-TSS;verwendet TensorFlow mit AWS
    • Siegfried;privat;interessiert an ML
    • Michael;aexea;Software-Entwickler
    • Robin;Technischer-Biologe;interessiert an ML
    • Andreas;Landeskontrollverband BW;macht Milchanalyse mit ML
    • Uwe;macht Raumfahrt;versucht ML-Konzept in die Raumfahrt zu bringen
    • Simon;Uni-Stuttgart Politik-Wissenschaftsstudent;macht R

    Andreas Madsack - Tensorflow/Keras in Production @ AX-Semantics

    • Ziel: ein kleines Problem mit Tensorflow lösen um Erfahrung in der Produktionsumgebung zu sammeln
    • Problem: Daten in String/Number/Date unter Einbeziehung des Feldnamens klassifizieren
    • Hintergrund: Die Daten kommen von Kunden und sind für die Generierung von Texten vorgesehen.

    Basics

    • Nutzer können das Ergebnis korrigieren
    • Erste Version mit Tensorflow (0.10), spätere Version mit Keras + Tensorflow, weil Keras Graph und Model in Dateien speichern kann
    • Implementierung mit Keras war einfacher als mit TensorFlow
    • 3 Layer mit 32, 12, 3 Knoten
    • Speichern ist einfach dank keras: model.to_json() bzw. model.save_weights(name); ähnliche Methoden sind inzwischen auch in Tensorflow, aber nicht so einfach zu verwenden

    Architektur

    • Microservices + RPC calls via messages (Django, Celery, RabbitMQ)
    • Microservice besteht aus mehreren Servern (dynamisch skaliert)

    Workflow

    • Neue Daten vom Kunden über API
    • Daten werden über RabbitMQ zur Klassifikation geschickt
    • Keine neue Prediction falls schonmal eine für dieses Projekt lief (falls ja -> skip)
    • Prediction dauert 2–4 Sekunden
    • Ergebnis wird zum nächsten Microservice geschickt; dieser schickt Korrekturen durch den User zurück

    Ergebnis

    • System hat sich kaputt trainiert
    • zu wenig Häufung in den Daten
    • User haben Ergebnis nicht korrigiert
    • wird durch regelbasiertes System ersetzt
    • Workflow funktioniert prinzipiell

    Uwe Sterr - autonomes Fahren end-to-end

    • Nanodegree auf udacity: https://de.udacity.com/course/self-driving-car-engineer-nanodegree--nd013/
    • autosteuern. dabei das lenkrad bedienen (automatisch)
    • 3 kameras. bildvorverarbeitung. dann in ein CNN
    • bilder deutlich verkleinert
    • 16x32x3
    • HSV - https://en.wikipedia.org/wiki/HSL_and_HSV
    • der S-Kanal hat am meisten gebracht
    • model speichern ist in tensorflow relativ kompliziert
    • mit keras deutlich einfacher
    • model.summary() liefert das komplette NN
    • trainiert wird mit einer strecke in einem simulator
    • der test ist dann auf einer neuen strecke, die sehr anders ist. und das trainierte netz ist gut.
    • uwe war begeistert wie einfach es war das NN dazu zu bringen zu generalisieren

    Andreas Werner -- RStudio

    • https://www.rstudio.com/
    • gibt eine Server-version, die man im Browser bedient
    • es gibt neben .R noch .Rmd - http://rmarkdown.rstudio.com/
    • generiert aus dem .Rmd eine PDF mit Auswertungen und Plots
    • kann auch Präsentationen auf HTML basis erzeugen
    • oder mit Widgets, die Graphen interaktiv beeinflussen

    next

    März: 21.03.2017

    Thema: RNN

    • jeder macht irgendwas mit RNNs
    • (in die Ankündigung ein paar Inspirationen zu RNN)

    April: 18.04.2017

    • Simon - Textanalytics mit ML
  4. MLUGS Treffen im Februar 2017

    Unser achtes Treffen ist am Dienstag, dem 21.2. in der Marienstrasse 23 bei aexea.

    Themen:

    • zwei praktische Beispiele mit Keras
    • RStudio

    Wann:

    21. Februar 2017 um 18:30

    Wo:

    Marienstrasse 23, Stuttgart-West, aexea (1. OG)

    Bitte meldet euch an unter:

    https://www.letsmeet.click/c/machine-learning-user-group-stuttgart

  5. Bericht MLUGS Treffen im Januar 2017

    Protokoll

    Vorstellungsrunde

    • Andreas, Aexea, Softwareentwickler
    • Frank, selbständig, hat nichts mit ML im letzten Monat gemacht
    • Arne, selbständig, will was mit ML machen
    • Sigfried, Thyssen-Krupp-Aufzüge, interessiert an ML
    • Wilhelm, software-entwickler, ML nur privat
    • Michael, Aexea, software-entwickler
    • Chrstian, Daimler, Senior-Data-Scientist
    • Andreas, tesat, Luftundraumfahrt-Ingenieur
    • Uwe, selbständig, auch Raumfahrt, macht was mit Kaggle, will ML in der Raumfahrt anwenden
    • Andreas, Landeskontrolverband BW, Milchleistungsprüfung
    • Agrar-Informatikerin Dr. Laura Dale

    Andreas Werner: Vorhersage von Rinderkrankheiten mit Milchspektraldaten

    • beim Landesverband BW für Leistungs- und Qualitätsprüfungen in der Tierzucht e.V. http://www.lkvbw.de/
    • ca. 3mio Milchproben/Jahr
    • Spektralanalyse der Inhaltsstoffe
    • Diagnosen der Tierärzte werden bei ca. 1000 Betrieben gespeichert
    • Ziel: Ketosis-Risiko modellieren
    • alle Proben werden auf stabile Geräte (standardisierte) umgerechnet
    • von 1033 Bändern (FFT) werden 212 Bänder verwendet
    • Ausreiser werden gefiltert (nur bei den Gesundproben)
    • Methode: Lasso/Elastic-Net + Glmnet.Logit
    • Ergebnis: Simmental (Fleckvieh) ist weniger betroffen als Holstein und Braunvieh
    • Landwirt bekommt auf einer Webseite seine Kühe einzeln klassifiziert

    Was soll in den nächsten Terminen gemacht werden?

    • Vorträge? Workshops? Ideen?
      • Prof. Maucher von der HdM fragen
      • hands-on mit h2o arbeiten, für Einsteiger
      • bei Kaggle als Gruppe mitmachen https://www.kaggle.com/c/data-science-bowl-2017
      • https://keras.io/
      • https://www.kaggle.com/c/data-science-bowl-2017

    nächster Termin: 21.2.2017

    Themen:

    • zwei praktische Beispiele mit Keras
    • RStudio
  6. MLUGS Treffen im Januar 2017

    Unser siebtes Treffen ist am Dienstag, dem 17.01. in der Marienstrasse 23 bei aexea.

    Themen:

    • Andreas Werner: Vorhersage von Rinderkrankheiten mit Milchspektraldaten
    • (Vorschläge sind willkommen)

    Wann:

    17. Januar 2017 um 18:30

    Wo:

    Marienstrasse 23, Stuttgart-West, aexea (1. OG)

    Bitte meldet euch an unter:

    https://www.letsmeet.click/c/machine-learning-user-group-stuttgart

  7. Bericht MLUGS Treffen im November 2016

    Protokoll

    Vorstellungsrunde

    • Andreas, bei aexea, Software-Entwicker
    • Stefan, IT-Firma, interessiert an ML
    • Stefan, Gründer 5analytics
    • Christian, Daimler, Data-Scientist
    • Alex, Software-Architekt
    • Wilhelm, Software-Entwickler, privat ML
    • Robin, System-Biologe
    • Andreas, Daimler, IT, Datamining
    • Wolfgang, Matlab
    • Uwe, Raumfahrt, Laser, will ML+Laserkommunikation machen
    • Andreas, ML in der Landwirtschaft

    • 6 Nachzügler

    image

    Uwe Sterr - H2O

    • http://www.h2o.ai/
    • Uwe macht Kaggle und H2O kommt eben auch mit großen Daten zurecht
    • auch gute Parallelisierung
    • H2O ist java
    • H2O hat apis zu Python, R, Scala und eine Web-API
    • H2O macht eine Vorhersage wie lange es dauert
    • der Workflow ist im browser und geführt / aber eher zum rumspielen
    • H2O kann aus einer sequenz/liste die besten parameter finden. durchprobieren.

    Featureengineering

    • https://www.kaggle.com/c/melbourne-university-seizure-prediction
    • FFT -> rausfiltern von 0ern. Fenster von 10s mit 50% overlap

    Anwendungsbeschreibungen

    • Predictive Instandhaltung (Daimler)
    • Prozessoptimierung - "Erwartetes Produktionsergebnis erfüllt?" (Daimler)

    "Self-Driving Car Engineer"-Kurs

    3 Anwesende machen bei https://www.udacity.com/drive mit. Start Dezember 2016

    Robin Garcia: Inverse Probleme

    Direktes Problem: Ursache -> Wirkung

    Bei einem Indirekten (Inversen) Problem: Wirkung -> Ursache

    Treten auf: - ist eine indirekte Wirkung - kann nicht direkt gemessen werden

    Im ML: - Parameterschätzung als inverses Problem - Parameter über kleinste-Quadrate-Schätzung (KQS) bestimmen - Problem: viel Daten/wenig Rauschen oder wenig Daten/viel Rauschen

    • Tikhonov-Regularisierung zum Annähern der Parameter
    • Vorteil: eindeutige Lösung
    • Nachteil: systematischer Fehler

    • https://en.wikipedia.org/wiki/Tikhonov_regularization

    • https://en.wikipedia.org/wiki/Lasso_(statistics)

    nächster Termin

    1. Januar 2017
  8. MLUGS Treffen im November 2016

    Unser sechstes Treffen ist am Dienstag, dem 15.11. in der Marienstrasse 23 bei aexea.

    Themen:

    • Uwe Sterr: H2O
    • Robin Garcia: Inverse Probleme - https://de.wikipedia.org/wiki/Inverses_Problem

    Wann:

    15. November 2016 um 18:30

    Wo:

    Marienstrasse 23, Stuttgart-West, aexea (1. OG)

    Bitte meldet euch an unter:

    https://www.letsmeet.click/c/machine-learning-user-group-stuttgart

  9. Bericht MLUGS Treffen im Oktober 2016

    Protokoll

    Vorstellungsrunde

    • Andreas; Software-Entwickler; aexea
    • Sebastian; arbeitet für 5Analytics
    • Stefan; interessiert sich für ML; hat eine Firma
    • Robin; techn. Biologe; interessiert, weil Bio
    • Michael; Software-Entwickler
    • Wilhelm; Software-Entwickler, privat ML
    • Alexander; Software-Architect; sucht Anwendungsbereiche für ML
    • @frankgerhardt ; selbständig; sucht die große BigData-Anwendung
    • Götz; Qualtätskontrolle mit ML
    • Uwe; R-Nutzer
    • Phillip;
    • Markus;
    • ?

    Meta

    Neues Pad bei hackmd.io. Slide mode ist cool.

    PSA bei Twitter @mlugs_de folgen!

    R in Produktivumgebungen

    Allgemeines

    Vortrag von 5Analytics

    Dr. Sebastian Klenk ist einer der Gründer von 5Analytics

    Ziel: aus Daten Vorhersagen zu treffen.

    Ziel seiner Plattform: Statistiker. Vereinfachung für den Statistiker

    Produkt: Softwareplatform für KI-Anwendungen

    In ihrem Umfeld ist der standard R.

    Abgrenzung

    (von oben nach unten: Action up, Insights down)

    • Analytics
    • pure Daten, Erkenntnisgewinn durch Mensch
    • Advanced Analytics
    • Clustering
    • Teilinterpretation der Daten
    • Predictive Analytics
    • Model schon vorhanden. Ergebnis ist Handlungsempfehlung
    • Artificial Intelligence
    • wichtig ist hier vor allem die Handlung. autonome Handlung
    • nicht unbedingt nachvollziehbar was die AI denkt oder warum sie etwas macht

    Eine Art Application Server für R

    Demo ist ein Schuh-Shop mit Recommendation Engine, dynamic pricing, Rabattempfehlungen, ….

    Berechnung in dem Beispiel ist in 300ms in R für die Produktempfehlungen.

    Code: recommenderlab und reshape2 als Libraries. UBCF (user based) für den Recommender. Die Webseite macht RPC-calls gegen die Recomender-Engine und bekommt die Prediction in JSON zurück.

    Plus für R aus Sicht von Sebastian ist, dass man leicht neue Methoden in R schreiben kann.

    Ziel in Unternehmen ist robuste Software. Deshalb Event-Based-Servermodel mit 1 Prozess und 3 Threads (Reader, Worker, Writer). Im Hintergrund R-Prozesse die vom Worker-Thread aus aufgerufen werden. Prediction ist super schnell. Deshalb geht das in diesem Model ohne Timeouts.

    Architektur: - Streams eingehend und ausgehend - Pool von R Worker-Prozessen (Python ist in Arbeit) - Storage Worker mit Abstraktion der Daten (SQL, Elastic Search, MongoDB)

    Aktuell wird wöchtentlich das ganze Model neu berechnet.

    Mathematiker machen eher R. Informatiker eher Python. Deshalb kommt Python zur Plattform dazu.

    5analytics macht auch die Modelle für die meisten Kunden dazu. Sie verkaufen also nicht nur den Server mit der Software as a Service.

    Für das dynamic Pricing aus der Demo-Anwendung wird ein Cox Proportional Hazard Model verwendet. Die Baseline-Hazard-Function betrachtet Preis (x) und Wahrscheinlichkeit des Kaufs (y). Durch Änderung des Preises (Empfehlung für Rabatte oder auch für grundsätzlich höhere Preise) lässt sich die Kaufwahrscheinlichkeit beeinflussen ohne unnötige Rabatte zu geben.

    harte Echtzeit: Antwort nach garantierter Zeit weiche Echtzeit: Antwort im vertretbaren Rahmen.

    Verwenden keine Neuronalen Netze. Allerdings SVMs. SVMs haben eine schöne Theorie, bringen aber keinen Vorteil bzgl. der Performanz. Die zahlreichen Parameter erschweren das Tuning.

    R

    Uwe Sterr

    Aufgabe eines Datascientist: Hole die Essenz aus dem Datenwust

    Uwe zeigt Beispiele mit R.

    Er verwendet shiny als Webserver.

    Visualisierung für Kunden, in Python mit Bokeh, zum Selbstexplorieren.

    Take Away

    https://www.youtube.com/watch?v=6S9r_YbqHy8

    GOTO 2012 • The R Language The Good The Bad & The Ugly • John Cook

    A most completly chart of Neural Networks

    Kaggle

    interessante Aufgaben:

    • https://www.kaggle.com/c/melbourne-university-seizure-prediction

    • https://www.kaggle.com/c/leaf-classification

    wer bei einer Aufgabe in einem mlugs-Team mitmachen möchte: schreibt bitte auf Twitter an @mlugs_de

  10. MLUGS Treffen im Oktober 2016

    Unser fünftes Treffen ist am Dienstag, dem 18.10. in der Marienstrasse 23 bei aexea.

    Themen:

    • R in Produktivumgebungen - Wie man R in Unternehmensprozesse integrieren kann

    R ist dem Experimentierstadium entwachsen und wird zunehmend in produktiven Umgebungen eingesetzt. Das bedeutet, dass die von Data Scientists erstellten Scripte nicht nur zur Erzeugung von Statistiken und Grafiken für Berichte genutzt werden, sondern im Batch- oder sogar Echtzeit-Betrieb unternehmenskritische Aufgaben erledigen. Das bedeutet aber auch, dass die von Data Scientists erstellten R-Skripte nicht mehr lokal auf dem Rechner des Entwicklers laufen, sondern auf einem Server irgendwo im Rechenzentrum oder in der Cloud und dort auch angesprochen werden können.

    5Analytics hat sich darauf spezialisiert R in Unternehmensprozesse zu integrieren. Im Rahmen dieses Vortrags stellen wir unsere 5Analytics AI Platform vor und zeigen anhand von Beispielen wie man R nutzen kann um Entscheidungen in Echtzeit zu treffen.

    URL: http://www.5analytics.com/

    Wann:

    18. Oktober 2016 um 18:30

    Wo:

    Marienstrasse 23, Stuttgart-West, aexea (1. OG)

    Bitte meldet euch an unter:

    https://www.letsmeet.click/c/machine-learning-user-group-stuttgart