MLUGS

Protokoll

Vorstellungsrunde

• Andreas, Software-Entwickler, AX-Semantics
• Ringo, Informatikabsolvent, hat interesse
• Jens, Data-Scientist, AKKA
• Gregor, Informatiker, privat
• Sima, Maschinenbau, privat
• Wilhelm, Software-Entwicker, privat
• Alexander, Mechanik, Daimler
• Thomas, Software-Entwicker, Vialytics
• Thilo, Software-Entwicker, Vialytics
• Leonard, Masterstudent, Bosch
• Michael / Vitus, Software-Entwicker, AX-Semantics
• Uwe, Raumfahrt, ST2C
• Arne, Luft- und Raumfahrt-Student
• Stefan, Physiker, AX-Semantics
• Marlon, Politik- und Sozialforschungsstudent
• Fabio, Politik- und Sozialforschungsstudent, Datascientist, Paraboost
• Florian, Data-Analyst, SDM

• David, DA-Consultant, Diconium

• 1 Nachzügler

Mit reticulate Python innerhalb von R verwenden

Jens Bruno Wittek, Data Scientist, AKKA DSW GmbH https://www.akka-digital.com

Vorstellung des R-Pakets reticulate, das von RStudio dieses Jahr veröffentlicht wurde und es einfacher macht die Stärken beider Sprachen miteinander zu verbinden. Inhalte sind u.a.:

• Erstellung und Veränderung von Python-Objekten in R
• Verwendung von Python-Code, Skripten und Modulen in R
• Arbeiten mit Environments und verschiedenen Python-Versionen
• Python REPL / Interpretor in R verwenden
• Reporting

Die Darstellung ist eher technisch orientiert. Am Ende wird an einem Machine-Learning-Use-Case gezeigt, wie reticulate auf verschiedene Weisen angewendet werden kann.

https://github.com/rstudio/reticulate

Slides folgen.

Kommentar:

• Beispiel für pytorch in reticulate: https://github.com/longhowlam/ReticulateTestDrive/blob/master/pytorch.R

Bericht von der PyCon 2018

Jens Bruno Wittek, Data Scientist, AKKA DSW GmbH https://www.akka-digital.com

• Möglichkeiten, um die Performance von pandas-DataFrames zu verbessern
• Deployment von Machine-Learning-Modellen

reticulate für Verwendung von Python innerhalb von R

(siehe Vortrag davor)

• https://rstudio.github.io/reticulate/
• https://github.com/rstudio/reticulate

Binder für interaktive Tutorials basierend auf GitHub-Repos

• https://mybinder.org/

Dask für performante DataFrames

• https://dask.org/
• https://github.com/dask/dask
• http://docs.dask.org/en/latest/
• https://github.com/dask/dask-examples

Ray für verteiltes Rechnen, Modin für performante DataFrames

• https://github.com/ray-project/ray/
• https://github.com/modin-project/modin
• https://modin.readthedocs.io/en/latest/pandas_on_ray.html

Firefly für Deployment von Funktionen

• https://github.com/rorodata/firefly
• https://firefly-python.readthedocs.io/en/latest/

Alternative zu?:

• https://github.com/aws/chalice
• https://github.com/Miserlou/Zappa

Deep-Learning-Modelle in Pipeline

• https://towardsdatascience.com/from-exploration-to-production-bridging-the-deployment-gap-for-deep-learning-8b59a5e1c819
• https://towardsdatascience.com/from-exploration-to-production-bridging-the-deployment-gap-for-deep-learning-part-2-9e33cc8dfe5e

ONNX (Open Neural Network eXchange format)

• https://onnx.ai/
• https://github.com/onnx/tutorials

GraphPipe (Deployment)

• https://oracle.github.io/graphpipe/#/guide/user-guide/overview

misc

• backboxnlp:

  • https://blackboxnlp.github.io/
  • https://aclanthology.coli.uni-saarland.de/volumes/proceedings-of-the-2018-emnlp-workshop-blackboxnlp-analyzing-and-interpreting-neural-networks-for-nlp

• wir haben einen slack. meldet euch, wenn ihr da rein wollt!

next

• 2019-01-15
• Vorschläge für Vorträge sind willkommen!

Unser 23. Treffen ist am Dienstag, dem 20.11. in der Marienstrasse 23 bei AX Semantics.

Language: German only.

Themen:

Mit reticulate Python innerhalb von R verwenden

Jens Bruno Wittek, Data Scientist, AKKA DSW GmbH https://www.akka-digital.com Vorstellung des R-Pakets reticulate, das von RStudio dieses Jahr veröffentlicht wurde und es einfacher macht die Stärken beider Sprachen miteinander zu verbinden. Inhalte sind u.a.:

• Erstellung und Veränderung von Python-Objekten in R
• Verwendung von Python-Code, Skripten und Modulen in R
• Arbeiten mit Environments und verschiedenen Python-Versionen
• Python REPL / Interpretor in R verwenden

• Reporting

  Die Darstellung ist eher technisch orientiert. Am Ende wird an einem Machine-Learning-Use-Case gezeigt, wie reticulate auf verschiedene Weisen angewendet werden kann. https://github.com/rstudio/reticulate

Bericht von der PyCon 2018

Jens Bruno Wittek, Data Scientist, AKKA DSW GmbH https://www.akka-digital.com

• Möglichkeiten, um die Performance von pandas-DataFrames zu verbessern
• Deployment von Machine-Learning-Modellen

Wir suchen weitere Vorträge.

Stellt eure Projekte/Lösungen/Ideen vor.

Wann:

20. November 2018 um 18:30

Wo:

Marienstrasse 23, Stuttgart, AX Semantics (1. OG)

Bitte meldet euch an unter:

https://www.meetup.com/Machine-Learning-UserGroup-Stuttgart

Protokoll

Vorstellungsrunde

• Andreas, Software-Entwickler, AX-Semantics
• Uwe, selbständig Raumfahrt
• Jens, Data-Scientist, AKKA
• Wolfgang, Software-Entwickler, privat
• Wilhelm, Software-Entwickler
• Stefan, Physiker, AX-Semantics
• Benedikt, Daimler
• Johannes, Solution-Architekt
• Gregor, Informatiker, im Sabatical
• Jens, Software-Entwickler
• Effi, Medieninformatik
• Jonathan, Datenanalyse Neuro
• Enayet, Software-Entwickler
• Matthias, Informatiker
• Gerhard, CEO, Ciocene

Thema 1: Herausforderungen und Methodik für die generische Klassifikation und Aufbereitung unstrukturierter Daten in Unternehmen

Gerhard Deuter, CEO Ciocene GmbH https://ciocene.com

Tags: - NLU - NLP - Neuronale Netze

Herausforderungen und Methodik für die generische Klassifikation und Aufbereitung unstrukturierter Daten in Unternehmen. Um einen maximalen Automatisierungsgrad zu erreichen müssen unter anderem Datenqualität, Datenverfügbarkeit und Verrechtung sichergestellt werden. Schwerpunkt des Vortrages sind semantische Analysemethoden (NLU), dynamische Erstellung von Use Case- und anfragerelevanten Kontexten, sowie Themen rund um die Funktionen, Zuverlässigkeit und Performance industrietauglicher Stacks und Bibliotheken.

verwenden spacy, nltk, theano, tensorflow

Thema 2: Puls Klassifizierung mittels logistic regression

Uwe Sterr, CEO ST2C GmbH https://www.st2c.de

Erkennen einer Pulsform in einem verrauschtem Signal

• Feature engineering
• Dynamic time warp (dtw)
• Logistic regression

misc

die mlugs hat jetzt einen slack: https://mlugs.slack.com

next

• 2018-11-20
• Vortrag zu: https://github.com/rstudio/reticulate

Unser 22. Treffen ist am Dienstag, dem 16.10. in der Marienstrasse 23 bei AX Semantics.

Language: German only.

Themen

Thema 1: Herausforderungen und Methodik für die generische Klassifikation und Aufbereitung unstrukturierter Daten in Unternehmen

Gerhard Deuter, CEO Ciocene GmbH

Um einen maximalen Automatisierungsgrad zu erreichen müssen unter anderem Datenqualität, Datenverfügbarkeit und Verrechtung sichergestellt werden. Schwerpunkt des Vortrages sind semantische Analysemethoden (NLU), dynamische Erstellung von Use Case- und anfragerelevanten Kontexten, sowie Themen rund um die Funktionen, Zuverlässigkeit und Performance industrietauglicher Stacks und Bibliotheken.

Tags:

• NLU
• NLP
• Neuronale Netze

Thema 2: Puls Klassifizierung mittels logistic regression

Uwe Sterr, CEO ST2C GmbH

Erkennen einer Pulsform in einem verrauschtem Signal

• Feature engineering
• Dynamic time warp (dtw)
• Logistic regression

Wir suchen weitere Vorträge.

Stellt eure Projekte/Lösungen/Ideen vor.

Wann:

16. Oktober 2018 um 18:30

Wo:

Marienstrasse 23, Stuttgart-Süd, AX Semantics (1. OG)

Bitte meldet euch an unter:

https://www.meetup.com/Machine-Learning-UserGroup-Stuttgart

Protokoll

Vorstellungsrunde

• Andreas, Software-Entwickler, AX Semantics
• Jens, Data-Scientist, AKKA
• Thomas, Software-Entwickler, Vialytics
• Patrick, Gründer, Vialytics
• Wilhelm, Software-Entwickler, Automotive
• Benedikt, Datascientist, Daimler
• Stefan, Physiker, AX Semantics
• Michael, Software-Entwickler, AX Semantics
• Max, Gründer, Deep Green
• Thilo, Student, Business-Analytics
• Christoph, Software-Entwickler, Frauenhofer IPA
• Brandon, Software-Entwickler, Frauenhofer
• Arne, Software-Entwickler, selbständig
• David, Digital-Analytics-Consultant, diconium

Andreas - PyTorch vs. Tensorflow

pro pytorch

• explizit! die forward function muss implementiert werden
• debugging. kann mit pdb/print erfolgen. weil es einfach python ist
• PyTorch may be used as a numpy replacement for things not neural network related

pro tensorflow

• viel mehr beispiele/tutorial/blogposts
• sehr viel größere community
• google

Beispiele

• Titanic in keras: https://www.kaggle.com/vipul92/titanic-keras-starter

• Titanic in pytorch: https://www.kaggle.com/kiranscaria/titanic-pytorch/notebook

• simple RNN: https://gist.github.com/spro/ef26915065225df65c1187562eca7ec4

• komplexeres beispiel in pytorch: https://pytorch.org/tutorials/intermediate/seq2seq_translation_tutorial.html

• zahlen addieren in keras: https://github.com/keras-team/keras/blob/master/examples/addition_rnn.py

visualisierung

• was ähnliches zu tensorboard von facebook: https://github.com/facebookresearch/visdom
• Tensorboard mit pytorch: https://github.com/lanpa/tensorboardX
• (oder: https://github.com/torrvision/crayon )
• (oder: https://github.com/TeamHG-Memex/tensorboard_logger )
• oder noch viel simpler: https://github.com/stared/livelossplot

eager-mode (quasi pytorch in tensorflow)

• https://medium.com/@yaroslavvb/tensorflow-meets-pytorch-with-eager-mode-714cce161e6c

Vergleiche von anderen

• 2017-06 - https://towardsdatascience.com/pytorch-vs-tensorflow-spotting-the-difference-25c75777377b
• 2018-06 - https://deepsense.ai/keras-or-pytorch/
• 2017-10 - https://medium.com/huggingface/understanding-emotions-from-keras-to-pytorch-3ccb61d5a983

misc

sequence lib in pytorch: https://github.com/pytorch/fairseq

Patrick - Vialytics

• machen Straßenzustandserfassung
• verwendet werden iphones und die werden kehrmaschinen/müllwagen/... eingebaut
• mithilfe einer app. gps und accelerometer
• straßen werden bewertet (mit Noten)
• verwendet Faster-RCNN
• Google Object Detection API (lokal, nicht in der cloud)
• Problem ist die Qualität der Annotation der Bilder
• Google Object Detection API hat häufig out-of-memory

next

• Datum: 2018-10-16
• für Vorträge gerne an melden

Unser 21. Treffen ist am Dienstag, dem 18.09. in der Marienstrasse 23 bei AX Semantics.

Language: German only.

Thema:

Thema 1: PyTorch vs. Tensorflow

• Warum PyTorch und nicht Tensorflow/Keras?
• Ein paar Codebeispiele
• viele Links für den Einstieg in PyTorch

Thema 2:

Patrick von Vialytics stellt vor, was sie mit Machine Learning machen und welche Probleme sie zu lösen haben.

Wir suchen weitere Vorträge.

Stellt eure Projekte/Lösungen/Ideen vor.

Wann:

18. September 2018 um 18:30

Wo:

Marienstrasse 23, Stuttgart-Süd, AX Semantics (1. OG)

Bitte meldet euch an unter:

https://www.meetup.com/Machine-Learning-UserGroup-Stuttgart

Protokoll

Vorstellungsrunde

• Andreas, Software-Entwickler, AX Semantics
• David, Digital-Analytics-Consultant, diconium
• Lukas, luftdaten.info
• Michael, Software-Entwickler, AX Semantics

Michael - Understanding LSTMs

http://colah.github.io/posts/2015-08-Understanding-LSTMs/

Michael erklärt uns den Blogpost und die Grafiken darin.

Andreas - dotAI Highlights

• https://www.dotai.io/
• https://www.youtube.com/user/dotconferences/videos

• mindmaps von https://twitter.com/SebastienElet/with_replies

• Vadim Markovtsev: Machine learning on source code

  • analyse von sourcecode mit embeddings
  • paper: https://arxiv.org/pdf/1805.11651.pdf
  • https://pbs.twimg.com/media/DehpuQaW0AEhm0g.jpg:large
  • GOOD

• Virginie Mathivet: AI vs Human

  • https://pbs.twimg.com/media/Dehp5rMW4AAYSdP.jpg:large

• Sharada Mohanty: Crowdsourcing Artificial Intelligence for Science

  • https://www.crowdai.org/
  • https://pbs.twimg.com/media/DehvRBfWAAIT7an.jpg:large

• Lightning talks

  • https://pbs.twimg.com/media/DeiCavfW0AAGO8L.jpg:large
  • Isabel Schwende: Deep Learning in the Wild

  • Olivier Wulveryck: Software 2.0, a Babel fish for deep learning?

    • https://github.com/gorgonia/gorgonia

  • Charlotte Ledoux: Logistics and data: towards a decision support tool

    • https://www.quantmetry.com/
    • AI supportet logistics (wenn man daten hat/sammelt)

  • Eliot Andres: Processing 100+ million images per month with deep learning

    • https://ndres.me/
    • kafka
    • tensorflow profiler: https://github.com/tensorflow/tensorflow/blob/master/tensorflow/core/profiler/README.md

• Peet Denny: Explainable AI

  • https://www.wealthwizards.com/
  • GOOD

• Jim Dowling: All AI Roads Lead to Distribution

  • https://www.kth.se/profile/jdowling
  • next generation Hadoop Distributed filesystems
  • https://medium.com/@jim_dowling/introducing-hops-hadoop-120c30d02676

• Hagay Lupesko: Model Serving for Deep Learning

  • AWS, https://github.com/awslabs/mxnet-model-server
  • highlight: kann nicht nur mxnet, sondern jegliche models - ersatz für tensorflow-serving auf aws
  • https://pbs.twimg.com/media/DeiVu1mWAAAO-8L.jpg:large
  • GOOD

• Chloé-Agathe Azencott: Using structure to select features in high dimension

  • https://pbs.twimg.com/media/DeibBisWAAEPNiJ.jpg:large
  • GOOD

• Aurélien Géron: Knowledge Graphs & Deep Learning @ YouTube

  • GOOD

• misc

  • swivel + tensorflow
    https://arxiv.org/pdf/1602.02215.pdf
    https://github.com/tensorflow/models/tree/master/research/swivel

  • LIME

    • https://github.com/marcotcr/lime
    • http://www.kdd.org/kdd2016/papers/files/rfp0573-ribeiroA.pdf

Andreas - CoNLL–SIGMORPHON 2018 Shared Task: Universal Morphological Reinflection

• https://sigmorphon.github.io/sharedtasks/2018/
• Starting point: https://arxiv.org/pdf/1707.01355.pdf
• Inspiration: http://www.aclweb.org/anthology/K17-2003

misc

Papers

• https://arxiv.org/pdf/1803.00590.pdf
  website: https://sites.google.com/view/hierarchical-il-rl
• https://arxiv.org/pdf/1806.01946.pdf

slides / blogposts

• ref zu ML auf Code: https://speakerdeck.com/campoy/machine-learning-on-source-code?slide=50
• wie funktioniert FaceID: https://towardsdatascience.com/how-i-implemented-iphone-xs-faceid-using-deep-learning-in-python-d5dbaa128e1d
  Code: https://github.com/normandipalo/faceID_beta/blob/master/faceid_beta.ipynb

Courses

• https://developers.google.com/machine-learning/crash-course/
• https://developers.google.com/machine-learning/practica/image-classification/

next

• erstmal Sommerpause
• Datum: 2018-09-18

• Vorträge

  • Uwe: Lösung von seines Problems unter Verwendung von DTW
  • (weitere Vorschläge sind willkommen!)

Unser zwanzigstes Treffen ist am Dienstag, dem 19.06. in der Marienstrasse 23 bei AX Semantics.

Language: German only.

Thema:

• Uwe stellt die Lösung von seinem Problem unter Verwendung von DTW vor. :)

• Andreas erzählt Highlights von der dotAI

Wir suchen weitere Vorträge.
Stellt eure Projekte/Lösungen/Ideen vor.

Wann:

19. Juni 2018 um 18:30

Wo:

Marienstrasse 23, Stuttgart-Süd, AX Semantics (1. OG)

Bitte meldet euch an unter:

https://www.meetup.com/Machine-Learning-UserGroup-Stuttgart

Protokoll

Vorstellungsrunde

• Andreas, Software-Entwickler, AX Semantics
• Uwe, macht Raumfahrt, versucht da ML einzusetzen
• Thomas, Daimler, Analytics
• Benedikt, Daimler, Ersatzteilpreisvorhersage
• Wilhelm, Software-Entwickler, privat ML
• Patrick, Institut für Photogrammetrie, Theorie von DL
• Michael, Software-Entwickler, AX-Semantics
• Burkhard, Ulm Uni, Maschinenüberwachung
• David, aus Ulm
• Phil, Software-Entwickler, Hobby mit RPI und ML

Cats vs. Dogs Hands-On

• wir gehen zusammen durch den Code eines Katzen vs. Hunde Klassifikators

• der Code läuft mit GPUs auf AWS

• Beispiel ist aus: https://www.manning.com/books/deep-learning-with-python

• Link zum verwendeten Notebook: https://github.com/fchollet/deep-learning-with-python-notebooks/blob/master/5.2-using-convnets-with-small-datasets.ipynb

• Notebook unter Verwendung von ImageNet: https://github.com/fchollet/deep-learning-with-python-notebooks/blob/master/5.3-using-a-pretrained-convnet.ipynb

• code um predictions zu machen:

import keras
import matplotlib.pyplot as plt
from keras.preprocessing.image import ImageDataGenerator

model = keras.models.load_model('cats_and_dogs_small_2.h5')
test_datagen = ImageDataGenerator(rescale=1./255)
predict_generator = test_datagen.flow_from_directory(
        'predict',
        target_size=(150, 150),
        batch_size=1,
        class_mode=None)

for _ in range(8):
    img = next(predict_generator)
    y = model.predict(img)
    print(y)
    plt.figure()
    plt.imshow(img[0])
    plt.show()

Uwe stellt ein Signalverarbeitungsproblem vor

misc

• Video zur Decodierung von iridium-Signalen: https://media.ccc.de/v/gpn18-89-gr-iridium-unter-der-haube
• GPN18: https://media.ccc.de/c/gpn18
• https://pretalx.entropia.de/gpn18/schedule/

next

• Uwe stellt die Lösung von seinem Problem unter Verwendung von DTW vor. :)
• (weitere Vorschläge sind willkommen!)

Date: 2018-06-19

Unser neunzehntes Treffen ist am Dienstag, dem 15.05. in der Marienstrasse 23 bei AX Semantics.

Language: German only.

Thema:

• Cats vs. Dogs Hands-On

  • wir gehen zusammen durch den Code eines Katzen vs. Hunde Klassifikators
  • der Code läuft mit GPUs auf AWS
  • jeder kann (sofern Notebook mitgebracht) mit dem Code rumprobieren

Wir suchen weitere Vorträge.
Stellt eure Projekte/Lösungen/Ideen vor.

Wann:

15. Mai 2018 um 18:30

Wo:

Marienstrasse 23, Stuttgart-Süd, AX Semantics (1. OG)

Bitte meldet euch an unter:

https://www.meetup.com/Machine-Learning-UserGroup-Stuttgart