MLUGS

Protokoll

Vorstellungsrunde

• Andreas, Software-Entwickler, AX-Semantics
• Thilo, studiert
• Jens, Data-Scientist, AKKA
• Thomas, Physiker / Data-Scientist
• Wilhelm, Software-Entwicker
• Sharif, Master in ML
• Friedrich, Student, Vialytics
• Lambert, Data-Scientist
• Arne, Luft- und Raumfahrt, Student
• Silvana, Data-Scientist, Breuninger
• Matthias, Data-Berater
• Lukas, Data-Scientist, Sprint1
• Tin, Wirtschafts-Ing, Daimler
• Thomas, Software-Entwicker, Vialytics
• David, Digital-Analytics-Consultant/Data-Scientist, Diconium/VW

Thilo Hofmeister: BERT

• https://ai.googleblog.com/2018/11/open-sourcing-bert-state-of-art-pre.html
• https://arxiv.org/pdf/1810.04805.pdf
• Kontext: NLP, NLI, NLU
• Beispiel für Anwendungen: 2 Fragen sind gleich (Quora), Q&A (SQuAD), NER
• mit BERT trainierte systeme sind knapp unter menschlichem Level
• Transformer Encoder als Basis
• http://jalammar.github.io/illustrated-transformer/
• https://github.com/huggingface/pytorch-pretrained-BERT

Zusatzlinks:

• https://ai.googleblog.com/2019/01/transformer-xl-unleashing-potential-of.html
• https://blog.openai.com/better-language-models/

Vialytics - Technisches Update

• Problem: Rissbildung und Schlaglöcher in den Straßen automatisch finden
• Verwenden: Google Object Detection API
• Sind inzwischen gut genug, um die erste Klassifizierung voll automatisch zu machen. Ein Mensch schaut sich dann die Problemfälle an.
• standardisierung des taggens mithilfe eines Cheatsheet, damit alle gleich taggen
• erste Versuche mit FaaS (Google Cloud ML Engine)

misc:

• https://www.oxipit.ai/

misc

• https://paperswithcode.com/

next

• 2019-03-19
• Themen:
• Thilo: eine Kaggle-Challenge

Unser 25. Treffen ist am Dienstag, dem 19.02. in der Marienstrasse 23 bei AX Semantics.

Language: German only.

Themen:

Vorstellung von BERT

Thilo stellt uns BERT vor.

Vialytics Update

Vialytics gibt ein Update seit dem letzten Vortrag im September 2018.

Wir suchen weitere Vorträge.

Stellt eure Projekte/Lösungen/Ideen vor.

Wann:

19. Februar 2019 um 18:30

Wo:

Marienstrasse 23, Stuttgart, AX Semantics (1. OG)

Bitte meldet euch an unter:

https://www.meetup.com/Machine-Learning-UserGroup-Stuttgart

Protokoll

Vorstellungsrunde

• Andreas, Software-Entwickler, AX-Semantics
• Uwe, Luftraumfahrt
• Jens, Datascients, AKKA
• Fernando, CV, Bosch
• Wilhelm, Software-Entwickler, privat
• Thomas, Software-Entwickler, Vialytics
• Michael, Software-Entwickler, AX Semantics
• Friedrich, werkstudent, Vialytics
• Leonard, Bosch
• Thilo, Student, Vialytics
• Arne, Luftraumfahrttechniker
• Benedikt, Datascientist, Daimler
• Christian, Software-Entwickler, privat

• Christoph, Software-Entwickler, Freelancer

• 2 Nachzügler

Vorstellung von Ignite

Andreas Madsack, AX Semantics

https://pytorch.org/ignite/index.html

Warum?

• weniger boilerplate code. Die train/validate funktionen sind viel code, der von Projekt zu Projekt sehr ähnlich ist.
• fertig Helper für ModelCheckpoint, EarlyStopping, ...

Beispiel 1

• https://github.com/pytorch/ignite/tree/master/examples/mnist
• https://github.com/pytorch/ignite/blob/master/examples/mnist/mnist_with_tensorboardx.py

tensorflow/tensorboard sind noch nicht Python 3.7 kompatibel, deshalb:

docker run -p 0.0.0.0:6006:6006 -it -v `pwd`/logs:/root/logs  tensorflow/tensorflow tensorboard --logdir /root/logs/

Beispiel 2

Addition mit PyTorch und Ignite

https://github.com/mfa/addition_seq2seq

misc

• https://www.slideshare.net/lukaszlanga/i-regret-nothing
• https://www.youtube.com/watch?v=kSLJriaOumA
• transformer-XL: https://arxiv.org/pdf/1901.02860.pdf

next

• 2019-02-19
• Thilo: BERT

Unser 24. Treffen ist am Dienstag, dem 15.01. in der Marienstrasse 23 bei AX Semantics.

Language: German only.

Themen:

Vorstellung von Ignite

https://pytorch.org/ignite/index.html

• Warum ignite?
• Beispiele

Wir suchen weitere Vorträge.

Stellt eure Projekte/Lösungen/Ideen vor.

Wann:

15. Januar 2019 um 18:30

Wo:

Marienstrasse 23, Stuttgart, AX Semantics (1. OG)

Bitte meldet euch an unter:

https://www.meetup.com/Machine-Learning-UserGroup-Stuttgart

Protokoll

Vorstellungsrunde

• Andreas, Software-Entwickler, AX-Semantics
• Ringo, Informatikabsolvent, hat interesse
• Jens, Data-Scientist, AKKA
• Gregor, Informatiker, privat
• Sima, Maschinenbau, privat
• Wilhelm, Software-Entwicker, privat
• Alexander, Mechanik, Daimler
• Thomas, Software-Entwicker, Vialytics
• Thilo, Software-Entwicker, Vialytics
• Leonard, Masterstudent, Bosch
• Michael / Vitus, Software-Entwicker, AX-Semantics
• Uwe, Raumfahrt, ST2C
• Arne, Luft- und Raumfahrt-Student
• Stefan, Physiker, AX-Semantics
• Marlon, Politik- und Sozialforschungsstudent
• Fabio, Politik- und Sozialforschungsstudent, Datascientist, Paraboost
• Florian, Data-Analyst, SDM

• David, DA-Consultant, Diconium

• 1 Nachzügler

Mit reticulate Python innerhalb von R verwenden

Jens Bruno Wittek, Data Scientist, AKKA DSW GmbH https://www.akka-digital.com

Vorstellung des R-Pakets reticulate, das von RStudio dieses Jahr veröffentlicht wurde und es einfacher macht die Stärken beider Sprachen miteinander zu verbinden. Inhalte sind u.a.:

• Erstellung und Veränderung von Python-Objekten in R
• Verwendung von Python-Code, Skripten und Modulen in R
• Arbeiten mit Environments und verschiedenen Python-Versionen
• Python REPL / Interpretor in R verwenden
• Reporting

Die Darstellung ist eher technisch orientiert. Am Ende wird an einem Machine-Learning-Use-Case gezeigt, wie reticulate auf verschiedene Weisen angewendet werden kann.

https://github.com/rstudio/reticulate

Slides folgen.

Kommentar:

• Beispiel für pytorch in reticulate: https://github.com/longhowlam/ReticulateTestDrive/blob/master/pytorch.R

Bericht von der PyCon 2018

Jens Bruno Wittek, Data Scientist, AKKA DSW GmbH https://www.akka-digital.com

• Möglichkeiten, um die Performance von pandas-DataFrames zu verbessern
• Deployment von Machine-Learning-Modellen

reticulate für Verwendung von Python innerhalb von R

(siehe Vortrag davor)

• https://rstudio.github.io/reticulate/
• https://github.com/rstudio/reticulate

Binder für interaktive Tutorials basierend auf GitHub-Repos

• https://mybinder.org/

Dask für performante DataFrames

• https://dask.org/
• https://github.com/dask/dask
• http://docs.dask.org/en/latest/
• https://github.com/dask/dask-examples

Ray für verteiltes Rechnen, Modin für performante DataFrames

• https://github.com/ray-project/ray/
• https://github.com/modin-project/modin
• https://modin.readthedocs.io/en/latest/pandas_on_ray.html

Firefly für Deployment von Funktionen

• https://github.com/rorodata/firefly
• https://firefly-python.readthedocs.io/en/latest/

Alternative zu?:

• https://github.com/aws/chalice
• https://github.com/Miserlou/Zappa

Deep-Learning-Modelle in Pipeline

• https://towardsdatascience.com/from-exploration-to-production-bridging-the-deployment-gap-for-deep-learning-8b59a5e1c819
• https://towardsdatascience.com/from-exploration-to-production-bridging-the-deployment-gap-for-deep-learning-part-2-9e33cc8dfe5e

ONNX (Open Neural Network eXchange format)

• https://onnx.ai/
• https://github.com/onnx/tutorials

GraphPipe (Deployment)

• https://oracle.github.io/graphpipe/#/guide/user-guide/overview

misc

• backboxnlp:

  • https://blackboxnlp.github.io/
  • https://aclanthology.coli.uni-saarland.de/volumes/proceedings-of-the-2018-emnlp-workshop-blackboxnlp-analyzing-and-interpreting-neural-networks-for-nlp

• wir haben einen slack. meldet euch, wenn ihr da rein wollt!

next

• 2019-01-15
• Vorschläge für Vorträge sind willkommen!

Unser 23. Treffen ist am Dienstag, dem 20.11. in der Marienstrasse 23 bei AX Semantics.

Language: German only.

Themen:

Mit reticulate Python innerhalb von R verwenden

Jens Bruno Wittek, Data Scientist, AKKA DSW GmbH https://www.akka-digital.com Vorstellung des R-Pakets reticulate, das von RStudio dieses Jahr veröffentlicht wurde und es einfacher macht die Stärken beider Sprachen miteinander zu verbinden. Inhalte sind u.a.:

• Erstellung und Veränderung von Python-Objekten in R
• Verwendung von Python-Code, Skripten und Modulen in R
• Arbeiten mit Environments und verschiedenen Python-Versionen
• Python REPL / Interpretor in R verwenden

• Reporting

  Die Darstellung ist eher technisch orientiert. Am Ende wird an einem Machine-Learning-Use-Case gezeigt, wie reticulate auf verschiedene Weisen angewendet werden kann. https://github.com/rstudio/reticulate

Bericht von der PyCon 2018

Jens Bruno Wittek, Data Scientist, AKKA DSW GmbH https://www.akka-digital.com

• Möglichkeiten, um die Performance von pandas-DataFrames zu verbessern
• Deployment von Machine-Learning-Modellen

Wir suchen weitere Vorträge.

Stellt eure Projekte/Lösungen/Ideen vor.

Wann:

20. November 2018 um 18:30

Wo:

Marienstrasse 23, Stuttgart, AX Semantics (1. OG)

Bitte meldet euch an unter:

https://www.meetup.com/Machine-Learning-UserGroup-Stuttgart

Protokoll

Vorstellungsrunde

• Andreas, Software-Entwickler, AX-Semantics
• Uwe, selbständig Raumfahrt
• Jens, Data-Scientist, AKKA
• Wolfgang, Software-Entwickler, privat
• Wilhelm, Software-Entwickler
• Stefan, Physiker, AX-Semantics
• Benedikt, Daimler
• Johannes, Solution-Architekt
• Gregor, Informatiker, im Sabatical
• Jens, Software-Entwickler
• Effi, Medieninformatik
• Jonathan, Datenanalyse Neuro
• Enayet, Software-Entwickler
• Matthias, Informatiker
• Gerhard, CEO, Ciocene

Thema 1: Herausforderungen und Methodik für die generische Klassifikation und Aufbereitung unstrukturierter Daten in Unternehmen

Gerhard Deuter, CEO Ciocene GmbH https://ciocene.com

Tags: - NLU - NLP - Neuronale Netze

Herausforderungen und Methodik für die generische Klassifikation und Aufbereitung unstrukturierter Daten in Unternehmen. Um einen maximalen Automatisierungsgrad zu erreichen müssen unter anderem Datenqualität, Datenverfügbarkeit und Verrechtung sichergestellt werden. Schwerpunkt des Vortrages sind semantische Analysemethoden (NLU), dynamische Erstellung von Use Case- und anfragerelevanten Kontexten, sowie Themen rund um die Funktionen, Zuverlässigkeit und Performance industrietauglicher Stacks und Bibliotheken.

verwenden spacy, nltk, theano, tensorflow

Thema 2: Puls Klassifizierung mittels logistic regression

Uwe Sterr, CEO ST2C GmbH https://www.st2c.de

Erkennen einer Pulsform in einem verrauschtem Signal

• Feature engineering
• Dynamic time warp (dtw)
• Logistic regression

misc

die mlugs hat jetzt einen slack: https://mlugs.slack.com

next

• 2018-11-20
• Vortrag zu: https://github.com/rstudio/reticulate

Unser 22. Treffen ist am Dienstag, dem 16.10. in der Marienstrasse 23 bei AX Semantics.

Language: German only.

Themen

Thema 1: Herausforderungen und Methodik für die generische Klassifikation und Aufbereitung unstrukturierter Daten in Unternehmen

Gerhard Deuter, CEO Ciocene GmbH

Um einen maximalen Automatisierungsgrad zu erreichen müssen unter anderem Datenqualität, Datenverfügbarkeit und Verrechtung sichergestellt werden. Schwerpunkt des Vortrages sind semantische Analysemethoden (NLU), dynamische Erstellung von Use Case- und anfragerelevanten Kontexten, sowie Themen rund um die Funktionen, Zuverlässigkeit und Performance industrietauglicher Stacks und Bibliotheken.

Tags:

• NLU
• NLP
• Neuronale Netze

Thema 2: Puls Klassifizierung mittels logistic regression

Uwe Sterr, CEO ST2C GmbH

Erkennen einer Pulsform in einem verrauschtem Signal

• Feature engineering
• Dynamic time warp (dtw)
• Logistic regression

Wir suchen weitere Vorträge.

Stellt eure Projekte/Lösungen/Ideen vor.

Wann:

16. Oktober 2018 um 18:30

Wo:

Marienstrasse 23, Stuttgart-Süd, AX Semantics (1. OG)

Bitte meldet euch an unter:

https://www.meetup.com/Machine-Learning-UserGroup-Stuttgart

Protokoll

Vorstellungsrunde

• Andreas, Software-Entwickler, AX Semantics
• Jens, Data-Scientist, AKKA
• Thomas, Software-Entwickler, Vialytics
• Patrick, Gründer, Vialytics
• Wilhelm, Software-Entwickler, Automotive
• Benedikt, Datascientist, Daimler
• Stefan, Physiker, AX Semantics
• Michael, Software-Entwickler, AX Semantics
• Max, Gründer, Deep Green
• Thilo, Student, Business-Analytics
• Christoph, Software-Entwickler, Frauenhofer IPA
• Brandon, Software-Entwickler, Frauenhofer
• Arne, Software-Entwickler, selbständig
• David, Digital-Analytics-Consultant, diconium

Andreas - PyTorch vs. Tensorflow

pro pytorch

• explizit! die forward function muss implementiert werden
• debugging. kann mit pdb/print erfolgen. weil es einfach python ist
• PyTorch may be used as a numpy replacement for things not neural network related

pro tensorflow

• viel mehr beispiele/tutorial/blogposts
• sehr viel größere community
• google

Beispiele

• Titanic in keras: https://www.kaggle.com/vipul92/titanic-keras-starter

• Titanic in pytorch: https://www.kaggle.com/kiranscaria/titanic-pytorch/notebook

• simple RNN: https://gist.github.com/spro/ef26915065225df65c1187562eca7ec4

• komplexeres beispiel in pytorch: https://pytorch.org/tutorials/intermediate/seq2seq_translation_tutorial.html

• zahlen addieren in keras: https://github.com/keras-team/keras/blob/master/examples/addition_rnn.py

visualisierung

• was ähnliches zu tensorboard von facebook: https://github.com/facebookresearch/visdom
• Tensorboard mit pytorch: https://github.com/lanpa/tensorboardX
• (oder: https://github.com/torrvision/crayon )
• (oder: https://github.com/TeamHG-Memex/tensorboard_logger )
• oder noch viel simpler: https://github.com/stared/livelossplot

eager-mode (quasi pytorch in tensorflow)

• https://medium.com/@yaroslavvb/tensorflow-meets-pytorch-with-eager-mode-714cce161e6c

Vergleiche von anderen

• 2017-06 - https://towardsdatascience.com/pytorch-vs-tensorflow-spotting-the-difference-25c75777377b
• 2018-06 - https://deepsense.ai/keras-or-pytorch/
• 2017-10 - https://medium.com/huggingface/understanding-emotions-from-keras-to-pytorch-3ccb61d5a983

misc

sequence lib in pytorch: https://github.com/pytorch/fairseq

Patrick - Vialytics

• machen Straßenzustandserfassung
• verwendet werden iphones und die werden kehrmaschinen/müllwagen/... eingebaut
• mithilfe einer app. gps und accelerometer
• straßen werden bewertet (mit Noten)
• verwendet Faster-RCNN
• Google Object Detection API (lokal, nicht in der cloud)
• Problem ist die Qualität der Annotation der Bilder
• Google Object Detection API hat häufig out-of-memory

next

• Datum: 2018-10-16
• für Vorträge gerne an melden

Unser 21. Treffen ist am Dienstag, dem 18.09. in der Marienstrasse 23 bei AX Semantics.

Language: German only.

Thema:

Thema 1: PyTorch vs. Tensorflow

• Warum PyTorch und nicht Tensorflow/Keras?
• Ein paar Codebeispiele
• viele Links für den Einstieg in PyTorch

Thema 2:

Patrick von Vialytics stellt vor, was sie mit Machine Learning machen und welche Probleme sie zu lösen haben.

Wir suchen weitere Vorträge.

Stellt eure Projekte/Lösungen/Ideen vor.

Wann:

18. September 2018 um 18:30

Wo:

Marienstrasse 23, Stuttgart-Süd, AX Semantics (1. OG)

Bitte meldet euch an unter:

https://www.meetup.com/Machine-Learning-UserGroup-Stuttgart