MLUGS

Protokoll

Vorstellungsrunde

• Tin, Wirtschafts-Ing, macht Auszeit
• Andreas, Software-Entwickler, AX-Semantics
• Uwe, Raumfahrt, selbständig
• Thomas, Messtechniker/Physiker
• Wilhelm, Software-Entwickler
• Luis, Software-Entwickler
• Markus. Software-Entwickler, Allianz
• Silvana, Data-Scientist, Breuninger
• Till, Software-Entwickler, Breuninger
• Alexandro, Bosch
• Jörg, Berater, Detecon

Tin: Face recognition

hat gerade Master in Wirtschaftingenieur am KIT gemacht

• https://github.com/ageitgey/face_recognition
• verwendet dlib und nicht open cv
• erster schritt: histogram of oriented gradients
• zweiter schritt: facial landmark detection
• https://cmusatyalab.github.io/openface/

• danach mit den embeddings (128 punkte) wird matchmaking gemacht

• trainingsdaten: http://vision.ucsd.edu/content/yale-face-database

Andreas: Sigmorphon shared task

...

next

• Datum: 2019-05-21
• Vorträge:
  • Andreas - Sigmorphon 2019 Ergebnisbericht
  • gerne noch weitere Vorträge!

Unser 27. Treffen ist am Dienstag, dem 16.04. in der Marienstrasse 23 bei AX Semantics.

Language: German only.

Themen:

Tin: Face recognition

Wir suchen weitere Vorträge.

Stellt eure Projekte/Lösungen/Ideen vor.

Wann:

16. April 2019 um 18:30

Wo:

Marienstrasse 23, Stuttgart, AX Semantics (1. OG)

Bitte meldet euch an unter:

https://www.meetup.com/Machine-Learning-UserGroup-Stuttgart

Protokoll

Vorstellungsrunde

• Andreas, Software-Entwickler, AX-Semantics
• Uwe, Raumfahrt, ST2C
• Johanna, Software-Entwickler, AX-Semantics
• Tin, Wirtschafts-Ing, Daimler
• Benedikt, Data-Scientist, Daimler
• Matthias, VWL, Data-Berater
• Thilo, Data-Engineer, Freelancer
• Thomas, Software-Entwickler, Vialytics
• Michael, Software-Entwickler, AX
• Janis, , P3-Systems
• Dominik, Mathematiker, Sprint1
• Thomas, Physiker/Data-Analyst
• Lukas, Datascientist, Sprint1
• Alex, Security/KI, Bosch
• David, Data-Analyst-Consultant, Diconium

Andreas: AllenNLP Intro

slides: https://github.com/mfa/talks/tree/master/allennlp-intro

Thilo: Improving Standard ResNet-50

• Convolutions, ReLu, BatchNorm
• weitere: LayerNorm, InstanceNorm, GroupNorm
• https://pytorch.org/docs/stable/nn.html#torch.nn.GroupNorm
• ResNeXt
• SENet
• PolyNet
• Deformable Convolution
• NasNet
• https://github.com/tensorflow/cleverhans
• https://github.com/bethgelab/foolbox

• http://cocodataset.org/#detection-leaderboard

• https://github.com/NVIDIA/apex (auch für AllenNLP)

misc

links:

• https://nvlabs.github.io/SPADE/
• https://blogs.nvidia.com/blog/2019/03/18/gaugan-photorealistic-landscapes-nvidia-research/
• https://rapids.ai
• https://github.com/rapidsai/cuml
• https://github.com/understand-ai/anonymizer
• https://github.com/ageitgey/face_recognition

next

• date: 2019-04-16
• vorträge:
• Tin: Facerecognition

Unser 26. Treffen ist am Dienstag, dem 19.03. in der Marienstrasse 23 bei AX Semantics.

Language: German only.

Themen:

Thilo: Improving Standard ResNet-50

Andreas: AllenNLP

• Was ist AllenNLP?
• Warum sollte man AllenNLP anstelle von X verwenden?
• Ein paar Beispiele in/mit AllenNLP

Wir suchen weitere Vorträge.

Stellt eure Projekte/Lösungen/Ideen vor.

Wann:

19. März 2019 um 18:30

Wo:

Marienstrasse 23, Stuttgart, AX Semantics (1. OG)

Bitte meldet euch an unter:

https://www.meetup.com/Machine-Learning-UserGroup-Stuttgart

Protokoll

Vorstellungsrunde

• Andreas, Software-Entwickler, AX-Semantics
• Thilo, studiert
• Jens, Data-Scientist, AKKA
• Thomas, Physiker / Data-Scientist
• Wilhelm, Software-Entwicker
• Sharif, Master in ML
• Friedrich, Student, Vialytics
• Lambert, Data-Scientist
• Arne, Luft- und Raumfahrt, Student
• Silvana, Data-Scientist, Breuninger
• Matthias, Data-Berater
• Lukas, Data-Scientist, Sprint1
• Tin, Wirtschafts-Ing, Daimler
• Thomas, Software-Entwicker, Vialytics
• David, Digital-Analytics-Consultant/Data-Scientist, Diconium/VW

Thilo Hofmeister: BERT

• https://ai.googleblog.com/2018/11/open-sourcing-bert-state-of-art-pre.html
• https://arxiv.org/pdf/1810.04805.pdf
• Kontext: NLP, NLI, NLU
• Beispiel für Anwendungen: 2 Fragen sind gleich (Quora), Q&A (SQuAD), NER
• mit BERT trainierte systeme sind knapp unter menschlichem Level
• Transformer Encoder als Basis
• http://jalammar.github.io/illustrated-transformer/
• https://github.com/huggingface/pytorch-pretrained-BERT

Zusatzlinks:

• https://ai.googleblog.com/2019/01/transformer-xl-unleashing-potential-of.html
• https://blog.openai.com/better-language-models/

Vialytics - Technisches Update

• Problem: Rissbildung und Schlaglöcher in den Straßen automatisch finden
• Verwenden: Google Object Detection API
• Sind inzwischen gut genug, um die erste Klassifizierung voll automatisch zu machen. Ein Mensch schaut sich dann die Problemfälle an.
• standardisierung des taggens mithilfe eines Cheatsheet, damit alle gleich taggen
• erste Versuche mit FaaS (Google Cloud ML Engine)

misc:

• https://www.oxipit.ai/

misc

• https://paperswithcode.com/

next

• 2019-03-19
• Themen:
• Thilo: eine Kaggle-Challenge

Unser 25. Treffen ist am Dienstag, dem 19.02. in der Marienstrasse 23 bei AX Semantics.

Language: German only.

Themen:

Vorstellung von BERT

Thilo stellt uns BERT vor.

Vialytics Update

Vialytics gibt ein Update seit dem letzten Vortrag im September 2018.

Wir suchen weitere Vorträge.

Stellt eure Projekte/Lösungen/Ideen vor.

Wann:

19. Februar 2019 um 18:30

Wo:

Marienstrasse 23, Stuttgart, AX Semantics (1. OG)

Bitte meldet euch an unter:

https://www.meetup.com/Machine-Learning-UserGroup-Stuttgart

Protokoll

Vorstellungsrunde

• Andreas, Software-Entwickler, AX-Semantics
• Uwe, Luftraumfahrt
• Jens, Datascients, AKKA
• Fernando, CV, Bosch
• Wilhelm, Software-Entwickler, privat
• Thomas, Software-Entwickler, Vialytics
• Michael, Software-Entwickler, AX Semantics
• Friedrich, werkstudent, Vialytics
• Leonard, Bosch
• Thilo, Student, Vialytics
• Arne, Luftraumfahrttechniker
• Benedikt, Datascientist, Daimler
• Christian, Software-Entwickler, privat

• Christoph, Software-Entwickler, Freelancer

• 2 Nachzügler

Vorstellung von Ignite

Andreas Madsack, AX Semantics

https://pytorch.org/ignite/index.html

Warum?

• weniger boilerplate code. Die train/validate funktionen sind viel code, der von Projekt zu Projekt sehr ähnlich ist.
• fertig Helper für ModelCheckpoint, EarlyStopping, ...

Beispiel 1

• https://github.com/pytorch/ignite/tree/master/examples/mnist
• https://github.com/pytorch/ignite/blob/master/examples/mnist/mnist_with_tensorboardx.py

tensorflow/tensorboard sind noch nicht Python 3.7 kompatibel, deshalb:

docker run -p 0.0.0.0:6006:6006 -it -v `pwd`/logs:/root/logs  tensorflow/tensorflow tensorboard --logdir /root/logs/

Beispiel 2

Addition mit PyTorch und Ignite

https://github.com/mfa/addition_seq2seq

misc

• https://www.slideshare.net/lukaszlanga/i-regret-nothing
• https://www.youtube.com/watch?v=kSLJriaOumA
• transformer-XL: https://arxiv.org/pdf/1901.02860.pdf

next

• 2019-02-19
• Thilo: BERT

Unser 24. Treffen ist am Dienstag, dem 15.01. in der Marienstrasse 23 bei AX Semantics.

Language: German only.

Themen:

Vorstellung von Ignite

https://pytorch.org/ignite/index.html

• Warum ignite?
• Beispiele

Wir suchen weitere Vorträge.

Stellt eure Projekte/Lösungen/Ideen vor.

Wann:

15. Januar 2019 um 18:30

Wo:

Marienstrasse 23, Stuttgart, AX Semantics (1. OG)

Bitte meldet euch an unter:

https://www.meetup.com/Machine-Learning-UserGroup-Stuttgart

Protokoll

Vorstellungsrunde

• Andreas, Software-Entwickler, AX-Semantics
• Ringo, Informatikabsolvent, hat interesse
• Jens, Data-Scientist, AKKA
• Gregor, Informatiker, privat
• Sima, Maschinenbau, privat
• Wilhelm, Software-Entwicker, privat
• Alexander, Mechanik, Daimler
• Thomas, Software-Entwicker, Vialytics
• Thilo, Software-Entwicker, Vialytics
• Leonard, Masterstudent, Bosch
• Michael / Vitus, Software-Entwicker, AX-Semantics
• Uwe, Raumfahrt, ST2C
• Arne, Luft- und Raumfahrt-Student
• Stefan, Physiker, AX-Semantics
• Marlon, Politik- und Sozialforschungsstudent
• Fabio, Politik- und Sozialforschungsstudent, Datascientist, Paraboost
• Florian, Data-Analyst, SDM

• David, DA-Consultant, Diconium

• 1 Nachzügler

Mit reticulate Python innerhalb von R verwenden

Jens Bruno Wittek, Data Scientist, AKKA DSW GmbH https://www.akka-digital.com

Vorstellung des R-Pakets reticulate, das von RStudio dieses Jahr veröffentlicht wurde und es einfacher macht die Stärken beider Sprachen miteinander zu verbinden. Inhalte sind u.a.:

• Erstellung und Veränderung von Python-Objekten in R
• Verwendung von Python-Code, Skripten und Modulen in R
• Arbeiten mit Environments und verschiedenen Python-Versionen
• Python REPL / Interpretor in R verwenden
• Reporting

Die Darstellung ist eher technisch orientiert. Am Ende wird an einem Machine-Learning-Use-Case gezeigt, wie reticulate auf verschiedene Weisen angewendet werden kann.

https://github.com/rstudio/reticulate

Slides folgen.

Kommentar:

• Beispiel für pytorch in reticulate: https://github.com/longhowlam/ReticulateTestDrive/blob/master/pytorch.R

Bericht von der PyCon 2018

Jens Bruno Wittek, Data Scientist, AKKA DSW GmbH https://www.akka-digital.com

• Möglichkeiten, um die Performance von pandas-DataFrames zu verbessern
• Deployment von Machine-Learning-Modellen

reticulate für Verwendung von Python innerhalb von R

(siehe Vortrag davor)

• https://rstudio.github.io/reticulate/
• https://github.com/rstudio/reticulate

Binder für interaktive Tutorials basierend auf GitHub-Repos

• https://mybinder.org/

Dask für performante DataFrames

• https://dask.org/
• https://github.com/dask/dask
• http://docs.dask.org/en/latest/
• https://github.com/dask/dask-examples

Ray für verteiltes Rechnen, Modin für performante DataFrames

• https://github.com/ray-project/ray/
• https://github.com/modin-project/modin
• https://modin.readthedocs.io/en/latest/pandas_on_ray.html

Firefly für Deployment von Funktionen

• https://github.com/rorodata/firefly
• https://firefly-python.readthedocs.io/en/latest/

Alternative zu?:

• https://github.com/aws/chalice
• https://github.com/Miserlou/Zappa

Deep-Learning-Modelle in Pipeline

• https://towardsdatascience.com/from-exploration-to-production-bridging-the-deployment-gap-for-deep-learning-8b59a5e1c819
• https://towardsdatascience.com/from-exploration-to-production-bridging-the-deployment-gap-for-deep-learning-part-2-9e33cc8dfe5e

ONNX (Open Neural Network eXchange format)

• https://onnx.ai/
• https://github.com/onnx/tutorials

GraphPipe (Deployment)

• https://oracle.github.io/graphpipe/#/guide/user-guide/overview

misc

• backboxnlp:

  • https://blackboxnlp.github.io/
  • https://aclanthology.coli.uni-saarland.de/volumes/proceedings-of-the-2018-emnlp-workshop-blackboxnlp-analyzing-and-interpreting-neural-networks-for-nlp

• wir haben einen slack. meldet euch, wenn ihr da rein wollt!

next

• 2019-01-15
• Vorschläge für Vorträge sind willkommen!

Unser 23. Treffen ist am Dienstag, dem 20.11. in der Marienstrasse 23 bei AX Semantics.

Language: German only.

Themen:

Mit reticulate Python innerhalb von R verwenden

Jens Bruno Wittek, Data Scientist, AKKA DSW GmbH https://www.akka-digital.com Vorstellung des R-Pakets reticulate, das von RStudio dieses Jahr veröffentlicht wurde und es einfacher macht die Stärken beider Sprachen miteinander zu verbinden. Inhalte sind u.a.:

• Erstellung und Veränderung von Python-Objekten in R
• Verwendung von Python-Code, Skripten und Modulen in R
• Arbeiten mit Environments und verschiedenen Python-Versionen
• Python REPL / Interpretor in R verwenden

• Reporting

  Die Darstellung ist eher technisch orientiert. Am Ende wird an einem Machine-Learning-Use-Case gezeigt, wie reticulate auf verschiedene Weisen angewendet werden kann. https://github.com/rstudio/reticulate

Bericht von der PyCon 2018

Jens Bruno Wittek, Data Scientist, AKKA DSW GmbH https://www.akka-digital.com

• Möglichkeiten, um die Performance von pandas-DataFrames zu verbessern
• Deployment von Machine-Learning-Modellen

Wir suchen weitere Vorträge.

Stellt eure Projekte/Lösungen/Ideen vor.

Wann:

20. November 2018 um 18:30

Wo:

Marienstrasse 23, Stuttgart, AX Semantics (1. OG)

Bitte meldet euch an unter:

https://www.meetup.com/Machine-Learning-UserGroup-Stuttgart