MLUGS

Unser 31. Treffen ist am Dienstag, dem 15.10. in der Marienstrasse 23 bei AX Semantics.

Language: German only.

Themen:

Tin: machine learning and security

Andreas: digit recognition

Wir suchen weitere Vorträge

Wann:

15. Oktober 2019 um 18:30

Wo:

Marienstrasse 23, Stuttgart, AX Semantics (2. OG)

Bitte meldet euch an unter:

https://www.meetup.com/Machine-Learning-UserGroup-Stuttgart

Protokoll

Vorstellungsrunde

• Andreas, Software-Entwickler, AX-Semantics
• Uwe, Laser-Kommunikation. ST2C
• Xiake, ITK Engineering
• Kexin, Machine-Learning-Eng., Bosch
• Nela, Daimler
• Ioana, Bosch
• Michael, Software-Engineer, AX-Semantics
• Christian, baut Anlagen zur Batteriefertigung, Daimler
• Tin, wiss. Mitarbeiter, Frauenhofer
• Thomas, Data-Scientist
• Kai, Anfänger in ML
• Sasha, Consultant, ADWEKO
• Jens, Data-Scientist, AKKA
• Sebastian, Software-Engineer, IBM
• Nicola, Journalistin, will Insekten zählen

Nicola: Vorstellung Insekten-Counter-Projekt mit Maschine Learning

• https://ecocurious.de

• https://www.meetup.com/Ecocurious-deine-Umwelt-Natur-und-Technik-Community/

• Methode 1: optisches Mikrofon - Infrarot-Dioden auf Licht-Sensoren -> akkustik

• Methode 2: mit Kamera fotografieren (raspi + picam)

• suchen Unterstützung bei der Hardwareentwicklung und beim Klassifizierung

• verwendet gnuradio zur Auswertung

• aktueller Stand: methoden finden Daten zu sammeln; danach klassifiezieren wieviele/welche Insekten

• Bienen zählen: https://www.apic.ai

• event-camera: http://rpg.ifi.uzh.ch/research_dvs.html
• vielleicht in der Wilhelma im Tropenhaus Fotos machen
• "zeitmultiplexing Spektroskopie"

Sebastian: regelbasierte vs. ML-basierte Informationsextraktion

• rule-based am Beispiel von AQL: vorteile der RDMBS-Erfahrungen ausnutzen
• Regeln schreiben kann sehr viel besser sein als (nur) Trainingsdaten für ein NN zu annotieren
• 80%-NNs sind noch nicht produktionsreif!
• es gibt Probleme, die man immernoch am besten mit rule-based-systemen löst

Andreas: Encoder-Decoder Attention plots

recap

• https://github.com/mfa/talks/blob/master/20190521--morphological-inflection-using-encoder-decoder-networks/slides.md

insights about attention with a simple example

• reimplementation of https://joeynmt.readthedocs.io/en/latest/tutorial.html with allennlp
• code: https://github.com/mfa/allennlp-reverse-seq2seq
• https://madflex.de/posts/allennlp--reverse-sequence-example/
• uses general/bilinear attention: https://arxiv.org/pdf/1508.04025.pdf
• model code is a copy of allennlp version with a patch applied, that adds attention vectors to output
• https://madflex.de/posts/allennlp--sequence-to-sequence-attention-plots/

next

• date: 2019-10-15
• talks:
  • Tin: machine learning and security
  • Andreas: digit recognition

Unser 30. Treffen ist am Dienstag, dem 17.09. in der Marienstrasse 23 bei AX Semantics.

Language: German only.

Themen:

Sebastian: regelbasierte vs. ML-basierte Informationsextraktion

Wir suchen noch weitere Vorträge

Wann:

17. September 2019 um 18:30

Wo:

Marienstrasse 23, Stuttgart, AX Semantics (2. OG)

Bitte meldet euch an unter:

https://www.meetup.com/Machine-Learning-UserGroup-Stuttgart

Protokoll

Vorstellungsrunde

• Andreas, Software-Entwickler, AX-Semantics
• Hermann, IT-Architekt / Mathematiker, Vorruhestand / DHBW
• Lars, Freiberuflicher Entwickler CGI
• John, 3d-artist, klassiche 3d-produktion; unreal/unity
• Stefan, bilderkennung/outlyer-detection
• wilhelm, software-entwickler, privat
• christian, automatisierungstechniker, selbständig
• jens, data-scientist, akka
• marvin, algorithmenentwicker, automotive
• thomas, data-scientist, ap sensing
• thilo, consultant, freelancer
• uwe, raumfahrt / laser, selbständig

Thilo: Objekterkennung

• convolution + relu + batchnorm

• feature pyramid networks - haben sich quasi durchgesetzt

• path aggregation networks - brauchen mehr vram

• global convolution networks - auch hier viel ram - sehr kleine batches

• https://arxiv.org/abs/1703.02719

typen von aufgaben (head):

• bildklassifikation
• objekterkennung
• bildsegmentierung
• keypoint detection (i.e. beim menschen)
• visual reasoning

detectortyps:

• YOLO, SSD

• faster-r cnn (2 stages)

• https://www.jeremyjordan.me/object-detection-one-stage/

• https://arxiv.org/abs/1708.02002

bei 2-stages: first step: ist es vordergrund oder hintergrund

• https://arxiv.org/abs/1703.06870

code:

• https://github.com/roytseng-tw/Detectron.pytorch

datasets:

• http://cocodataset.org/
• https://opensource.google.com/projects/open-images-dataset
• https://cs.stanford.edu/people/jcjohns/clevr/
• https://visualgenome.org

verschiedenes

• edge computer: https://www.nvidia.com/de-de/autonomous-machines/embedded-systems/jetson-nano/

• robocar - https://www.meetup.com/Esslingen-Makerspace/

• NAACL 2019

  • Blogpost von Sebastian Ruder: http://ruder.io/naacl2019/
  • btw, Best Paper: BERT
  • video zu elmo/bert/... von Prof. Manning (stanford): https://www.youtube.com/watch?v=S-CspeZ8FHc
  • stand der dinge in NLP: https://medium.com/huggingface/the-best-and-most-current-of-modern-natural-language-processing-5055f409a1d1
  • http://blog.aylien.com/a-review-of-the-recent-history-of-natural-language-processing/

• https://github.com/zalandoresearch/fashion-mnist

• https://github.com/zalandoresearch/flair

• spaCy

  • https://spacy.io/usage/spacy-101
  • https://course.spacy.io/
  • https://medium.com/eliiza-ai/a-tour-of-awesome-features-of-spacy-part-1-2-58b32425954f
  • spacy universe: https://spacy.io/universe

next

• date: 2019-09-17
• wir suchen Vorträge!!

Unser 29. Treffen ist am Dienstag, dem 18.06. in der Marienstrasse 23 bei AX Semantics.

Language: German only.

Themen:

Thomas: Flickstellen finden - Fortsetzung

Thilo: Objekterkennung

Wann:

18. Juni 2019 um 18:30

Wo:

Marienstrasse 23, Stuttgart, AX Semantics (1. OG)

Bitte meldet euch an unter:

https://www.meetup.com/Machine-Learning-UserGroup-Stuttgart

Protokoll

Vorstellungsrunde

• Andreas, Software-Entwickler, AX-Semantics
• Jens, Data-Scientist, AKKA
• Marc, Administrator, Bosch
• Alexander, Motormechaniker, Daimler
• Thilo, Master-Student
• Thomas, Software-Entwickler, Vialytics
• Michael, Software-Entwickler, AX-Semantics
• Silvana, Data-Scientist, Breuninger
• Thomas, Physiker, Messtechnikfirma
• Alex, Cybersecurity-Manager, Bosch

+2 Nachzügler

Andreas: Morphological Inflection using Encoder-Decoder-Networks

Andreas arbeitet für AX-Semantics

Slides: https://github.com/mfa/talks/blob/master/20190521--morphological-inflection-using-encoder-decoder-networks/slides.md

Thomas: Flickstellen finden mit LSTMs

Thomas arbeitet für Vialytics

Fünf aufeinanderfolgende Bilder durch CNNs schieben und dann mit LSTMs verbinden, um patches (Flickstellen) im mittleren Bild zu finden.

next

• date: 2019-06-18
• Vorträge:
• Thomas: Flickstellen finden Fortsetzung
• Thilo: Objekterkennung

Unser 28. Treffen ist am Dienstag, dem 21.05. in der Marienstrasse 23 bei AX Semantics.

Language: German only.

Themen:

Andreas: Morphological Inflection using Encoder-Decoder-Networks

Wir suchen weitere Vorträge.

Stellt eure Projekte/Lösungen/Ideen vor.

Wann:

21. Mai 2019 um 18:30

Wo:

Marienstrasse 23, Stuttgart, AX Semantics (1. OG)

Bitte meldet euch an unter:

https://www.meetup.com/Machine-Learning-UserGroup-Stuttgart

Protokoll

Vorstellungsrunde

• Tin, Wirtschafts-Ing, macht Auszeit
• Andreas, Software-Entwickler, AX-Semantics
• Uwe, Raumfahrt, selbständig
• Thomas, Messtechniker/Physiker
• Wilhelm, Software-Entwickler
• Luis, Software-Entwickler
• Markus. Software-Entwickler, Allianz
• Silvana, Data-Scientist, Breuninger
• Till, Software-Entwickler, Breuninger
• Alexandro, Bosch
• Jörg, Berater, Detecon

Tin: Face recognition

hat gerade Master in Wirtschaftingenieur am KIT gemacht

• https://github.com/ageitgey/face_recognition
• verwendet dlib und nicht open cv
• erster schritt: histogram of oriented gradients
• zweiter schritt: facial landmark detection
• https://cmusatyalab.github.io/openface/

• danach mit den embeddings (128 punkte) wird matchmaking gemacht

• trainingsdaten: http://vision.ucsd.edu/content/yale-face-database

Andreas: Sigmorphon shared task

...

next

• Datum: 2019-05-21
• Vorträge:
  • Andreas - Sigmorphon 2019 Ergebnisbericht
  • gerne noch weitere Vorträge!

Unser 27. Treffen ist am Dienstag, dem 16.04. in der Marienstrasse 23 bei AX Semantics.

Language: German only.

Themen:

Tin: Face recognition

Wir suchen weitere Vorträge.

Stellt eure Projekte/Lösungen/Ideen vor.

Wann:

16. April 2019 um 18:30

Wo:

Marienstrasse 23, Stuttgart, AX Semantics (1. OG)

Bitte meldet euch an unter:

https://www.meetup.com/Machine-Learning-UserGroup-Stuttgart

Protokoll

Vorstellungsrunde

• Andreas, Software-Entwickler, AX-Semantics
• Uwe, Raumfahrt, ST2C
• Johanna, Software-Entwickler, AX-Semantics
• Tin, Wirtschafts-Ing, Daimler
• Benedikt, Data-Scientist, Daimler
• Matthias, VWL, Data-Berater
• Thilo, Data-Engineer, Freelancer
• Thomas, Software-Entwickler, Vialytics
• Michael, Software-Entwickler, AX
• Janis, , P3-Systems
• Dominik, Mathematiker, Sprint1
• Thomas, Physiker/Data-Analyst
• Lukas, Datascientist, Sprint1
• Alex, Security/KI, Bosch
• David, Data-Analyst-Consultant, Diconium

Andreas: AllenNLP Intro

slides: https://github.com/mfa/talks/tree/master/allennlp-intro

Thilo: Improving Standard ResNet-50

• Convolutions, ReLu, BatchNorm
• weitere: LayerNorm, InstanceNorm, GroupNorm
• https://pytorch.org/docs/stable/nn.html#torch.nn.GroupNorm
• ResNeXt
• SENet
• PolyNet
• Deformable Convolution
• NasNet
• https://github.com/tensorflow/cleverhans
• https://github.com/bethgelab/foolbox

• http://cocodataset.org/#detection-leaderboard

• https://github.com/NVIDIA/apex (auch für AllenNLP)

misc

links:

• https://nvlabs.github.io/SPADE/
• https://blogs.nvidia.com/blog/2019/03/18/gaugan-photorealistic-landscapes-nvidia-research/
• https://rapids.ai
• https://github.com/rapidsai/cuml
• https://github.com/understand-ai/anonymizer
• https://github.com/ageitgey/face_recognition

next

• date: 2019-04-16
• vorträge:
• Tin: Facerecognition