MLUGS

Protokoll

Intro

Das Ziel der MLUGS ist der Austausch über Machine-Learning-Themen. Keine Vorträge, die besser bei Youtube aufgehoben wären, sondern Diskussion zum jeweiligen Thema.

Teilnehmer

• Andreas, Software-Entwickler, AX-Semantics
• Uwe, laser com in space, ST2C
• Tin, Software-Entwickler, TBS AI
• Thomas, Data Scientist, Schwarz Dienstleistungen

• Thomas, Algorithmen-Entwickler, AP Sensing

• + 5 weitere

Andreas Graf: Requirements Traceability and Open Source Natural Language Processing

Abgesagt, wird nachgeholt

Tin: Detectron2

• https://github.com/facebookresearch/detectron2
• https://ai.facebook.com/blog/-detectron2-a-pytorch-based-modular-object-detection-library-/
• lief nur auf Google Colab einfach
• installation braucht c-compiler

Uwe: Adaptive Optik mit Machine Learning, Problemvorstellung

• seit eingen Jahren wird satellitenkommunikation produktiv genutzt
• problem: atmospherische störungen entfernen
• approaches: resnet/inception v3 ODER unet/unet++

Andreas: Hyperparameter optimization using Weights & Biases

• W&B: https://wandb.ai/

• free for single user - private or public

• lib to use in pytorch: https://github.com/wandb/client

• docs: https://docs.wandb.com/sweeps/configuration

• the AllenNLP addon: https://github.com/dhruvdcoder/wandb-allennlp/

• in AllenNLP add the callback to your configuration:

{
  "trainer": {
    "epoch_callbacks": [
      {
        "type": "log_metrics_to_wandb"
      }
    ],
   }
}

• popular alternative https://optuna.org/
• good talk about Optuna last week on PyTorch Developer Day: "Hyperparameter Importance"

misc

• torch for R: https://torch.mlverse.org/
• PyTorch Developer Day 2020 Videos irgendwann vorauss. auf: https://www.youtube.com/c/PyTorch/playlists

next

• date: 2021-01-19
• talks:
• (meldet euch wenn ihr Vorträge habt!)

Auch im November findet ein virtuelles MLUGS-Treffen statt.

Vorträge (10-15 Minuten/Vortrag):

• Andreas Graf: Requirements Traceability and Open Source Natural Language Processing
• Tin: Detectron2
• Uwe: Adaptive Optik mit Machine Learning, Problemvorstellung
• Andreas: Hyperparameter optimization using Weights & Biases

Meldet euch, wenn ihr etwas vorstellen wollt. Das kann etwas sein mit dem ihr euch aktuell beschäftigt, ein Problem das ihr lösen möchtet oder auch ein Plug für etwas. Es sollte etwas mit machine-learning zu tun haben.

Wir werden Zoom verwenden.

Wann:

17. November 2020 um 18:30

Wo:

virtuell. Zoom.

Bitte meldet euch an unter:

https://www.meetup.com/Machine-Learning-UserGroup-Stuttgart

Protokoll

Intro

Das Ziel der MLUGS ist der Austausch über Machine-Learning-Themen. Keine Vorträge, die besser bei Youtube aufgehoben wären, sondern Diskussion zum jeweiligen Thema.

Teilnehmer

• Andreas, Software-Entwickler, AX-Semantics
• Uwe, ST2C, Laser comm in space
• Philipp, ML-Engineer & start-up co-founder

• Jens, Data Scientist, AKKA

• + 5 weitere

Andreas: Hosting of ML models

AWS ECS (Fargate)

• expensive: 10+$/month (0.25cpu / 1GB ram) | 27$/month (0.5cpu / 4GB ram)
• min 0.25cpu possible
• max 30GB possible
• deployment can be tricky when reproducable (cloudformation)
• when running - low maintenance
• examples:
  • https://compound-split.research.qax.io/docs

Google Cloud Run (GCR)

• zero downscaling option -> "cheap"
• needs to boot every time -> startup time can be a few seconds when cold
• 2GB limit for managed option
• for more memory: GKE - complicated to setup - expensive to run
• really easy to deploy

gcloud builds submit --tag eu.gcr.io/<PROJECT_ID>/compound-split
gcloud run deploy compound-split --image eu.gcr.io/<PROJECT_ID>/compound-split --allow-unauthenticated --memory=1G

• 300$ credit in the first year and enough free credits to run low usage GCR services free after that
• examples:
  • https://compound-split-ejn6yf4k4q-ez.a.run.app/docs

Hetzner VPS

• the cheapest option: 3€+/month (2GB ram) | 60€/month (30GB ram)
• you have to maintain everything. including linux
• you have to add SSL
• automated deployments can be hard

Paperspace gradient deployments

• expensive: $12+/month (+ possible usage)
• needs G1 plan
• free old GPUs (with time limits)
• managed
• https://gradient.paperspace.com/pricing
• google for "paperspace promo code" to get 10$ credit!

Floydhub model serving

• expensive: cpu usage (~1$/h)
• easy to use
• managed
• https://docs.floydhub.com/guides/serving/

Uwe: Buchbesprechung "Deep learning for Coder with fastai & PyTorch"

• das Buch: https://github.com/fastai/fastbook

• Notebooks / Kurs: https://course.fast.ai/

• das erste Kapitel ist sehr praxisorientiert um schnell eine gute Lösung im Unternehmen zu haben

• trainiert erst ein Modell und schaut euch dann die Fehler an, die es gemacht hat und bereinigt erst dann die Daten (falls nötig)
• Deployment-Beispiele mit Voila auf Heroku
• cropping/presizing von Bildern in der GPU
• Anschauen: learning-rate-finder

• hintere layers bekommen größere learning-rate

• Podcast mit Jeremy Howard: https://lexfridman.com/jeremy-howard/

next

• date: 2020-11-17
• talks:
• (meldet euch wenn ihr Vorträge habt!)

Auch im Oktober findet ein virtuelles MLUGS-Treffen statt.

Vorträge (10-15 Minuten/Vortrag):

• Andreas: Hosting of ML models
• Uwe: Buchbesprechung "Deep learning for Coder with fastai & PyTorch"

Meldet euch, wenn ihr etwas vorstellen wollt. Das kann etwas sein mit dem ihr euch aktuell beschäftigt, ein Problem das ihr lösen möchtet oder auch ein Plug für etwas. Es sollte etwas mit machine-learning zu tun haben.

Wir werden Zoom verwenden.

Wann:

20. Oktober 2020 um 18:30

Wo:

virtuell. Zoom.

Bitte meldet euch an unter:

https://www.meetup.com/Machine-Learning-UserGroup-Stuttgart

Protokoll

Intro

Das Ziel der MLUGS ist der Austausch über Machine-Learning-Themen. Keine Vorträge, die besser bei Youtube aufgehoben wären, sondern Diskussion zum jeweiligen Thema.

Teilnehmer

• Andreas, Software-Entwickler, AX-Semantics
• Thomas, Data Scientist
• Lukas, Mechatronik & SupplyChain, Sensor.Community
• David, Analytics Engineer
• Steffen, Data Driven Visuals, Brands and Spaces

Andreas: GPT2 für nicht-Englisch zu trainieren

Slides / Notebook: https://github.com/mfa/talks/blob/master/20200915--train-GPT2-not-in-English/slides.ipynb

Thomas: Mensa-Bezahlung überprüfen

• mit camera das Essen filmen
• Damit überprüfen ob das richtige bezahlt wird
• verwendet yolov3 + vgg16
• trainingsdaten manuell annotiert: 40-60 bilder / zu erkennendes objekt
• wird weiter entwickelt: next viewshot detection

Steffen: Möbelszenenvisualisierung

next

• machen wir das jetzt (wieder) regelmässig? ja
• müssen die Vorträge besser geplant werden? mglw. nötig bei mehr Teilnehmern
• date: 2020-10-20

• talks:

  • Andreas: Hosting of ML models
  • ??

Wir versuchen nach der Corona-Pause den virtuellen Neustart der MLUGS.

Der Plan für diesen Termin ist, jede/r (die/der möchte) stellt in 5-10 Minuten etwas vor.
Das kann etwas sein mit dem man sich aktuell beschäftigt, ein Problem das man lösen möchte oder auch ein Plug für etwas.
Es sollte allerdings schon mit machine-learning zu tun haben.
Z.B. könnte ich von meinen Versuchen berichten, GPT2 für nicht-Englisch zu trainieren.

Wir werden Zoom verwenden und der Link wird (auf Meetup) rechtzeitig ergänzt.

Wann:

15. September 2020 um 18:30

Wo:

virtuell. Zoom.

Bitte meldet euch an unter:

https://www.meetup.com/Machine-Learning-UserGroup-Stuttgart

Unser 35. Treffen ist am Dienstag, dem 17.03.2020 in der Marienstrasse 23 bei AX Semantics.

Language: German only.

Themen:

Tin: recap vfb-hackathon

YOLO v3 Darknet nachtrainiert und angewendet

Andreas: sigmorphon 2020

encoder-decoder shared-task(s) - erste exploration

Wir suchen weitere Vorträge

Wann:

17. März 2020 um 18:30

Wo:

Marienstrasse 23, Stuttgart, AX Semantics (2. OG)

Bitte meldet euch an unter:

https://www.meetup.com/Machine-Learning-UserGroup-Stuttgart

Protokoll

Vorstellungsrunde

• Tin, DHBW-Dozent
• Andreas, Software-Entwickler, AX-Semantics
• Frank, mlugs-Gründer
• Daniel, Wirtschaft-Informatiker / IT-Berufe-Ausbilder, Trumpf
• Ioana, Bosch-Rexrodt, IOT
• Jörg, Data-Engineer, Bosch
• Romeo, Rust-Meetup-Organizer, will KI mit SAP nutzen
• Andreas, Software-Entwickler, WGV
• Uwe, macht Raumfahrt, ST2C
• Stefan, ML-Berater, Deloitte
• Simon, Mathematiker, macht seit 2015 ML

+2 Nachzügler

Uwe: Kaggle Survey

• Kaggle bietet datasets und problemstellungen
• sinn der survey: was wird so benutzt, welche platformen
• häufigste algorithmen: linear / logistic regression; decision tree/random tree; gradient boosting

podcasts:

• https://changelog.com/practicalai
• https://lexfridman.com/ai/

online-kurse:

• viel coursera
• kaggle lean
• udemy
• fast.ai

weitere automated ML (nicht in der liste):

• https://github.com/automl/Auto-PyTorch

Slides von Uwe: http://machinelearningintro.uwesterr.de/KaggleSurvey.html

Tin: Adversarial-ML hacking NNs

Hacking NNs mit FGSM

• panda beispiel: panda bild + X wird als Gibbon erkannt
• https://www.tensorflow.org/tutorials/generative/adversarial_fgsm
• https://pytorch.org/tutorials/beginner/fgsm_tutorial.html
• https://github.com/IBM/adversarial-robustness-toolbox

slides: https://github.com/tvotan/mlugs_adversarial_ml/blob/master/mlugs_adversarial_ml.pdf

misc

• meetup zu chatbots: https://www.meetup.com/ChatbotStuttgart/events/267929038/

• tesseract-ocr ist gut: https://github.com/tesseract-ocr/tesseract

• gute blogposts zu opencv: https://www.pyimagesearch.com/

• numpy/pandas in schnell mit Rust: https://www.weld.rs/

• python-regex in schnell mit Rust: https://github.com/davidblewett/rure-python

next

• Date: 2020-03-17
• Themen:
• Tin: recap vfb-hackathon - https://www.vfb-hackathon.de/de
• (bitte meldet euch, wenn ihr einen Vortrag habt)

Unser 34. Treffen ist am Dienstag, dem 18.02.2020 in der Marienstrasse 23 bei AX Semantics.

Language: German only.

Themen:

Uwe: Kaggle Survey

Tin: Adversarial-ML hacking NNs

Wir suchen weitere Vorträge

Wann:

18. Februar 2020 um 18:30

Wo:

Marienstrasse 23, Stuttgart, AX Semantics (2. OG)

Bitte meldet euch an unter:

https://www.meetup.com/Machine-Learning-UserGroup-Stuttgart

Protokoll

Vorstellungsrunde

• Andreas, Software-Entwickler, AX-Semantics
• Uwe, ST2C
• Florian, Kärcher
• Alessandro, Security Manager, Bosch
• Brian
• Julian, Master-Student, Bosch
• Thomas, Data-Scientist, AB Sensing
• Jan, Mathematiker, selbständig
• Roland
• Jacob, Data-Scientist, Allianz
• Ralf, Data-Scientist
• Jens, Data-Scientist, AKKA
• Tin, Dozent, DHBW Stuttgart

+2 Nachzügler

Jens: alibi und tf-explain

• Erklärbarkeit ist sinnvoll
• auch zur Erkennung von falschen labels

tf-explain

• https://github.com/sicara/tf-explain
• sehr nah an tensorflow/keras
• ermöglicht heatmaps der aktivierungen
• Visualisierung von Gradienten
• Occlusion Sensitivity verdeckt Teile des Bildes und erreichnet so die Teile des Bildes, die am meisten zur Erkennung beitragen

alibi

• https://github.com/SeldonIO/alibi
• https://docs.seldon.io/projects/alibi/en/stable/overview/algorithms.html

Anchors:

• 3 verschiedene Arten von Modellen: Tabular, Text, Images
• https://docs.seldon.io/projects/alibi/en/stable/methods/Anchors.html

CEM:

• feature entfernen bei gleicher aussage
• https://docs.seldon.io/projects/alibi/en/stable/methods/CEM.html

CF:

• wieviel veränderung ist nötig, um die klasse zu wechseln
• verwendet eine distanz-funktion um die änderung zu bestimmen
• https://docs.seldon.io/projects/alibi/en/stable/methods/CF.html

Counterfactuals Guided by Prototypes:

• https://docs.seldon.io/projects/alibi/en/stable/methods/CFProto.html

TrustScores:

• versucht hohes vertrauen durch distanz auszurechnen
• https://docs.seldon.io/projects/alibi/en/stable/methods/TrustScores.html

Beispiele:

• https://github.com/SeldonIO/alibi/blob/master/examples/

für Pytorch:

• https://captum.ai/tutorials/Resnet_TorchVision_Interpret
• https://allennlp.org/interpret

Tin: Demo streamlit.io

• alles in Python. kein Frontend mehr nötig. Deployment auch gelöst.
• ziel: für data-scientist schneller dinge ins web bringen
• opensource: https://github.com/streamlit/streamlit
• coole demo: https://github.com/streamlit/demo-self-driving

konkurrenten:

• https://github.com/voila-dashboards/voila
• https://github.com/plotly/dash

next

• Date: 2020-02-18
• Themen
• Uwe: Kaggle Survey
• Tin: Adversial-ML hacking NNs