MLUGS

Auch im April findet ein virtuelles MLUGS-Treffen statt.

Vorträge (10-15 Minuten/Vortrag):

• Silvana: ML in Produktion bei autoretouch
• Robert: Automatisierte Analyse medizinischer Daten z.B. aus Studien mit Hilfe von NLP bei CUREDATIS.
• Paul: Anomalieerkennung mit Hilfe eines Komprimierungsalgorithmus am Beispiel von Daten aus dem Schlaflabor

Meldet euch, wenn ihr etwas vorstellen wollt. Das kann etwas sein mit dem ihr euch aktuell beschäftigt, ein Problem das ihr lösen möchtet oder auch ein Plug für etwas. Es sollte etwas mit machine-learning zu tun haben.

Wir werden Zoom verwenden.

Wann:

20. April 2021 um 18:30

Wo:

virtuell. Zoom.

Bitte meldet euch an unter:

https://www.meetup.com/Machine-Learning-UserGroup-Stuttgart

Protokoll

Intro

Das Ziel der MLUGS ist der Austausch über Machine-Learning-Themen.

Teilnehmer

• Andreas, Software-Entwickler, AX-Semantics, Sprachverarbeitung (NLP, NLG)
• Uwe, Laser Kommunikation im All, ST2C
• Burkhard, Softwareentwickler, eXXcellent solutions, NLP & IoT
• Silvana, Data Scientist, autoRetouch
• Jens, Data-Scientist, AKKA
• Tin, Unternehmer und Dozent, DHBW + Reutlingen + Tübingen, Software-Entwickler, ML + CV + Python
• Paul, Student Angewandte Informatik

+6 weitere

Jürgen: Find 'em all - Deep Learning für die Suche nach archäologische Stätten

• mit Satellite und Lidar kann man archaeologische Stätten finden
• erster Versuch (finden von Kohlemeilern) mit ResNet-34, sliding window prediction mit fastai
• zweiter Versuch (alte Straßen - Ochsenkarrenwege) auch ResNet-34
• dritter Versuch (Hügelfestungen aus der Bronze-/Eisenzeit)
  • in England hat es dafür einen Datensatz mit dem trainiert wurde
  • oft bleiben die gräben übrig, die Häuser weniger
  • auch wieder ResNet-34
  • Falscherkennung von Fischteichen

• ML in der archaeologie:

  • wenig samples - wenig balanced
  • Accuracy ist keine gute Score: besser MCC und Kappa-Score
  • es ist besser mehr/etwas zu finden, als die ganze Karte mit Menschenaugen abzusuchen
  • in GB und NL sind Lidar-Daten frei verfügbar

• https://www.swr.de/swraktuell/baden-wuerttemberg/stuttgart/erkenbrechtsweiler-keltische-siedlung-heidengraben-100.html

Tin: Graph Neural Networks

• must read papers: https://github.com/thunlp/GNNPapers
• Repo mit Code und Slides: https://github.com/tvotan/mlugs_gnn
  • am beispiel von graphen basierend auf chemischen molekülen
  • code braucht python 3.7 weil conda für rdkit verwendet wird

misc

• Nachtrag zum letzten Mal:
  • Demo des aktuellen Zustands des Genus Classifiers
  • https://genus.research.qax.io/

next

• date: 2021-04-20
• talks:
  • Uwe: Adaptive Optik

Auch im März findet ein virtuelles MLUGS-Treffen statt.

Vorträge (10-15 Minuten/Vortrag):

• Jürgen - Find 'em all - Deep Learning für die Suche nach archäologische Stätten
• Tin: Graph Neural Networks

• [open slot]

• Ihr könnt noch Vorträge vorschlagen

Meldet euch, wenn ihr etwas vorstellen wollt. Das kann etwas sein mit dem ihr euch aktuell beschäftigt, ein Problem das ihr lösen möchtet oder auch ein Plug für etwas. Es sollte etwas mit machine-learning zu tun haben.

Wir werden Zoom verwenden.

Wann:

16. März 2021 um 18:30

Wo:

virtuell. Zoom.

Bitte meldet euch an unter:

https://www.meetup.com/Machine-Learning-UserGroup-Stuttgart

Protokoll

Intro

Das Ziel der MLUGS ist der Austausch über Machine-Learning-Themen. Keine Vorträge, die besser bei Youtube aufgehoben wären, sondern Diskussion zum jeweiligen Thema.

Teilnehmer

• Andreas, Software-Entwickler, AX-Semantics
• Uwe, ST2C, laser comm in space
• Gerardo, Datenanalyst und Cybersec
• Frank Stöckel, Coach/Berater/Trainer bei HOOD GmbH Oberhaching
• Tin, Unternehmer und Dozent
• Deniz, Student
• Paul, Student

+5

Andreas: Erfahrungen mit Google AutoML

slides: https://github.com/mfa/talks/blob/master/20210216--google-automl/slides.md

Tin: A Regression Approach to Speech Enhancement Based on Deep Neural Networks

• https://paperswithcode.com/paper/phase-aware-speech-enhancement-with-deep-1

next

• date: 2021-03-16

• talks:

  • (meldet euch wenn ihr Vorträge habt!)
  • ML Flow: https://databricks.com/de/session_eu20/deterministic-machine-learning-with-mlflow-and-mlf-core

Auch im Februar findet ein virtuelles MLUGS-Treffen statt.

Vorträge (10-15 Minuten/Vortrag):

• Andreas: Erfahrungen mit Google AutoML
• Tin: A Regression Approach to Speech Enhancement Based on Deep Neural Networks

• [open slot]

• Ihr könnt noch Vorträge vorschlagen

Meldet euch, wenn ihr etwas vorstellen wollt. Das kann etwas sein mit dem ihr euch aktuell beschäftigt, ein Problem das ihr lösen möchtet oder auch ein Plug für etwas. Es sollte etwas mit machine-learning zu tun haben.

Wir werden Zoom verwenden.

Wann:

16. Februar 2021 um 18:30

Wo:

virtuell. Zoom.

Bitte meldet euch an unter:

https://www.meetup.com/Machine-Learning-UserGroup-Stuttgart

Protokoll

Intro

Das Ziel der MLUGS ist der Austausch über Machine-Learning-Themen. Keine Vorträge, die besser bei Youtube aufgehoben wären, sondern Diskussion zum jeweiligen Thema.

Teilnehmer

• Andreas, Software-Entwickler, AX-Semantics
• Uwe Sterr, ST2C, laser comm in space
• Lukas Mocek, Mechatroniker, Wirtschaftsingenieur, Sensor.Community
• Tin Votan, Software-Entwickler, The Black Swan AI
• Jens, Data-Scientist, AKKA, Stuttgart
• Dag Tanneberg, Projektmanager & Quantitative Social Scientist, Ebner Stolz Stuttgart
• Frank Stöckel, Coach/Consultant, HOOD GmbH Oberhaching / bei München

+2

Tin: AlphaFold 2

• https://deepmind.com/blog/article/alphafold-a-solution-to-a-50-year-old-grand-challenge-in-biology
• protein folding problem: vorhersage, ob 3d-faltung richtig gefaltet wurde
• Wettbewerb: https://en.wikipedia.org/wiki/CASP
• It will change everything (Nature article)
• model part: 2d ResNet (128 dimensions)
• https://github.com/deepmind/deepmind-research/tree/master/alphafold_casp13
• alternative implementation: https://github.com/Urinx/alphafold_pytorch

Uwe: Künstliche Intelligenz löst Schrödingers Gleichung, Ideen für eigene KI-Anwendungen aus dem Vergleich der Ansätze von DeepMind und FU Berlin

• http://machinelearningintro.uwesterr.de/Schroedinger.html
• FermiNet
• zweiter Ansatz: etwas schlechter, dafür viel weniger GPU, etwas mehr fixes Wissen
• Out of the box thinking use cases of machine learning
• Fundamental limits from chaos on instability time predictions in compact planetary systems
• Global Optimization Methods for SPICE Model Parameter Extraction

Andreas: BLEURT - Bilingual Evaluation Understudy with Representations from Transformers

• Paper: https://www.aclweb.org/anthology/2020.acl-main.704.pdf
• Code: https://github.com/google-research/bleurt
• Metrik für Text-Generierung
• Viel besser als BLEU (bisheriger Standard) - vor allem bessere Korrelation mit human-evaluation
• Api zum rumspielen (für ein paar Tage): https://bleurt-ejn6yf4k4q-ez.a.run.app/docs#/default/score__post

Lukas: deterministisches machine learning mit mlf-core und mlflow

• fand nicht statt - vielleicht ja nächstes mal?
• Einordnung von mlf-core zu Weights&Biases und zu Tensorboard: https://miro.medium.com/max/700/1*O39XZvLdmZItTWQQ9KpLDw.png

next

• date: 2021-02-16
• talks:
• (meldet euch wenn ihr Vorträge habt!)

Auch im Januar findet ein virtuelles MLUGS-Treffen statt.

Vorträge (10-15 Minuten/Vortrag):

• Tin: AlphaFold
• Uwe: Künstliche Intelligenz löst Schrödingers Gleichung, Ideen für eigene KI-Anwendungen aus dem Vergleich der Ansätze von DeepMind und FU Berlin

• Lukas: deterministisches machine learning mit mlf-core und mlflow

• Ihr könnt noch Vorträge vorschlagen

Meldet euch, wenn ihr etwas vorstellen wollt. Das kann etwas sein mit dem ihr euch aktuell beschäftigt, ein Problem das ihr lösen möchtet oder auch ein Plug für etwas. Es sollte etwas mit machine-learning zu tun haben.

Wir werden Zoom verwenden.

Wann:

19. Januar 2021 um 18:30

Wo:

virtuell. Zoom.

Bitte meldet euch an unter:

https://www.meetup.com/Machine-Learning-UserGroup-Stuttgart

Protokoll

Intro

Das Ziel der MLUGS ist der Austausch über Machine-Learning-Themen. Keine Vorträge, die besser bei Youtube aufgehoben wären, sondern Diskussion zum jeweiligen Thema.

Teilnehmer

• Andreas, Software-Entwickler, AX-Semantics
• Uwe, laser com in space, ST2C
• Tin, Software-Entwickler, TBS AI
• Thomas, Data Scientist, Schwarz Dienstleistungen

• Thomas, Algorithmen-Entwickler, AP Sensing

• + 5 weitere

Andreas Graf: Requirements Traceability and Open Source Natural Language Processing

Abgesagt, wird nachgeholt

Tin: Detectron2

• https://github.com/facebookresearch/detectron2
• https://ai.facebook.com/blog/-detectron2-a-pytorch-based-modular-object-detection-library-/
• lief nur auf Google Colab einfach
• installation braucht c-compiler

Uwe: Adaptive Optik mit Machine Learning, Problemvorstellung

• seit eingen Jahren wird satellitenkommunikation produktiv genutzt
• problem: atmospherische störungen entfernen
• approaches: resnet/inception v3 ODER unet/unet++

Andreas: Hyperparameter optimization using Weights & Biases

• W&B: https://wandb.ai/

• free for single user - private or public

• lib to use in pytorch: https://github.com/wandb/client

• docs: https://docs.wandb.com/sweeps/configuration

• the AllenNLP addon: https://github.com/dhruvdcoder/wandb-allennlp/

• in AllenNLP add the callback to your configuration:

{
  "trainer": {
    "epoch_callbacks": [
      {
        "type": "log_metrics_to_wandb"
      }
    ],
   }
}

• popular alternative https://optuna.org/
• good talk about Optuna last week on PyTorch Developer Day: "Hyperparameter Importance"

misc

• torch for R: https://torch.mlverse.org/
• PyTorch Developer Day 2020 Videos irgendwann vorauss. auf: https://www.youtube.com/c/PyTorch/playlists

next

• date: 2021-01-19
• talks:
• (meldet euch wenn ihr Vorträge habt!)

Auch im November findet ein virtuelles MLUGS-Treffen statt.

Vorträge (10-15 Minuten/Vortrag):

• Andreas Graf: Requirements Traceability and Open Source Natural Language Processing
• Tin: Detectron2
• Uwe: Adaptive Optik mit Machine Learning, Problemvorstellung
• Andreas: Hyperparameter optimization using Weights & Biases

Meldet euch, wenn ihr etwas vorstellen wollt. Das kann etwas sein mit dem ihr euch aktuell beschäftigt, ein Problem das ihr lösen möchtet oder auch ein Plug für etwas. Es sollte etwas mit machine-learning zu tun haben.

Wir werden Zoom verwenden.

Wann:

17. November 2020 um 18:30

Wo:

virtuell. Zoom.

Bitte meldet euch an unter:

https://www.meetup.com/Machine-Learning-UserGroup-Stuttgart

Protokoll

Intro

Das Ziel der MLUGS ist der Austausch über Machine-Learning-Themen. Keine Vorträge, die besser bei Youtube aufgehoben wären, sondern Diskussion zum jeweiligen Thema.

Teilnehmer

• Andreas, Software-Entwickler, AX-Semantics
• Uwe, ST2C, Laser comm in space
• Philipp, ML-Engineer & start-up co-founder

• Jens, Data Scientist, AKKA

• + 5 weitere

Andreas: Hosting of ML models

AWS ECS (Fargate)

• expensive: 10+$/month (0.25cpu / 1GB ram) | 27$/month (0.5cpu / 4GB ram)
• min 0.25cpu possible
• max 30GB possible
• deployment can be tricky when reproducable (cloudformation)
• when running - low maintenance
• examples:
  • https://compound-split.research.qax.io/docs

Google Cloud Run (GCR)

• zero downscaling option -> "cheap"
• needs to boot every time -> startup time can be a few seconds when cold
• 2GB limit for managed option
• for more memory: GKE - complicated to setup - expensive to run
• really easy to deploy

gcloud builds submit --tag eu.gcr.io/<PROJECT_ID>/compound-split
gcloud run deploy compound-split --image eu.gcr.io/<PROJECT_ID>/compound-split --allow-unauthenticated --memory=1G

• 300$ credit in the first year and enough free credits to run low usage GCR services free after that
• examples:
  • https://compound-split-ejn6yf4k4q-ez.a.run.app/docs

Hetzner VPS

• the cheapest option: 3€+/month (2GB ram) | 60€/month (30GB ram)
• you have to maintain everything. including linux
• you have to add SSL
• automated deployments can be hard

Paperspace gradient deployments

• expensive: $12+/month (+ possible usage)
• needs G1 plan
• free old GPUs (with time limits)
• managed
• https://gradient.paperspace.com/pricing
• google for "paperspace promo code" to get 10$ credit!

Floydhub model serving

• expensive: cpu usage (~1$/h)
• easy to use
• managed
• https://docs.floydhub.com/guides/serving/

Uwe: Buchbesprechung "Deep learning for Coder with fastai & PyTorch"

• das Buch: https://github.com/fastai/fastbook

• Notebooks / Kurs: https://course.fast.ai/

• das erste Kapitel ist sehr praxisorientiert um schnell eine gute Lösung im Unternehmen zu haben

• trainiert erst ein Modell und schaut euch dann die Fehler an, die es gemacht hat und bereinigt erst dann die Daten (falls nötig)
• Deployment-Beispiele mit Voila auf Heroku
• cropping/presizing von Bildern in der GPU
• Anschauen: learning-rate-finder

• hintere layers bekommen größere learning-rate

• Podcast mit Jeremy Howard: https://lexfridman.com/jeremy-howard/

next

• date: 2020-11-17
• talks:
• (meldet euch wenn ihr Vorträge habt!)