-
Bericht (virtuelles) MLUGS Treffen im Januar 2021
19. January 2021
Protokoll
Intro
Das Ziel der MLUGS ist der Austausch über Machine-Learning-Themen. Keine Vorträge, die besser bei Youtube aufgehoben wären, sondern Diskussion zum jeweiligen Thema.
Teilnehmer
- Andreas, Software-Entwickler, AX-Semantics
- Uwe Sterr, ST2C, laser comm in space
- Lukas Mocek, Mechatroniker, Wirtschaftsingenieur, Sensor.Community
- Tin Votan, Software-Entwickler, The Black Swan AI
- Jens, Data-Scientist, AKKA, Stuttgart
- Dag Tanneberg, Projektmanager & Quantitative Social Scientist, Ebner Stolz Stuttgart
- Frank Stöckel, Coach/Consultant, HOOD GmbH Oberhaching / bei München
+2
Tin: AlphaFold 2
- https://deepmind.com/blog/article/alphafold-a-solution-to-a-50-year-old-grand-challenge-in-biology
- protein folding problem: vorhersage, ob 3d-faltung richtig gefaltet wurde
- Wettbewerb: https://en.wikipedia.org/wiki/CASP
- It will change everything (Nature article)
- model part: 2d ResNet (128 dimensions)
- https://github.com/deepmind/deepmind-research/tree/master/alphafold_casp13
- alternative implementation: https://github.com/Urinx/alphafold_pytorch
Uwe: Künstliche Intelligenz löst Schrödingers Gleichung, Ideen für eigene KI-Anwendungen aus dem Vergleich der Ansätze von DeepMind und FU Berlin
- http://machinelearningintro.uwesterr.de/Schroedinger.html
- FermiNet
- zweiter Ansatz: etwas schlechter, dafür viel weniger GPU, etwas mehr fixes Wissen
- Out of the box thinking use cases of machine learning
- Fundamental limits from chaos on instability time predictions in compact planetary systems
- Global Optimization Methods for SPICE Model Parameter Extraction
Andreas: BLEURT - Bilingual Evaluation Understudy with Representations from Transformers
- Paper: https://www.aclweb.org/anthology/2020.acl-main.704.pdf
- Code: https://github.com/google-research/bleurt
- Metrik für Text-Generierung
- Viel besser als BLEU (bisheriger Standard) - vor allem bessere Korrelation mit human-evaluation
- Api zum rumspielen (für ein paar Tage): https://bleurt-ejn6yf4k4q-ez.a.run.app/docs#/default/score__post
Lukas: deterministisches machine learning mit mlf-core und mlflow
- fand nicht statt - vielleicht ja nächstes mal?
- Einordnung von mlf-core zu Weights&Biases und zu Tensorboard: https://miro.medium.com/max/700/1*O39XZvLdmZItTWQQ9KpLDw.png
next
- date: 2021-02-16
- talks:
- (meldet euch wenn ihr Vorträge habt!)
-
virtuelles MLUGS Treffen im Januar 2021
13. January 2021
Auch im Januar findet ein virtuelles MLUGS-Treffen statt.
Vorträge (10-15 Minuten/Vortrag):
- Tin: AlphaFold
- Uwe: Künstliche Intelligenz löst Schrödingers Gleichung, Ideen für eigene KI-Anwendungen aus dem Vergleich der Ansätze von DeepMind und FU Berlin
-
Lukas: deterministisches machine learning mit mlf-core und mlflow
-
Ihr könnt noch Vorträge vorschlagen
Meldet euch, wenn ihr etwas vorstellen wollt. Das kann etwas sein mit dem ihr euch aktuell beschäftigt, ein Problem das ihr lösen möchtet oder auch ein Plug für etwas. Es sollte etwas mit machine-learning zu tun haben.
Wir werden Zoom verwenden.
Wann:
19. Januar 2021 um 18:30
Wo:
virtuell. Zoom.
Bitte meldet euch an unter:
-
Bericht (virtuelles) MLUGS Treffen im November 2020
17. November 2020
Protokoll
Intro
Das Ziel der MLUGS ist der Austausch über Machine-Learning-Themen. Keine Vorträge, die besser bei Youtube aufgehoben wären, sondern Diskussion zum jeweiligen Thema.
Teilnehmer
- Andreas, Software-Entwickler, AX-Semantics
- Uwe, laser com in space, ST2C
- Tin, Software-Entwickler, TBS AI
- Thomas, Data Scientist, Schwarz Dienstleistungen
-
Thomas, Algorithmen-Entwickler, AP Sensing
-
+ 5 weitere
Andreas Graf: Requirements Traceability and Open Source Natural Language Processing
Abgesagt, wird nachgeholt
Tin: Detectron2
- https://github.com/facebookresearch/detectron2
- https://ai.facebook.com/blog/-detectron2-a-pytorch-based-modular-object-detection-library-/
- lief nur auf Google Colab einfach
- installation braucht c-compiler
Uwe: Adaptive Optik mit Machine Learning, Problemvorstellung
- seit eingen Jahren wird satellitenkommunikation produktiv genutzt
- problem: atmospherische störungen entfernen
- approaches: resnet/inception v3 ODER unet/unet++
Andreas: Hyperparameter optimization using Weights & Biases
- W&B: https://wandb.ai/
-
free for single user - private or public
-
lib to use in pytorch: https://github.com/wandb/client
- docs: https://docs.wandb.com/sweeps/configuration
-
the AllenNLP addon: https://github.com/dhruvdcoder/wandb-allennlp/
-
in AllenNLP add the callback to your configuration:
{ "trainer": { "epoch_callbacks": [ { "type": "log_metrics_to_wandb" } ], } }
- popular alternative https://optuna.org/
- good talk about Optuna last week on PyTorch Developer Day: "Hyperparameter Importance"
misc
- torch for R: https://torch.mlverse.org/
- PyTorch Developer Day 2020 Videos irgendwann vorauss. auf: https://www.youtube.com/c/PyTorch/playlists
next
- date: 2021-01-19
- talks:
- (meldet euch wenn ihr Vorträge habt!)
-
virtuelles MLUGS Treffen im November 2020
26. October 2020
Auch im November findet ein virtuelles MLUGS-Treffen statt.
Vorträge (10-15 Minuten/Vortrag):
- Andreas Graf: Requirements Traceability and Open Source Natural Language Processing
- Tin: Detectron2
- Uwe: Adaptive Optik mit Machine Learning, Problemvorstellung
- Andreas: Hyperparameter optimization using Weights & Biases
Meldet euch, wenn ihr etwas vorstellen wollt. Das kann etwas sein mit dem ihr euch aktuell beschäftigt, ein Problem das ihr lösen möchtet oder auch ein Plug für etwas. Es sollte etwas mit machine-learning zu tun haben.
Wir werden Zoom verwenden.
Wann:
17. November 2020 um 18:30
Wo:
virtuell. Zoom.
Bitte meldet euch an unter:
-
Bericht (virtuelles) MLUGS Treffen im Oktober 2020
20. October 2020
Protokoll
Intro
Das Ziel der MLUGS ist der Austausch über Machine-Learning-Themen. Keine Vorträge, die besser bei Youtube aufgehoben wären, sondern Diskussion zum jeweiligen Thema.
Teilnehmer
- Andreas, Software-Entwickler, AX-Semantics
- Uwe, ST2C, Laser comm in space
- Philipp, ML-Engineer & start-up co-founder
-
Jens, Data Scientist, AKKA
-
+ 5 weitere
Andreas: Hosting of ML models
AWS ECS (Fargate)
- expensive: 10+$/month (0.25cpu / 1GB ram) | 27$/month (0.5cpu / 4GB ram)
- min 0.25cpu possible
- max 30GB possible
- deployment can be tricky when reproducable (cloudformation)
- when running - low maintenance
- examples:
Google Cloud Run (GCR)
- zero downscaling option -> "cheap"
- needs to boot every time -> startup time can be a few seconds when cold
- 2GB limit for managed option
- for more memory: GKE - complicated to setup - expensive to run
- really easy to deploy
gcloud builds submit --tag eu.gcr.io/<PROJECT_ID>/compound-split gcloud run deploy compound-split --image eu.gcr.io/<PROJECT_ID>/compound-split --allow-unauthenticated --memory=1G
- 300$ credit in the first year and enough free credits to run low usage GCR services free after that
- examples:
Hetzner VPS
- the cheapest option: 3€+/month (2GB ram) | 60€/month (30GB ram)
- you have to maintain everything. including linux
- you have to add SSL
- automated deployments can be hard
Paperspace gradient deployments
- expensive: $12+/month (+ possible usage)
- needs G1 plan
- free old GPUs (with time limits)
- managed
- https://gradient.paperspace.com/pricing
- google for "paperspace promo code" to get 10$ credit!
Floydhub model serving
- expensive: cpu usage (~1$/h)
- easy to use
- managed
- https://docs.floydhub.com/guides/serving/
Uwe: Buchbesprechung "Deep learning for Coder with fastai & PyTorch"
- das Buch: https://github.com/fastai/fastbook
-
Notebooks / Kurs: https://course.fast.ai/
-
das erste Kapitel ist sehr praxisorientiert um schnell eine gute Lösung im Unternehmen zu haben
- trainiert erst ein Modell und schaut euch dann die Fehler an, die es gemacht hat und bereinigt erst dann die Daten (falls nötig)
- Deployment-Beispiele mit Voila auf Heroku
- cropping/presizing von Bildern in der GPU
- Anschauen: learning-rate-finder
-
hintere layers bekommen größere learning-rate
-
Podcast mit Jeremy Howard: https://lexfridman.com/jeremy-howard/
next
- date: 2020-11-17
- talks:
- (meldet euch wenn ihr Vorträge habt!)
-
virtuelles MLUGS Treffen im Oktober 2020
28. September 2020
Auch im Oktober findet ein virtuelles MLUGS-Treffen statt.
Vorträge (10-15 Minuten/Vortrag):
- Andreas: Hosting of ML models
- Uwe: Buchbesprechung "Deep learning for Coder with fastai & PyTorch"
Meldet euch, wenn ihr etwas vorstellen wollt. Das kann etwas sein mit dem ihr euch aktuell beschäftigt, ein Problem das ihr lösen möchtet oder auch ein Plug für etwas. Es sollte etwas mit machine-learning zu tun haben.
Wir werden Zoom verwenden.
Wann:
20. Oktober 2020 um 18:30
Wo:
virtuell. Zoom.
Bitte meldet euch an unter:
-
Bericht (virtuelles) MLUGS Treffen im September 2020
15. September 2020
Protokoll
Intro
Das Ziel der MLUGS ist der Austausch über Machine-Learning-Themen. Keine Vorträge, die besser bei Youtube aufgehoben wären, sondern Diskussion zum jeweiligen Thema.
Teilnehmer
- Andreas, Software-Entwickler, AX-Semantics
- Thomas, Data Scientist
- Lukas, Mechatronik & SupplyChain, Sensor.Community
- David, Analytics Engineer
- Steffen, Data Driven Visuals, Brands and Spaces
Andreas: GPT2 für nicht-Englisch zu trainieren
Slides / Notebook: https://github.com/mfa/talks/blob/master/20200915--train-GPT2-not-in-English/slides.ipynb
Thomas: Mensa-Bezahlung überprüfen
- mit camera das Essen filmen
- Damit überprüfen ob das richtige bezahlt wird
- verwendet yolov3 + vgg16
- trainingsdaten manuell annotiert: 40-60 bilder / zu erkennendes objekt
- wird weiter entwickelt: next viewshot detection
Steffen: Möbelszenenvisualisierung
next
- machen wir das jetzt (wieder) regelmässig? ja
- müssen die Vorträge besser geplant werden? mglw. nötig bei mehr Teilnehmern
- date: 2020-10-20
-
talks:
- Andreas: Hosting of ML models
- ??
-
virtuelles MLUGS Treffen im September 2020
17. August 2020
Wir versuchen nach der Corona-Pause den virtuellen Neustart der MLUGS.
Der Plan für diesen Termin ist, jede/r (die/der möchte) stellt in 5-10 Minuten etwas vor.
Das kann etwas sein mit dem man sich aktuell beschäftigt, ein Problem das man lösen möchte oder auch ein Plug für etwas.
Es sollte allerdings schon mit machine-learning zu tun haben.
Z.B. könnte ich von meinen Versuchen berichten, GPT2 für nicht-Englisch zu trainieren.Wir werden Zoom verwenden und der Link wird (auf Meetup) rechtzeitig ergänzt.
Wann:
15. September 2020 um 18:30
Wo:
virtuell. Zoom.
Bitte meldet euch an unter:
-
CANCELED: MLUGS Treffen im März 2020
20. February 2020
Unser 35. Treffen ist am Dienstag, dem 17.03.2020 in der Marienstrasse 23 bei AX Semantics.
Language: German only.
Themen:
Tin: recap vfb-hackathon
YOLO v3 Darknet nachtrainiert und angewendet
Andreas: sigmorphon 2020
encoder-decoder shared-task(s) - erste exploration
Wir suchen weitere Vorträge
Wann:
17. März 2020 um 18:30
Wo:
Marienstrasse 23, Stuttgart, AX Semantics (2. OG)
Bitte meldet euch an unter:
-
Bericht MLUGS Treffen im Februar 2020
18. February 2020
Protokoll
Vorstellungsrunde
- Tin, DHBW-Dozent
- Andreas, Software-Entwickler, AX-Semantics
- Frank, mlugs-Gründer
- Daniel, Wirtschaft-Informatiker / IT-Berufe-Ausbilder, Trumpf
- Ioana, Bosch-Rexrodt, IOT
- Jörg, Data-Engineer, Bosch
- Romeo, Rust-Meetup-Organizer, will KI mit SAP nutzen
- Andreas, Software-Entwickler, WGV
- Uwe, macht Raumfahrt, ST2C
- Stefan, ML-Berater, Deloitte
- Simon, Mathematiker, macht seit 2015 ML
+2 Nachzügler
Uwe: Kaggle Survey
- Kaggle bietet datasets und problemstellungen
- sinn der survey: was wird so benutzt, welche platformen
- häufigste algorithmen: linear / logistic regression; decision tree/random tree; gradient boosting
podcasts:
online-kurse:
- viel coursera
- kaggle lean
- udemy
- fast.ai
weitere automated ML (nicht in der liste):
Slides von Uwe: http://machinelearningintro.uwesterr.de/KaggleSurvey.html
Tin: Adversarial-ML hacking NNs
Hacking NNs mit FGSM
- panda beispiel: panda bild + X wird als Gibbon erkannt
- https://www.tensorflow.org/tutorials/generative/adversarial_fgsm
- https://pytorch.org/tutorials/beginner/fgsm_tutorial.html
- https://github.com/IBM/adversarial-robustness-toolbox
slides: https://github.com/tvotan/mlugs_adversarial_ml/blob/master/mlugs_adversarial_ml.pdf
misc
-
meetup zu chatbots: https://www.meetup.com/ChatbotStuttgart/events/267929038/
-
tesseract-ocr ist gut: https://github.com/tesseract-ocr/tesseract
-
gute blogposts zu opencv: https://www.pyimagesearch.com/
-
numpy/pandas in schnell mit Rust: https://www.weld.rs/
- python-regex in schnell mit Rust: https://github.com/davidblewett/rure-python
next
- Date: 2020-03-17
- Themen:
- Tin: recap vfb-hackathon - https://www.vfb-hackathon.de/de
- (bitte meldet euch, wenn ihr einen Vortrag habt)