MLUGS

  1. Bericht MLUGS Treffen im April 2018

    17. April 2018

    Protokoll

    Vorstellungsrunde

    • Andreas, Software-Entwickler, AX Semantics
    • Alessia, hat Kognitionswissenschaften studiert
    • Katja, macht ML, Finanzen
    • Tobias, Conversional
    • Markus, Applications-Ing, Mathworks
    • Barbara, macht steno
    • Enrique, Entwickler, Mimacom
    • Michael, Software-Entwickler, AX Semantics

    +1 Nachzügler

    Learnings aus dem Erstellen eines Ordering-Sequence-Models (Andreas Madsack)

    • wir haben hier mitgemacht: http://taln.upf.edu/pages/msr2018-ws/SRST.html
    • Aufgabe bearbeitet. Lösung abgegeben. Aber keine guten Ergebnisse
    • Viel gelernt, Setup für Teilnahme an Workshops gebaut
    • Ziel: sequence-Models auf andere Probleme anwenden.

    News

    Konferenzen

    • Auf dieser Website gibt es eine Liste mit Konferenzen in Europa. Wem mehr bekannt sind möge diese bitte ergänzen. Wer Konferenzen empfehlen oder davon berichten kann, ist herzlich eingeladen, dies bei einem unserer Treffen zu tun. Es spielt dabei keine Rolle ob in 5 Minuten oder 1 Stunde berichtet wird, jeder Beitrag ist gerne gesehen.
    • Die Registrierung für die International Conference on Machine Learning (ICML) ist seit dem 2018-04-16 möglich.

    Meetups

    Folgende Meetups (o. ä.) finden in nächster Zeit im Raum Stuttgart statt und beschäftigen sich mit Machine Learning oder einem nahen Feld wie beispielsweise Data Science:

    Berichte von den Meetups sind bei den Treffen im Mai oder Juni gerne gesehen.

    Paper

    Blog posts

    Bücher

    General News

    • KI-System vermehrt sich selbst, um effizienter zu werden, Paper, Golem
    • Deepmind zerstört neuronale Netze, um sie zu verstehen, Deepmind, Golem
    • Linux Foundation startet Projekt für Open-Source-KI, Golem
    • Baidu zeigt Übersetzungsgerät für unterwegs, Golem
    • Google-Mitarbeiter protestieren gegen Militärprojekt Maven, Golem
    • Initiative Applied AI: KI verstehen und ihren Gesellschaftseinfluss diskutieren, Golem
    • Eine künstliche Intelligenz als Bürgermeister (4000 Stimmen, Platz 3), Golem
    • Forscher lernen KI mit Hilfe eines Hundes an, Paper, Golem
    • Google AIY Vision und Voice: Tensorflow-KI und Raspberry Pi im Pappwürfel, Golem

    Sonstiges

    Problemvorstellungen

    Strings matchen

    i.e.

    # 005?Lastschrifteinzug?009500?NR6288xxxxxx AMAZON.DE LUKAUFUMSATZ05.0xxx0522???VISA AMAZON EU AMAZON.DE
# 005?Lastschrifteinzug?009500?NR6288xxxxxx AMAZON.DE LUKAUFUMSATZ16.0xxx3407???VISA AMAZON SVCS EU-DE AMAZ

    Es sollen Kostenstellen zusammen gemappt werden. Dabei unterscheiden sich meist die Rechnungsnummern. Ein Distanzmaß wie Jaro–Winkler bewertet nicht, ob der Unterschied nur die Rechnungsnummmer ist, oder der Name der buchenden Firma.

    Lösungsvorschlag: teilstrings clustern. Bevorzugt Name der buchenden Firma.

    next

    nächster Termin: 2018-05-15

  2. MLUGS Treffen im April 2018

    20. March 2018

    Unser achtzehntes Treffen ist am Dienstag, dem 17.04. in der Marienstrasse 23 bei AX Semantics.

    Language: German only.

    Thema:

    • Learnings aus dem Erstellen eines Ordering-Sequence-Models
    • Problemvorstellungsrunde der Teilnehmer

    Wann:

    17. April 2018 um 18:30

    Wo:

    Marienstrasse 23, Stuttgart-West, AX Semantics (1. OG)

    Bitte meldet euch an unter:

    https://www.meetup.com/Machine-Learning-UserGroup-Stuttgart

  3. Bericht MLUGS Treffen im März 2018

    20. March 2018

    Protokoll

    Vorstellungsrunde

    • Andreas, Software-Entwickler, AX Semantics
    • Arne, Software-Entwickler, selbständig
    • Frank, sucht neue Mitarbeiter, selbständig
    • Wilhelm, Software-Entwickler, privat ML
    • Jens, Data-Scientist, Gigatronik
    • Kevin, IT-Consultant, Novatec
    • Josip, Bsc-ant, Novatec
    • Ruben, Finanzberater, interesse an ML
    • Daniel, Informatiker, selbständig
    • Thomas, Mathematiker, privat interessiert
    • Simon, Student Politikwissenschaften
    • Gerhard, Physiker
    • Chistian, Artifician-Intelligence-Researcher, Daimler
    • Michael, Software-Entwickler, AX-Semantics
    • Tobias, Gründer, conversional

    +3 Nachzügler

    "Einführung in Sequence-to-Sequence-Modelle" von Andreas Madsack

    Links aus dem Vortrag:

    • http://colah.github.io/posts/2015-08-Understanding-LSTMs/
    • http://karpathy.github.io/2015/05/21/rnn-effectiveness/
    • Google Translate: https://arxiv.org/pdf/1609.08144.pdf
    • Addition RNN: https://github.com/keras-team/keras/blob/master/examples/addition_rnn.py
    • Date format conversion: https://medium.com/datalogue/attention-in-keras-1892773a4f22
    • Embeddings: http://ahogrammer.com/2017/03/22/why-is-word-embeddings-important-for-natural-language-processing/
    • https://distill.pub/2016/augmented-rnns/
    • https://www.youtube.com/watch?v=IxQtK2SjWWM - Lecture 10: Neural Machine Translation and Models with Attention
    • https://explosion.ai/blog/deep-learning-formula-nlp

    News

    Nachdem während des Treffens im Februar ein paar Konferenzen vorgestellt wurden, gibt es jetzt eine Seite auf der Website mit Konferenzen in Europa. Wem weitere bekannt sind, möge diese bitte ergänzen. Berichte über besuchte Konferenzen sind gerne gesehen.

    Autonomes Fahren

    Zu dem Unfall gab es während des Treffens viel Gesprächsbedarf, aber noch wenige Fakten. Inzwischen hat die Tempe Police ein Video der Sekunden vor dem Unfall veröffentlicht. Außerdem gibt es (vermutlich mehrere) Artikel, die aufarbeiten, ob die Technik die Frau rechtzeitig hätte sehen müssen.

    Probleme

    Hardware

    NLP/NLG

    Roboter/Sport

    Sonstiges

    "Data Science at the Corporate Center of Excellence Advanced Analytics & Big Data" von Christian Drescher

    • viele kleine Kaggle-Challenges im Konzern, um herauszufinden, was man machen kann
    • Ziel bei neuen Problemen einen PoC in Wochen, nicht in Jahren
    • wenn der PoC in Betrieb geht, wird er professionalisiert
    • Data Understanding kann auch schon sehr aufschlussreich für die jeweilige Abteilung sein
    • ein AI-Sytem hat auch versteckte Wartungskosten. Es muss immer auch jemand da sein, der sich später in der Produktion kümmert

    • es werden sehr viele Daten in so einem Erprobungs-Auto gesammelt: eher so Terabyte to Exabyte

    • https://arxiv.org/abs/1510.09033

    next

    Termin: 2018-04-17

    Themen: bitte in den Kommentaren oder per Email vorschlagen

  4. MLUGS Treffen im März 2018

    21. February 2018

    Unser siebzehntes Treffen ist am Dienstag, dem 20.03. in der Marienstrasse 23 bei AX Semantics (aexea).

    Language: German only.

    Thema:

    • Vortrag: "Einführung in Sequence-to-Sequence-Modelle" von Andreas Madsack
      mit praktischen Beispielen
      inklusive Verwendung in der Sprachgenerierung

    • Vortrag: "Machine Learning in einem Automobilkonzern" von Christian Drescher

    Wann:

    20. März 2018 um 18:30

    Wo:

    Marienstrasse 23, Stuttgart-West, AX Semantics (aexea) (1. OG)

    Bitte meldet euch an unter:

    https://www.meetup.com/Machine-Learning-UserGroup-Stuttgart

  5. Bericht MLUGS Treffen im Februar 2018

    20. February 2018

    Protokoll

    Vorstellungsrunde

    • Andreas, Software-Entwickler, AX Semantics
    • Uwe, Nachrichten-Techniker, St2c (Raumfahrt)
    • Qifeng, Bio-Chemie, Uni-Tübingen
    • Wilhelm, Software-Entwickler, privat
    • Jens, Data-Scientist, Gigatronic
    • Patrick, Data-Scientist, Gigatronic
    • Michael, Software-Entwickler, AX Semantics
    • Omkar, Mechanik, Uni-Stuttgart
    • Markus, Applikations-Ing, Mathworks
    • Enrique, Software-Entwcickler, Mimacom
    • Jan, Entwickler, Luxflux
    • Sarah, Seo-Consultant, Diconium
    • Jörg, Berater, Detecon

    +2 Nachzügler

    Uwe Sterr - Einführung ins reinforced learning anhand einer Verkehrssimulation und eines Beispiels aus der openai gym

    Behandelte Themen: Markov Decision Process, Value Function, Q-Learning, Deep Q-Learning

    Unter https://github.com/uwesterr/Connected-Autonomous-Driving findet ihr die Mindmap zum Vortrag.

    Ziel: Was kann man mit RL lösen? Welche Probleme passen auf RL?

    Beispiel: Autosimlulation vom MIT

    Wir suchen für die Eingabe die passende Aktion, um das Ziel zu erreichen. Eine nichts-Aktion ist auch eine Aktion. Wenn die Aktion gut war, dann bekomme ich eine Belohnung. Ziel ist es die Belohnung zu maximieren.

    dabei muss auch gelernt werden, welche aktionen sehr schlecht sind. die gewichte der aktionsübergänge können dabei auch gelernt werden. RL zu trainieren dauert unter Umständen sehr lange.

    Q-Values am Beispiel von Gridworlds

    pacman spielt man indem man ein CNN vorschaltet und dessen features nimmt man. die reward-function ist teil der loss-function

    um alles zu sehen und nicht in einem lokalen minimun festzustecken, muss man hin und wieder exploration machen (irgendwas anderes machen)

    da es so lange dauert, braucht man meistens einen simulator.

    selber rumspielen mit openai: https://github.com/openai/gym

    Ziel: Was kann man mit RL lösen? Welche Probleme passen auf RL?

    https://www.alexirpan.com/2018/02/14/rl-hard.html

    AlphaGo-Film: https://www.netflix.com/title/80190844

    in gaming: - https://arxiv.org/pdf/1609.05521.pdf - https://arxiv.org/pdf/1708.04782.pdf

    News

    Conferences

    Vergangene:

    Zukunft: Liste mit Konferenzen in Europa

    Kurse/Lernmaterial

    ML/AI in der Presse

    KW 03

    KW 04

    KW 05

    KW 06

    KW 07

    KW 08

    next

    Thema: Einführung in Sequence-Models (Andreas Madsack)

    mit praktischen Beispielen und Teaser auf Verwendung in der NLG

    Date: 2018-03-20

  6. MLUGS Treffen im Februar 2018

    17. January 2018

    Unser sechzehntes Treffen ist am Dienstag, dem 20.02. in der Marienstrasse 23 bei AX Semantics (aexea).

    Language: German only.

    Thema:

    Vortrag "Einführung ins reinforced learning anhand einer Verkehrssimulation und eines Beispiels aus der openai gym" von Uwe Sterr

    Behandelte Themen: Markov Decision Process, Value Function, Q-Learning, Deep Q-Learning

    Unter https://github.com/uwesterr/Connected-Autonomous-Driving findet ihr die Mindmap zum Vortrag.

    Wir suchen noch weitere Vorträge.

    Wann:

    20. Februar 2018 um 18:30

    Wo:

    Marienstrasse 23, Stuttgart-West, AX Semantics (aexea) (1. OG)

    Bitte meldet euch an unter:

    https://www.meetup.com/Machine-Learning-UserGroup-Stuttgart

  7. Bericht MLUGS Treffen im Januar 2018

    16. January 2018

    Protokoll

    Vorstellungsrunde

    • Andreas, Software-Entwickler, AX Semantics
    • Juliane, Software-Entwickler, Daimler TSS
    • Wilhelm, Software-Entwickler, privat
    • Michael, Software-Entwickler, AX-Semantics
    • Harisyam, Master-thesis-student, Daimler
    • Tim, Webentwickler. Metazoa
    • Uwe, macht in Raumfahrt, selbständig
    • Elias, Software-Entwickler

    Andreas Madsack - Erfahrungsbericht: DeepLearning basierte Dependency Parser

    (SyntaxNet, DRAGNN, CoreNLP, Spacy)

    Slides: https://github.com/mfa/talks/blob/master/deep%20learning%20dependency%20parser/slides.md

    Uwe Sterr - Diskussion: Signalprozessierung mit machine learning

    o Methoden (NN, SVM) o Vorgehensweisen o Preprocessing (FFT, STFFT, wavelets)

    SIGNAL PROCESSING BASED SVM CLASSIFIER FOR MIXED FAULT DETECTION IN INDUCTION MOTOR http://www.jee.ro/covers/art.php?issue=WJ1343210133W500fc295dd9e6

    Support Vector Machine for Abnormal Pulse Classification http://citeseerx.ist.psu.edu/viewdoc/download?rep=rep1&type=pdf&doi=10.1.1.206.4080

    Problem 1: Motor hat ein problem. Herausfinden woran es liegt. Wavelets um lokale Ereignisse besser zu erfassen. Wavelets sind quasi wie viele Filter auf das Signal.

    Problem 2: Pulsmessung mit drei Fingern (chinesische Medizin) Wavelets um noise zu entfernen. FFT für die eigentliche Signalverarbeitung.

    Discussion: - binning in histgrams (for predictive maintenance) - clusters als labeling

    next

    für R-Freunde: https://www.meetup.com/eRfahrungsaustausch-zum-Thema-R-in-Esslingen/events/245385607/

    • next: 20.02.2018

  8. MLUGS Treffen im Januar 2018

    09. January 2018

    Unser fünfzehntes Treffen ist am Dienstag, dem 16.01. in der Marienstrasse 23 bei AX Semantics (aexea).

    Language: German only.

    Themen:

    • Andreas Madsack - Erfahrungsbericht: DeepLearning basierte Dependency Parser (SyntaxNet, DRAGNN, CoreNLP, Spacy)

    • Uwe Sterr - Diskussion: Signalprozessierung mit machine learning

      • Methoden (NN, SVM)
      • Vorgehensweisen
      • Preprocessing (FFT, STFFT, wavelets)

    • (weitere Vorschläge sind willkommen!)

    Wann:

    16. Januar 2018 um 18:30

    Wo:

    Marienstrasse 23, Stuttgart-West, AX Semantics (aexea) (1. OG)

    Bitte meldet euch an unter:

    https://www.meetup.com/Machine-Learning-UserGroup-Stuttgart

  9. Bericht MLUGS Treffen im November 2017

    21. November 2017

    Protokoll

    Vorstellungsrunde

    • Michael; AX Semantics; Software-Entwickler
    • Andreas; AX Semantics; Software-Entwickler
    • Uwe;ST2C;macht Raumfahrt
    • Wilhelm;privat;Software-Entwickler
    • Silvana;;Data-Scientist,eigentlich NLP
    • Jörg;privat;Finanz-ML

    Uwe Sterr - Entity Embeddings of Categorical Variables

    mlugs 2018

    • nächster Termin Januar
    • meetup statt letsmeet yay/nay? yay
    • Termine vorher anlegen/announcen!
    • das schwere sind die Vorträge

    Wilhelm Brasch - OCR mit Deep Learning

    • privates DL projekt
    • chinesische untertitel erkennung
    • fast alle chinesischen videos haben untertitel und diese entsprechen meist der gesprochenen Sprache
    • ziel ist es 3000 schriftzeichen zu können (als chinesischlernender)
    • trainingsset: 1000/kategorie -> 10000 kategorien -> 10mio
    • generator kann unendlich viele daten erzeugen
    • der generator mit freetype; opencv/numpy
    • wichtig am model: batchnorm; relu
    • deutliche verbesserung brachte ein streifen generator
    • aktuell 99% accuracy

    • mit sliding window über den text. viele false positives

    • plan: mehr validierungsdaten; zusätzlich zur classification noch eine zeichendetection

    • andere idee: regression head, um den hintergrund rauszufiltern

    Michael Käufl - Hidden Technical Debt in Machine Learning Systems

    • https://papers.nips.cc/paper/5656-hidden-technical-debt-in-machine-learning-systems.pdf
    • von google
    • 9 Abschnitte
    • das teure ist die Wartung nicht die Entwicklung
    • "technical dept" soll die langzeitkosten aufzeigen
    • die gefahr liegt in der "hidden technical dept"
    • ziel vom abbau der technischen schuld ist bessere wartbarkeit zu bekommen
    • change anything changes everything
    • ein feature hinzufügen/modifizieren/entfernen kann das ganze model verändern
    • correction cascades: z.b. lernen einer korrektur auf basis eines ursprungsmodels. wenn man allerdings das ursprungsmodel anpasst, dann hat man probleme mit dem darauf aufbauenden model
    • unklare consumer. visibility dept!
    • data dependencies können sich wie building dept verhalten. vor allem weil das tooling noch nicht so gut ist
    • unstable data dependencies durch versionierung/tagging lösen
    • ML anti-patterns:
    • glue code - wechsel zu anderen packages ist schwerer -> common apis verwenden/entwickeln
    • pipeline jungles - datenaufbereiten ist das häufiger
    • dead experimental codepaths
    • abstraction dept - es gibt noch keine basic abstraction für ML
    • multi-language-smell
    • prototype-smell - weiterverwendung des prototyps
    • configuration dept - häufig nachrangig behandelte konfiguration
    • wie verhalten sich manuell gewählte thresholds auf real-world-probleme und veränderungen
    • monitoring + testing: prediction bias / action limits / up-stream producers (hat sich die qualität der fremd-daten verändert?)
    • reproducibility dept

    • cultural dept: ML research vs. engineering

    • conclusion:

    • time for new algorithmus to full scale test?
    • wie schnell können neue mitarbeiter auf den aktuellen stand gebracht werden?

  10. MLUGS Treffen im November 2017

    03. November 2017

    Unser vierzehntes Treffen ist am Dienstag, dem 21.11. in der Marienstrasse 23 bei aexea.

    Themen:

    • Uwe Sterr - Entity Embeddings of Categorical Variables - https://arxiv.org/pdf/1604.06737.pdf

    • Wilhelm Brasch - OCR mit Deep Learning

    • Michael Käufl - Hidden Technical Debt in Machine Learning Systems

    Wann:

    21. November 2017 um 18:30

    Wo:

    Marienstrasse 23, Stuttgart-West, aexea (1. OG)

    Bitte meldet euch an unter:

    https://www.letsmeet.click/c/machine-learning-user-group-stuttgart