MLUGS

Im November findet endlich wieder eine MLUGS statt.

Diesmal mit Thundertalks (max 10-15 Minuten pro Talk).

Aktuell geplante Talks:

• Andreas: "Longest Common Sequence"
• Christian: "Room Inpainting: Add furniture to pictures of empty flats"
• (gerne weitere - meldet euch)

Wir planen die Talks auch via Zoom zu streamen. Link per mail an die Teilnehmer im Laufe des 21.11..

Wann:

21. November 2023 um 18:30

Wo:

• Nordbahnhofstrasse 115, 4.OG, Stuttgart

Bitte meldet euch an unter:

https://www.meetup.com/Machine-Learning-UserGroup-Stuttgart

Protokoll

Andreas M.: Rechenzeit in die Cloud verlegen

Warum?

• Der eigene PC/Notebook wird für etwas anderes gebraucht
• Es würde einfach zu lange dauern

Option 1: Virtual private server

AWS: EC2

• Instanzarten: https://instances.vantage.sh/?region=eu-west-1
• von "Hand" starten, AMI auswählen, SSH-Key runterladen; starten
• einloggen mit "ssh -i cert.pem ec2-aa-bb-cc-dd.eu-west-1.compute.amazonaws.com"

S3:

• daten von S3 holen: s3cmd oder aws-cli-v2
• script ausführen; am Ende ergebnisse wieder zu S3; danach shutdown ausführen

EBS Volume:

• volume mounten und ergebnisse + daten auf das volume; am ende des scripts trotzdem shutdown
• server wieder starten, um ergebisse via ssh runterzuladen

Pro/Cons:

• Vorteile: freies konfigurieren von CPU/Disk, GPUs und ARM möglich, S3 traffic kostet nichts wenn in der selben Region
• Nachteile: eher komplex, weil viele Möglichkeiten

Hetzner VPS

• https://www.hetzner.com/cloud
• auch von Hand, wie bei AWS
• Storage pro VPS skaliert mit cpus/memory. mglw. also genug für den Job
• auch hier via script am Ende shutdownen

Pro/Cons:

• Vorteile: billiger, weniger Enterprisy, sehr aufgeräumt, arm64
• Nachteile: (noch) keine GPUs

andere

• Google Cloud Compute: relativ ähnlich zu AWS
• Paperspace: primär für GPUs
• Azure
• Digital Ocean
• jeder hoster da draussen

Option 2: Compute/Training task als Job laufen lassen

Github Actions

• https://docs.github.com/en/actions
• Was: kostenlos wenn public; 2000 freiminuten wenn private; ergebnisse einfach ins repo comitten; gibt auch windows als OS
• Wann: der Job sollte nicht zu lange laufen (max 6h) und cpu/memory ist nicht steuerbar
• Beispiel: https://github.com/mfa/waterlevel-bw

Google Cloud Run Jobs

• https://codelabs.developers.google.com/codelabs/codelabs/cloud-run-jobs
• Was: einen Container ausführen, darin kann ein Script sein, Umgebung ist definierbar
• Wann: Wenn der Job relativ häufig laufen soll, aber nicht in eine GH Action passt
• Beispiel: --

AWS CodeBuild

• https://docs.aws.amazon.com/codebuild/latest/userguide/concepts.html
• Was: eigentlich für build/test-Umgebungen, aber kann natürlich jede Art von Script sein
• Wann: ähnlich GH Actions, viel mehr Konfigurationsmöglichkeiten
• Beispiel: (internes tooling @AX)

AWS Sagemaker

• https://aws.amazon.com/sagemaker/train
• Was: trainieren von models
• Wann: wenn man GPUs braucht; oder sehr viel CPU/Memory
• Beispiel: --

fly.io machines

• https://fly.io/docs/machines/guides-examples/functions-with-machines/
• Was: via Dockerfile konfigurierte Maschine, volle Kontrolle über alles
• Wann: Lust auf bleeding-edge server ohne system maintenance
• Beispiel: https://madflex.de/run-a-compute-job-on-fly-io/

Andreas H. - Satellitenhelligkeit in Frames von Bildern bestimmen

• die Rechenaufgabe, die der Aufhänger für den ersten Talk war
• viele Minuten Video, 25fps, 1 Minute processing pro Frame
• wahrscheinlich wird es Hetzner um die ca. 10 Tage zu rechnen
• https://mastodon.social/@andreashornig/109321769511881072

next

• 2023-05-16

  • wir suchen Vorträge

Im April findet wieder ein virtuelles MLUGS-Treffen statt.

Zu Beginn einen Vortrag, danach Diskussion und Austausch. Ende spätestens um 20 Uhr.

Andreas: Rechenjobs in die Cloud auslagern

Wir werden Zoom verwenden.

Wann:

18. April 2023 um 18:30

Wo:

virtuell. Zoom.

Bitte meldet euch an unter:

https://www.meetup.com/Machine-Learning-UserGroup-Stuttgart

Protokoll

6 anwesende Teilnehmende

Allgemeine Diskussion zu Large-Language-Models

• Dissociating Language and Thought in Large Language Models: A Cognitive Perspective
• https://de.wikipedia.org/wiki/Henry_Gustav_Molaison
• Syllable frequency effects in a context-sensitive segment production model

next

• 2023-04-18

  • wir suchen Vorträge

Im März findet ein MLUGS-Treffen in der Marienstrasse 23 in Stuttgart statt. Wir werden zusätzlich den Vortrag auf Zoom streamen.

Zu Beginn einen Vortrag, danach Diskussion und Austausch.

Tin: video super resolution

Wann:

21. März 2023 um 18:30

Wo:

• Marienstrasse 23, 2.OG, Stuttgart
• virtuell Zoom.

Bitte meldet euch an unter:

https://www.meetup.com/Machine-Learning-UserGroup-Stuttgart

Protokoll

Christian: Wie GPT funktioniert

1. Jay Alammar's GPT blog posts

   • Alammar: Illustrated GPT-2
   • Alammar: How GPT-3 works

2. Andrej Karpathy's nanoGPT implementation

   • Karpathy: nanoGPT

Additional Links

• GPT architecture
• Original GPT paper
• Original GPT blog post by OpenAI
• ChatGPT blog post by OpenAI
• GPT-2 blog post by OpenAI
• Video Tutorial on nanoGPT by Karpathy
• CS224n Self-Attention and Transformers
• CS224n Transformers and Pretraining

next

• 2023-03-21

  • in-person in Stuttgart (Marienstrasse 23)
  • Tin hält einen Vortrag zu video super resolution

Im Februar findet wieder ein virtuelles MLUGS-Treffen statt.

Zu Beginn einen Vortrag, danach Diskussion und Austausch. Ende spätestens um 20 Uhr.

Christian: Wie GPT funktioniert

Wir werden Zoom verwenden.

Wann:

21. Februar 2023 um 18:30

Wo:

virtuell. Zoom.

Bitte meldet euch an unter:

https://www.meetup.com/Machine-Learning-UserGroup-Stuttgart

Protokoll

Andreas: ChatGPT: Demo, Einordnung and Discussion

Why?

• Does chatGPT solve Natural Language Generation? is this game over for AX?

• current hype (we had hypes the last years for GPT-2 and GPT-3, too)

chatGPT Background

• summary:
  Autoregressive model trained on guessing the next token;
  optimized for dialogs by adding a reward model

• successor of InstructGPT, using GPT3.5:
  https://beta.openai.com/docs/model-index-for-researchers/models-featured-in-openai-research

• blog post: https://openai.com/blog/chatgpt/

• latest paper from OpenAI about InstructGPT:
  Training language models to follow instructions with human feedback

• "easy" to follow GPT-2 implementation: https://github.com/karpathy/nanoGPT

chatGPT Demo

when still possible: https://chat.openai.com/chat

if not, some examples:

• Tell me about the Pixel 4a in German:
  https://paste.madflex.de/nuWQdMru/+inline (2022-12-18)

• Tell me about the Pixel 4a in German like I am 5:
  https://paste.madflex.de/MivgsN24/+inline (2022-12-18)

• Please tell me something about the black Pier One Jumper in Latin:
  https://paste.madflex.de/EpFoeczy/+inline (2023-01-12)

• (German product description for a (generated) dataset):
  https://paste.madflex.de/AugkjcXf/+inline (2023-01-02)

• How many letters in word "five"?
  https://troet.cafe/@MrLaCave/109677109019794666

• In 1971, Terry Winograd devised the Winograd Schemas, simple sentence understanding tasks that require the use of knowledge and commonsense reasoning. https://hci.social/@Mor/109631432389618519

• Schreibe mir einen Limerick für Solarzellen:
  https://paste.madflex.de/G6MbY22q/+inline (2023-01-17)

• Schreibe mir diesen Text als Rap: https://www.heise.de/meinung/Kommentar-zu-ChatGPT-Keine-Intelligenz-keine-Panik-7392906.html
  https://paste.madflex.de/wjnW2WiY/+inline (2023-01-17)

Einordnung / Classification

• Kommentar: ChatGPT – keine Intelligenz, keine Panik! (German)

Dennoch ist Angst fehl am Platz:
Das System ist ein großer Schritt für Sprachmodelle, bleibt aber fern von einer KI-Revolution.
Ein starker Algorithmus, aber nach wie vor keine Intelligenz. Also kein Grund zur Panik.

• All-knowing machines are a fantasy

The idea of an all-knowing computer program comes from science fiction and should stay there.
Despite the seductive fluency of ChatGPT and other language models, they remain unsuitable as sources of knowledge.
We must fight against the instinct to trust a human-sounding machine, argue Emily M. Bender & Chirag Shah.

• Was ein Chatbot über unser Denken verrät (German)

… generierten Texte sind nur selten völliger Unsinn, oft aber auf merkwürdige Weise nebulös und unverbindlich,
als versuchte jemand, kompetenter zu erscheinen, als er oder sie ist. …

• scholar.social/@davidschlangen/109653127052540978

With ChatGPT, we’ve reached the landfill capitalism stage of AI. Throw something on the market that only works if others
clean up. What Bolt, Tier, etc and their scooter are doing with cities, OpenAI are doing with the information landscape.

• Wissing gegen mehr KI-Regulierung (German)

„Mit der kommenden Generation des KI-Sprachmodells GPT-4 werden Dinge möglich, die unser Leben verändern werden“,
sagte Wissing.

Discussion

• Does chatGPT solve Natural Language Generation and all companies in the field are doomed?

No.
The model has no actual concept of the world.
It stitches in a quite good sounding way text chunks
together without actual semantics or pragmatics.

• Is ChatGPT actually helpful?

Yes and No.
Yes, if you (the reader) can distinguish correct parts of the text from wrong parts.
If you cannot, than the text is a trap!

• How we talk about AI, illustrate AI

  • https://betterimagesofai.org/

  • Deanthropomorphising NLP: Can a Language Model Be Conscious?

• Meta

  • Ebook: Schummeln mit ChatGPT: Eine Anleitung für Schreibfaule in Schule, Uni und Beruf

next

• 2023-02-21

  • mglw. in-person in Stuttgart
  • wir suchen Vorträge!

Im Januar findet wieder ein virtuelles MLUGS-Treffen statt.

Zu Beginn einen Vortrag, danach Diskussion und Austausch. Ende spätestens um 20 Uhr.

Andreas: ChatGPT Demo, Einordnung und Diskussion

Wir werden Zoom verwenden.

Wann:

17. Januar 2023 um 18:30

Wo:

virtuell. Zoom.

Bitte meldet euch an unter:

https://www.meetup.com/Machine-Learning-UserGroup-Stuttgart

Im November findet wieder ein virtuelles MLUGS-Treffen statt.

Zu Beginn einen Vortrag, danach Diskussion und Austausch. Ende spätestens um 20 Uhr.

Andreas: Data2text Vorschläge erzeugen mit T5-conditional-generation

Wir werden Zoom verwenden.

Wann:

15. November 2022 um 18:30

Wo:

virtuell. Zoom.

Bitte meldet euch an unter:

https://www.meetup.com/Machine-Learning-UserGroup-Stuttgart