MLUGS

Protokoll

Intro

Das Ziel der MLUGS ist der Austausch über Machine-Learning-Themen. Keine Vorträge, die besser bei Youtube aufgehoben wären, sondern Diskussion zum jeweiligen Thema.

Teilnehmer

• Andreas, Software-Entwickler, AX-Semantics
• Uwe, ST2C, Laser comm in space
• Philipp, ML-Engineer & start-up co-founder

• Jens, Data Scientist, AKKA

• + 5 weitere

Andreas: Hosting of ML models

AWS ECS (Fargate)

• expensive: 10+$/month (0.25cpu / 1GB ram) | 27$/month (0.5cpu / 4GB ram)
• min 0.25cpu possible
• max 30GB possible
• deployment can be tricky when reproducable (cloudformation)
• when running - low maintenance
• examples:
  • https://compound-split.research.qax.io/docs

Google Cloud Run (GCR)

• zero downscaling option -> "cheap"
• needs to boot every time -> startup time can be a few seconds when cold
• 2GB limit for managed option
• for more memory: GKE - complicated to setup - expensive to run
• really easy to deploy

:::bash
gcloud builds submit --tag eu.gcr.io/<PROJECT_ID>/compound-split
gcloud run deploy compound-split --image eu.gcr.io/<PROJECT_ID>/compound-split --allow-unauthenticated --memory=1G

• 300$ credit in the first year and enough free credits to run low usage GCR services free after that
• examples:
  • https://compound-split-ejn6yf4k4q-ez.a.run.app/docs

Hetzner VPS

• the cheapest option: 3€+/month (2GB ram) | 60€/month (30GB ram)
• you have to maintain everything. including linux
• you have to add SSL
• automated deployments can be hard

Paperspace gradient deployments

• expensive: $12+/month (+ possible usage)
• needs G1 plan
• free old GPUs (with time limits)
• managed
• https://gradient.paperspace.com/pricing
• google for "paperspace promo code" to get 10$ credit!

Floydhub model serving

• expensive: cpu usage (~1$/h)
• easy to use
• managed
• https://docs.floydhub.com/guides/serving/

Uwe: Buchbesprechung "Deep learning for Coder with fastai & PyTorch"

• das Buch: https://github.com/fastai/fastbook

• Notebooks / Kurs: https://course.fast.ai/

• das erste Kapitel ist sehr praxisorientiert um schnell eine gute Lösung im Unternehmen zu haben

• trainiert erst ein Modell und schaut euch dann die Fehler an, die es gemacht hat und bereinigt erst dann die Daten (falls nötig)
• Deployment-Beispiele mit Voila auf Heroku
• cropping/presizing von Bildern in der GPU
• Anschauen: learning-rate-finder

• hintere layers bekommen größere learning-rate

• Podcast mit Jeremy Howard: https://lexfridman.com/jeremy-howard/

next

• date: 2020-11-17
• talks:
• (meldet euch wenn ihr Vorträge habt!)