Fachgruppe KI: Einblicke in die Advanced Machine Learning Sessions

Von der Einführung in Transformer Modelle und GPT-3 bis zu aktuellen Anwendungen von GANs – Eine kurze Zusammenfassung unserer vergangenen Fachgruppentreffen im Rahmen des Kiel.AI Meetups mit Links zu den Ressourcen der Vorträge.

Rückblick Dezember

In unseren ersten beiden Meetups im Dezember letzten Jahres haben wir einen Blick auf OpenAIs GPT-Modelle und das zugrunde liegende Transformer-Modell geworfen.

Anfang Dezember haben wir uns mit den besonderen Eigenschaften des Transformer-Modells beschäftigt, das 2017 in dem Paper Attention Is Al You Need veröffentlicht wurde. Dazu haben wir zunächst das Video Transformer Neural Networks - EXPLAINED! vorgestellt, das in nur 13 Minuten die Grundlagen des Transformers erklärt. In einem weiteren Video, NLP mit Neuronalen Netzen & Transformatoren, haben wir uns mit den Vorteilen eines Transformator-basierten Ansatzes, wie er im BERT- oder GPT-3-Modell verwendet wird, beschäftigt. Für weitere Details zum Transformer-Modell empfehlen insbesondere auch Jay Alammars Blogbeitrag The Illustrated Transformer.

Das zweite Treffen begann mit einem kurzen Vortrag von Henrik Horst, Kursleiter des Natural Language Processing Kurses bei opencampus.sh, über die technischen Gemeinsamkeiten und Unterschiede der von OpenAI veröffentlichten Modelle GPT-2 und GPT-3. Danach gab es einen Vortrag von Vladimir Alexeev, auch bekannt als "Merzmensch". Vladimir ist einer der wenigen "GPT-3-Ambassadors", die als Schnittstelle zwischen der GPT-3-Community und OpenAI dienen, und hat ausgiebig mit dem GPT-3-Modell gearbeitet. In seiner Präsentation teilte er die außergewöhnlichen Fähigkeiten von GPT-3 (siehe z.B. diese Kurzgeschichte und seine Präsentation hier) für Dialoge, beim Schreiben von Gedichten, beim Erstellen von Kurzgeschichten und in anderen kreativen Bereichen.

Rückblick Januar

Unsere letzten beiden Meetups beschäftigten sich dann mit den aktuellen Möglichkeiten von Generative Adversarial Networks (GANs) und deren Anwendung.

Bei unserem ersten Meetup zum Thema GANs durften wir wieder Vladimir Alexeev begrüßen, der diesmal seine Arbeit im Bereich der Bild- und Videogenerierung auf Basis von GANs vorstellte (siehe seine Präsentation hier), die er auch in seinem Blogbeitrag Creative Artificial Intelligence.Index. zusammengefasst hat.

Im zweiten Meetup zum Thema GANs haben wir dann einen Blick auf weitere Anwendungsmöglichkeiten von GANs geworfen, die in einem Vortrag von Ian Goodfellow (dem Erfinder der GANs) im September letzten Jahres vorgestellt wurden, in dem er etwa ihre Anwendung zur Herstellung von Zahnkronen oder zur Erweiterung von Trainingsdatensätzen zeigte. In einem weiteren Vortrag von Anmima Anandkumar (Machine Learning Director bei NVIDIA) aus der gleichen Veranstaltung wurde ein Blick auf die aktuellen Forschungsfragen im Bereich der GANs geworfen.

Den Abschluss des Meetups bildete dann eine Präsentation von Ali Farooq, der sein Abschlussprojekt aus dem Kurs Machine Learning With Tensor Flow des letzten Semesters bei opencampus.sh vorstellte. In diesem hatte er zusammen mit Felix Facklam und Dieter Hoogestraat CT-Scans von COVID-19 infizierten Lungen mittels GANs generiert.

Nächste Session am 27. Januar

Im Meetup am 27.01. heißt das Thema dann „Transformers for Computer Vision“. In letzter Zeit war bereits häufiger zu lesen: "CNNs are dead", seitdem mehrere Arbeiten den Einsatz von Transformer-Modellen, die im NLP-Bereich bereits führend sind, nun auch im Bereich Computer Vision gezeigt haben, der bisher von Modellen auf Basis von CNNs dominiert wurde.

In dieser Session wollen wir einen Blick auf diese aktuellen Arbeiten werfen, um zu sehen, inwieweit der Einsatz von Transformers-Modellen im Bereich Computer Vision bereits klassischen Ansätzen überlegen ist.

Kontakt

DiWiSH-Fachgruppe KI (Künstliche Intelligenz)