Aachen Data & AI Meetup: Mein eigenes ChatGPT einrichten
Open Source Alternativen auf dem eigenen Server oder Computer
Seit ChatGPT vor circa einem Jahr veröffentlicht wurde, ist der Künstliche Intelligenz Hype in der Mitte der Gesellschaft angekommen. Die Möglichkeiten sind schier unbegrenzt. Doch viele Menschen und Unternehmen bleiben skeptisch und fragen sich: Was geschieht mit meinen schützenswerten Daten, wenn ich sie zu ChatGPT hochlade? Das weiß keiner. Aber die gute Nachricht ist: Es gibt Alternativen!
Ihr seid herzlich eingeladen zum Aachen Data & AI Meetup ein, bei dem ihr basierend auf zwei Expertenvorträgen lernt, wie ihr Open Source Large Language Models (LLMs) datenschutzkonform und effizient auf euren eigenen Servern oder Computern einsetzen könnt.
Programm:
- Eröffnung & Einführung in
„Data & AI HUB“
- Vortrag 1:
„Open Source LLMs: Chancen für KMUs und Leitfaden für Fine-Tuning, Hosting und Betrieb“
von Justus Benning, FIR an der RWTH Aachen
Justus Benning erklärt, wie man Open Source Modelle in der eigenen Cloud in Betrieb nimmt. Die Kosten zwischen den verschiedenen, möglichen Modellen werden verglichen. Auch das fine-tuning von Modellen ist Teil des Vortrags. Mittels fine-tuning passt man Modelle an, die in speziellen Anwendungsfällen besser sind als generelle Modelle. Zuletzt wird über Embeddings gesprochen, also wie man die Modelle in Applikationen anbindet
- Vortrag 2:
„Datenschutzkonform: Einsatz lokaler LLMs auf euren eigenen Rechnern und deren Integration in Applikationen“
von Thomas Gerstmann
Thomas Gerstmann zeigt, wie man Open Source Sprachmodelle auf seinem eigenen Computer installieren und nutzen kann. Es werden einige beispielhafte, wertvolle Anwendungsfälle vorgestellt. Bringt gerne Euer eigenes Laptop mit, dann könnt Ihr es direkt selbst ausprobieren (*notwendige Vorbereitungen siehe *)!
Das Programm schließt mit einer Zusammenfassung der Kernpunkte des Abends und einer Ankündigung zukünftiger Veranstaltungen der Reihe.
Nutzt im Anschluss die Möglichkeit zum Netzwerken, zum Austausch mit Sprechern und Teilnehmern und vertieft die Diskussionen bei einem kühlen Getränk.
Bei Fragen kontaktiert gerne das Team von Aachen Data & AI Meetup
* Voraussetzungen zum selbst ausprobieren auf dem eigenen Laptop: Wir arbeiten im Vortrag mit dem europäischen Open Sourche Sprachmodell “Mistral”. Damit Mistral auf Deinem eigenen Laptop performant laufen kann, brauchst Du ein aktuelles und relativ leistungsstarkes Mac-, Linux- oder Windows-Gerät mit mindestens 16GB RAM. Bereits vorab zuhause musst Du Ollama (siehe ollama.ai) installieren und in Ollama dann das ca. 4GB große Modell “Mistral 7B” runterladen (siehe ollama.ai/library/mistral). Abends vor Ort dauert diese Vorbereitung sonst zu lange. Ollama ist zwar Stand heute eigentlich nur für Mac und Linux verfügbar. Jedoch könnt Ihr Ollama auch unter Windows mit Hilfe der Software WSL (“Windows-Subsystem für Linux”) einsetzen. Weitere Informationen zu WSL findet Ihr unter https://learn.microsoft.com/de-de/windows/wsl/install.
Unterstützt durch:
