Willkommen zum 22. Meetup KI IN TRAUER
Klicke auf Anmelden, um dich für das nächste Meetup zu registrieren oder schreibe uns eine E-Mail an: society @ deathtech.de
In diesem Meetup gab Anton Krause uns einen technischen Einblick in ein interaktives Avatar-Projekt, das er für eine Ausstellung everybody im Kolbe Museum umgesetzt hat. Die besondere Herausforderung: Da es im Souterrain des Museums kein stabiles Internet gibt, musste die gesamte KI-Anwendung vollständig lokal laufen.
Hier sind die wichtigsten Erkenntnisse und technischen Highlights unseres Austauschs:
Die lokale KI-Pipeline im Detail
Speech-to-Text (STT): Anton nutzte Whisper von OpenAI. Ein smarter Kniff für flüssige Live-Interaktionen: Um die Berechnungszeit im Hintergrund (Textumwandlung & LLM-Antwortgenerierung) zu überbrücken, reagiert der Avatar bei Stille sofort mit kurzen, natürlichen Füllwörtern wie „hm, interessant“.
LLM-Optimierung: Mithilfe des Tools Unsloth (entwickelt von Ex-Nvidia-Mitarbeitern) wurde das genutzte Open-Weights-Modell von 18 GB auf extrem schlanke 5 GB herunterskaliert. Dadurch läuft es lokal auf normaler Hardware blitzschnell.
Text-to-Speech (TTS) & Voice Cloning: Anton demonstrierte das für CPUs optimierte Modell Pocket TTS sowie die intuitive Benutzeroberfläche OpenVox. Das Erstaunliche: Für ein lebendiges Stimmklonen reichen bereits 10 bis 12 Sekunden sauberes Audiomaterial aus. (Tipp für die Audioreinigung vorab: Adobe Podcast).
Lippensynchronität & visuelle Umsetzung
Damit der Avatar lebensecht wirkt, werden die Vokale (A, I, O, U) aus der erzeugten Tonspur gefiltert und über digitale Gesichtsmuskeln (Blend Shapes) in Unity lippensynchron animiert (mittels des Plug-ins You Lip Sync).
Abschließend wendeten wir diesen Usecase auch auf unser Fachgebiet: „Trauer“ an. Wir diskutierten intensiv darüber, was es emotional bedeutet, die Stimmen verstorbener Menschen zu klonen.
Es ist beeindruckend, wie viel KI-Leistung mittlerweile ressourcenschonend auf unseren eigenen Endgeräten ohne teure Cloud-Infrastruktur laufen kann.
Vielen Dank an Anton für diese exklusiven Einblicke!
Das Meetup findet jeden 2. Donnerstag im Monat von 19:00 bis 20:00 Uhr statt und ist kostenlos.