KI und Conversational AI sind nicht nur auf unserer Plattform zentrale Themen, sondern bestimmen immer mehr die Kundeninteraktion. Sie bieten die Möglichkeiten, Kundendialoge intelligenter und effizienter zu gestalten. Doch mit neuen Technologien kommen auch neue Anforderungen. Der EU AI Act setzt einen wichtigen regulatorischen Rahmen, innerhalb dessen sich Unternehmen nun bewegen müssen. Er soll Innovation und Sicherheit in Einklang bringen, stellt aber auch viele vor die Frage: Wie lassen sich KI-gestützte Interaktionen rechtskonform gestalten, ohne die Entwicklung zu bremsen?

Besonders im Bereich Conversational AI, Chatbots und Voicebots müssen Unternehmen jetzt genau hinschauen. Welche Regeln gelten für ihren spezifischen KI-Einsatz? Welche praktischen Auswirkungen hat der AI Act auf Kundenservice und CX-Prozesse?

Um das besser einzuordnen, haben wir mit Rechtsanwalt Dr. Carsten Ulbricht gesprochen, einem ausgewiesenen Experten für KI- und Datenschutzrecht.

Der EU AI Act – die Grundlagen in Kürze

Der EU AI Act (Artificial Intelligence Act) ist ein regulatorisches Rahmenwerk der Europäischen Union zur Sicherheit und Transparenz von KI-Systemen. Er verfolgt einen risikobasierten Ansatz, der KI-Anwendungen in drei Kategorien unterteilt:

1. Verbotene KI (Art. 5 AI Act) – z. B. manipulative Systeme oder biometrische Massenüberwachung.
2. Hochrisiko-KI (Art. 6–49 AI Act) – z. B. für Personalentscheidungen oder kritische Infrastrukturen.
3. Allgemeine KI-Systeme (Art. 51–56 AI Act) – mit weniger strengen Anforderungen.

Besonders relevant für Conversational AI und CX-Projekte sind die Vorgaben zu Transparenz (Art. 50 AI Act), die sicherstellen sollen, dass Kundinnen und Kunden wissen, wann sie mit einer KI interagieren.

🔍 Weitere Informationen und offizielle Quellen:

• EU-Kommission zum AI Act: Hier nachlesen
• Vollständiger Gesetzestext (Entwurf): EUR-Lex Dokument

Unternehmen müssen zunächst ihre Rolle bewerten

Für eine weitere Bewertung der Herausforderungen und notwendigen Handlungsimplikationen haben wir Rechtsanwalt Carsten Ulbricht ein paar schriftliche Fragen gestellt, die er uns freundlicherweise beantwortet hat:

Wer ist RA Carsten Ulbricht?

Carsten Ulbricht ist Rechtsanwalt und Partner bei der Kanzlei Menold Bezler mit einem Schwerpunkt auf IT-, Datenschutz- und KI-Recht. Als führender Experte für digitale Geschäftsmodelle, Plattformen und Künstliche Intelligenz berät er Unternehmen und öffentliche Stellen zu den rechtlichen Herausforderungen und Möglichkeiten neuer Technologien.

Er ist Autor des Fachbuchs „Praxishandbuch KI-Recht“ und regelmäßig als Speaker auf Konferenzen sowie als Experte in Fachmedien zu Gast. Seine Beratungspraxis umfasst insbesondere die rechtliche Bewertung von KI-Anwendungen, Datenschutz-Compliance und Plattformregulierung.

📘 Buchtipp: Praxishandbuch KI-Recht
🔗 Mehr zu Dr. Carsten Ulbricht: LinkedIn-Profil

Carsten, der EU AI Act bewegt viele Unternehmensverantwortliche derzeit. Wie bewertest du den AI Act insgesamt aus juristischer Sicht? Wo siehst du die größten Chancen und Herausforderungen für Unternehmen?

Carsten Ulbricht:
Der AI Act sorgt dafür, dass Unternehmen sich mit den rechtlichen Anforderungen an die Entwicklung und den Einsatz von KI-Systemen auseinandersetzen (müssen). Dabei wird oft unterschätzt, dass neben dem AI Act auch andere bereits geltende rechtliche Anforderungen zu beachten sind. In den meisten Projekten, die wir beraten haben, waren datenschutz- bzw. urheberrechtliche Themen deutlich wichtiger als der AI Act.

Das liegt daran, dass der AI Act die Bereitstellung und Nutzung von sog. Hochrisikosystemen sehr umfassend reguliert, bei dem bloßen Einsatz von generativen KI-Systemen wie ChatGPT aber nur wenige Vorgaben macht. Unternehmen sollten daher zunächst ihre Rolle bewerten – also ob sie Anbieter, Betreiber oder Nutzer eines KI-Systems sind.

Während die Anforderungen für Anbieter von Hochrisikosystemen erheblich sind, müssen Unternehmen, die z.B. ChatGPT einsetzen wollen, nur wenige, leicht umsetzbare Vorgaben beachten. Es gilt hier also nach dem jeweiligen Use Case zu differenzieren.

Welche Fallstricke müssen Unternehmen deiner Meinung nach besonders beim Einsatz von KI in der Kundeninteraktion wie Chatbots und Voicebots beachten, um nicht gegen die Vorgaben des EU AI Acts zu verstoßen? Und wo gibt es dabei viele Missverständnisse?

Carsten Ulbricht:
Gerade beim Einsatz von Chat- und Voicebots sind nicht nur Regelungen des AI Acts relevant, sondern auch Datenschutz- und Urheberrechtsfragen. Wenn Kundendaten von einer KI verarbeitet werden, muss die Datenverarbeitung (z. B. über Einwilligung, Vertragszwecke oder berechtigte Interessen) legitimiert sein. Zudem müssen Kunden gemäß Art. 13 DSGVO über die Verarbeitung ihrer Daten informiert werden.

Ein Beispiel aus der Praxis: Derzeit beraten wir mehrere Unternehmen, die Telefonate transkribieren und dann über ein Large Language Model (LLM) weiterverarbeiten. Hier ist es essenziell, geeignete Auftragsverarbeitungsverträge mit Anbietern wie OpenAI abzuschließen, um die DSGVO-konforme Verarbeitung sicherzustellen.

Unternehmen sollten zudem interne KI-Richtlinien für Mitarbeitende etablieren, die auf rechtliche Implikationen sensibilisieren – ohne den Einsatz von KI grundsätzlich zu blockieren. Viele Unternehmen und öffentliche Stellen haben bereits solche Regelwerke eingeführt und dadurch mehr Rechtssicherheit geschaffen.

Wie können Unternehmen die Transparenz- und Sicherheitsanforderungen des EU AI Acts erfüllen, ohne ihre Innovationsfähigkeit zu gefährden? Wo liegt hier der juristische Gestaltungsspielraum?

Carsten Ulbricht:
Die Anforderungen hängen stark davon ab, ob das Unternehmen KI-Systeme selbst entwickelt oder nur nutzt. Zudem spielt der konkrete Einsatzbereich eine entscheidende Rolle.

Wenn eine KI z. B. zur automatisierten Vorauswahl von Bewerbern eingesetzt wird, sind die Anforderungen an Transparenz und Sicherheit sehr hoch. Wird ChatGPT hingegen lediglich zur Erstellung interner oder externer Texte genutzt, ohne dass personenbezogene Daten verarbeitet werden, sind die Vorgaben leicht zu bewältigen.

Unternehmen sollten dabei insbesondere auf zwei Aspekte achten:

• KI-Kompetenz aufbauen (Art. 4 AI Act) – Mitarbeitende müssen verstehen, wie KI funktioniert und welche Risiken bestehen.
• Transparenzpflichten erfüllen (Art. 50 AI Act) – z. B. durch Kennzeichnung von KI-generierten Inhalten und Deepfakes.

Mehr erfahren: Webinar mit Benjamin Gebauer am 18.02.

📅 Wie wirkt sich der AI Act auf den KI-Einsatz in Unternehmen aus? Welche Strategien und Best Practices gibt es?

Diese und weitere Fragen diskutieren wir im Webinar mit Benjamin Gebauer am 18. Februar. Dort gibt es praxisnahe Einblicke und konkrete Handlungsempfehlungen für Unternehmen, die KI im Kundenservice und CX-Management einsetzen.

👉 Jetzt kostenlos anmelden:
🔗 Mehr Infos & Anmeldung zum Webinar

Ausblick: Der EU AI Act bleibt ein zentrales Thema in 2025

Der EU AI Act setzt neue Maßstäbe für den verantwortungsvollen Einsatz von KI und wird die Strategien vieler Unternehmen in den kommenden Jahren prägen. Dabei stehen wir erst am Anfang der praktischen Umsetzung – viele Fragen zur rechtlichen Ausgestaltung, technologischen Anpassung und strategischen Nutzung von KI bleiben offen.

Dieses Thema begleitet uns nicht nur hier im Blog und im angekündigten Webinar mit Benjamin Gebauer am 18. Februar, sondern wird auch auf der Shift/CX Konferenzwoche (10.–14. März) intensiv diskutiert. Zudem widmen sich unsere Spezialkonferenzen, wie die Shift/CX Customer Service Konferenz und die Shift/CX Chatbot & Conversational Experiences Konferenz, den konkreten Auswirkungen des AI Acts auf den Einsatz von Conversational AI im Kundenservice.