EU AI Act & Telefon-KI: Was Betriebe jetzt wissen müssen

Dienstag, 19:15 Uhr. Eine Kundin ruft in deiner Fahrradwerkstatt an. Eine freundliche Stimme nimmt ab, fragt nach dem Problem mit der Schaltung und bietet ihr Donnerstag um 9 Uhr an.

Die Stimme klingt wie ein Mensch. Sie ist aber eine KI. Genau hier setzt der EU AI Act an: Wer mit einer KI spricht, soll das wissen.

Dieser Artikel zeigt, welche Pflichten für Telefon-KI gelten, mit Zitaten aus der Verordnung (EU) 2024/1689. So kannst du einschätzen, was auf deinen Betrieb zukommt und was du konkret tun solltest.

Aktualisiert im September 2026: Die Transparenzpflichten gelten inzwischen, die EU-Kommission hat ihre Leitlinien dazu veröffentlicht, und die sogenannte Digital-Omnibus-Verordnung hat einige Regeln und Fristen geändert.

Was ist der EU AI Act?

Die Verordnung (EU) 2024/1689, bekannt als EU AI Act, ist das erste umfassende KI-Gesetz der EU. Sie ist seit dem 1. August 2024 in Kraft und wird stufenweise anwendbar:

• 2. Februar 2025: Verbotene KI-Praktiken und KI-Kompetenz
• 2. August 2025: Regeln für KI-Modelle mit allgemeinem Verwendungszweck
• 2. August 2026: Allgemeiner Geltungsbeginn, darunter die Transparenzpflichten nach Artikel 50
• 2. Dezember 2026: Frist für die maschinenlesbare Kennzeichnung bei Systemen, die schon vor dem 2. August 2026 auf dem Markt waren
• 2. Dezember 2027: Hochrisiko-Regeln für die Bereiche aus Anhang III
• 2. August 2028: Hochrisiko-Regeln für KI in regulierten Produkten (Anhang I)

Die letzten drei Termine stammen aus der Digital-Omnibus-Verordnung (EU) 2026/1744. Sie gilt seit dem 27. Juli 2026 und hat die Hochrisiko-Termine nach hinten verschoben. Die Transparenzpflichten gelten dagegen wie geplant seit dem 2. August 2026. Nur für die Kennzeichnung bei Systemen, die schon auf dem Markt waren, gibt es eine Übergangsfrist.

Vereinfacht gesagt unterscheidet das Gesetz vier Stufen: verboten, hochriskant, transparenzpflichtig und minimal. Die Stufe bestimmt, welche Pflichten gelten.

Wo steht eine Telefon-KI?

Ein KI-Telefonassistent, der Anrufe annimmt und Termine vereinbart, ist:

• Nicht verboten. Er betreibt kein Social Scoring, keine Manipulation und keine biometrische Identifizierung.
• Nicht hochriskant, außer er entscheidet in einem Bereich mit, den Anhang III als hochriskant einstuft, etwa über Kreditwürdigkeit, Bewerbungen oder den Zugang zu Bildung.
• Er ist transparenzpflichtig, denn er spricht direkt mit Menschen.

Transparenzpflichtig klingt harmlos. Die konkreten Anforderungen haben es trotzdem in sich.

Die Verordnung kennt eine Ausnahme: wenn die KI-Natur „aus Sicht einer angemessen informierten, aufmerksamen und verständigen natürlichen Person aufgrund der Umstände und des Kontexts der Nutzung offensichtlich" ist. Die Leitlinien der EU-Kommission legen diese Ausnahme eng aus. Eine menschlich klingende Stimme spricht gegen „offensichtlich". Kann die breite Öffentlichkeit das System erreichen, einschließlich älterer Menschen oder Menschen mit Behinderung, lässt sich die Ausnahme nicht nutzen (Leitlinien, Rn. 45). Für eine Telefon-KI, die Kundenanrufe annimmt, heißt das: Der Hinweis gehört dazu.

Erwägungsgrund (132) der Verordnung denkt dabei auch an Menschen, die besonders geschützt werden sollen:

„Insbesondere sollte natürlichen Personen mitgeteilt werden, dass sie es mit einem KI-System zu tun haben, es sei denn, dies ist aus Sicht einer angemessen informierten, aufmerksamen und verständigen natürlichen Person aufgrund der Umstände und des Kontexts der Nutzung offensichtlich. Bei der Umsetzung dieser Pflicht sollten die Merkmale von natürlichen Personen, die aufgrund ihres Alters oder einer Behinderung schutzbedürftigen Gruppen angehören, berücksichtigt werden, soweit das KI-System auch mit diesen Gruppen interagieren soll."

— Erwägungsgrund (132), Verordnung (EU) 2024/1689

Am Telefon heißt das: ein klar gesprochener Hinweis, nicht in einem Nebensatz versteckt.

Pflicht 1: Der KI-Hinweis nach Artikel 50 Absatz 1

Der Kern der Transparenzpflicht steht in Artikel 50 Absatz 1:

„Die Anbieter stellen sicher, dass KI-Systeme, die für die direkte Interaktion mit natürlichen Personen bestimmt sind, so konzipiert und entwickelt werden, dass die betreffenden natürlichen Personen informiert werden, dass sie mit einem KI-System interagieren, es sei denn, dies ist aus Sicht einer angemessen informierten, aufmerksamen und verständigen natürlichen Person aufgrund der Umstände und des Kontexts der Nutzung offensichtlich."

— Art. 50 Abs. 1, Verordnung (EU) 2024/1689

Entscheidend sind die Worte „konzipiert und entwickelt". Die Pflicht trifft den Anbieter, also das Unternehmen, das die Telefon-KI baut. Er muss den KI-Hinweis im System vorsehen.

Laut den Leitlinien muss der Anbieter dafür sorgen, dass Menschen während der gesamten Lebensdauer des Systems wirksam und durchgängig informiert werden (Rn. 33). Als Betreiber solltest du trotzdem selbst hören, was deine Anrufer hören, vor allem wenn du die Begrüßung anpasst.

Wann muss der Hinweis kommen? Artikel 50 Absatz 5 sagt es klar:

„Die in den Absätzen 1 bis 4 genannten Informationen werden den betreffenden natürlichen Personen spätestens zum Zeitpunkt der ersten Interaktion oder Aussetzung in klarer und eindeutiger Weise bereitgestellt. Die Informationen müssen den geltenden Barrierefreiheitsanforderungen entsprechen."

— Art. 50 Abs. 5, Verordnung (EU) 2024/1689

Bei einem Anruf ist das die Begrüßung. Nicht das Kleingedruckte auf der Website. Nicht die AGB.

Was die Leitlinien der Kommission ergänzen

Am 20. Juli 2026 hat die EU-Kommission den Inhalt ihrer Leitlinien zu den Transparenzpflichten gebilligt und veröffentlicht. Förmlich angenommen werden sie, sobald alle Sprachfassungen vorliegen. Die Leitlinien sind nicht rechtsverbindlich (Rn. 5). Sie sollen Behörden, Anbietern und Betreibern als praktische Hilfe dienen (Rn. 3). Die Leitlinien liegen auf Englisch vor; die folgenden Wiedergaben sind unsere eigenen Übersetzungen.

Für Telefon-KI sind diese Punkte wichtig:

• Gesprochener Hinweis am Anfang. Bei Sprach- und Telefonanwendungen nennen die Leitlinien als Beispiel eine ausdrückliche Ansage zu Beginn, etwa „Hier spricht ein KI-gestützter Assistent" (Rn. 37). Ein Signalton allein reicht nicht.
• Ein klarer Hinweis genügt meist. Ein einzelner, gut wahrnehmbarer Hinweis vor der ersten Interaktion dürfte in den meisten Fällen ausreichen. In heikleren Situationen dürften Erinnerungen im Gespräch nötig sein, zum Beispiel wenn die Anrufer ältere Menschen sind oder es um Beschwerden geht (Rn. 40). Auch bei längeren Gesprächen oder wenn sich die Rolle der KI ändert, empfehlen die Leitlinien je nach Lage eine Erinnerung (Rn. 37).
• Vage Begriffe reichen nicht. Ein allgemeiner Hinweis auf einen „Assistenten" genügt allein nicht. Das gilt auch für einen Hinweis, der nur in den AGB, in einer Dokumentation oder hinter einem Link steht (Rn. 38). Die Ansage muss klar sagen, dass keine Person spricht (Rn. 35).
• Auf Nachfrage ehrlich antworten. Fragt jemand, ob er mit einer KI spricht, muss das System das offenlegen. Das gilt auch, wenn anzunehmen ist, dass der Anrufer über den KI-Ursprung verwirrt ist (Rn. 40).
• Sagen, für wen. KI-Agenten, die im Auftrag handeln, etwa Buchungen vornehmen, müssen laut den Leitlinien so gebaut sein, dass sie offenlegen, dass sie KI sind und für wen sie handeln (Rn. 31).

Eine Begrüßung, die das erfüllt, kann kurz sein: „Hallo, hier ist der KI-Assistent von [Name deines Betriebs]. Wie kann ich dir helfen?"

Pflicht 2: Synthetische Stimme kennzeichnen nach Artikel 50 Absatz 2

Die zweite Pflicht betrifft das, was die KI erzeugt:

„Anbieter von KI-Systemen, einschließlich KI-Systemen mit allgemeinem Verwendungszweck, die synthetische Audio-, Bild-, Video- oder Textinhalte erzeugen, stellen sicher, dass die Ausgaben des KI-Systems in einem maschinenlesbaren Format gekennzeichnet und als künstlich erzeugt oder manipuliert erkennbar sind."

— Art. 50 Abs. 2, Verordnung (EU) 2024/1689

Die Stimme einer Telefon-KI ist künstlich erzeugt. Manche Systeme wandeln dafür erst Text in Sprache um, andere erzeugen die Antwort direkt als Sprache. Die Leitlinien zählen Sprache ausdrücklich zu den Audioinhalten (Rn. 60). Erzeugt ein KI-Agent Inhalte, die Menschen hören, kann Art. 50 Abs. 2 auch für ihn gelten (Rn. 63). Zur Pflicht gehören zwei Teile: die maschinenlesbare Markierung und ein Weg, sie wieder zu erkennen. Eins allein reicht nicht (Rn. 69–70).

Die Pflicht gilt seit dem 2. August 2026. Für Systeme, die schon vorher auf dem Markt waren, gibt die Digital-Omnibus-Verordnung eine Übergangsfrist bis zum 2. Dezember 2026. Diese Frist gilt nur für die Kennzeichnung. Den KI-Hinweis im Gespräch müssen auch solche Systeme seit dem 2. August 2026 geben (Rn. 153).

Die technischen Lösungen müssen „soweit technisch möglich" wirksam, interoperabel, belastbar und zuverlässig sein. Maßstab ist der „allgemein anerkannte Stand der Technik". Lösungen, die es noch nicht gibt oder die noch nicht auf dem Markt sind, muss niemand einsetzen (Rn. 81). Erwägungsgrund (133) nennt Beispiele:

„Diese Techniken und Methoden sollten — soweit technisch möglich — hinreichend zuverlässig, interoperabel, wirksam und belastbar sein, wobei verfügbare Techniken, wie Wasserzeichen, Metadatenidentifizierungen, kryptografische Methoden zum Nachweis der Herkunft und Authentizität des Inhalts, Protokollierungsmethoden, Fingerabdrücke oder andere Techniken, oder eine Kombination solcher Techniken je nach Sachlage zu berücksichtigen sind."

— Erwägungsgrund (133), Verordnung (EU) 2024/1689

Was das heißt:

• Audio-Wasserzeichen: unhörbare Signale in der erzeugten Stimme, die eine Software später erkennen kann.
• Herkunftsnachweise in Metadaten: zum Beispiel nach dem offenen Standard C2PA der Coalition for Content Provenance and Authenticity.

Für Echtzeit-Inhalte nennen die Leitlinien eine mögliche Ausnahme. Sie betrifft Inhalte, die flüchtig sind, sofort konsumiert und weder aufgezeichnet, gespeichert noch weiterverbreitet werden. Dazu muss eine Markierung technisch nicht machbar sein, und die Menschen müssen auf anderem Weg erfahren, dass die Inhalte KI-erzeugt sind (Rn. 88). Als Beispiele nennen die Leitlinien Videospiele und VR-Anwendungen. Telefonate erwähnen sie an dieser Stelle nicht.

Für die Kennzeichnung gibt es außerdem einen Praxisleitfaden, den Code of Practice on Transparency of AI-Generated Content. Die Leitlinien nennen ihn den einzigen EU-weit anerkannten praktischen Rahmen für den Nachweis (Rn. 146). Wer einen als geeignet bewerteten Leitfaden unterzeichnet und befolgt, hat einen einfachen und vorhersehbaren Weg, die Einhaltung zu belegen (Rn. 147).

Pflicht 3: KI-Kompetenz nach Artikel 4

Diese Pflicht gilt schon seit dem 2. Februar 2025. Die Digital-Omnibus-Verordnung hat sie neu gefasst. Seit dem 27. Juli 2026 lautet sie:

„Die Anbieter und Betreiber von KI-Systemen ergreifen Maßnahmen, um die Entwicklung der KI-Kompetenz ihres Personals und anderer Personen zu unterstützen, die in ihrem Auftrag mit dem Betrieb und der Nutzung von KI-Systemen befasst sind, [...]. Diese Verpflichtung verpflichtet Anbieter oder Betreiber nicht, für irgendeine Person ein bestimmtes Niveau an KI-Kompetenz zu garantieren."

— Art. 4 Abs. 1, Verordnung (EU) 2024/1689 in der Fassung der Verordnung (EU) 2026/1744

Früher hieß es, Anbieter und Betreiber müssten „nach besten Kräften sicherstellen", dass ihr Team über „ein ausreichendes Maß" an KI-Kompetenz verfügt. Jetzt geht es darum, die Kompetenz zu fördern. Ein bestimmtes Niveau muss niemand garantieren.

In der Pflicht sind weiterhin beide: Anbieter und Betreiber. Wenn du eine Telefon-KI einsetzt, sollte dein Team mindestens wissen:

• dass eine KI die Anrufe annimmt,
• was sie kann und was nicht,
• was zu tun ist, wenn sich ein Anrufer beschwert oder etwas schiefgeht.

Was hat das mit der DSGVO zu tun?

Der AI Act ersetzt die DSGVO nicht, er ergänzt sie. Bei Telefon-KI gelten beide nebeneinander.

DSGVO Art. 6: Rechtsgrundlage

Jede Verarbeitung personenbezogener Daten braucht eine Rechtsgrundlage. Bei der Terminvereinbarung sind das meist:

• Art. 6 Abs. 1 lit. b: Anbahnung oder Erfüllung eines Vertrags. Der Anrufer will einen Termin, dafür braucht es seine Daten.
• Art. 6 Abs. 1 lit. f: berechtigtes Interesse, etwa an einer erreichbaren Terminannahme.

Erheben solltest du nur, was der Zweck wirklich braucht. Für einen Werkstatttermin sind Name, Telefonnummer und das Anliegen in der Regel angemessen.

DSGVO Art. 13: Informationspflicht

Wer Daten erhebt, muss die Betroffenen „zum Zeitpunkt der Erhebung" informieren: wer verantwortlich ist, wozu die Daten dienen, auf welcher Rechtsgrundlage und wie lange sie gespeichert werden. Verantwortlich ist in der Regel dein Betrieb. Der Anbieter der Telefon-KI verarbeitet die Daten meist in deinem Auftrag (Art. 28 DSGVO).

Eine ganze Datenschutzerklärung am Telefon vorzulesen ist nicht praktikabel. Ein pragmatischer Weg: Der Assistent kann auf Nachfrage sagen, wer die Daten verarbeitet, wozu, und wo die vollständigen Informationen stehen. Dafür müssen diese Informationen im System hinterlegt sein.

DSGVO Art. 13 Abs. 2 lit. f: automatisierte Entscheidungen

Die DSGVO verlangt Informationen über „das Bestehen einer automatisierten Entscheidungsfindung einschließlich Profiling" nach Art. 22. Gemeint sind Entscheidungen, die rechtliche Wirkung haben oder jemanden ähnlich erheblich beeinträchtigen. Ob ein gebuchter Werkstatttermin darunter fällt, ist fraglich. Offen zu erklären, wie der Assistent arbeitet, schadet trotzdem nicht.

Das Zusammenspiel ist entscheidend:

Die KI-Kompetenz nach Art. 4 gilt seit Februar 2025, die Transparenzpflichten nach Art. 50 seit dem 2. August 2026.

Exkurs: Gesprächsaufzeichnung und Strafrecht

Beim Telefon kommt ein drittes Gesetz ins Spiel, das mit KI zunächst nichts zu tun hat. In Deutschland schützt § 201 StGB die „Vertraulichkeit des Wortes". Bestraft wird unter anderem, wer

„unbefugt das nichtöffentlich gesprochene Wort eines anderen auf einen Tonträger aufnimmt"

— § 201 Abs. 1 Nr. 1 StGB

Was in einem Telefonat gesagt wird, ist in der Regel nicht öffentlich. Wer Anrufe mitschneiden will, holt deshalb üblicherweise vorher die Einwilligung des Anrufers ein. Österreich (§ 120 StGB) und die Schweiz (Art. 179ter StGB) haben eigene Regeln dazu.

Bei einer Telefon-KI ist die Lage weniger eindeutig. Um zu verstehen, was gesagt wird, muss sie die Stimme während des Gesprächs verarbeiten und in Text umwandeln. Wie diese technische Verarbeitung strafrechtlich einzuordnen ist, ist nicht abschließend geklärt.

Was du konkret tun kannst:

• Frag nach, was mit dem Ton passiert. Wird Audio gespeichert? Wie lange? Wer kann es anhören?
• Schneidest du Gespräche mit, hol vorher eine Einwilligung ein.
• Sag gleich am Anfang, dass eine KI spricht, und verweise auf eine Seite, die erklärt, was mit den Daten passiert.

Die Bußgelder

Der AI Act kennt drei Stufen:

Für kleine und mittlere Unternehmen gilt Artikel 99 Absatz 6:

„Im Falle von KMU, einschließlich Start-up-Unternehmen, gilt für jede in diesem Artikel genannte Geldbuße der jeweils niedrigere Betrag aus den in den Absätzen 3, 4 und 5 genannten Prozentsätzen oder Summen."

— Art. 99 Abs. 6, Verordnung (EU) 2024/1689

Ein Beispiel: Bei 500.000 EUR Jahresumsatz liegt die Obergrenze für einen Transparenzverstoß bei 15.000 EUR (3 %), nicht bei 15 Mio. EUR. Für einen kleinen Betrieb ist das trotzdem viel Geld.

Die genauen Sanktionsregeln legen die Mitgliedstaaten fest. Dabei müssen sie die Interessen von KMU und deren wirtschaftliches Überleben berücksichtigen (Art. 99 Abs. 1).

Worauf du achten solltest

Aus den Gesetzestexten ergeben sich konkrete Prüfpunkte, für deinen eigenen Betrieb und bei der Wahl eines Anbieters:

1. Sagt die Begrüßung klar, dass eine KI spricht? Art. 50 Abs. 1 verpflichtet den Anbieter, den Hinweis im System vorzusehen. Art. 50 Abs. 5 verlangt ihn spätestens bei der ersten Interaktion. Eine Begrüßung ohne KI-Hinweis ist seit August 2026 ein Compliance-Risiko. Hör dir deine Begrüßung an, vor allem wenn du sie selbst geschrieben hast.

2. Wie wird die künstliche Stimme gekennzeichnet? Seit August 2026 müssen KI-erzeugte Audioinhalte maschinenlesbar gekennzeichnet sein (Art. 50 Abs. 2), für Bestandssysteme ab dem 2. Dezember 2026. Frag deinen Anbieter, wie er das umsetzt.

3. Wo werden die Gesprächsdaten verarbeitet? Laufen Anruferdaten über Server außerhalb der EU, braucht es eine Grundlage nach Kapitel V DSGVO, zum Beispiel einen Angemessenheitsbeschluss (für die USA: das Data Privacy Framework) oder Standardvertragsklauseln. Seriöse Anbieter legen das in ihrer Liste der Sub-Auftragsverarbeiter offen.

4. Weiß dein Team Bescheid? Art. 4 gilt seit Februar 2025. Frag deinen Anbieter, welche Erklärungen und Unterlagen er mitliefert, und sprich mit deinem Team darüber, was die KI am Telefon tut.

5. Sind Speicherfristen und Mitschnitte klar geregelt? Die DSGVO verlangt Speicherbegrenzung (Art. 5 Abs. 1 lit. e). Prüfe, ob Audio gespeichert wird, wie lange Transkripte und Termindaten bleiben, und was du selbst aufbewahrst. Manche Daten musst du aus steuerlichen oder vertraglichen Gründen behalten. Die Fristen sollten dokumentiert und begründet sein.

Was wir bei FlowCaptain tun

• KI-Hinweis in jeder Begrüßung. Jeder Anruf beginnt damit, dass der Assistent sagt, dass er eine KI ist. Schreibst du deine eigene Begrüßung und steht es dort nicht, wird dieser Satz deinen Worten vorangestellt — deine Begrüßung wird nicht ersetzt. Ist der Name deines Betriebs hinterlegt und nennt deine eigene Begrüßung ihn nicht schon selbst, nennt der Satz auch ihn.
• Eine Seite für Anrufer. Seit August 2026 erklärt der Hinweis für Anrufer, dass am Telefon eine KI spricht, welche Daten verarbeitet werden und wie lange sie bleiben.
• Kein Audio gespeichert. Die Stimme wird während des Gesprächs in Text umgewandelt. Audio speichern wir nicht. Es entsteht kein Mitschnitt, den jemand später anhören könnte.
• Klare Fristen. In unseren Systemen wird der Text des Gesprächs nach 90 Tagen anonymisiert, der Termin 90 Tage nach seinem Ende gelöscht. Für andere Daten gelten eigene Fristen, die in der Datenschutzerklärung stehen. Was du selbst aufbewahrst, etwa die E-Mail, die du nach jedem Anruf bekommst, oder die Einträge in deinem Kalender, liegt in deiner Hand.
• Kerndienste in EU-Regionen. Datenbank, API und Dashboard laufen in EU-Regionen (Frankfurt/Amsterdam). Wo einzelne Dienstleister Daten in den USA verarbeiten, ist das in unserer Liste der Sub-Auftragsverarbeiter ausgewiesen und auf das Data Privacy Framework bzw. Standardvertragsklauseln gestützt.

Wir haben uns an der Konsultation der EU-Kommission zu den Leitlinien für Artikel 50 beteiligt.

Fazit

Der EU AI Act ist kein Grund zur Panik. Die Verordnung stellt sinnvolle Anforderungen: Wer KI einsetzt, soll das offen sagen. Wer KI-Inhalte erzeugt, soll sie kennzeichnen. Wer KI-Systeme betreibt, soll verstehen, was sie tun.

Für kleine Betriebe, die ihre Anrufe von einer Telefon-KI annehmen lassen, sind die Pflichten überschaubar, aber real. Und sie gelten schon: seit dem 2. August 2026.

Wenn du es noch nicht getan hast: Ruf heute deine eigene Nummer an und hör genau hin, ob deine Begrüßung klar sagt, dass eine KI spricht.

Weiterführende Ressourcen

• Volltext der Verordnung (EU) 2024/1689 (AI Act)
• Digital-Omnibus-Verordnung (EU) 2026/1744: Änderungen am AI Act, gültig seit 27. Juli 2026
• Leitlinien der EU-Kommission zu den Transparenzpflichten nach Artikel 50
• Volltext der Verordnung (EU) 2016/679 (DSGVO)
• § 201 StGB: Verletzung der Vertraulichkeit des Wortes
• AI Act Service Desk: offizielle Anlaufstelle der EU-Kommission mit FAQ und Leitlinien
• EU AI Act Compliance Checker: prüfen, welche Anforderungen gelten
• Informationen der Bundesregierung zum AI Act
• Digital Austria: AI Act: Informationen für österreichische Unternehmen

Quellen: Verordnung (EU) 2024/1689 (AI Act) in der Fassung der Verordnung (EU) 2026/1744, Verordnung (EU) 2016/679 (DSGVO), § 201 StGB. Die zitierten Passagen stammen aus den amtlichen deutschsprachigen Fassungen; Auslassungen sind mit [...] gekennzeichnet. Stand: September 2026. Dieser Artikel stellt keine Rechtsberatung dar.