Datenschutz und Ethik beim Einsatz von Künstlicher Intelligenz in der Jugendhilfe

1. Einleitung

Der zunehmende Einsatz von Künstlicher Intelligenz in sozialen Einrichtungen, Behörden und pädagogischen Kontexten stellt Fachkräfte der Kinder- und Jugendhilfe vor neue rechtliche und ethische Herausforderungen. KI-gestützte Tools sind heute in vielen Bereichen des Berufsalltags präsent – von der automatischen Textverarbeitung über Übersetzungsdienste bis hin zu Chatbots und Entscheidungsunterstützungssystemen. Mit dieser Entwicklung gehen grundlegende Fragen einher: Welche personenbezogenen Daten werden durch KI-Tools verarbeitet? Wer trägt die Verantwortung für algorithmische Entscheidungen? Und wie lassen sich die Prinzipien einer menschenrechtsorientierten Sozialen Arbeit mit dem Einsatz digitaler Technologien vereinbaren? Dieser Lerntext gibt einen fundierten Überblick über die rechtlichen Rahmenbedingungen, die ethischen Grundprinzipien und die praktischen Handlungsanforderungen, die für den verantwortungsvollen Umgang mit KI in der Jugendhilfe maßgeblich sind.

2. Rechtliche Grundlagen – Die Datenschutz-Grundverordnung (DSGVO)

Die Datenschutz-Grundverordnung der Europäischen Union, die seit Mai 2018 verbindlich gilt, bildet den zentralen Rechtsrahmen für den Umgang mit personenbezogenen Daten in allen EU-Mitgliedstaaten. Personenbezogene Daten umfassen alle Informationen, die sich auf eine identifizierte oder identifizierbare natürliche Person beziehen – darunter Namen, Geburtsdaten, Adressen, aber auch IP-Adressen, Standortdaten und digitale Kennungen. In der Jugendhilfe werden regelmäßig besonders sensible Datenkategorien verarbeitet, wie Informationen zur familiären Situation, zur psychischen Gesundheit oder zu Schutzmaßnahmen. Diese unterliegen nach Artikel 9 DSGVO einem erhöhten Schutzniveau und dürfen nur unter strengen Voraussetzungen verarbeitet werden (Europäische Union, 2018).

Die DSGVO legt mehrere Grundprinzipien fest, die bei jeder Datenverarbeitung einzuhalten sind. Das Prinzip der Rechtmäßigkeit verlangt, dass für jede Datenverarbeitung eine explizite Rechtsgrundlage vorliegt – etwa eine informierte Einwilligung der betroffenen Person oder eine gesetzliche Verpflichtung. Das Prinzip der Zweckbindung schreibt vor, dass Daten nur für den Zweck verwendet werden dürfen, für den sie ursprünglich erhoben wurden. Das Prinzip der Datensparsamkeit fordert, dass nur diejenigen Daten erhoben werden, die für den jeweiligen Zweck tatsächlich erforderlich sind. Darüber hinaus haben betroffene Personen das Recht auf Auskunft, Berichtigung, Löschung und Datenübertragbarkeit (Europäische Union, 2018). Für Einrichtungen der Jugendhilfe bedeutet dies: Der Einsatz von KI-Tools muss datenschutzrechtlich geprüft und dokumentiert werden, bevor er im Arbeitsalltag etabliert wird.

3. KI-Tools in der Praxis – Datenschutzrechtliche Einordnung

Eine der dringlichsten Fragen für Fachkräfte der Jugendhilfe betrifft den konkreten Einsatz weit verbreiteter KI-Tools im Berufsalltag. Im Folgenden werden die wichtigsten Tools und ihre datenschutzrechtliche Situation eingeordnet.

ChatGPT (OpenAI) gehört zu den meistgenutzten KI-Sprachmodellen weltweit. In der kostenlosen Version werden Nutzerdaten standardmäßig für das Training des Modells verwendet, sofern dies nicht in den Einstellungen aktiv deaktiviert wird. Da OpenAI seinen Hauptsitz in den USA hat, unterliegen Datentransfers den Regelungen für Drittlandübermittlungen nach Artikel 44 ff. DSGVO. Für den beruflichen Einsatz in der Jugendhilfe ist ChatGPT in der Standardversion daher nicht geeignet, wenn personenbezogene Klientendaten verarbeitet werden sollen. OpenAI bietet jedoch eine Enterprise-Version mit DSGVO-konformen Verarbeitungsverträgen (Data Processing Agreements) an, die unter bestimmten Voraussetzungen einen rechtskonformen Einsatz ermöglicht.

Microsoft Copilot ist tief in das Microsoft-365-Ökosystem integriert und nutzt KI-Funktionen für Textverarbeitung, E-Mail-Verwaltung und Datenanalyse. Microsoft betreibt europäische Rechenzentren und bietet für Unternehmens- und Bildungskunden DSGVO-konforme Verarbeitungsverträge an. Für Einrichtungen, die bereits Microsoft 365 in einer entsprechend konfigurierten Unternehmensversion nutzen, kann Copilot unter bestimmten Voraussetzungen datenschutzkonform eingesetzt werden. Eine sorgfältige Prüfung der jeweiligen Lizenz- und Datenschutzeinstellungen ist jedoch unerlässlich.

Google Gemini ist der KI-Assistent von Google und in zahlreiche Google-Dienste integriert. In der kostenlosen Version werden Konversationsdaten für die Verbesserung der Dienste genutzt. Für Nutzerinnen und Nutzer von Google Workspace for Education und Google Workspace Enterprise stellt Google DSGVO-konforme Vereinbarungen bereit. Der Einsatz mit personenbezogenen Klientendaten ohne entsprechende vertragliche Grundlage ist auch hier nicht zulässig.

Als datenschutzkonforme europäische Alternative ist Aleph Alpha zu nennen, ein deutsches KI-Unternehmen mit Sitz in Heidelberg, das speziell auf die Anforderungen europäischer Datenschutzstandards ausgerichtet ist und souveräne KI-Lösungen für Behörden und soziale Einrichtungen anbietet. Darüber hinaus bieten Open-Source-Modelle wie Llama (Meta) oder Mistral die Möglichkeit, KI-Systeme auf eigenen Servern zu betreiben und damit vollständige Datenkontrolle zu gewährleisten. Diese Lösungen erfordern jedoch technisches Fachwissen und sind für kleinere Einrichtungen ohne entsprechende IT-Infrastruktur oft nur mit externer Unterstützung umsetzbar.

Für alle KI-Tools gilt ohne Ausnahme: Personenbezogene Daten von Klientinnen und Klienten – darunter Namen, Fallbeschreibungen, Gesprächsnotizen oder andere identifizierende Informationen – dürfen niemals ohne eine valide Rechtsgrundlage und einen DSGVO-konformen Verarbeitungsvertrag in KI-Tools eingegeben werden. Verstöße gegen die Schweigepflicht nach § 203 StGB und gegen die DSGVO können erhebliche rechtliche Konsequenzen haben und das Vertrauen der betreuten Menschen in die Einrichtung nachhaltig beschädigen.

4. Ethische Grundprinzipien beim KI-Einsatz in der Sozialen Arbeit

Neben den rechtlichen Anforderungen stellen sich beim Einsatz von KI in der Jugendhilfe grundlegende ethische Fragen, die eng mit dem professionellen Selbstverständnis Sozialer Arbeit verknüpft sind. Die internationale Vereinigung für Soziale Arbeit (IFSW) definiert Soziale Arbeit als einen Beruf, der auf den Prinzipien sozialer Gerechtigkeit, Menschenrechten und kollektiver Verantwortung basiert. Diese Prinzipien müssen auch im digitalen Raum und beim Einsatz algorithmischer Systeme handlungsleitend sein.

Das Prinzip der Transparenz fordert, dass Klientinnen und Klienten informiert werden, wenn KI-gestützte Tools in ihrer Begleitung eingesetzt werden. Sie haben ein Recht zu wissen, wie Entscheidungen getroffen werden, welche Daten verarbeitet werden und ob algorithmische Systeme dabei eine Rolle spielen. Intransparenz – auch als „Black-Box-Problem" bekannt – untergräbt das Vertrauen in professionelle Beziehungen und verletzt das Prinzip der informierten Einwilligung. Das Prinzip der Nicht-Diskriminierung verlangt, dass KI-Systeme keine Personen aufgrund von Merkmalen wie ethnischer Herkunft, Geschlecht, sozioökonomischem Status oder Behinderung benachteiligen dürfen. Da KI-Systeme aus historischen Daten lernen, reproduzieren und verstärken sie häufig bestehende gesellschaftliche Ungleichheiten – ein Phänomen, das als algorithmischer Bias bekannt ist (vgl. Kutscher & Iske, 2020). Das Prinzip der menschlichen Kontrolle und Verantwortung schreibt vor, dass KI-Systeme fachliche Entscheidungen lediglich unterstützen dürfen und die professionelle Verantwortung stets beim Menschen verbleiben muss. Automatisierte Entscheidungen, die das Leben von Klientinnen und Klienten wesentlich beeinflussen, ohne menschliche Prüfung zu ermöglichen, sind mit den ethischen Grundsätzen Sozialer Arbeit unvereinbar.

5. Algorithmischer Bias und seine Auswirkungen auf die Jugendhilfe

Algorithmischer Bias bezeichnet die systematische Verzerrung von KI-Entscheidungen aufgrund einseitiger oder unvollständiger Trainingsdaten. Besonders kritisch wird dies, wenn KI-Systeme zur Risikoeinschätzung oder Ressourcenvergabe in der Sozialen Arbeit eingesetzt werden. Internationale Erfahrungen zeigen, dass algorithmische Risikoeinschätzungssysteme – etwa zur Einschätzung von Kindeswohlgefährdungen – dazu neigen, Familien aus einkommensschwachen Verhältnissen oder mit Migrationshintergrund systematisch als höheres Risiko einzustufen, obwohl die zugrundeliegenden Daten diese Schlussfolgerung nicht rechtfertigen. Dies führt zu einer Verstärkung bestehender sozialer Ungleichheiten und kann zu diskriminierenden Entscheidungen führen, die das Leben von Familien und Kindern nachhaltig beeinflussen (vgl. Kutscher & Iske, 2020).

Für Fachkräfte der Jugendhilfe ergibt sich daraus eine klare Anforderung: KI-Empfehlungen müssen kritisch hinterfragt, auf ihre Grundlagen geprüft und durch eigenes fachliches Urteilsvermögen ergänzt oder korrigiert werden. Die Delegation von Verantwortung an algorithmische Systeme ist ethisch nicht vertretbar.

6. Der EU AI Act – Der neue Rechtsrahmen für KI in Europa

Mit dem EU AI Act, der im August 2024 in Kraft getreten ist, hat die Europäische Union den weltweit ersten umfassenden Rechtsrahmen für den Einsatz von Künstlicher Intelligenz geschaffen. Das Gesetz klassifiziert KI-Systeme nach ihrem Risikograd und legt entsprechende Anforderungen fest. KI-Systeme, die in der Sozialen Arbeit oder im Bereich der Jugendhilfe zur Risikoeinschätzung oder zur Entscheidungsunterstützung eingesetzt werden, fallen in die Kategorie der Hochrisiko-KI-Systeme. Für diese gelten strenge Anforderungen an Transparenz, Nachvollziehbarkeit, menschliche Aufsicht und Dokumentation. Anbieter und Nutzer solcher Systeme tragen erhebliche Verantwortung und müssen sicherstellen, dass die Systeme die Grundrechte der betroffenen Personen nicht verletzen (Europäisches Parlament, 2024).

Für Einrichtungen der Jugendhilfe bedeutet dies: Der Einsatz von KI-Systemen muss nicht nur datenschutzrechtlich, sondern auch im Sinne des EU AI Acts geprüft und dokumentiert werden. Fachkräfte sollten sich über die Anforderungen des EU AI Acts informieren und bei der Einführung neuer KI-gestützter Systeme rechtliche Beratung in Anspruch nehmen.

7. Praktische Handlungsempfehlungen für Einrichtungen der Jugendhilfe

Aus den beschriebenen rechtlichen und ethischen Anforderungen ergeben sich konkrete Handlungsempfehlungen für Einrichtungen der Jugendhilfe. Einrichtungen sollten verbindliche interne Richtlinien für den Einsatz von KI-Tools entwickeln, die festlegen, welche Tools für welche Zwecke genutzt werden dürfen, welche Datenschutzanforderungen zu beachten sind und wie mit datenschutzrechtlichen Verstößen umzugehen ist. Alle Mitarbeitenden sollten regelmäßig zu Datenschutz, digitalem Risikobewusstsein und dem verantwortungsvollen Umgang mit KI geschult werden. Klientinnen und Klienten müssen transparent darüber informiert werden, wenn digitale Tools in ihrer Begleitung eingesetzt werden, und ihre informierte Einwilligung muss eingeholt werden. KI-Tools sollten grundsätzlich als Unterstützungswerkzeuge verstanden werden – nicht als Ersatz für professionelles Urteilsvermögen, persönliche Beziehungsarbeit und fachliche Verantwortung. Bei der Auswahl von KI-Tools sollten bevorzugt europäische Anbieter mit DSGVO-konformen Lösungen berücksichtigt werden.

8. Fazit

Datenschutz und Ethik sind keine Hindernisse für die Nutzung von KI in der Jugendhilfe – sie sind die unverzichtbare Grundlage dafür, dass KI zum Wohl der betreuten Menschen eingesetzt werden kann. Fachkräfte, die die rechtlichen Rahmenbedingungen kennen, ethische Prinzipien in ihrer Arbeit verankern und KI-Systeme kritisch reflektieren, sind in der Lage, die Chancen digitaler Technologien zu nutzen und gleichzeitig die Risiken zu minimieren. Mit dem EU AI Act und der DSGVO verfügt Europa über einen starken rechtlichen Rahmen – seine Umsetzung in der täglichen Praxis liegt jedoch in der Verantwortung der Einrichtungen und der Fachkräfte selbst.

Literatur

Europäische Union. (2018). Verordnung (EU) 2016/679 des Europäischen Parlaments und des Rates (Datenschutz-Grundverordnung). Amtsblatt der Europäischen Union. https://eur-lex.europa.eu

Europäisches Parlament. (2024). Verordnung (EU) 2024/1689 über Künstliche Intelligenz (EU AI Act). Amtsblatt der Europäischen Union. https://eur-lex.europa.eu

Kutscher, N., & Iske, S. (2020). Digitale Ungleichheit. In N. Kutscher et al. (Hrsg.), Handbuch Soziale Arbeit und Digitalisierung (S. 115–128). Beltz Juventa.

Kutscher, N., Ley, T., Seelmeyer, U., Siller, F., Tillmann, A., & Zorn, I. (Hrsg.). (2020). Handbuch Soziale Arbeit und Digitalisierung. Beltz Juventa.

Zuletzt geändert: Sonntag, 31. Mai 2026, 18:21