Die meisten Entwickler, Webdesigner und Website-Betreiber haben schon mal von ihr gehört: der robots.txt – eine zentrale Datei im Root-Verzeichnis der Website, die den vertrauenswürdigen Crawlern gängiger Suchmaschinen (z.B. Google-Bot, Bing-Bot) vorgegeben haben, welche Pfade und Inhalte einer Seite überhaupt indexiert werden dürfen – und damit dann schließlich in den Suchmaschinen-Index wandern. KI-Systeme, KI-Suchmaschinen und “Answer Engines” crawlen unsere Inhalte heute aber längst nicht nur zum klassischen Indexieren, sondern auch zum Zusammenfassen, Zitieren, Beantworten und teils zum Training von LLMs. Es war also höchste Zeit, dass ein neues „Rahmenwerk“ hier etwas Ordnung in den Wilden-KI-Westen bringt!
Genau hier setzt der RSL-Standard (Really Simple Licensing bzw. Responsible Search Language) an: Er ermöglicht Website-Betreibern, maschinenlesbar festzulegen, unter welchen Bedingungen Inhalte von Crawlern und KI-Agenten genutzt werden dürfen. Technisch passiert das über eine RSL-Datei im XML Format (z. B. license.xml), die öffentlich erreichbar ist und typischerweise über einen zusätzlichen Eintrag in der robots.txt referenziert wird. So entsteht ein klarer, standardisierter “Lizenz-Hinweis”, den automatisierte Systeme zuverlässig finden und interpretieren können.
In meinem Artikel zur Bedeutung des RSL-Standards für Governance, Risk und Compliance (GRC) habe ich den strategischen Blick auf das Thema beschrieben und verdeutlicht, warum Publisher und Website-Betreiber überhaupt steuern wollen, wie KI-Systeme Inhalte überhaupt nutzen und welche Bedeutung das für die eigene Content-Governance hat (Index, Zusammenfassung, KI-Antworten, Training). In diesem Beitrag fokussieren wir uns darauf, wie wir eine RSL-Datei erstellen und in Websites (z.B. WordPress) einbinden können.
Was ist eine RSL-Datei genau?
RSL steht in der offiziellen Spezifikation für Really Simple Licensing. Es definiert ein standardisiertes XML-Vokabular plus Discovery-Mechanismen, um maschinenlesbar festzulegen, unter welchen Nutzungs- und Lizenzbedingungen digitale Inhalte durch Crawler/Agenten (inkl. KI-Systeme) verarbeitet werden dürfen. Wichtig für die Praxis: Ein RSL-Dokument (“License”) kann als Standalone-XML RSL-Datei, als RSS-Feed-Erweiterung oder auch embedded (eingebunden) in HTML umgesetzt werden. Es gibt also keine klare Vorgabe, wie eine RSL-Datei erstellt und eingebunden sein muss.
Schritt 1: RSL-Datei erstellen (license.xml)
Der schnellste Einstieg ist eine einfache XML-Datei wie license.xml im Webroot (gleiches Level wie z. B. robots.txt). Die offiziellen RSL-Guidelines zeigen beispielhafte Templates, nachfolgend aber ein minimalistisches Beispiel, das bestimmte KI-Nutzungen untersagt (aus dem “Getting Started”-Template abgeleitet):
<?xml version="1.0" encoding="UTF-8"?>
<rsl xmlns="https://rslstandard.org/rsl">
<content url="/">
<license>
<prohibits type="usage">ai-train ai-input</prohibits>
</license>
</content>
</rsl>
Inhalt Kurz erklärt:
- content url=“/“ bedeutet: gilt für die Website (Root/alle Inhalte unterhalb)
- prohibits regelt “Usage”-Zwecke (hier beispielhaft ai-train und ai-input)
Nun kannst Du die Datei als statische Datei auf dem Webserver direkt im Root-Verzeichnis ablegen (sofern möglich) – das ist am robustesten (Cache/CDN, einfache Verifikation). Wichtig ist jedoch, dass die namespace URI (xmlns=“https://rslstandard.org/rsl“) in der Datei verlinkt wird, um dem offiziellen Standard zu entsprechen!
Beispiel: RSL-Datei (license.xml) in WordPress Webroot hochgeladen und in robots.txt eingebunden
Schritt 2: RSL in robots.txt verlinken (RSL Discovery)
Nachdem die RSL-Datei nun auf dem Webserver liegt und relevante Infos über die Lizenzierung unserer Inhalte liefert, müssen wir sie direkt in der bestehenden und bekannten robots.txt Datei verlinken. In der Praxis wird die RSL License vor allem darüber “auffindbar” gemacht, dass deine robots.txt eine globale License-Directive enthält, die auf deine RSL-Datei zeigt. Laut Guide ist diese Directive nicht an einen User-Agent gebunden.
Beispiel robots.txt:
License: https://example.com/license.xml User-agent: * Allow: /
Wichtig: Die URL der RSL-Datei muss voll qualifiziert sein, d.h. inklusive https und Host.
Im Wesentlichen war das bereits die Einbindung. Je nach Server-Konfiguration muss ggf. noch das Caching erneuert werden, um die neue RSL-Datei korrekt auszuspielen.
RSL-Datei (license.xml) in WordPress einbinden
Im Gegensatz zu konventionellen / statischen HTML-Websites oder anderen CMS-Systemen (z.B. Typo3, Contao oder Drupal etc.) generiert das WordPress CMS bereits eine dynamische robots.txt, selbst wenn keine Datei auf dem Server abgelegt ist. Daher gibt es verschiedene Wege, um eine RSL Lizenz in WordPress einzubinden.
Variante 1: Physische robots.txt im Webroot bearbeiten
Wenn auf deinem Server bereits eine physische robots.txt liegt (nicht nur WordPress’ virtuelle Ausgabe), füge dort die License:-Zeile oben ein. Das ist die einfachste Variante und hier schon beschrieben.
Variante 2:WordPress generierte robots.txt über Filter bearbeiten
Man muss das Rad (oder die Robots) nicht neu erfinden. Du kannst auch einfach via Filter die virtuell generierte robots.txt ergänzen und deine neue license.xml verlinken:
// In Plugin oder in functions.php auslagern
add_filter('robots_txt', function ($output, $public) {
$license = "License: " . home_url('/license.xml') . "\n";
// Lizenz-Zeile ganz oben in die robots.txt setzen
return $license . $output;
}, 10, 2);
Rufe nach dem Einbinden in ein Plugin oder alternativ die functions.php deines Themes / Child-Themes einmal die URL deiner Robots-Datei auf, z.B. wie hier: https://elsenmedia.com/robots.txt
Variante 3: RSL zusätzlich im HTML/Schema.org referenzieren
Die Spezifikation nennt mehrere Integrationspunkte (u. a. HTML <link> und Schema.org). Wenn du ohnehin JSON-LD ausspielst, kannst du in deinem Schema.org-CreativeWork (z. B. BlogPosting) die Property license auf deine RSL-Datei setzen.
Ein Beispiel für sehr simple Ergänzung im Head für Beiträge:
add_action('wp_head', function () {
if (!is_singular('post')) return;
$data = [
"@context" => "https://schema.org",
"@type" => "BlogPosting",
"license" => home_url('/license.xml'),
"mainEntityOfPage" => get_permalink(),
"headline" => get_the_title(),
];
echo '<script type="application/ld+json">' . wp_json_encode($data) . '</script>';
});
Wichtig: RSL-Datei testen
Stelle sicher, dass die Dateien und die Verlinkungen funktionieren und aufrufbar sind und keine 404-Fehler produzieren:
- Test-Aufruf: https://deine-domain.tld/license.xml ➞ kommt XML zurück?
- Test-Aufruf: https://deine-domain.tld/robots.txt ➞ steht „License: …“ ganz oben in der Datei?
Änderst du Regeln, versioniere die Datei (intern) und halte sie stabil erreichbar (kein Redirect-Chaos). So sicherst du Konsistenz in deiner Lizenzierung von Inhalten und hast eine saubere, technisch nachvollziehbare RSL-Datei in deine Website eingebunden.
Quelle / Bild: https://rslstandard.org
Quelle 2: elsengrc.com
