Website sperrt den Bot? 402, 403 und Cloudflare

Du hast deine Website als Wissensquelle eingetragen, aber der Bot kennt keine einzige Seite davon. Oder der Crawl bricht nach der Startseite ab. In den meisten Fällen liegt das nicht an deiner Website selbst, sondern an einem Schutz davor: Ein Bot-Schutz hält unseren Crawler für einen unerwünschten Besucher und lässt ihn nicht durch.

Das ist kein Fehler von Cloudflare oder deinem Hoster. Diese Schutzfunktionen sollen genau das tun: automatisierte Abrufe abwehren. Sie unterscheiden nur nicht zwischen einem fremden KI-Bot und dem Crawler, den du selbst beauftragt hast.

Woran du es erkennst

Seit Oktober 2026 sagt dir der Mignuti-Admin direkt, was los ist. Unter Wissen bei der URL-Quelle steht dann eine von zwei Meldungen:

• „Deine Website sperrt unseren Crawler“: Die Website hat mit 403 („Zugriff verweigert“) geantwortet, und zwar von einem Bot-Schutz wie Cloudflare.
• „Deine Website verlangt von Crawlern eine Bezahlung“: Die Website hat mit 402 („Bezahlung erforderlich“) geantwortet. Das ist Cloudflares Funktion „Pay per Crawl“.

Beide Meldungen verweisen auf unsere Crawler-Seite mit der Anleitung.

Was hinter 403 steckt

Cloudflare bietet mehrere Schalter, die automatisierte Abrufe abwehren. Die häufigsten bei unseren Kunden:

• „KI-Crawler blockieren“ (Block AI bots): ein einziger Schalter, der bekannte KI-Bots aussperrt. Er ist schnell eingeschaltet und schnell vergessen.
• Bot Fight Mode: wehrt alles ab, was nach Automatisierung aussieht. Im kostenlosen Tarif ist das der übliche Grund.
• AI Crawl Control: eine Liste bekannter Crawler, bei der du pro Bot „Erlauben“ oder „Sperren“ wählst.

Ein 403 kann auch von einer Firewall-Regel deines Hosters oder einem WordPress-Sicherheits-Plugin kommen. Dann zeigt der Admin eine allgemeine Fehlermeldung statt des Cloudflare-Hinweises.

Was hinter 402 steckt

Mit „Pay per Crawl“ kann eine Website von KI-Firmen Geld dafür verlangen, dass deren Crawler die Inhalte lesen. Wer nicht zahlt, bekommt statt der Seite die Antwort 402. Das ist eine bewusste Entscheidung des Website-Betreibers, und für fremde KI-Firmen kann sie sinnvoll sein. Für deinen eigenen Chatbot willst du natürlich nicht an dich selbst zahlen. Also nimmst du unseren Crawler von der Regel aus.

So gibst du unseren Crawler frei

Unser Crawler meldet sich als MignutiChatbotCrawlerBot und kommt von der IP-Adresse 46.38.242.234.

1. IP-Zugriffsregel (alle Cloudflare-Tarife): Security → WAF → Tools → IP Access Rules. Trag 46.38.242.234 mit der Aktion „Allow“ für deine Website ein. Das ist der wichtigste Schritt: Den Bot Fight Mode kannst du nicht per Ausnahme-Regel umgehen, eine vorher passende IP-Zugriffsregel aber schon.
2. Ab Pro-Tarif zusätzlich: eine WAF-Regel mit der Aktion „Skip“ für Anfragen, deren User-Agent MignutiChatbotCrawlerBot enthält. Dort Super Bot Fight Mode und die Bot-Regeln überspringen.
3. AI Crawl Control / Pay per Crawl: Steht unser Crawler in der Liste, stell ihn auf „Erlauben“. Steht er nicht drin, reicht die IP-Zugriffsregel aus Schritt 1.

Danach im Mignuti-Admin unter Wissen bei der URL-Quelle auf „Jetzt neu crawlen“ klicken.

Du hast keinen Zugang zu Cloudflare, weil eine Agentur deine Website betreut? Schick ihr einfach den Link zu unserer Crawler-Seite. Dort steht alles, was sie braucht.

Weitere Gründe, warum der Bot nichts findet

Nicht jede leere Wissensquelle ist ein Bot-Schutz. Drei andere Ursachen sehen wir regelmäßig:

• Die robots.txt sperrt. Unser Crawler hält sich an die robots.txt. Steht dort Disallow: / für alle Bots oder für MignutiChatbotCrawlerBot, liest er nichts. Das ist dann eine Entscheidung auf deiner Seite, die du in der robots.txt änderst.
• Die Inhalte entstehen erst per JavaScript. Der Crawler führt kein JavaScript aus. Baut deine Website ihre Texte erst im Browser zusammen, sieht er eine fast leere Seite. Abhilfe: die wichtigsten Inhalte als PDF oder Text hochladen oder Fragen und Antworten direkt eintragen.
• Die Inhalte liegen hinter einem Login. Seiten, für die man angemeldet sein muss, kann der Crawler nicht lesen. Auch hier hilft ein Upload.

Schutz bleibt an, nur wir dürfen rein

Du musst deinen Bot-Schutz nicht abschalten, um den Chatbot zu nutzen. Die Freigabe gilt nur für unseren Crawler, alle anderen Bots bleiben so gesperrt wie vorher. Welche KI-Bots du sonst hereinlassen willst, ist eine eigene Frage. Wer dabei Hilfe möchte: Mignuti Media richtet das als Dienstleistung ein.

Klappt es trotz Freigabe nicht, schreib uns. Am besten mit der Adresse der Website, dann schauen wir direkt nach, welche Antwort unser Crawler bekommt.