Für Website-Betreiber

MignutiChatbotCrawlerBot

Unser Crawler liest Websites ein, damit der Chatbot unserer Kunden Fragen zu deren Inhalten beantworten kann. Unsere Kunden tragen dafür Websites als Wissensquelle ein, meist ihre eigene.

So verhält sich der Crawler

• Er respektiert die robots.txt. Gesperrte Pfade ruft er nicht ab.
• Er folgt nur Links innerhalb derselben Domain und führt kein JavaScript aus.
• Er ruft Seiten nacheinander ab, nicht parallel, und liest nur Text. Bilder, Videos und Downloads lädt er nicht.
• Wie oft er wiederkommt, legt unser Kunde fest: von Hand, täglich, wöchentlich oder monatlich.
• Die gelesenen Texte dienen nur als Wissen für den Chatbot dieses Kunden. Wir trainieren damit keine KI-Modelle.

Crawler sperren

Trag in deine robots.txt ein:

User-agent: MignutiChatbotCrawlerBot
Disallow: /

Crawler freigeben (Cloudflare)

Du nutzt Mignuti Chatbot und dein Bot kann deine eigene Website nicht einlesen? Dann sperrt meist ein Bot-Schutz unseren Crawler, zum Beispiel Cloudflare „KI-Crawler blockieren“, „Bot Fight Mode“ oder „Pay per Crawl“. Im Mignuti-Admin steht dann „Deine Website sperrt unseren Crawler“ oder „verlangt eine Bezahlung“.

1. IP-Zugriffsregel (alle Cloudflare-Tarife): Security → WAF → Tools → IP Access Rules → 46.38.242.234 mit Aktion „Allow“ für deine Website. Laut Cloudflare greift der Bot Fight Mode nicht, wenn vorher eine IP-Zugriffsregel passt. Der Bot Fight Mode lässt sich sonst nicht per Ausnahme-Regel umgehen.
2. Ab Pro-Tarif zusätzlich: eine WAF-Regel mit Aktion „Skip“ für Anfragen, deren User-Agent MignutiChatbotCrawlerBot enthält, und dort Super Bot Fight Mode sowie die Bot-Regeln überspringen.
3. Pay per Crawl / AI Crawl Control: Taucht unser Crawler dort in der Liste auf, stell ihn auf „Erlauben“. Sonst hilft die IP-Zugriffsregel aus Schritt 1.

Danach im Mignuti-Admin unter Wissen → URL-Quellen „Jetzt neu crawlen“. Klappt es trotzdem nicht, schreib uns, wir schauen es uns an.

Fragen zum Crawler oder Missbrauch melden: Kontakt. Die Absender-IP kann sich ändern, diese Seite ist dann aktuell.