Perplexity, ein Unternehmen, das für seine KI-Assistenten bekannt ist, verteidigt sich gegen Anschuldigungen von Cloudflare, die behaupten, dass es die Regeln von robots.txt missachtet und sich an unerlaubtem Crawlen beteiligt. Perplexity weist solche Behauptungen zurück und macht darauf aufmerksam, dass seine Assistenzdienste benutzerinitiierte Aktionen sind, die nicht mit traditionellen Web-Crawlern gleichgesetzt werden sollten. Ihr Standpunkt: Diese Dienste handeln nur auf spezifische Anfragen und daher gelten die restriktiven Regeln nicht.
Wie arbeitet Perplexitys KI?
Perplexity stellt klar, dass ihre Plattform keine Inhalte im Voraus speichert oder indexiert. Im Gegensatz zu herkömmlichen Crawling-Methoden ruft die KI von Perplexity nur dann Webseiten ab, wenn Nutzer spezifische Fragen stellen, wie z. B. nach Restaurantbewertungen. Dank dieser „On-Demand“-Methode sammelt das System gezielt und nicht wahllos. Als Vergleich wird Googles Ansatz genannt, Seiten nur für Text-to-Speech oder Site-Verifizierung abzurufen – ähnlich der arbeitenden Benutzeranfragen von Perplexity.
Wichtig: Perplexity unterstreicht, dass die abgerufenen Inhalte weder gespeichert noch für das Training ihrer KI-Modelle wiederverwendet werden.
Kritik an Cloudflare
Perplexity erhebt zudem Kritik an Cloudflares Infrastruktur, die es offenbar nicht schafft, zwischen böswilligem Scraping und legitimen, vom Benutzer ausgelösten Aktionen zu unterscheiden. Sie argumentieren, dass die allgemeinen Mechanismen von Cloudflare dazu führen, dass auch legitime Anfragen blockiert werden, was weder hilfreich noch fair ist. Dies führe zu Fehlklassifikationen und einer Blockade validen Web-Traffics.
Missverständnisse über KI
Abschließend argumentiert Perplexity, dass Cloudflares Blockierungsentscheidungen auf Missverständnissen hinsichtlich der Funktionsweise ihrer Technologie basieren. Sie wollen eine Sensibilisierung fördern, um diese Unterscheidungen in Zukunft klarer zu machen und Fehlinterpretationen zu vermeiden.
Für weitere Details und die komplette Stellungnahme kannst du Perplexitys Reaktion hier nachlesen: Agents or Bots? Making Sense of AI on the Open Web
