Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Webcrawler

Der Web Crawler stellt eine Verbindung zu URLs her, die Sie zur Verwendung in Ihrer verwalteten Wissensdatenbank angeben, und crawlt diese. Der Web Crawler durchsucht HTML-Seiten ausgehend von Ihren Seed-URLs und folgt dabei entsprechend Ihrem Crawling-Umfang und Ihren Einschränkungen den untergeordneten Links. Sie können auch Sitemap-URLs als Startpunkte angeben. Der Web Crawler respektiert robots.txt gemäß RFC 9309.

Unterstützte Features

Authentifizierungsmethoden

Der Web Crawler unterstützt vier Authentifizierungsmethoden. Wählen Sie die Methode, die der Benutzerauthentifizierung auf der Zielwebsite entspricht. Verwenden Sie für öffentliche Websites ohne Anmeldung. NO_AUTH

Voraussetzungen

Stellen Sie für die Website, die Sie crawlen möchten, Folgendes sicher:

Stellen Sie in Ihrem AWS Konto sicher, dass Sie:

Wie richte ich eine Web Crawler-Datenquelle ein

Das Einrichten einer Web Crawler-Datenquelle umfasst die folgenden Schritte:

Erstellen Sie die Datenquelle

Console

Um den Web Crawler mit Ihrer verwalteten Wissensdatenbank zu verbinden

1. Geben Sie unter Datenquelle einen Namen für Ihre Datenquelle ein.

2. Wählen Sie Web Crawler aus der Dropdownliste für die Datenquelle aus.

3. Wählen Sie unter Quelle die Option Quell-URLs (bis zu 10 Startpunkt-URLs) oder Quell-Sitemaps (bis zu 3 Sitemap-URLs) aus.

4. Geben Sie Ihre URLs in den Textbereich „URLs hinzufügen“ ein, eine pro Zeile.

5. Wählen Sie unter Authentifizierung die Option Keine Authentifizierung, Standardauthentifizierung, Formularauthentifizierung oder SAML-Authentifizierung aus. Wählen Sie für jede andere Methode als Keine Authentifizierung ein AWS Secrets Manager Geheimnis aus, um Ihre Anmeldeinformationen zu speichern, oder erstellen Sie ein solches.

6. (Optional) Erweitern Sie den Synchronisierungsbereich, um die Crawl-Tiefe (0—10), die maximale Anzahl an Links pro URL (1—1000), die maximale Anzahl der pro Minute gecrawlten URLs (1—300) und den Crawlbereich festzulegen: Standard (derselbe Host und derselbe ursprüngliche URL-Pfad wie die Seed-URL), Nur Host (derselbe Host, beliebiger Pfad) oder Subdomains (dieselbe primäre Domain, einschließlich Subdomains).

7. (Optional) Erweitern Sie URL-Filtermuster, um reguläre Ausdrücke hinzuzufügen, die bestimmte URLs einschließen oder ausschließen.

API

Um eine Web Crawler-Datenquelle zu erstellen, senden Sie eine CreateDataSourceAnfrage mit einem Build-Time-Endpunkt von Agents for Amazon Bedrock. Im folgenden AWS Command Line Interface Beispiel wird eine Datenquelle erstellt, die eine öffentliche Website ohne Authentifizierung crawlt. Eine Beschreibung der einzelnen Felder finden Sie in der nachfolgenden Referenz zu den Konnektorparametern.

aws bedrock-agent create-data-source \
 --name "WebCrawler-connector" \
 --knowledge-base-id "your-knowledge-base-id" \
 --data-source-configuration file://webcrawler-managed-connector.json

Die webcrawler-managed-connector.json Datei enthält Folgendes:

{
    "type": "MANAGED_KNOWLEDGE_BASE_CONNECTOR",
    "managedKnowledgeBaseConnectorConfiguration": {
        "connectorParameters": {
            "type": "WEB",
            "version": "1",
            "connectionConfiguration": {
                "seedUrls": [
                    "https://docs.example.com"
                ],
                "authType": "NO_AUTH"
            },
            "crawlConfiguration": {
                "crawlDepth": 3,
                "maxLinksPerUrl": 100,
                "maxCrawledUrlsPerMinute": 50,
                "syncScope": "SUB_DOMAINS",
                "crawlAttachments": true
            },
            "filterConfiguration": {
                "exclusionPatterns": [
                    "https://docs.example.com/private/.*"
                ]
            }
        }
    }
}

Legen Sie für eine authentifizierte Site authType den Wert auf BASIC_AUTH FORMSAML, oder fest und fügen Sie ein secretArn bis connectionConfiguration hinzu.

Bei verwalteten Wissensdatenbanken CreateDataSource erfolgt der Vorgang asynchron: Der Status der Datenquelle wechselt von CREATING zu, AVAILABLE wenn der Vorgang abgeschlossen ist.

Connector-Parameter

Die Datenquellenkonfiguration verwendet die folgenden Konnektorparameter. Um den Web Crawler zu verwenden, geben Sie WEB als Konnektortyp in connectorParameters an. Informationen zu Feldern, die umbrechen connectorParameters (z. B. deletionProtectionConfiguration undmediaExtractionConfiguration), finden Sie unterVerbinden einer Datenquelle.

Anmeldeinformationen für die Authentifizierung

Wenn für Ihre Website eine Authentifizierung erforderlich ist, speichern Sie Ihre Anmeldeinformationen AWS Secrets Manager geheim. Das geheime Format hängt vom ausgewählten Authentifizierungstyp ab.

Standardauthentifizierung (BASIC_AUTH)

{
    "userName": "your-username",
    "password": "your-password",
    "authentication": "BASIC_AUTH"
}

Formularauthentifizierung (FORM)

Geben Sie für die formularbasierte Authentifizierung XPath-Ausdrücke an, die das Benutzernamenfeld, das Passwortfeld und die Schaltfläche „Senden“ auf der Anmeldeseite identifizieren.

{
    "authentication": "FORM",
    "loginPageUrl": "https://example.com/login",
    "userName": "your-username",
    "password": "your-password",
    "userNameFieldXpath": "//input[@name='username']",
    "passwordFieldXpath": "//input[@name='password']",
    "userNameButtonXpath": "//button[@type='submit']",
    "passwordButtonXpath": "//button[@type='submit']"
}

SAML-Authentifizierung () SAML

Geben Sie für die SAML-Authentifizierung die URL der Anmeldeseite des SAML-Identitätsanbieters und die XPath-Ausdrücke für die Formularfelder an.

{
    "authentication": "SAML",
    "loginPageUrl": "https://your-idp.example.com/login",
    "userName": "your-username",
    "password": "your-password",
    "userNameFieldXpath": "//input[@name='username']",
    "passwordFieldXpath": "//input[@name='password']",
    "userNameButtonXpath": "//button[@type='submit']",
    "passwordButtonXpath": "//button[@type='submit']"
}

Fehlerbehebung