As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Web Crawler

O Web Crawler se conecta e rastreia os URLs que você especifica para uso em sua base de conhecimento gerenciada. O Web Crawler percorre páginas HTML a partir de seus URLs iniciais, seguindo links secundários de acordo com o escopo e os limites do rastreamento. Você também pode fornecer URLs de sitemaps como pontos de partida. O Web Crawler respeita o robots.txt de acordo com a RFC 9309.

Recursos compatíveis

Métodos de autenticação

O Web Crawler suporta quatro métodos de autenticação. Escolha o método que corresponde à forma como o site de destino autentica os usuários. Para sites públicos sem login, use. NO_AUTH

Pré-requisitos

Para o site que você deseja rastrear, certifique-se de:

Em sua AWS conta, certifique-se de:

Como configurar uma fonte de dados do Web Crawler

A configuração de uma fonte de dados do Web Crawler envolve as seguintes etapas:

Crie a fonte de dados

Console

Para conectar o Web Crawler à sua base de conhecimento gerenciada

1. Em Fonte de dados, forneça um nome para sua fonte de dados.

2. Selecione Web Crawler na lista suspensa da fonte de dados.

3. Em Fonte, escolha URLs de origem (até 10 URLs de ponto de partida) ou Sitemaps de origem (até 3 URLs de sitemap).

4. Insira seus URLs na área de texto Adicionar URLs, um por linha.

5. Em Autenticação, selecione Sem autenticação, Autenticação básica, Autenticação de formulário ou Autenticação SAML. Para qualquer método diferente de Sem autenticação, selecione ou crie um AWS Secrets Manager segredo para armazenar suas credenciais.

6. (Opcional) Expanda o escopo de sincronização para definir a profundidade do rastreamento (0 a 10), o máximo de links por URL (1 a 1000), o máximo de URLs rastreados por minuto (1 a 300) e o escopo do rastreamento: padrão (mesmo host e mesmo caminho de URL inicial do URL inicial), somente host (mesmo host, qualquer caminho) ou subdomínios (mesmo domínio primário, incluindo subdomínios).

7. (Opcional) Expanda os padrões de filtro de URL para adicionar expressões regulares que incluam ou excluam URLs específicos.

API

Para criar uma fonte de dados do Web Crawler, envie uma CreateDataSourcesolicitação com um endpoint de tempo de construção do Agents for Amazon Bedrock. O AWS Command Line Interface exemplo a seguir cria uma fonte de dados que rastreia um site público sem autenticação. Para obter uma descrição de cada campo, consulte a referência de parâmetros do conector a seguir.

aws bedrock-agent create-data-source \
 --name "WebCrawler-connector" \
 --knowledge-base-id "your-knowledge-base-id" \
 --data-source-configuration file://webcrawler-managed-connector.json

O webcrawler-managed-connector.json arquivo contém o seguinte:

{
    "type": "MANAGED_KNOWLEDGE_BASE_CONNECTOR",
    "managedKnowledgeBaseConnectorConfiguration": {
        "connectorParameters": {
            "type": "WEB",
            "version": "1",
            "connectionConfiguration": {
                "seedUrls": [
                    "https://docs.example.com"
                ],
                "authType": "NO_AUTH"
            },
            "crawlConfiguration": {
                "crawlDepth": 3,
                "maxLinksPerUrl": 100,
                "maxCrawledUrlsPerMinute": 50,
                "syncScope": "SUB_DOMAINS",
                "crawlAttachments": true
            },
            "filterConfiguration": {
                "exclusionPatterns": [
                    "https://docs.example.com/private/.*"
                ]
            }
        }
    }
}

Para um site autenticado, authType defina como BASIC_AUTH FORMSAML, ou e adicione um secretArn a. connectionConfiguration

Para bases de conhecimento gerenciadas, CreateDataSource é assíncrono: o status da fonte de dados muda de CREATING para AVAILABLE quando a operação é concluída.

Parâmetros do conector

A configuração da fonte de dados usa os seguintes parâmetros do conector. Para usar o Web Crawler, especifique WEB como tipo de conector. connectorParameters Para os campos que são agrupados connectorParameters (como deletionProtectionConfiguration emediaExtractionConfiguration), consulteConectar uma fonte de dados.

Credenciais de autenticação

Se o seu site exigir autenticação, armazene suas credenciais em AWS Secrets Manager segredo. O formato secreto depende do tipo de autenticação escolhido.

Autenticação básica (BASIC_AUTH)

{
    "userName": "your-username",
    "password": "your-password",
    "authentication": "BASIC_AUTH"
}

Autenticação de formulário (FORM)

Para autenticação baseada em formulário, forneça expressões XPath que identifiquem o campo de nome de usuário, campo de senha e botão de envio na página de login.

{
    "authentication": "FORM",
    "loginPageUrl": "https://example.com/login",
    "userName": "your-username",
    "password": "your-password",
    "userNameFieldXpath": "//input[@name='username']",
    "passwordFieldXpath": "//input[@name='password']",
    "userNameButtonXpath": "//button[@type='submit']",
    "passwordButtonXpath": "//button[@type='submit']"
}

Autenticação SAML () SAML

Para a autenticação SAML, forneça a URL da página de login do provedor de identidade SAML e as expressões XPath para os campos do formulário.

{
    "authentication": "SAML",
    "loginPageUrl": "https://your-idp.example.com/login",
    "userName": "your-username",
    "password": "your-password",
    "userNameFieldXpath": "//input[@name='username']",
    "passwordFieldXpath": "//input[@name='password']",
    "userNameButtonXpath": "//button[@type='submit']",
    "passwordButtonXpath": "//button[@type='submit']"
}

Solução de problemas