Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Perayap Web

Web Crawler terhubung ke dan meng-crawl URL yang Anda tentukan untuk digunakan dalam basis pengetahuan terkelola Anda. Web Crawler melintasi halaman HTML mulai dari URL seed Anda, mengikuti tautan turunan sesuai dengan cakupan dan batasan crawl Anda. Anda juga dapat memberikan URL peta situs sebagai titik awal. Web Crawler menghormati robots.txt sesuai dengan RFC 9309.

Fitur yang didukung

Metode autentikasi

Web Crawler mendukung empat metode otentikasi. Pilih metode yang cocok dengan cara situs target mengautentikasi pengguna. Untuk situs publik tanpa login, gunakanNO_AUTH.

Prasyarat

Untuk situs web yang ingin Anda jelajahi, pastikan Anda:

Di AWS akun Anda, pastikan Anda:

Cara mengatur sumber data Web Crawler

Menyiapkan sumber data Web Crawler melibatkan langkah-langkah berikut:

Buat sumber data

Console

Untuk menghubungkan Web Crawler ke basis pengetahuan terkelola

1. Di bawah Sumber data, berikan nama untuk sumber data Anda.

2. Pilih Web Crawler dari dropdown sumber data.

3. Di bawah Sumber, pilih URL Sumber (hingga 10 URL titik awal) atau peta situs Sumber (hingga 3 URL peta situs).

4. Masukkan URL Anda di area teks Tambahkan URL, satu per baris.

5. Di bawah Otentikasi, pilih Tidak ada otentikasi, otentikasi dasar, otentikasi formulir, atau otentikasi SAM. Untuk metode apa pun selain Tidak ada otentikasi, pilih atau buat AWS Secrets Manager rahasia untuk menyimpan kredensyal Anda.

6. (Opsional) Perluas cakupan Sinkronisasi untuk mengatur kedalaman perayapan (0—10), tautan maksimum per URL (1—1000), URL maksimum yang dirayapi per menit (1—300), dan cakupan crawl: Default (host yang sama dan jalur URL awal yang sama dengan URL benih), Host saja (host yang sama, jalur apa pun), atau Subdomain (domain utama yang sama, termasuk subdomain).

7. (Opsional) Perluas pola filter URL untuk menambahkan ekspresi reguler yang menyertakan atau mengecualikan URL tertentu.

API

Untuk membuat sumber data Web Crawler, kirim CreateDataSourcepermintaan dengan titik akhir waktu pembuatan Agen untuk Amazon Bedrock. AWS Command Line Interface Contoh berikut membuat sumber data yang merayapi situs publik tanpa autentikasi. Untuk deskripsi setiap bidang, lihat referensi parameter konektor berikut.

aws bedrock-agent create-data-source \
 --name "WebCrawler-connector" \
 --knowledge-base-id "your-knowledge-base-id" \
 --data-source-configuration file://webcrawler-managed-connector.json

webcrawler-managed-connector.jsonFile tersebut berisi yang berikut:

{
    "type": "MANAGED_KNOWLEDGE_BASE_CONNECTOR",
    "managedKnowledgeBaseConnectorConfiguration": {
        "connectorParameters": {
            "type": "WEB",
            "version": "1",
            "connectionConfiguration": {
                "seedUrls": [
                    "https://docs.example.com"
                ],
                "authType": "NO_AUTH"
            },
            "crawlConfiguration": {
                "crawlDepth": 3,
                "maxLinksPerUrl": 100,
                "maxCrawledUrlsPerMinute": 50,
                "syncScope": "SUB_DOMAINS",
                "crawlAttachments": true
            },
            "filterConfiguration": {
                "exclusionPatterns": [
                    "https://docs.example.com/private/.*"
                ]
            }
        }
    }
}

Untuk situs yang diautentikasi, atur authType ke BASIC_AUTHFORM,, atauSAML, dan tambahkan secretArn keconnectionConfiguration.

Untuk basis pengetahuan terkelola, CreateDataSource asinkron: transisi status sumber data dari CREATING ke AVAILABLE saat operasi selesai.

Parameter konektor

Konfigurasi sumber data menggunakan parameter konektor berikut. Untuk menggunakan Web Crawler, tentukan WEB sebagai jenis konektor. connectorParameters Untuk bidang yang membungkus connectorParameters (seperti deletionProtectionConfiguration danmediaExtractionConfiguration), lihatConnect sumber data.

Kredensyal otentikasi

Jika situs web Anda memerlukan otentikasi, simpan kredensyal Anda secara rahasia. AWS Secrets Manager Format rahasia tergantung pada jenis otentikasi yang Anda pilih.

Otentikasi dasar () BASIC_AUTH

{
    "userName": "your-username",
    "password": "your-password",
    "authentication": "BASIC_AUTH"
}

Formulir otentikasi () FORM

Untuk otentikasi berbasis formulir, berikan ekspresi XPath yang mengidentifikasi bidang nama pengguna, bidang kata sandi, dan tombol kirim pada halaman login.

{
    "authentication": "FORM",
    "loginPageUrl": "https://example.com/login",
    "userName": "your-username",
    "password": "your-password",
    "userNameFieldXpath": "//input[@name='username']",
    "passwordFieldXpath": "//input[@name='password']",
    "userNameButtonXpath": "//button[@type='submit']",
    "passwordButtonXpath": "//button[@type='submit']"
}

Otentikasi SALL () SAML

Untuk otentikasi SAMP, berikan URL halaman login penyedia identitas SAMP dan ekspresi XPath untuk bidang formulir.

{
    "authentication": "SAML",
    "loginPageUrl": "https://your-idp.example.com/login",
    "userName": "your-username",
    "password": "your-password",
    "userNameFieldXpath": "//input[@name='username']",
    "passwordFieldXpath": "//input[@name='password']",
    "userNameButtonXpath": "//button[@type='submit']",
    "passwordButtonXpath": "//button[@type='submit']"
}

Pemecahan masalah