Amazon Bedrock에서 제공한 웹 크롤러가 데이터 소스에 추가하는 URL 목록을 보려면 어떻게 해야 합니까?

간략한 설명

웹 크롤러가 데이터 소스에 추가하는 URL을 보려면 지식 베이스에 로그 전달 옵션을 추가하여 수집 작업의 로그를 기록해야 합니다. 수집 로그는 웹 크롤러가 데이터 소스에 추가하는 URL을 기록합니다. 수집 작업을 완료한 후 Amazon CloudWatch Logs Insights를 사용하여 로그 데이터를 분석합니다.

해결 방법

다음 단계를 완료하십시오.

1. 지식 베이스를 업데이트하여 CloudWatch Logs를 전송 옵션으로 추가합니다.
2. 웹 크롤러 데이터 소스를 동기화합니다.
3. 동기화 기록 섹션에서 대상 데이터 소스를 선택한 다음, 수집 작업 ID를 기록해 둡니다.
4. CloudWatch 콘솔을 연 다음, 로그 그룹을 선택합니다.
5. 동기화 작업이 실행된 시간 범위를 설정합니다.
6. Logs Insights에서 보기를 선택하고 다음 쿼리를 입력합니다.

   fields event.document_location.web_location.url | filter @message like 'IngestionJobId' and event.status like 'INDEXED'

   참고: IngestionJobId를 수집 작업 ID로 바꾸십시오. 쿼리 실행을 선택하여 URL 목록을 확인합니다.