Direkt zum Inhalt

Wie verwende ich Athena, um meine Application Load Balancer-Verbindungsprotokolle abzufragen?

Lesedauer: 2 Minute
0

Ich möchte Amazon Athena verwenden, um meine Application Load Balancer-Verbindungsprotokolle abzufragen.

Lösung

Um Application Load Balancer-Verbindungsprotokolle abzufragen, erstelle eine Datenbank und eine Tabelle für Athena. Führe die folgenden Schritte aus:

  1. Öffne die Athena-Konsole.

  2. Um eine Datenbank zu erstellen, führe den folgenden Befehl im Abfrage-Editor aus:

    CREATE DATABASE alb_db

    Hinweis: Es hat sich bewährt, die Datenbank in derselben AWS-Region wie dein Amazon Simple Storage Service (Amazon S3)-Bucket zu erstellen.

  3. Nachdem du die Datenbank erstellt hast, erstelle eine Tabelle mit der folgenden Abfrage:

    CREATE EXTERNAL TABLE IF NOT EXISTS alb_connection_logs (  
             time string,  
             client_ip string,  
             client_port int,  
             listener_port int,  
             tls_protocol string,  
             tls_cipher string,  
             tls_handshake_latency double,  
             leaf_client_cert_subject string,  
             leaf_client_cert_validity string,  
             leaf_client_cert_serial_number string,  
             tls_verify_status string,  
             conn_trace_id string  
             )  
                PARTITIONED BY  
                (  
                 day STRING  
                )  
                ROW FORMAT SERDE 'org.apache.hadoop.hive.serde2.RegexSerDe'  
                WITH SERDEPROPERTIES (  
                'serialization.format' = '1',  
                'input.regex' =  
                 '([^ ]*) ([^ ]*) ([0-9]*) ([0-9]*) ([A-Za-z0-9.-]*) ([^ ]*) ([-.0-9]*) \"([^\"]*)\" ([^ ]*) ([^ ]*) ([^ ]*) ?([^ ]*)?( .*)?'  
                )  
                LOCATION 's3://S3-LOCATION/AWSLogs/ACCOUNT-NUMBER/elasticloadbalancing/REGION/'  
                TBLPROPERTIES  
                (  
                 "projection.enabled" = "true",  
                 "projection.day.type" = "date",  
                 "projection.day.range" = "2023/01/01,NOW",  
                 "projection.day.format" = "yyyy/MM/dd",  
                 "projection.day.interval" = "1",  
                 "projection.day.interval.unit" = "DAYS",  
                 "storage.location.template" = "s3://S3-LOCATION/AWSLogs/ACCOUNT-NUMBER/elasticloadbalancing/REGION/${day}"  
                )

    Hinweis: Ersetze S3-LOCATION, ACCOUNT-NUMBER und REGION durch deine S3-Bucket-Werte.

  4. Verwende SQL-Anweisungen, um die Application Load Balancer-Verbindungsprotokolle abzufragen.

Beispielabfragen

Die letzten 100 Einträge der Protokolle anzeigen

SELECT *FROM alb_conn_logs  
ORDER by time desc  
LIMIT 100

Einträge zählen, bei denen tls_verify_status NICHT „Success“ war, und nach client_IP gruppieren

SELECT distinct client_ip, count() as count from alb_conn_logs WHERE tls_verify_status != 'Success'  
GROUP by client_ip  
ORDER by count() DESC;

Alle Einträge anzeigen, bei denen tls_handshake_latency in einem bestimmten Zeitraum über zwei Sekunden liegt

SELECT * FROM alb_conn_logs WHERE (parse_datetime(time,'yyyy-MM-dd''T''HH:mm:ss.SSSSSS''Z')  
BETWEEN parse_datetime('2024-01-01-00:00:00','yyyy-MM-dd-HH:mm:ss')  
AND parse_datetime('2024-03-20-00:00:00','yyyy-MM-dd-HH:mm:ss'))  
AND (tls_handshake_latency >= 2.0);

Nach Verbindungen mit einem genauen Gültigkeitsdatum der Zertifizierung suchen und nach leaf_client_cert_serial_number gruppieren

SELECT DISTINCT leaf_client_cert_serial_number, count() AS count FROM alb_conn_logs  
WHERE tls_verify_status = 'Success' AND leaf_client_cert_validity like '%NotAfter=2025-01-01%'  
GROUP BY leaf_client_cert_serial_number  
ORDER BY count() DESC;

Ähnliche Informationen

Wie analysiere ich meine Application Load Balancer-Zugriffsprotokolle mit Athena?

Application Load Balancer-Protokolle abfragen

AWS OFFICIALAktualisiert vor einem Jahr