Come posso usare il KPL per inserire i record di dati in un flusso di dati Kinesis?

Risoluzione

Prerequisiti:

• Un'istanza Linux di Amazon Elastic Compute Cloud (Amazon EC2) in esecuzione
• Un ruolo AWS Identity and Access Management (IAM) è associato alla tua istanza
• La policy KinesisFullAccess è associata al ruolo IAM dell'istanza

Per utilizzare il KPL per inserire i record in un flusso di dati Kinesis, completate i seguenti passaggi:

1. Connessione all'istanza Linux.

2. Installa l'ultima versione del pacchetto per sviluppatori OpenJDK 8:

   sudo yum install java-1.8.0-openjdk-devel

3. Conferma che Java è installato:

   java -version

   L'output sarà simile all'esempio seguente:

   java version "1.7.0_181"OpenJDK Runtime Environment (amzn-2.6.14.8.80.amzn1-x86_64 u181-b00)
   OpenJDK 64-Bit Server VM (build 24.181-b00, mixed mode)

4. Esegui i seguenti comandi per impostare Java 1.8 come provider java e javac predefiniti:

   sudo /usr/sbin/alternatives --config java sudo /usr/sbin/alternatives --config javac

5. Aggiungi un repository con un pacchetto Apache Maven:

   sudo wget http://repos.fedorapeople.org/repos/dchen/apache-maven/epel-apache-maven.repo -O /etc/yum.repos.d/epel-apache-maven.repo

6. Imposta il numero di versione per i pacchetti Maven:

   sudo sed -i s/\$releasever/6/g /etc/yum.repos.d/epel-apache-maven.repo

7. Usa yum per installare Maven:

   sudo yum install -y apache-maven

   Per confermare che Maven è installato correttamente, esegui il seguente comando:

   mvn -version

   L'output sarà simile all'esempio seguente:

   Apache Maven 3.5.2 (138edd61fd100ec658bfa2d307c43b76940a5d7d; 2017-10-18T07:58:13Z)Maven home: /usr/share/apache-maven
   Java version: 1.7.0_181, vendor: Oracle Corporation
   Java home: /usr/lib/jvm/java-1.7.0-openjdk-1.7.0.181.x86_64/jre
   Default locale: en_US, platform encoding: UTF-8
   OS name: "linux", version: "4.14.33-51.37.amzn1.x86_64", arch: "amd64", family: "unix"

8. Installa git, quindi scarica il KPL dal sito Web di GitHub:

   sudo yum install gitgit clone https://github.com/awslabs/amazon-kinesis-producer

9. Apri la directory amazon-kinesis-producer/java/amazon-kinesis-producer-sample/, quindi elenca i file:

   `cd amazon-kinesis-producer/java/amazon-kinesis-producer-sample/ls`
   `default_config.properties  pom.xml  README.md  src  target`

10. Esegui un comando simile al seguente per creare un flusso di dati Kinesis:

aws kinesis create-stream --stream-name kinesis-kpl-demo --shard-count 2

11. Esegui list-streams per confermare che lo stream è stato creato:

aws kinesis list-streams

12. Apri il file SampleProducer.java nel repository GitHub e modifica i seguenti campi:
    Per la ** stringa finale statica pubblica STREAM\ _NAME\ _DEFAULT**, inserisci il nome del flusso di dati Kinesis che hai creato in precedenza.
    Per la stringa finale statica pubblica REGION\ _DEFAULT, inserisci la regione AWS che stai utilizzando.
    Esempio:

cd src/com/amazonaws/services/kinesis/producer/samplevi SampleProducerConfig.java
public static final String STREAM_NAME_DEFAULT = "kinesis-kpl-demo";
public static final String REGION_DEFAULT = "us-east-1";

13. Per consentire a Maven di scaricare tutte le dipendenze della directory, esegui il seguente comando nella directory amazon-kinesis-producer-sample:

mvn clean package

14. Per eseguire il produttore e inviare dati nel flusso di dati Kinesis, esegui il seguente comando nella directory amazon-kinesis-producer-sample:

mvn exec:java -Dexec.mainClass="com.amazonaws.services.kinesis.producer.sample.SampleProducer"

15. Per verificare il numero di record inviati allo stream, controlla il grafico Dati in entrata (Conteggio) nella scheda Monitoraggio della console Kinesis.

**Nota:**il numero di record potrebbe essere inferiore al numero di record inviati al flusso di dati. Questo numero di record inferiore può verificarsi perché il KPL utilizza l'aggregazione.

Informazioni correlate

Writing to your Kinesis Data Stream using the KPL

Resharding, scaling, and parallel processing