Pourquoi mon flux de données Kinesis est-il limité ?

Lecture de 4 minute(s)
0

Pourquoi mon flux de données Amazon Kinesis est-il limité ?

Brève description

Même si vos métriques se situent dans les quotas de flux de données Kinesis, votre flux peut être limité pour les raisons suivantes :

  • Erreurs WriteThroughputExceeded et Rate Exceeded.
  • La surveillance améliorée des flux Kinesis est désactivée.
  • Micro pics masqués dans les métriques CloudWatch.
  • Les métriques CloudWatch signalent uniquement les opérations réussies et excluent toutes les opérations ayant échoué.

Solution

Votre flux de données Amazon Kinesis peut être ralenti pour les raisons suivantes :

Erreurs WriteThroughputExceeded et Rate Exceeded

Votre flux peut générer des erreurs de limitation WriteThroughputExceeded et Rate Exceeded, qui sont provoquées par les éléments suivants :

  • Le nombre d'enregistrements écrits dans le flux de données Kinesis dépasse les quotas de flux.
  • La taille des enregistrements (y compris les clés de partition) dépasse 1 Mo.
  • Le débit total en octets dépasse les limites du flux Kinesis.
  • Le producteur effectue trop de demandes rapides pour écrire dans le flux, généralement indiquées par une erreur indiquant « Slow down » ou « Rate exceeded ».

La surveillance améliorée des flux Kinesis est désactivée.

Certaines partitions de votre flux de données Kinesis peuvent recevoir plus d'enregistrements que d'autres. Cela peut entraîner des erreurs de limitation dans le flux. Les partitions sont ainsi surchargées, également appelées partitions à chaud. Les partitions à chaud indiquent que la clé de partition utilisée dans les opérations PUT ne distribue pas les enregistrements de manière équitable entre les partitions d'un flux Kinesis.

Les partitions à chaud peuvent être masquées dans les métriques si la fonction disable-enhanced-monitoring est activée. Cela est dû au fait que les métriques au niveau du flux sont une valeur agrégée pour toutes les partitions présentes. Lorsque la surveillance améliorée des flux est désactivée, vous ne pouvez pas examiner les flux individuellement. Pour examiner les flux selon chaque partition, utilisez la commande enable-enhanced-monitoring.

Micro pics masqués dans les métriques CloudWatch

Les quotas de flux Kinesis sont déterminés par partition et par seconde. Lorsque les valeurs s'agrègent pendant la limite de 60 secondes dans CloudWatch, un micro pic peut se produire et dépasser les quotas de temps Kinesis. En outre, le nombre total d'enregistrements en une minute peut sembler faible, car les métriques sont agrégées pendant 60 secondes. Toutefois, un enregistrement à une seconde donnée dans la minute représente réellement un nombre plus élevé. Le trafic peut indiquer qu'il est inférieur aux quotas de flux, mais la partition limitée au cours de cette seconde particulière apparaît comme une limitation sur le flux.

Les métriques CloudWatch signalent uniquement les opérations réussies et excluent les opérations ayant échoué.

Les métriques Kinesis enregistrent uniquement les opérations réussies sur le flux. Par conséquent, les opérations limitées peuvent ne pas être ingérées dans le flux de données Kinesis. Cela peut entraîner une violation des limites de flux et des limitations sans aucune indication de métrique.

Lorsque des enregistrements ayant échoué ne parviennent pas à entrer dans le flux de données Kinesis, le flux se limite. S'il existe un mécanisme de nouvelle tentative dans le producteur, les enregistrements ayant échoué sont réessayés. Cela peut également entraîner un retard dans le traitement.

Pour vérifier si un trop grand nombre d'enregistrements sont envoyés vers le flux de données Kinesis, calculez le nombre total d'enregistrements envoyés. Pour ce faire, vous pouvez ajouter le nombre total d'enregistrements entrants au nombre d'enregistrements limités. Vous obtenez ainsi une vue d'ensemble du nombre d'enregistrements entrants au cours des événements de limitation.


Informations connexes

Quotas Kinesis Data Streams

AWS OFFICIEL
AWS OFFICIELA mis à jour il y a 4 ans