Amazon RDSのSSL/TLS証明書更新時の接続断有無について

実際やってみないとわからないですが、コネクションが切断される可能性はあると思います。
アプリケーション側で新しい証明書を取り込んでいればコネクションが切断されたとしても気にならない程度で再接続できるのではないかと予想しています。
https://docs.aws.amazon.com/ja_jp/AmazonRDS/latest/UserGuide/UsingWithRDS.SSL-certificate-rotation.html#UsingWithRDS.SSL-certificate-rotation-sample-script

ちなみに以下のAWSブログで本番環境の更新はメンテナンス期間を設定して更新することが推奨されています。
なので、仮に切断が無かったとしても更新する際は念のためメンテナンス時間などを設けるのがよいと思います。
https://aws.amazon.com/jp/blogs/news/rotate-your-ssl-tls-certificates-now-amazon-rds-and-amazon-aurora-expire-in-2024/

非本番環境でのテストが完了したら、本番環境で RDS データベース CA 証明書のローテーションを開始できます。ステップ 3 に示すように、DB インスタンスを手動でローテーションできます。今日のエンジンの多くは再起動を必要としませんが、メンテナンス期間に再起動をスケジュ ールすることが推奨されることにご留意ください。