一部のDMSのレプリケーションインスタンスとエンドポイントが削除できない

レプリケーションインスタンスが移行タスクで使用されていないでしょうか？
おそらく移行タスクが停止されていない状態で削除を行っているためそのエラーが発生しているのではないかと思います。
https://docs.aws.amazon.com/ja_jp/dms/latest/userguide/CHAP_ReplicationInstance.Deleting.html

不要になった AWS DMS レプリケーション インスタンスは削除できます。レプリケーション インスタンスを使用する移行タスクがある場合は、レプリケーション インスタンスを削除する前に、タスクを停止して削除する必要があります。

移行タスクの停止はAWS CLIから可能です。
https://awscli.amazonaws.com/v2/documentation/api/latest/reference/dms/stop-replication-task.html

aws dms stop-replication-task --replication-task-arn 移行タスクのARN

移行タスクの停止・削除をしたらレプリケーションインスタンスとエンドポイントが削除できました。 ご回答ありがとうございます。