EC2高速存储需求与auto scaling group下代码区分。

Question

我有高速存储需求，例如第一次运算生成100T的源数据，长期保存。以后每次使用实例都是需要用到这100T的数据，这些数据只在EC2上储存，没有网络传输的需求，这种情况是使用EBS还是S3存储数据呢？另外我需要开启多台实例放在一个auto scaling group管理，需要实现这些实例都运行同样的代码，只不过接收的运算命令不同，实例1需要执行命令a，实例2执行命令b，实例3执行命令c实例100执行命令100，这种情况可以实现吗?

Answer

您做HPC吗？存储推荐EFS或FSx for Lustre。请进一步明确您的应用场景，同时根据目前的信息，建议采用分布式计算框架，例如Mapreduce， Spark，Impala等分布式计算引擎来实现服务器构成一个包含数十、数百至数千个节点的分布和并行计算集群。

也可以了解一下AWS的EMR产品，可以支持以上的场景。

EC2高速存储需求与auto scaling group下代码区分。

相关内容