MaxCompute(ODPS)简介¶
阿里云的MaxCompute,是大数据计算服务,原先名为 ODPS ,提供PB级别数据仓库,用于分析海量数据。可以对标开源的 MapReduce 解决方案 - Hadoop/Hive
阿里云提供了 MaxCompute学习途径 指导用户使用阿里云的大计算产品,不过只是help的一些选择汇总,感觉帮助不大。如果需要感性一些的认识,不如参考 MaxCompute 产品教程 提供了一个网站运营分析的案例,方便理解MaxCompute的实现流程。
MaxCompute概述¶
MaxCompute(ODPS):
100GB以上规模数据存储和计算
用于数据仓库和BI分析,网站日志分析、电子商务交易分析、用户特征分析等场景
集成 Spark大数据处理 引擎
集成OSS(阿里云提供的分布式对象存储)和Hadoop HDFS访问
集成流计算数据写入(我理解是集成flink的数据)
备注
我只选择了部分功能摘要,主要是能够结合开源大数据计算分析,以便将ODPS作为输入。我期望实现基于ODPS的数据进行spark计算,odps作为数据汇总,spark作为AI计算平台
我的感觉是阿里云的工程集成能力较强,将多种开源技术结合到自研的底层产品上,这样用户能够使用熟悉的开源技术,同时底层数据由阿里云运维(极其耗费硬件资源和人力资源),以达到云计算规模化的经济效益。