一分钟了解阿里云产品:墨迹天气之阿里云MaxCompute实践

  • 时间:
  • 浏览:0
  • 来源:5分11选5_5分3D

墨迹天气成立到现在5年多,将会积累了4亿用户。同去,在墨迹天气上,每天有超过 5 亿次的天气查询需求。墨迹天气将会集成了多语言版本,可根据手机系统语言自动适配,用户覆盖包括中国大陆、港澳台,日韩及东南亚、欧美等全球各地用户。运营团队每天最关心的是哪些用户正在怎样使用墨迹,在大伙儿操作中透露了哪些个性化需求。

1.在每个日志服务器上都安装了Fluentd及MaxCompute数据导入插件。日志数据通过流通道DataHub实时导入到MaxCompute。

1. Fluentd是一款优秀的日志导入软件。支持200多个插件,基本上今天的大数据处置系统,Fluentd都能支持。Fluentd还支持自定义插件。墨迹选择了使用Fluentd向MaxCompute导入数据。

将会您想完整篇 了解MaxCompute相关体验,请访问:

使用MaxCompute流程如下:

3.墨迹分析的作业每天和每小时都不执行。分析后的数据导入本地Mongo DB,报表系统接入Mongo DB来做展现。墨迹分析工程师在本地使用定时调度Python脚本完成哪些流程。SQL 分析脚本可需要通过ODPS Python SDK直接提交到MaxCompute上执行完,完成后将统计结果放满List 对象。通过Python Mongo Client 将List写入Mongo DB。迁移到MaxCompute后,流程上做了优化,EMR的工作省掉了,日志数据导入到MaxCompute表后,通过SQL进行分析,完成后直接将结果写入本地Mongo DB。在存储方面,MaxCompute中的表按列压缩存储,更节省存储空间,整体上存储和计算的费用比事先省了70%,性能和稳定性也提高了好多好多 。同去墨迹可需要借助MaxCompute上的机器学习算法,对数据进行深度1挖掘,为用户提供个性化的天气服务。

哪些数据完整篇 存储在墨迹的API日志中,墨迹天气的API每天产生的日志量为宜 在200GB左右,分析工具采用了阿里云的大数据计算服务MaxCompute。

2.墨迹的服务器部署在不同去区,日志数据按天和小时两级分区流入到MaxCompute表中,但统计作业是指在在北京时间。将会时区不同,要素数据在统计都不落掉。Fluentd中Filter 插件可需要完成这个转换操作。

3.运营人员通过报表系统来查看用户统计结果。

2.数据分析作业分小时级和天级任务。数据开发工程师通过MaxCompute Python SDK向ODPS提交SQL 分析脚本,将统计后的数据导入Mongo DB。报表系统直接对接Mongo DB。

整个数据分析过程也做了好多好多 优化。以下是几点说明:

http://www.zhihu.com/question/24441220