首页 » 99链接平台 » 自己造了个轮子(实时分析项目数据开源)

自己造了个轮子(实时分析项目数据开源)

admin 2024-11-24 14:26:18 0

扫一扫用手机浏览

文章目录 [+]

昨天推荐了一个 Uber 的开源项目 Kraken,今天推荐它的另一个开源项目,也是 Go 语言实现的。

项目名称:AresDB,地址:https://github.com/uber/aresdb,Star 数:2.5k+。

这是一个由 GPU 驱动的实时分析存储和查询引擎。
为什么开发 AresDB?Uber 在官方博客上给出了解答:https://eng.uber.com/aresdb/

自己造了个轮子(实时分析项目数据开源) 99链接平台
(图片来自网络侵删)
官方的说法

在 Uber,实时分析使我们能够获得业务情况和运营效率,使我们能够做出以数据为依据的决策,以改善在 Uber 平台上的体验。
例如,我们的运营团队依靠数据来监控市场健康状况并在我们的平台上发现潜在问题;由机器学习模型提供支持的软件利用数据来预测骑手供应和司机需求;数据科学家使用数据来改进机器学习模型,以更好地进行预测。

过去,我们利用许多第三方数据库解决方案进行实时分析,但没有一个能够同时满足我们所有的功能,可伸缩性,性能,成本和运营要求。

AresDB 于 2018 年 11 月发布,是一个开源的实时分析引擎,它利用非常规电源,图形处理单元(GPU)来使我们的分析规模化增长。
GPU 技术是实时分析的新兴工具,多年来发展显著,使其非常适合并行进行实时计算和数据处理。

Uber 实时分析解决的最常见问题是如何计算时间序列汇总,这些计算使我们能够洞悉用户体验,从而可以相应地改善服务。
通过这些计算,我们可以在任意过滤(或有时加入)的数据范围内,按特定维度(例如,日期,小时,城市 ID 和旅行状态)请求度量。
多年来,Uber 部署了多种解决方案以不同方式解决此问题。

我们用于解决此类问题的第三方解决方案包括:Apache Pinot 和 Elasticsearch。

尽管这些技术各有千秋,但它们对于我们的用例却缺乏关键的功能。
我们需要一个统一,简化和优化的解决方案,并且要开箱即用(或者更确切地说是在 GPU 内)。

(哈哈哈,是不是再次证明,自己的轮子又大又圆?)

要求

该项目使用了如下技术:

golang 1.11+C++ compiler that support c++14cmake 3.12+nvcc version 9.1

该项目的查询引擎使用 C++ 实现的,而内存存储,磁盘存储和其他查询组件使用 Go 实现的。
因此这是一个多语言项目。
同时因为涉及到 GPU 等技术,因此搞定这个项目需要一定的实力。

最后放一张架构图:

标签:

相关文章

巨化德代码,引领科技前沿的智慧结晶

随着科技的飞速发展,人工智能、大数据、云计算等新兴技术逐渐成为各行各业的热点。在我国,一家名为巨化德的公司凭借其独特的代码技术,在...

99链接平台 2024-12-25 阅读0 评论0

基于原代码的软件开发,传承与创新之路

随着信息技术的飞速发展,软件开发已成为推动社会进步的重要力量。在众多软件开发方法中,基于原代码的软件开发以其独特的优势,成为了许多...

99链接平台 2024-12-25 阅读0 评论0

大数据时代的崛起,变革与机遇并存

随着互联网技术的飞速发展,大数据已经成为了当今时代最具影响力的关键词之一。它不仅改变了我们的生活,也深刻地影响着各个行业的变革。在...

99链接平台 2024-12-25 阅读0 评论0

代码的力量,人工智能赋能下的编程之美

随着科技的飞速发展,人工智能(AI)已经渗透到我们生活的方方面面,而编程作为AI的核心技术,其重要性不言而喻。代码,作为人类与机器...

99链接平台 2024-12-25 阅读1 评论0

单挑房,科技助力竞技,激发青春活力

随着科技的飞速发展,网络竞技游戏逐渐成为年轻人娱乐生活的重要组成部分。近年来,一款名为“单挑房”的竞技游戏模式在玩家群体中广受欢迎...

99链接平台 2024-12-25 阅读1 评论0