服务粉丝

我们一直在努力
当前位置:首页 > 财经 >

时序数据库的流计算支持

日期: 来源:OSC开源社区收集编辑:邀你看直播的

01

时序数据及其特点 


时序数据(Time Series Data)是基于相对稳定频率持续产生的一系列指标监测数据,比如一年内的道琼斯指数、一天内不同时间点的测量气温等。时序数据有以下几个特点:
    ●     历史数据的不变性
    ●     数据的有效性
    ●     数据的时效性
    ●     结构化的数据
    ●     数据的大量性

02

时序数据库基本架构 



针对时序数据的特点,时序数据库一般具有以下特性:
    ●     高速的数据入库
    ●     数据的生命周期管理
    ●     数据的流处理
    ●     高效的数据查询
    ●     定制的数据压缩

03

流计算介绍 

流计算主要是指针对实时获取来自不同数据源的海量数据,经过实时分析处理,从而获得有价值的信息。常见的业务场景包括实时事件的快速反应,市场变化的实时告警,实时数据的交互分析等。流计算一般包括如下几方面的功能:
1)过滤和转换 (filter & map)
2)聚合以及窗口函数 (reduce,aggregation/window)
3)多数据流合并以及模式匹配 (joining & pattern detection)
4)从流到块处理

04

  时序数据库对流计算的支持   

  • 案例一:使用定制化的流计算 API,如下面例子所示:

from(bucket: "mydb")  |> range(start: -1h)  |> filter(fn: (r) => r["_measurement"] == "mymeasurement")  |> map(fn: (r) => ({ r with value: r.value * 2 }))  |> filter(fn: (r) => r.value > 100)  |> aggregateWindow(every: 1m, fn: sum, createEmpty: false)  |> group(columns: ["location"])  |> join(tables: {stream1: {bucket: "mydb", measurement: "stream1", start: -1h}, stream2: {bucket: "mydb", measurement: "stream2", start: -1h}}, on: ["location"])  |> alert(name: "value_above_threshold", message: "Value is above threshold", crit: (r) => r.value > 100)  |> to(bucket: "mydb", measurement: "output", tagColumns: ["location"])

  • 案例二:使用类 SQL 指令,创建流计算以及定义流计算规则,如下:
CREATE STREAM current_stream        TRIGGER AT_ONCE        INTO current_stream_output_stb AS        SELECT              _wstart as start,               _wend as end,               max(current) as max_current         FROM meters         WHERE voltage <= 220         INTEVAL (5S) SLIDING (1s);

往期推荐



微软开源Visual ChatGPT,7天斩获2.2万stars

Linux内核、LLVM、GCC均已支持龙芯LoongArch架构

相关阅读

  • 超100亿次安装 | curl诞生25周年

  • 出品 | OSC开源社区(ID:oschina2013)昨天是 curl 诞生 25 周年的纪念日,创始人 Daniel 回顾了项目经历的二十五年。Daniel 表示,他发布 curl 的首个版本时只有 27 岁,当时在 Fron
  • 高通开源aptX和aptX HD编码器

  • 出品 | OSC开源社区(ID:oschina2013)蓝牙音频的传输质量在过去这些年有了非常显著的进步,尤其是各大手机厂商开始陆续取消耳机接口,蓝牙音频的发展速度更是加快了不少,用户从一开
  • 分享几个我常用的私活接单渠道

  • 今天,给大家推荐一些用Python爬虫做私活的渠道!【Python爬虫学习资料】先给各位还不熟悉Python爬虫的朋友介绍一下!可以短时间获得大量资料~可以进一步数据分析当然也可以获得
  • 拼多多因“恶意软件”被谷歌下架,是意外吗?

  • 3月21日,路透社报道,由于发现拼多多APP存在恶意软件问题,谷歌已暂时将该应用从商店下架。谷歌公司发言人埃德·费尔南德斯在一份声明中表示,将拼多多APP下架是一种安全预防措施
  • 英伟达GTC大会万字纪要

  • 产业调研系列欢迎来到GTC大会,GTC是我们面向开发者的一场盛会,这个全球NVIDIA生态系统涵盖400万开发者、4万家公司和1.4万家初创公司。感谢我们的钻石赞助商,他们为我们提供大
  • 自动驾驶数据闭环系列之二——如何降本增效

  • 交流群 | 进“传感器群/滑板底盘群/汽车基础软件群/域控制器群”请扫描文末二维码,添加九章小助手,务必备注交流群名称 + 真实姓名 + 公司 + 职位(不备注无法通过好友验证)作者

热门文章

  • “复活”半年后 京东拍拍二手杀入公益事业

  • 京东拍拍二手“复活”半年后,杀入公益事业,试图让企业捐的赠品、家庭闲置品变成实实在在的“爱心”。 把“闲置品”变爱心 6月12日,“益心一益·守护梦想每一步”2018年四

最新文章

  • 超100亿次安装 | curl诞生25周年

  • 出品 | OSC开源社区(ID:oschina2013)昨天是 curl 诞生 25 周年的纪念日,创始人 Daniel 回顾了项目经历的二十五年。Daniel 表示,他发布 curl 的首个版本时只有 27 岁,当时在 Fron
  • 高通开源aptX和aptX HD编码器

  • 出品 | OSC开源社区(ID:oschina2013)蓝牙音频的传输质量在过去这些年有了非常显著的进步,尤其是各大手机厂商开始陆续取消耳机接口,蓝牙音频的发展速度更是加快了不少,用户从一开
  • 透过现象看Java AIO的本质

  • 1前言关于Java BIO、NIO、AIO的区别和原理,这样的文章非常的多的,但主要还是在BIO和NIO这两者之间讨论,而关于AIO这样的文章就少之又少了,很多只是介绍了一下概念和代码示例。在
  • 时序数据库的流计算支持

  • 01时序数据及其特点 时序数据(Time Series Data)是基于相对稳定频率持续产生的一系列指标监测数据,比如一年内的道琼斯指数、一天内不同时间点的测量气温等。时序数据有以下几
  • 微软开源 Visual ChatGPT,7天斩获2.2万stars

  • ↓推荐关注↓来源:OSC开源社区(ID:oschina2013)除了大力投资 Open AI ,微软还亲自下场大搞 AI 。7 天前,微软开源了 Visual ChatGPT ,这个软件可以连接 ChatGPT 和一系列视觉模型,