古道长亭

Contact me with ixiaoqiang0011@gmail.com


  • 首页

  • 归档

  • 分类

  • 关于

  • Book

  • 搜索

Docker 快速入门

时间: 2023-07-17   |   分类: Docker   | 字数: 6815 字 | 阅读约: 14分钟

Docker 快速入门

1. Docker历史

2010年,几个的年轻人,就在美国的旧金山成立了一家公司 dotcloud。做一些Paas平台的创业公司!从事LXC(Linux Container容器)有关的容器技术!Linux Container容器是一种内核虚拟化技术,可以提供轻量级的虚拟化,以便隔离进程和资源。他们将自己的技术(容器化技术)命名就是 Docker。Docker刚刚延生的时候,没有引起行业的注意!虽然获得了创业孵化器(Y Combinator)的支持、也获得过一些融资,但随着IT巨头们(微软、谷歌、亚马逊等厂商)也进入PaaS凭他,dotCloud举步维艰,眼看就活不下去!

阅读全文 »

Flink 实战

时间: 2023-07-16   |   分类: Flink   | 字数: 505 字 | 阅读约: 2分钟

Flink 实战

1.1 需求分析

抽取(extract)、转换(transform)、加载(load)

{
    "dt":"2020-08-12 17:19:40",
    "countryCode":"SA",
    "data":[
        {
            "type":"s2",
            "score":0.1,
            "level":"A+"
        },
        {
            "type":"s5",
            "score":0.5,
            "level":"C"
        }
    ]
}

areass AREA_US US areass AREA_CT TW,HK areass AREA_AR PK,KW,SA areass AREA_IN IN

阅读全文 »

Flink 并行度设置

时间: 2023-07-15   |   分类: Flink   | 字数: 970 字 | 阅读约: 2分钟

Flink 并行度设置

一个Flink程序由多个Operator组成(source、transformation和 sink)。

一个Operator由多个并行的Task(线程)来执行, 一个Operator的并行Task(线程)数目就被称为该Operator(任务)的并行度(Parallel)

阅读全文 »

Flink Time

时间: 2023-07-14   |   分类: Flink   | 字数: 3620 字 | 阅读约: 8分钟

Flink Time

1.1 Time

在Flink的流式处理中,会涉及到时间的不同概念,如下图所示:

image-20200921112633884

  • EventTime[事件时间]

    事件发生的时间,例如:点击网站上的某个链接的时间,每一条日志都会记录自己的生成时间

阅读全文 »

Flink 窗口机制

时间: 2023-07-13   |   分类: Flink   | 字数: 2657 字 | 阅读约: 6分钟

Flink 窗口机制

Flink Window 背景

​ Flink认为Batch是Streaming的一个特例,因此Flink底层引擎是一个流式引擎,在上面实现了流处理和批处理。而Window就是从Streaming到Batch的桥梁。

阅读全文 »
1 2 3 4 5 6 7 8
古道长亭

古道长亭

Always remember that your present situation is not your final destination. The best is yet to come.

226 日志
57 分类
104 标签
GitHub Gitee
友情链接
  • 古道长亭的BOOK
  • JAVA学习
标签云
  • Mysql
  • 搜索引擎
  • Mybatis
  • 容器
  • 架构
  • 消息队列
  • Flink
  • Sharding sphere
  • 流处理
  • 缓存
© 2019 - 2024 京ICP备19012088号-1
0%