黄青石 - D1h.Net第一号博客
返回主页

JUST DO IT

You never know what gonna happen until you practice!

随笔 - 43  文章 - 1  评论 - 58
摘要:最近真的比较忙,很久就想写了,可是一直苦于写点什么,今天脑袋灵光一闪,觉得自己再UDP方面还有些不了解的地方,所以要给自己扫盲。 好了,咱们进入今天的主题,先列一下提纲: 1. UDP是什么,UDP适用于什么场景? 2. 写一个小Demo来加深一下UDP的理解。 3. UDP和TCP的区别有哪些? 阅读全文
posted @ 2020-05-24 17:59 黄青石 阅读(169) 评论(0) 推荐(1) 编辑
摘要:在我们的工作中,很多地方使用延迟队列,比如订单到期没有付款取消订单,制订一个提醒的任务等都需要延迟队列,那么我们需要实现延迟队列。我们本文的梗概如下,同学们可以选择性阅读。 1. 实现一个简单的延迟队列。 2.使用Redis的list实现分布式延迟队列。 3.使用Redis的zSet实现分布式延迟队 阅读全文
posted @ 2020-04-18 22:55 黄青石 阅读(392) 评论(0) 推荐(1) 编辑
摘要:我们有的时候需要双主mysql, 这样无论哪个数据库出现了问题的话都可以继续使用数据库。把两个数据库挂到一个代理上面,这样哪个服务出问题了,另外一个就可以继续服务了。当然本文不是主要谈代理的,所以这个不做细说。 因为我们的电脑资源有限,所有我们继续采用docker的形式进行处理。 首先我的电脑是ma 阅读全文
posted @ 2020-03-29 17:00 黄青石 阅读(209) 评论(1) 推荐(0) 编辑
摘要:docker的使用越来越普遍了,大家不知道docker的还需要进一步学习一下。这次咱们使用docker去进行hadoop集群的构建。 使用docker构建的好处真的很多,一台电脑上可以学习安装很多想做的东西,可以说是一个docker可以虚拟你想使用的任何环境。大家知道安装hadoop需要很多机器和资 阅读全文
posted @ 2020-03-20 18:48 黄青石 阅读(462) 评论(0) 推荐(1) 编辑
摘要:随着Flink 1.10的发布,对SQL的支持也非常强大。Flink 还提供了 MySql, Hive,ES, Kafka等连接器Connector,所以使用起来非常方便。 接下来咱们针对构建流式SQL应用文章的梗概如下: 1. 搭建流式SQL应用所需要的环境准备。 2. 构建一个按每小时进行统计购 阅读全文
posted @ 2020-03-15 16:05 黄青石 阅读(1329) 评论(0) 推荐(1) 编辑
摘要:Flink不同于其他实时计算的框架之处是它可以提供针对不同的状态进行编程和计算。本篇文章的主要思路如下,大家可以选择性阅读。 1. Flink的状态分类及不同点。 2. Flink针对不同的状态进行编程。 3. 检查点机制和配置。 4. 状态的存储。 Flilnk的状态分类及不同点 Flink有两种 阅读全文
posted @ 2020-03-11 20:12 黄青石 阅读(405) 评论(0) 推荐(0) 编辑
摘要:Flink提供了像表一样处理的API和像执行SQL语句一样把结果集进行执行。这样很方便的让大家进行数据处理了。比如执行一些查询,在无界数据和批处理的任务上,然后将这些按一定的格式进行输出,很方便的让大家像执行SQL一样简单。 今天主要写的东西分为如下几个方面,然后遵循着下边几个方面进行展开: 1.  阅读全文
posted @ 2020-02-20 20:25 黄青石 阅读(453) 评论(0) 推荐(0) 编辑
摘要:之前写了一些关于RPC原理的文章,但是觉得还得要实现一个。之前看到一句话觉得非常有道理,与大家共勉。不是“不要重复造轮子”,而是“不要发明轮子”,所以能造轮子还是需要造的。 如果大家还有不了解原理的,可参考我之前写的“RPC原理”,点击即可通过“飞机票”过去。 这篇文章的梗概如下: 1. 介绍一下这 阅读全文
posted @ 2020-02-10 20:13 黄青石 阅读(113) 评论(0) 推荐(0) 编辑
摘要:当数据进入Flink的时候,数据需要带入相应的时间,根据相应的时间进行处理。 让咱们想象一个场景,有一个队列,分别带着指定的时间,那么处理的时候,需要根据相应的时间进行处理,比如:统计最近五分钟的访问量,那么就需要知道数据到来的时间。五分钟以内的数据将会被计入,超过五分钟的将会计入下一个计算窗口。 阅读全文
posted @ 2020-01-11 13:37 黄青石 阅读(176) 评论(0) 推荐(0) 编辑
摘要:JobManager协调每个flink应用的部署,它负责执行定时任务和资源管理。 每一个Flink集群都有一个jobManager, 如果jobManager出现问题之后,将不能提交新的任务和运行新任务失败,这样会造成单点失败,所以需要构建高可用的JobMangager。 类似zookeeper一样 阅读全文
posted @ 2020-01-01 17:23 黄青石 阅读(292) 评论(0) 推荐(0) 编辑
Copyright © 2020 黄青石
Powered by .NET Core on Kubernetes

问答 28u iTmz.Net 3q科技 A8团队1 A8团队2 A8团队3 A8备