雨中散步撒哈拉

资源持续更新... 为了统一管理资源地址，托管于公众号平台 微信公众号：**雨中散步撒哈拉**

一、HDFS存储流程1. client跟NameNode交互2. client跟DataNode交互二、Kafka数据丢失1. 多客户端操作问题2. 组件流程问题3. 网络问题4. 数据大小问题5. Kafka Producer丢失数据问题1. ack = 02. ack = 13. ack = -

一、表引擎的使用（引擎的名称大小写敏感）二、TinyLog三、 Memory一、表引擎的使用（引擎的名称大小写敏感）表引擎是 ClickHouse 的一大特色。可以说， 表引擎决定了如何存储表的数据。包括：数据的存储方式和位置，写到哪里以及从哪里读取数据。支持哪些查询以及如何支持。并发数据访问。索引

一、整型1. 整型2. 无符号整型二、浮点型三、布尔型四、Decimal 型五、字符串1. String2. FixedString(N)六、枚举类型七、时间类型八、 数组一、整型固定长度的整型，包括有符号整型或无符号整型。1. 整型整型范围（-2n-1~2n-1-1）：Int8 - [-128 :

一、准备工作1. 确定防火墙处于关闭状态2. CentOS 取消打开文件数限制3. 安装依赖4. CentOS 取消 SELINUX二、单机安装1. 上传到服务器2. 安装这 4 个 rpm 文件3. 修改配置文件4. 启动server5. 关闭开机自启(学习环境)6. 使用 client 连接

一、什么是clickhouse二、为什么要用clickhouse三、ClickHouse 的特点1. 列式存储2. DBMS 的功能3. 多样化引擎4. 高吞吐写入能力5. 数据分区与线程级并行6. 性能对比四、clickhouse为什么快什么是ClickHouse？为什么用clickhouse？

一、 Azkaban REST API 封装脚本二、 ODS层调度脚本三、 DWD层调度脚本四、 DIM层调度脚本五、Azkaban工作流配置文件六、可视化模块公众号：雨中散步撒哈拉个人博客网站：https://liudongdong.top个人导航网站：https://1024dh.top编辑者：

一、告警集成模块1. 环境准备2. 创建脚本公众号：雨中散步撒哈拉个人博客网站：https://liudongdong.top个人导航网站：https://1024dh.top编辑者：雨中散步撒哈拉资源获取关注公众号: 雨中散步撒哈拉回复关键词: 离线数仓4.0一、告警集成模块该模块主要用于检查My

一、 单一规则检测脚本编写1. 空id检查脚本2.重复id检查脚本3. 值域检查脚本4. 数据量环比检查脚本5. 数据量同比检查脚本二、 数仓各层检测脚本编写1. ODS层2. DWD层3. DIM层一、 单一规则检测脚本编写检测规则脚本分为五类：分别是空id检查脚本、重复id检查脚本、值域检查脚本

一、数据质量管理概述1. 数据质量管理定义2. 数据质量评价指标二、数据质量管理环境准备1. 需求分析2. 功能模块3. 开发环境准备1. Python开发环境准备2. 初始化MySQL环境公众号：雨中散步撒哈拉个人博客网站：https://liudongdong.top个人导航网站：https:/