资源获取
资源获取
置顶 |
|
工具 |
0 评论
资源持续更新... 为了统一管理资源地址,托管于公众号平台 微信公众号:**雨中散步撒哈拉**
复盘 | 一、JAVA/大数据
复盘 | 一、JAVA/大数据
|
面试 |
0 评论
一、HDFS存储流程1. client跟NameNode交互2. client跟DataNode交互二、Kafka数据丢失1. 多客户端操作问题2. 组件流程问题3. 网络问题4. 数据大小问题5. Kafka Producer丢失数据问题1. ack = 02. ack = 13. ack = -
ClickHouse | 四、ClickHouse表引擎
ClickHouse | 四、ClickHouse表引擎
|
一、表引擎的使用(引擎的名称大小写敏感)二、TinyLog三、 Memory一、表引擎的使用(引擎的名称大小写敏感)表引擎是 ClickHouse 的一大特色。可以说, 表引擎决定了如何存储表的数据。包括:数据的存储方式和位置,写到哪里以及从哪里读取数据。支持哪些查询以及如何支持。并发数据访问。索引
ClickHouse | 三、ClickHouse数据类型
ClickHouse | 三、ClickHouse数据类型
|
一、整型1. 整型2. 无符号整型二、浮点型三、布尔型四、Decimal 型五、字符串1. String2. FixedString(N)六、枚举类型七、时间类型八、 数组一、整型固定长度的整型,包括有符号整型或无符号整型。1. 整型整型范围(-2n-1~2n-1-1):Int8 - [-128 :
ClickHouse | 二、人手一份-单机安装ClickHouse
ClickHouse | 二、人手一份-单机安装ClickHouse
|
一、准备工作1. 确定防火墙处于关闭状态2. CentOS 取消打开文件数限制3. 安装依赖4. CentOS 取消 SELINUX二、单机安装1. 上传到服务器2. 安装这 4 个 rpm 文件3. 修改配置文件4. 启动server5. 关闭开机自启(学习环境)6. 使用 client 连接
ClickHouse | 一、接近ClickHouse
ClickHouse | 一、接近ClickHouse
|
一、什么是clickhouse二、为什么要用clickhouse三、ClickHouse 的特点1. 列式存储2. DBMS 的功能3. 多样化引擎4. 高吞吐写入能力5. 数据分区与线程级并行6. 性能对比四、clickhouse为什么快什么是ClickHouse?为什么用clickhouse?
离线数仓复盘 | 八十、数据质量管理-调度模块和可视化模块
离线数仓复盘 | 八十、数据质量管理-调度模块和可视化模块
|
一、 Azkaban REST API 封装脚本二、 ODS层调度脚本三、 DWD层调度脚本四、 DIM层调度脚本五、Azkaban工作流配置文件六、可视化模块公众号:雨中散步撒哈拉个人博客网站:https://liudongdong.top个人导航网站:https://1024dh.top编辑者:
离线数仓复盘 | 七十九、数据质量管理-告警集成模块
离线数仓复盘 | 七十九、数据质量管理-告警集成模块
|
一、告警集成模块1. 环境准备2. 创建脚本公众号:雨中散步撒哈拉个人博客网站:https://liudongdong.top个人导航网站:https://1024dh.top编辑者:雨中散步撒哈拉资源获取关注公众号: 雨中散步撒哈拉回复关键词: 离线数仓4.0一、告警集成模块该模块主要用于检查My
离线数仓复盘 | 七十八、数据质量管理-规则检测模块
离线数仓复盘 | 七十八、数据质量管理-规则检测模块
|
一、 单一规则检测脚本编写1. 空id检查脚本2.重复id检查脚本3. 值域检查脚本4. 数据量环比检查脚本5. 数据量同比检查脚本二、 数仓各层检测脚本编写1. ODS层2. DWD层3. DIM层一、 单一规则检测脚本编写检测规则脚本分为五类:分别是空id检查脚本、重复id检查脚本、值域检查脚本
离线数仓复盘 | 七十七、数据质量管理-概述和环境准备
离线数仓复盘 | 七十七、数据质量管理-概述和环境准备
|
一、数据质量管理概述1. 数据质量管理定义2. 数据质量评价指标二、数据质量管理环境准备1. 需求分析2. 功能模块3. 开发环境准备1. Python开发环境准备2. 初始化MySQL环境公众号:雨中散步撒哈拉个人博客网站:https://liudongdong.top个人导航网站:https:/