数据分析领域的黑马-ClickHouse..pptx
- 文档编号:30842928
- 上传时间:2024-01-31
- 格式:PPTX
- 页数:110
- 大小:60.95MB
数据分析领域的黑马-ClickHouse..pptx
《数据分析领域的黑马-ClickHouse..pptx》由会员分享,可在线阅读,更多相关《数据分析领域的黑马-ClickHouse..pptx(110页珍藏版)》请在冰豆网上搜索。
,径”早”,“表姐”们,具?
kHive,ut,p这玩意,转的天啊就,GoogleHadoop,多数Hadoop,位,位,位,结果,ed,QL,plex,决不了的。
斯搜索巨头Yandex开源,异步复制,Q,L,OLA最P终致,压缩,PB级,别,统计函数存储集群,驱动丰,富,atedinreal,t能ime,线性扩,跨数据中展,e,L,173MB4369514.731Sec9.3W/Sec5倍,总结优点:
部署简单全部CPU打满,查询效率极问题:
性能依赖单机(scaleup路线存在单点故障险(宕机数据全丢),适应内存?
其他列查询:
稀疏索引定位区间:
不适合点对点查询,适合范围查询颗粒度N:
默认8192查询问题:
会带来过多的IO,Distributed引擎:
1.本身不存储数据,被写,做转发查询,作为中间件聚,合后返回给户apm_msg_allapm_msg,通过域名,写本地表,insertintoapm_msgvalues()总QPS=单机QPS,m_msg_allpm_msg,通过域名,读分布式表select*fromapm_msg_all,wherexxx=yyy原则:
确保其他节点返回的数据,还可以聚合,如top/groupby逻辑就不同,m_msg_allpm_msg,收到请求的节点,,拿到所有节点数据(本各地汇计总算次)后,m_msg_allpm_msg,返回给客户端,m_msg_allpm_msg,晓,匀,不均衡换靠性,多源、多主、多向复制,m_msg,数据互通有带检测机制带同步机制(物理复制)依赖ZK多数派写,多源、多主、多向复制,apm_msg,数据互通有带检测机制带同步机制(物理复制)依赖ZK多数派写,DC使复制机制做互备节点,做分布式表,分担查询压如:
据的3个分,各承担1/3的数据查询性能:
A+B+C,宕机分,析,IDC,挂掉2,个响读写只Ho需u重se启动实完例成数据同步掉某个实例,如A读写到其他IDC,恢复实例A即可掉多个实例,A、B同时挂掉式同上,多快?
表1:
14字段900亿4T表2:
94字段500亿15T,selectcount(*)300亿0.9秒,selectdate,count(*)fromxxgroupbydate300亿groupby期9.8秒,太复杂了,更复杂了持Join,单元测试,+,其他today()-1yesterday()substring(s,oset,length)IPv4NumToStringClassCextract(haystack,能是单引号QL_MODE的参数)接启动,erversover20.3trillionrowsBuncompresseddata,TSV,withoutcountingduplicationandreplication,analyzes1MDNSqueriespersecond,lyCartoDB)isaervice(SaaS)gplatformthat,图表、邮件、报警等Superset可视化工作台,问题排查,Trace,Prometheus+ClickHouseexporter+Grafana,使insert2K起步名写本地表,读分布式表是Docker,注意修改时ho区use-client在Docker,乱码select*cimal,乘以倍率,Uint64存,对询、容量,重点不在事务、查询快,规模稳定性有待验证,防预先设定不满需求,需要开发:
JDBC、clickhouse-Hangcoliuetntt、oPCyltichkoHno导use插件持复杂查询级函数多持连表查kHouse需要管询理表维度原API社区正在发展Java/Python/R/PHP,atabasest,cAtinvaelytics,HighPerformanceGPUDatabaseforBigDataSQLmostedGPUSQL,也就是OLAP之苦”,ww.percona.com/,怕有坑?
不好,
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 数据 分析 领域 黑马 ClickHouse