章宇Ceph存储集群及其在云计算中的应用.docx
- 文档编号:7119387
- 上传时间:2023-01-20
- 格式:DOCX
- 页数:10
- 大小:110.90KB
章宇Ceph存储集群及其在云计算中的应用.docx
《章宇Ceph存储集群及其在云计算中的应用.docx》由会员分享,可在线阅读,更多相关《章宇Ceph存储集群及其在云计算中的应用.docx(10页珍藏版)》请在冰豆网上搜索。
章宇Ceph存储集群及其在云计算中的应用
章宇-Ceph存储集群及其在云计算中的应用
Ceph存储集群
及其在云计算中的应用
章宇
开场白
●章宇
●2002年及2007年分别于清华大学电子工程系获得工学学士及
博士学位
●先后工作于计算机体系结构、虚拟化、云计算领域
●关于本次活动
●大牛们:
欢迎用力拍砖,欢迎互通有无
●菜鸟们:
提供参考和思路
●纯属个人观点
Outline
●Ceph概况
●Ceph技术分析
●Ceph在云计算中的应用场景
●小结
什么是Ceph?
●“Cephisaunified,distributedstoragesystem
designedforexcellentperformance,reliability
andscalability.”——Ceph4>>
●关于unified
●支持对象存储
●支持块存储
●支持文件系统存储
●关于distributed
●无中心结构,理论上无规模上限
●可以部署于上千台服务器组成的集群上
●已知最大集群容量大于3PB(DreamHost)
为何要关注Ceph?
●Ceph的自身优势
●先进的设计思想
–无需元数据查找,客户端直接通过计算进行寻址
●众多优点
–Unified
–Scalability
–Reliability
–Performance
–Automation
●Ceph逐渐成熟,前途看好
–Inktank已经被RedHat收购
Ceph的产生与发展
●创始人SageWeil的博士课题
●真牛人也!
!
●2006年在OSDI会议上的论文中正式发布
●采用7> ●采用LGPL许可 ●目前由SageWeil创立的InkTank公司主导开 发及发布 ●发布周期为3个月 生态系统 PartnersUsers 引自//.ustack>/blog/ceph_infra/ Outline ●Ceph概况 ●Ceph技术分析 ●Ceph在云计算中的应用场景 ●小结 Ceph的设计思想 ●设计Ceph时的目标应用场景 ●大规模的分布式的存储系统 –至少能承载PB级别的数据(早于2006年提 出),且无理论上限 –成千上万的存储节点 ●“”三个变化 –存储系统规模变化: 规模随着数据量不断增长 –存储系统中的设备变化: 不断有设备损坏并被更 换 –存储系统中的数据变化: 不断有数据被写入、移 动、删除 Ceph的设计思想(续) ●针对目标应用场景提出的预期技术特性 ●高可靠 –已存入数据的可靠性 –存入过程中的可靠性 ●高度自动化 –自动replica –自动re-balancing –自动failuredetection –自动failurerecovery ●高可扩展 –规模 –性能 Ceph的设计思想(续) ●针对预期技术特性提出的设计思路与准则 ●充分发挥存储设备自身的计算能力 –用计算能力换取预期特性 ●去除所有的中心点和单点故障点 ●关键创新 ●通过计算(而非元数据查找)定位数据 –“WhereshouldIstoreanobject” –“WheredidIstoreanobject” ●没有全局性的对象元数据表及其服务器,并尽可 能减少和简化局部的元数据及相关操作 Ceph逻辑分层 引自ceph> RADOS逻辑结构 引自RADOS: AScalable,ReliableStorageServiceforPetabyte-scaleStorageClusters OSD逻辑结构 引自//.ustack>/blog/ceph_infra/ ——工作原理对象寻址 引自Ceph: AScalable,High-PerformanceDistributedFileSystem ——工作原理数据写入可靠性 引自ceph> ——工作原理集群维护 ●由monitor集群负责整个Ceph集群中所有OSD状态的记录,并形成clustermap 版本号: epoch 各个OSD的网络地址 OSD的状态: (up,down),(in,out) CRUSH算法信息: clusterhierarchy,placementrules ●Clustermap以增量方式在各个OSD之间传递 ●OSD状态变化触发clustermap版本和内容的变化 ●在任意时刻,clustermap信息在任意一个PG内部必须一致 ●在全局范围内clustermap可以不一致,但在有限时间内必定收敛 ●Clustermap的变化将触发数据的维护操作 ●Replication ●Recovery ●集群维护自动完成,无需人工干预 Ceph的技术优势 ●高可扩展性 ●无中心架构,理论上的无上限扩展 ●各个client可以并行访问,不存在 bottleneck ●高可靠性 ●无中心架构,因此无单点故障点 ●数据的自动化多备份 ●自动错误诊断及恢复 ●高性能 ●聚合吞吐 ●并行访问 ●自动化 ●充分发挥OSD自身能力 ●可编程性 ●librados提供丰富的API ●支持多种编程语言调用 ●允许在OSD上引入计算插件 ●统一存储解决方案 ●避免同时维护多个不同的存储系统 集群 ●平台无关,易于移植 ●有ARM架构上的推荐部署配置 ●支持thinprovisioning: RBD ●支持snapshot 参考硬件配置 引自ceph> Outline ●Ceph概况 ●Ceph技术分析 ●Ceph在云计算中的应用场景 ●小结 场景一: 提供volume资源池 CloudCephCluster volume 在Ceph集群中创建volume(块设备),然后挂载至虚拟机,作为系统盘或 者数据盘使用。 如果作为系统盘,可以实现从volume直接启动(无需使用镜像),但需要 在系统盘中预先安装操作系统。 VM Volume manager 场景二: 提供镜像库存储空间 CloudCephCluster Image manager Image pool 在Ceph集群中创建镜像存储池,用于作为imagemanager的存储后端,存储镜像文 件,供创建虚拟机使用。 场景三: 提供虚拟机系统盘 CloudCephCluster VMImagecopy 在创建虚拟机时,在Ceph集群中创建镜像拷贝,用于作为新创建虚拟机的系统盘。 在 虚拟机销毁时,镜像拷贝一同销毁。 场景四: 提供对象存储服务 CloudCephClusterprovidingobjectstorageservices 使用Ceph构建对象存储服务,供云上的各种应用使用。 小结 ●Ceph的设计思想和核心技术具有独创性,值得 学习借鉴 ●Ceph会成为云计算领域中的主流开源存储解决 方案之一 重要参考(Bible) ●三篇学术论文 ●RADOS,CEPH,CRUSH ●一篇博士论文 ●SageWeilPh.Dthesis ●官方网站 ●Ceph> ●源代码 谢谢各位! ! Q&A Slide1 Slide2 Slide3 Slide4 Slide5 Slide6 Slide7 Slide8 Slide9 Slide10 Slide11 Slide12 Slide13 Slide14 Slide15 Slide16 Slide17 Slide18 Slide19 Slide20 Slide21 Slide22 Slide23 Slide24 Slide25 Slide26 Slide27
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 章宇 Ceph 存储 集群 及其 计算 中的 应用