存算分离下的数据湖架构-程力.pdf

下载文档加入资源篮

阅读 100
下载 18
格式 pdf
大小 6.76 MB
约22页
2026-11-11 发布于河南
评论
收藏
赞(0)
海报
分享

微信扫码分享或点击分享到

QQ空间

QQ好友

新浪微博

复制链接

分享赚佣金
举报

1/22页

2/22页

3/22页

在线预览已结束，请下载后查看完整版，加入VIP享文档下载特权

/ 22

加入VIP 下载文档加入资源篮

文本预览下载提示常见问题

�� 存储可靠性提供多副本或者纠删码冗余存储，最高可达 12个9�的数据持久性。数据安全提供传输、存储、访问全链路安全保障，支持多租户权限隔离，支持加密传输，支持数据加密存储。⾼可⽤提供高达 99.95% 的服务可用性，为您的业务保驾护航。⾼性能提供高达 30,000 QPS的请求性能；保障客户业务在高并发情况下稳定运行。开放兼容提供全兼容行业标杆 AWS S3 的接口，提供 Verraform 等多种生态工具支持。低成本提供低至￥0.01/GB�的深度归档存储，支持数据生命周期管理，进一步降低云存储成本。COS��腾讯云上的数据湖⽣态COS 对象存储数据接入元数据管理 DLF•Data CatalogAI ｜ MLEMRDLCDW ｜ BI•Data Ingest•ETL•权限管理数据分析数据开发平台 Wedata•数据治理•数据开发•数据集成•资源调度数据湖存储终端COS：•云原生：serverless架构，免运维；•数据共享：通过统一的COS对象存储作为弹性底座，结合三层加速器接入多种生态。•结构化数据管理：感知数据Table格式，支持按照Hive Table预热，支持IcebergTable管理等。•高性价比：弹性、按需扩容•生态支持：支持Hadoop生态，K8S生态等多种生态的部署、运维、鉴权等。⾯向业务场景：•数据本地性加强•数据湖结构化•容器化调度COSN File SystemThe Hadoop File System For COSCOS GuardCOS Clientmetadataservicefilesystem operation��• ��• ��• �� 对象存储 COS⼤数据AIHPC基因HadoopCompatible⾼可⽤架构智能缓存集群化部署FUSECompatibleNativeFS InterfaceS3�Compatible渲染鉴权认证监控告警⽇志管理COS 加速器元数据加速Data Lake��• �� • �� • �� AZ 1EMR ｜ AI ｜ ML ｜K8SCOS 对象存储GooseFS （Cache Accelerator）元数据加速器（Metadata Accelerator）数据加速器（Data Accelerator）AZ 2EMR ｜ AI ｜ ML ｜K8SGooseFS （Cache Accelerator）数据加速器（Data Accelerator）IcebergIceberg计算端加速AZ端加速存储端加速�� • �� • ��• �� • �� • ��• ��• �� • ��• ��• ��• �� COS 对象存储TablesHive MetaStore /DLF MetaStoresub-prefix(Partitions)FilesprefixMetadata Cache（RAM / SSD / HDD）Hive/Iceberg Table 预热：Table相关的数据从COS对象存储中，被加载到计算节点Data Cache中。Data Cache（RAM / SSD / HDD）Prefix 预热：COS对象存储中对应Prefix的Objects，被加载到计算节点Data Cache中。Metadata Cache ：元数据被缓存到计算节点MetadataCache中，并通过RocksDB进行持久化。�� • �� • �� • �� • ��• �� • �� • �� GooseFS ��COS 对象存储Near-Real Time IngestionDatabase ChangesEventsReadOptimizedRealTimeBatchIncremental ProcessingInteractive Real Time QueryGoose FS （Cache Accelerator）�� CHDFSCOS 对象存储cosn://Bucket_1/BU_A/data/…GooseFS （Cache Accelerator）ofs://BU_E/data/…#goosefs ns create ns_BU_A cosn://Bucket_1/BU_A/#goosefs ns create ns_BU_B cosn://Bucket_1/BU_B/#goosefs ns create ns_BU_C cosn://Bucket_2/BU_C/#goosefs ns create ns_BU_E ofs://BU_E/#goosefs ns create ns_BU_F ofs://BU_F/#goosefs ns create ns_BU_G ofs://BU_G/gfs://BU_A/data/…gfs://BU_B/data/…gfs://BU_C/data/…gfs://BU_E/data/…gfs://BU_F/data/…gfs://BU_G/data/…cosn://Bucket_1/BU_B/data/…cosn://Bucket_2/BU_C/data/…cosn://Bucket_3/BU_D/data/…ofs://BU_F/data/…ofs://BU_G/data/…ofs://BU_H/data/…#hadoop fs ls gfs:///BU_A/#hadoop fs ls gfs:///BU_E/#hadoop fs ls gfs:///BU_D/#hadoop fs ls gfs:///BU_H/#hadoop fs ls cosn://Bucket_1/BU_A/#hadoop fs ls ofs://BU_E/#hadoop fs ls cosn://Bucket_3/BU_D/#hadoop fs ls ofs://BU_H/✅❌✅✅CacheCacheNo CacheInvalid#goosefs table attachdb hive thrift://HOSTNAME:9083 hive_db_name#goosefs table ls db_name table_name#goosefs table load db_name table_name#goosefs table free db_name table_name#goosefs table stat db_name table_nameCREATE EXTERNAL TABLE `sales`(`cs_sold_time_sk` int,`cs_ship_date_sk` int,`cs_bill_customer_sk` int,`cs_bill_cdemo_sk` int,`cs_bill_hdemo_sk` int,.........PARTITIONED BY (`cs_sold_date_sk` string)LOCATION'cosn://bucket_1/data/catalog_sales'Create Namespace:Attach Database:Load Table:Free Table:GooseFS （Cache Accelerator）gfs://sales/data/…cosn://bucket_1/data/catalog_sales'#goosefs ns create sales cosn://bucket_1/data#goosefs table attachdb hive thrift://HOSTNAME:9083 db_sales#goosefs table load db_sales sales #goosefs table free db_sales sales GooseFS （Cache Accelerator）GooseFS （Cache Accelerator）salescatalog_salessalescatalog_salessalescatalog_salesGooseFS （Cache Accelerator）Detach Database:#goosefs table detachdb db_salesTablesHive Meta Store�� Impala Cluster 1Impala Cluster 2HDFS Cluster 1HDFS Cluster 2Short-circuitlocal readsShort-circuitlocal readsNode group 1Node group 2COS 对象存储Distributed loadSpark / HiveFlink��• ��• ��• ��209572524727267296183682041803050001000015000200002500030000350004000045000SA2_增强型SSD云盘-GooseFSIT5_本地NVMeSSD-GooseFSS5_SSD云盘-GooseFS_STD3_本地SATA-HDFSS5-CHDFSS5-COSNTPC-DS 性能测试（秒）数据量： 3TB49.8%43.1%29.2%�� EMR Core NodeExecutorGooseFSWorkerExecutorSpark DriverSpark ExecutorGooseFSClientCOS 对象存储Client NodeSpark ContextEMR Master nodeGooseFS MasterYarn Resource ManagerYarn Node ManagerEMR Core NodeExecutorGooseFSWorkerSpark ExecutorGooseFSClientYarn Node Manager•�� ...

1、当您付费下载文档后，您只拥有了使用权限，并不意味着购买了版权，文档只能用于自身使用，不得用于其他商业用途（如 [转卖]进行直接盈利或[编辑后售卖]进行间接盈利）。
2、本站所有内容均由合作方或网友上传，本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺！文档内容仅供研究参考，付费前请自行鉴别。
3、如文档内容存在违规，或者侵犯商业秘密、侵犯著作权等，请点击“违规举报”。

碎片内容