Greenplum -- 数据迁移(成倍增加计算能力) 原创 朱飞东 2019-01-18 18:46:43 博主文章分类:Greenplum ©著作权 文章标签 GPDB Greenplum 扩容 文章分类 数据库 ©著作权归作者所有:来自51CTO博客作者朱飞东的原创作品,请联系作者获取转载授权,否则将追究法律责任 前言 GPDB 数据迁移可以通过全量恢复的方式,如果原来有3个机器,每个机器上面有2个Primary, 2个Mirror,那么可以通过扩展3部机器,变成每部机器上一个Primary,1个Mirror,在迁移的过程中,需要保证: 原有的机器利用Primary+Mirror可以组成一个完成的原有集群DB,可以正常启动,这样才能全量恢复,将数据恢复到扩展的机器上。 如下图,将原有机器的P1/P2/P3/M0/M2/M3 迁移到新机器,原有机器依然保留P0/P2/P4/M1/M2/M3能够启动整个数据库 一、新机器准备工作: 1.1、开始设置新机器的一些参数,这些和之前安装GPDB是一样的,包括新建gpadmin组,gpadmin用户,关闭新机器防火墙 [root@gpsegment2 ~]# systemctl stop firewalld.service [root@gpsegment2 ~]# systemctl disable firewalld.service 1.2、修改所有机器的hosts文件,同时建立ssh互信免密码登陆 [gpadmin@gpsegment2 ~]$ vim /etc/hosts #修改hosts文件 192.168.56.103 gpmaster 192.168.56.101 gpsegment3 192.168.56.104 gpsegment1 192.168.56.105 gpsegment2 192.168.56.102 gpsegment4 192.168.56.106 gpsegment5 192.168.56.107 gpsegment6 [gpadmin@gpmaster conf]$ gpssh-exkeys -f hostlist #将新机器域名加入到hostlist文件,运行即可建立ssh互信 1.3、在所有新机器建立GPDB安装目录 /opt/greenplum (这个目录需要跟其他旧机器保持一致,同时将文件夹所有权赋予gpadmin用户) 1.4、和之前安装GPDB一样,压缩并拷贝master机器上的 /opt/greenplum/greenplum-db-4.3.17.0安装包到新机器上,并解压,解压后建立软连接 [gpadmin@localhost greenplum]$ ln -s greenplum-db-4.3.17.0/ greenplum-db 二、开始迁移数据 迁移设置的目的是,让原有的机器通过组合一半Primary+Mirror暂时先设置为Primary,并且设置为不同步数据;然后将另外一半需要迁移的Primary+Mirror的状态都设置为宕机了,同时都设置为Mirror,并且设置为同步数据中;这样先将数据库启动起来,数据库检查发现有一半Mirror节点宕机了,就忽略了,然后利用其他的先启动,此时,数据库依然可以使用,我们通过GPDB自带的恢复工具,让他自动将宕机的Mirror都全量恢复,如此即可完成数据迁移 2.1、仅主机模式启动GPDB [gpadmin@gpmaster ~]$ gpstart -m [gpadmin@gpmaster ~]$ PGOPTIOnS='-c gp_session_role=utility' psql #utility模式进入交互 testdb=# set allow_system_table_mods='dml' #设置为允许修改系统配置表 2.2、修改gp_segment_configuration 将要迁移的DB hostname/address 修改到对应的目标机器上,同时将status设置为d状态,role角色设置为m 2.3、修改gp_segment_configuration 将不需要迁移的DB role角色设置为p,mode设置为c,status设置为u 2.4、关闭数据库,gpstop,重启数据gpstart -a 有6台机器无法启动,被忽略了,但是正常启动了6台,所以可以使用 [gpadmin@gpmaster ~]$ gpstart -a 2.5、通过gpstate -m可以查看Mirror状态 3个Mirror是Fail,另外3个被当成主机启动了 2.6、执行全量恢复数据库 [gpadmin@gpmaster ~]$ gprecoverseg -F 可以查看到数据库已经启动恢复 开启另外一个窗口,运行gpstate -m可以查看恢复进度 需要等到所有的节点都恢复成Synchronized状态 等所有新机器都全量同步完毕之后,因为新机器都设置为Mirror,旧机器的Mirror有一部分被用于Primary,所以需要在运行gprecoverseg -r 让Mirror和Primary恢复正常 [gpadmin@gpmaster ~]$ gprecoverseg -r 2.8、最后,运行一下,检查是否所有的机器节点都正常了 赞 收藏 评论 分享 举报 上一篇:Greenplum -- segment 死机后恢复 下一篇:Greenplum--FTS故障检测原理 提问和评论都可以,用心的回复会被更多人看到 评论 发布评论 全部评论 () 最热 最新 相关文章 SpringBoot+虚拟线程,接口吞吐量成倍增加,太爽了! 在这篇博客中,我们将看到如何在spring-boot中利用loom虚拟线程。我们还将在JMeter的帮助下做一些负载测试,看看虚拟线程和普通线程的响应时间如何。首先,虚拟线程是 Project Loom 的一部分。此外,Loom 不会加速内存计算,例如并行流,这不是 Loom 的目标。我们正在研究如何使用可用的相同硬件来提高应用程序吞吐量,即充分利用 CPU 的潜力,为此我们花费了大量精力。截至目 spring java apache 阿里云DTS数据库迁移 异地迁移数据库DTS mysql 数据 从 Greenplum 到 Databend,万全网络数据库平台架构演进 作者: 代城万全网络高级工程师,负责万全网络数据平台整体架构研发工作,拥有超过 7 年的大数据相关技术研发经验,一直关注着开源和云技术的发展。万全网络科技有限公司是一家专注于 B 端电商物流供应链的公司。致力于为客户提供全面的供应链解决方案,涵盖从产品采购到最终配送的全程服务。公司的服务包括但不限于:供应链管理,仓储与配送,信息技术支持。迁移背景在不断发展的科技环境中,企业往往需要 数据 数据库 物化视图 SpringBoot与虚拟线程,接口吞吐量成倍增加,太爽了! SpringBoot与虚拟线程,接口吞吐量成倍增加,太爽了! spring java apache 多线程 最值得收藏的电脑快捷键使用, 让你的效果成倍增加 本文是众多使用技巧中其中的一篇,全部使用技巧点击链接查看,或直接查看本专栏其他文章, 保证你收获满满我主页中的思维导图中内容大多从我的笔记中整理而来,相应技巧可在笔记中查找原题, 有兴趣的可以去 我的主页了解更多计算机学科的精品思维导图整理本文可以转载,但请注明来处,觉得整理的不错的小伙伴可以点赞关注支持一下哦!本文提到的所有软件和工具,可关注公众号 一起学计算机 点击 资源获取 获得目录0.全部快键键思维导图1.任务管理器(ctrl+shift+esc)2.系统屏幕截图... 人工智能 智能算法 也许你真的需要一个扩展屏幕, 让你的工作效率成倍增加 本文是众多使用技巧中其中的一篇,全部使用技巧点击链接查看,或直接查看本专栏其他文章, 保证你收获满满我主页中的思维导图中内容大多从我的笔记中整理而来,相应技巧可在笔记中查找原题, 有兴趣的可以去 我的主页了解更多计算机学科的精品思维导图整理本文可以转载,但请注明来处,觉得整理的不错的小伙伴可以点赞关注支持一下哦!本文提到的所有软件和工具,可关注公众号 一起学计算机 点击 资源获取 获得也许你真的需要一个扩展屏幕扩展屏幕用起来是真的爽,那些说自己不需要的先别急着下结论,等到真的用... 人工智能 智能算法 最值得收藏的 搜狗输入法 常用快捷键使用, 让你的效率成倍增加 本文是众多使用技巧中其中的一篇,全部使用技巧点击链接查看,或直接查看本专栏其他文章, 保证你收获满满我主页中的思维导图中内容大多从我的笔记中整理而来,相应技巧可在笔记中查找原题, 有兴趣的可以去 我的主页了解更多计算机学科的精品思维导图整理本文可以转载,但请注明来处,觉得整理的不错的小伙伴可以点赞关注支持一下哦!本文提到的所有软件和工具,可关注公众号 一起学计算机 点击 资源获取 获得目录0.常用快键键思维导图1.全半角切换(shift + 空格)2.中英语标点切换(Ctr... 人工智能 智能算法 OpenStack 增加计算节点 # OpenStack增加计算节点在OpenStack中,计算节点是运行虚拟机实例的主要组件。当需要扩展计算资源时,我们可以通过增加计算节点来提升整个OpenStack集群的性能和可用性。本文将介绍如何在OpenStack中增加计算节点,并提供相应的代码示例。## 1. 准备工作在增加计算节点之前,我们需要确保以下几个条件已满足:- OpenStack控制节点已正确配置并运行正常。 代码示例 重启 配置文件 最值得收藏的 QQ浏览器 常用手势和快捷键使用, 让你的效率成倍增加 目录0.常用手势/快键键思维导图1.右击手势1.1 滚动到页尾(上下)1.2 滚动到页首(下上)1.3 关闭当前标签(下右)2.快捷键2.1关闭标签页(Ctrl + W)2.2 新建窗口(Ctrl + N)2.3 切换下一个标签(Ctrl + Tab)3.全部右击手势4.全部快捷键0.常用手势/快键键思维导图1.右击手势在QQ浏览器中, 直接用鼠标右击按住, 通过各种 JAVA Flex的日期增加计算 /** * 时间计算 * @param * datepart 时间增加的形式 * @param&nbs 职场 Flex 休闲 Date 日期计算 layui的弹出层弹出多个并且点击多次的时候success函数执行多次,并且index成倍增加,打开弹出层卡顿解决 就标题这个问题弄了一晚上,在官网的社区也找了没有解决问题的答案,最终还是脑洞大开解决了 Layui弹出层卡顿 Layui多次弹出层 弹出层 数据 官网 最值得收藏的 pycharm(Python) 常用快捷键使用, 并和不同软件中相同快捷键作比较, 让你的效率成倍增加 0.常用快键键思维导图下文会详细介绍使用方法和场景, 并不需要可以去记忆这些快捷键, 你只需要知道有这些快捷键, 再需要用的时候查看一下, 用的多了自然也就记住了: 1.注释(添加/消除)(Ctrl + /)这里说下Python的单行注释是 # , 多行注释是 '''注释内容''' , java的单行注释是 // , 多行注释 /* 注释内容 */, 文档注释 /** 注释内容 */这里说的注 Python mysql迁移greenplum 1.locate(a,b)->position(a in b)2.convert()函数不可以使用3.ifnull(null,0.00)->COALESCE(null,0.00)4.timestampadd(hour,24,jysj)->jyime(unix_ti postgresql greenplum 迁移 数据库 mysql CDH5.12.0 中扩容增加计算节点 CDH5.12.0 中扩容增加计算节点 CDH 扩容 最值得收藏的 eclipse快捷键(java) 常用快捷键使用, 并和不同软件中相同快捷键作比较, 让你的效率成倍增加 本文提到的所有软件和工具,可关注公众号 一起学计算机 点击 资源获取 获得0.常用快键键思维导图之前还写了一篇pycharm(Python)的常用快捷键, 两个软件都是很不错的编程软件, 很多功能也都是类似, 快捷键也类似, 可以比较着记忆.1.变量1.1 批量改变量名(alt+shift+r)这个功能在你更改别人的代码时候, 可以说是最常用的功能了, 或者感觉某个变量起的名字不好, 可以用此方法 java Greenplum数据仓库迁移小记 Greenplum数据仓库迁移小记 Greenplum数据仓库迁移小记 如何修改帝国cms文章点击量默认值和成倍增加 我们在帝国cms发布完文章,在不点击的情况下,“点击量”默认显示为0,请问有什么方法,修改关注默认值吗?这个可以在增加信息时,“特殊属性”标签里修改点击量,如下图 有朋友问有没其他好的方法快速增加 帝国cms sql 随机数 php 微信 greenplum集群数据迁移到单点greenplum greenplum集群安装 概要本文章中图片仅做参考,具体设置内容需结合自己所创建的内容来实际设置,本次安装中,主机仅做节点分发,不做数据存储,由从机做数据存储,安装教程适用于Greenplum5.13、Greenplum6.10、Greenplum6.81等版本,因为安装过程中需要频繁的切换用户以及环境变量是否存在等问题,所以需要格外注意系统信息三台Ubuntu操作系统(18.04) 数据库:Greenplum5.13.0 数据库 postgresql 大数据 vim 重启 greenplum mysql迁移 greenplum数据库安装 1、安装说明1.1、环境说明名称版本操作系统CentOS Linux release 7.5.1804greenplumgreenplum-db-5.21.0-rhel6-x86_64.rpm 1.2、集群介绍5台虚拟机,1个master节点,4个segment的集群,示例:wuxiang-test-1(master)wuxiang-test-2wuxiang-test-3w greenplum mysql迁移 Greenplum安装 bash 初始化 ci openstack 更新计算节点信息 openstack增加计算节点 添加节点添加controllersbootstrap-servers command用于准备即将加入系统的新节点。他会添加新节点的entry到/etc/hosts,并且一些所有controller节点都需要的服务比如RabbitMQ,如果使用–limit选项,确保包含所有的controller节点,比如 --limit control。kolla-ansible -i <inventory& openstack 更新计算节点信息 openstack java-rabbitmq rabbitmq bootstrap