在51CTO上写文章已经8个年头了,截止目前我写了210篇文章,发表了384个评论,收到了371个评论,共有1374770人访问,229w+人气,感谢大家对我的支持和认可,从今天开始我尝试换一个写作平台,依然会定期总结我工作的点滴,给大家分享我在工作中遇到的一些问题和总结,下面是我的微信公众号,欢迎大家关注!
一、环境说明1、服务器信息172.21.184.43kafka、zk172.21.184.44kafka、zk172.21.184.45kafka、zk172.21.244.7ansible2、软件版本信息系统:CentOSLinuxrelease7.5.1804(Core)kafka:kafka_2.11-2.2.0zk:Zookeeperversion:3.4.8ansible:ansible
一、背景这几天对所有的基础组件做一个摸底的基准压力测试,目前我们所有的开源基础组件都没有做过性能测试,经常有开发人员问,我们的RDS、MongoDB集群能抗多大量呀,这个时候我是没办法回复的,因为我自己也不知道,虽然一个数据库集群能抗多大量,在软件、硬件配置固定的情况下,和业务场景有很大的关系,如果数据量小,查询SQL简单那吞吐量自然很高,如果数据量特别大并且都是复杂SQL,那吞吐量自然上不去;但
背景由于历史原因,公司的缓存方案使用的是Codis,并且一个大部门公用一个集群,我们计划废弃Codis,用Redis原生的集群架构,为什么要废弃Codis呢,主要有两个原因:1、Codis官方已经很久没有更新维护了,Redis官方版本已经迭代到5.x.x了,codis-server还是3.x.x,Redis的一些新特性无法支持;2、基于风险均摊、鸡蛋不放一个篮子的原则,目前我们这样的用法违背了这一
集群部署规划整个集群分三层,分别是应用接入层、Nameserver集群和Broker集群,下面分别对这三部分说明:接入层接入层其实就是应用连接MQ集群的地址,目前生产环境我们是直接连接了nameserver的IP地址,如果nameserver扩容或者换服务器了,大家需要修改apollo并且重启服务更新新的nameserver地址,虽然这个事情的几率比较低,但是如果发生了还是比较麻烦,所有我们新的接
一、备份此备份方式是借助etcd的snapshot功能做备份,需要时可以把etcd集群回滚到具体备份的时间点,此备份是基于etcdapi3版本的备份,如果数据是用api2版本写入的,则api2版本写入的数据无法恢复1、备份ETCDCTL_API=3etcdctl--endpoints="https://192.168.9.89:2379"--cert=/etc/etcd/ssl
我们prod环境MongoDB的集群架构是做的分片集群的部署,但是目前我们没有分片,即所有数据都在一个分片上,后期如果数量大,需要分配,集群随时可以分片,对业务方透明
一、最近公司在做队列的技术选型,经过调研,决定使用rocketmq作为整个架构的队列层,我们之前的公司是用RabbitMQ,集群部署参考我之前的文章:RabbitMQ集群部署;rocketmq集群由NameServer和Broker两种角色组成,NameServer是无状态的可以横向部署多台达到消除单点的目的;Broker分多master、多master多slave同步、多master多slave
一、背景说明我们公司是做全球化业务的公司,在中国我们用的阿里云,在海外我们使用AWS,中国访问海外的IDC资源,这是最基本的需求之一,在运维层面,领导要求一套平台实现全球管理,也就是说我们的监控、发布、跳板机等等所有运维工具只部署一套,再加上我们每个region有三个VPC,VPC之间默认是隔离的,我们在海外目前有两个region,也就是6个VPC,如果要从国内阿里云拉专线到海外,实现访问海外所有
一、问题描述: 同事反馈线上一个表有其中一条数据无法删除,其他都正常,我拿到删数据的sql,尝试执行,报错如下:mysql> delete from facebook_posts where id = 7048962; ERROR 1205 (HY000):&nbs
一、前言 早上醒来打开微信,同事反馈kafka集群从昨天凌晨开始写入频繁失败,赶紧打开电脑查看了kafka集群的机器监控,日志信息,发现其中一个节点的集群负载从昨天凌晨突然掉下来了,和同事反馈的时间点大概一致,于是乎就登录服务器开始干活。二、排错1、查看机器监控,看是否能大概定位是哪个节点有异常2、根据机器监控大概定位到其中一个异常节点,登录服务器查看
1、说明这篇文章是在xxx基础上进行部署的,需要hadoop的相关配置和依赖等等,Spark on Yarn的模式,Spark安装配置好即可,在Yarn集群的所有节点安装并同步配置,在无需启动服务,没有master、slave之分,Spark提交任务给Yarn,由ResourceManager做任务调度。2、安装yum -y install spark-core&nb
一、概要 由于工作需要,最近一段时间开始接触学习hadoop相关的东西,目前公司的实时任务和离线任务都跑在一个hadoop集群,离线任务的特点就是每天定时跑,任务跑完了资源就空闲了,为了合理的利用资源,我们打算在搭一个集群用于跑离线任务,计算节点和储存节点分离,计算节点结合aws的Auto Scaling(自动扩容、缩容服务)以及竞价实例,动态调整,在跑任务的
一、概要 本文记录hbase高可用集群部署过程,在部署hbase之前需要事先部署好hadoop集群,因为hbase的数据需要存放在hdfs上,hadoop集群的部署后续会有一篇文章记录,本文假设hadoop集群已经部署好,分布式hbase集群需要依赖zk,并且zk可以是hbase自己托管的也可以是我们自己单独搭建的,这里我们使用自己单独搭建的zk集群,
一、前言 线上的 RabbitMQ用的是单节点,前段时间由于机器内存不足,发生了OOM,业务受到了影响,故打算换成 RabbitMQ集群。RabbitMQ模式有三种,分别是:单一模式、普通模式、镜像模式,镜像模式才是RabbitMQ真正的HA方案,关于更详细的简绍,请移步到官网:http://www.rabbitmq.com/ha.html ,下面是
一、背景 公司的业务在大量的使用redis,访问量大的业务我们有在使用codis集群,redis 3.0集群,说到redis 3.0集群,我们线上已经跑了半年多了,集群本身没有出现过任务问题,但是由于我们这个业务是海外的,集群建在aws的ec2上,由于ec2的网络抖动或者ec2本身的原因,导致主从切换,目前aws的技术正在跟进,这个集群目前的QPS 50w+,集群本身已经做
一、说明 redis 3.0集群功能出来已经有一段时间了,目前最新稳定版是3.0.5,我了解到已经有很多互联网公司在生产环境使用,比如唯品会、美团等等,刚好公司有个新项目,预估的量单机redis无法满足,开发又不想在代码层面做拆分,所以就推荐他们尝试一下redis集群,下面做了一些相关笔记,以备后用二、环境1、redis节点10.10.2.70:6300 &nb
一、环境1、系统版本CentOS release 6.5 (Final)2、软件版本bind-libs-9.8.2-0.37.rc1.el6.x86_64bind-9.8.2-0.37.rc1.el6.x86_64 bind-utils-9.8.2-0.37.rc1.el6.x86_643、地址10.10.66.121 主 10.10.66.12
一、物理备份(拷贝文件)#!/bin/sh DATE=`date +%Y%m%d` DEL_DATE=$(date -d '-30 days' "+%Y%m%d") HOST=10.10.17.27 PORT=27000 USER=admin PASSWORD=123456 DATA_DIR="/data/mongodb/navy_db/db" B
1、添加一个管理账号mongo --host 127.0.0.1 --port 27000 use admin db.addUser('admin','123456')2、通过账号登陆mongo --host 127.0.0.1 --port 27000 -u ad
一、环境1、架构图2、部署详细10.10.17.26:27000 (primary) 10.10.17.27:27000 (secondary) 10.10.2.74:27000 (arbiter)3、软件版本mongdb :2.6.11 系统:centos 6.6二、安装配置1、安装见mongodb安装2、撰写
1、配置yum源vim /etc/yum.repos.d/CentOS-Base.repo [mongodb-org-2.6] name=MongoDB 2.6 Repository baseurl=http://downloads-distro.mongodb.org/repo/redhat/os/x86_64/ gpgcheck=0 enabled=1 
折腾codis集群已经快两个月了,感谢一直以来codis的作者刘奇和黄东旭的耐心支持,在这里给你们点个赞,现在我司已经有一个业务跑在了codis集群上,目前只是切了整个业务的10%的量,预计下周会全量切到codis上,这个时候大家肯定特别想知道codis稳定吗?有没有什么bug啊,你想知道的也是我想知道的,搞起吧,用了才知道,反正目前我们这没发现啥问题,一些小的问题已经及时联系作者改掉了,好吧,不扯淡了,写这篇文章的目的是帮助想了解codis的初学者快速部署(官方的部署文档对应运维知识弱一点的童鞋看来还是有点费力)还有就是给自己做一个备录以便后期集群的部署
sock5实现单一代理入口,通过多IP随机出访,适用于各种爬虫、反防刷,节前最后一篇文章,废话少说,走起!!!软件下载cd /usr/local/src wget "http://3proxy.ru/0.7.1.1/3proxy-0.7.1.1.tgz" wget "http://nginx.org/download/nginx-1.4.4.tar.gz" wget&
1. 创建windows环回网卡创建windows环回网卡的方法2. 设置环回网卡IP地址 IP地址: vip地址 子网掩码: 255.255.255.2553. 修改客户端网卡接口、环回接口连接模式(至关重要) &
一、简介Flashcache 是为Linux操作系统开发的块设备回写缓存内核模块,使用了Device Mapper的方式实现,具体用途就是通过flashcache模块用ssd加速sas盘的读写性能,提供sas盘的IOPS,此模块由Facebook开源,源代码地址:https://github.com/facebook/flashcache二、环境说明1、内核版本要求(官方载录)Flashcache
一、环境1、软件系统版本:CentOS release 6.5 (Final)内核版本:2.6.32-431.20.3.el6.x86_642、硬件CPU:CPU E5-2620 24核内存:8G*8硬盘:300G*24、300G*14、300G*10(10k转) 二、测试数据三、总结结论:  
一、最近一直在忙数据库平台测试的事情,预测国庆之后就能上线,好激动,不过还有点担心啊,所有功能都依靠这个平台,包括数据库的基本操作、权限管理、迁移、监控、报警等等,平台如果挂了,天就塌了,所以我把平台的所有组件都搞成HA了,本文记录一下saltstack maser的 HA,官网有一些相关的介绍,不过看的不是很明白,折腾了几次都不行,也是RP问题吧,所以就自己简单的总结一下步骤吧。二、环
一、背景线上的一个库一直都是RD他们自己维护的,由于业务的增长,现在数据已经500G+了,急需做一个从库,登陆机器一瞅,坑爹啊,还是mysql5.6(我们维护的都是5.5),mysql5.6还没有搞过呢,还有就是他这安装的都不是按我们运维的标准安装的,我的第一反应就是这活没法干,这个库又不容许停库太长时间,于是就度娘、QQ群各种请教,最终确定用Xtrabackup试一把,一直在听大家说Xtraba
一、前言 2013年下半年大部时候都用在LVS实施上面了,一路摸爬滚打走来,遇到各种问题,感谢同事们对我的帮助和指导,感谢领导对我的信任,本文总结一下lvs集群(ospf+fullnat)的详细部署情况以及需要注意的问题点,先大概说一下LVS在我们公司的应用情况吧,LVS在我们公司走过了以下三个阶段:阶段
Copyright © 2005-2024 51CTO.COM 版权所有 京ICP证060544号