初识数据中心Mesos 推荐 原创 youerning 2016-01-07 20:05:08 博主文章分类:自动化运维 ©著作权 文章标签 分布式 mesos docker 文章分类 网络安全 ©著作权归作者所有:来自51CTO博客作者youerning的原创作品,请联系作者获取转载授权,否则将追究法律责任 Docker的飞速发展已经无需多言了,怎么管理Docker,编排Docker的也存在最够多的工具,但是总觉得没有触及痛点,所以才有数据中心mesos存在的必要,那么mesos是什么,以及mesos能做什么呢,会在本文简要介绍。 这里先放一张自己对于mesos的理解以及使用的思路,如有偏颇还望指正。 根据上图,我们将物理机全部纳入mesos这个发布系统里面,这样是个我们把手上的物理机资源全部抽象到了一起,这样我们就不用担心CPU,内存,硬盘的使用情况,因为到某个应用需要更多的资源的时候,我们可以直接动态添加,我想光是这点就足够让我们跃跃欲试了吧,更重要的是我们不需要采购硬件配置一样的服务器。 前面这点内容当然不足够说清mesos是什么,能做什么,在笔者看来,想要了解一样东西纸上谈兵当然是万万不能的,所以让我们先把环境搭起来,用起来,这样我想才能更加深刻的了解Mesos。安装:系统环境:Centos7mesos集群172.16.51.72 mesos-master172.16.51.72 mesos-slaver172.16.51.71 mesos-slaver172.16.51.73 mesos-slaver zookeeper集群172.16.51.72 1172.16.51.71 2172.16.51.73 3 注:iptables,selinux什么的当然是关闭的安装方式rpm包 rpm源rpm -Uvh http://repos.mesosphere.com/el/7/noarch/RPMS/mesosphere-el-repo-7-1.noarch.rpm 安装mesos,marathon,zookeeperyum -yinstall mesos marathon yum -yinstall mesosphere-zookeeper配置zookeeper集群72,71,73 的myid依次配置为1,2,3,myid文件默认不存在cat /var/lib/zookeeper/myid 1然后配置zookeeper配置文件每个zookeeper节点加入下面三行 cat /etc/zookeeper/conf/zoo.cfg server.1=172.16.51.72:2888:3888 server.2=172.16.51.71:2888:3888 server.3=172.16.51.73:2888:3888然后依次启动zookeepersystemctlstart zookeeper 查看是否监听lsof -i:2181 为mesos配置zookeeper信息(无论master还是slaver都要配置)zk://172.161.51.72:2181,172.16.51.71:2181,172.16.51.73:2181/mesos 然后启动master端service mesos-master restart 启动slaver端service mesos-slave restart很简单有木有。然后验证mesos,marathon是否安装成功访问mesos-master主机的5050及8080端口,如下图注意:如果是第一安装完成,对应的web页面应该是没有任何任务的,比如上面的test到这里可能就有疑问了,然后呢?首先看看Mesos的架构。 根据上面的示意图再结合我们的已安装环境,我们建立了三个mesos-slaver节点,一个mesos-master端节点(其实mesos-master端也可以做一个集群)之于上面的Hadoop,MPI scheduler我们先放一边。 zookeeper用于服务发现(这里我们做成集群模式,是为了高可用),所以无论是mesos-slaver或者mesos-master节点都需要设置zookeeper的配置信息,通过zookeeper,mesos-master会问mesos-slaver是哪些主机以及它的相关信息是什么,反之亦然。 然后mesos-master会只会mesos-slaver它们需要做什么,怎么知道mesos-slaver能做什么呢? 我们看下图。 根据上图,mesos-slaver会告诉mesos-master端自己有多少资源,比如多少cpu,内存等,然后master-slaver决定怎么分配资源,怎么分配任务,那么我们怎么给mesos索要资源及发布任务呢,那么我们就得知道什么是框架了,下面讲解两个主要的框架,marathon,chronos。 什么是框架呢?就是用来索要源的,看看具体实例,你就会有一定了解了。 Marathon是建立在Mesos上的私有PaaS平台。它能自动处理硬件或者软件故障,并确保每个应用程序都"永远在线"(比如,你在marathon中设置是某应用三个实例,那么其中一个挂掉,marathon会立即在启一个实例,维持在三个实例),个人觉得跟kubernetes有点重叠的意思,当然kubernetes更强大,因为编排的能力更强。 默认监听端口:8080主要功能:创建常驻任务,任务扩建等(比如实例的数量增加) 创建JOB 如上图,我们创建一个ID为test的任务,并且分配了0.1的CPU(默认),16MB内存(默认),OMB硬盘(默认),一个实例(默认),然后这个实例执行的命令python-m SimpleHTTPServer,然后点击“create”即可,创建成功后,mesos-master就是随机让mesos-slaver就是创建一个实例。 为了方便验证,我们可以将实例个数选为3,然后查看是否监听。 然后验证一下。 注意:名字随意,但是不跟现有的ID名冲突即可然后看一看基本设置ID设置名字随意,不跟现有的ID名冲突即可 CPU,内存,硬盘,实例个数 (自定义)CPU,内存,硬盘,实例个数 (自定义) 执行的command比如用Python起一个简单的web服务python-m SimpleHTTPServer Docker容器的相关设置网络,数据卷等 环境变量如JAVA_HOME= xxx 标签自定义标签,用于分类 健康监控有command,http,tcp三个方式检测 其他选项(optional settings)如端口还有最后一个限制constraint比如限制哪个节点启动这个任务 创建成功,后点击具体任务,有相关信息,如主机端口等mesos-master端也有相应job信息 下面是marathon的相关信息然后主要的三个动作,分别是扩展(比如一个实例到三个实例),重启,挂起,销毁 注:因为里面的test任务,写的命令是python-m SimpleHTTPServer 所以都默认监听8000端口,因为只有三个节点,所以最多启三个实例,虽然可以将scale(规模)设置成3以上但是会不断的启新实例,然后不断的失败,并一直启。 所以启三个以上的实例应该保证占用的端口不一样比如端口随机python-m SimpleHTTPServer $PORT 因为创建任务是支持Docker的,我们不妨想象一下,我们能够直接将使用已有的docker环境中镜像。chronos是一个分布式作业调度程序,支持复杂的拓部结构。它可以成为 cron 的替代品,提供更好的容错性。 chronos就是个计划任务,不过分布式而已安装yum -y install chronosservicechronos start 默认监听4400 比如 cat /tmp/test2.txt Sat Dec26 17:08:10 CST 2015 结语:既然是初始,那么久先到这里吧,笔者也还在研究中。 赞 收藏 评论 分享 举报 上一篇:大数据时代里,运维工程师的自我修养i 下一篇:如何Python写一个安卓APP 提问和评论都可以,用心的回复会被更多人看到 评论 发布评论 全部评论 () 最热 最新 相关文章 数据中心能耗现状与节能方向的研究分析 数据中心拥有能量密集和高耗能的标签,因此,能耗问题也越来越引起人们的关注。现阶段数据中心的高速发展,降低能耗也变得非常重要。为了解决这个能耗高的问题,从能耗的组成入手,去分析和阐述数据中心能耗的节能技术和措施,探索在数据中心运行中有效实现绿色能耗的方法。 数据中心 IT 数据 液冷数据中心生态建设启动:浪潮信息力推绿色算力产业发展 近日,由中国电子技术标准化研究院主办的“节能环保低碳 我们在行动”第二届电子信息行业绿色环保大会在江苏无锡盛大举行。会上,中国电子技术标准化研究院、浪潮信息等五家发起单位共同启动“液冷数据中心生态建设”,浪潮信息服务器产品线总经理赵帅受邀出席。此次生态建设启动旨在进一步完善液冷数据中心的生态,未来将联合多家产业上下游单位,打通产、学、研、用多层级,通过技术创新、标准建立、测试认证、人才培育等方式,推动数据中心绿色转型。 液冷 数据中心 电子技术 8304亿元建数据中心,OpenAI想用以太网交换机替代IB? Dell'Oro预测AI需求将促使数据中心交换机市场扩大50%,交换机市场鱼龙复杂,选择部署数据中心交换机的厂商时,备受市场青睐和研究报告认可的星融元是国内AI企业的最好选择,毕竟谁会拒绝一台性能优越、成本低廉、供货周期短、售后服务周到的数据中心交换机呢? 英伟达 数据中心 OpenAI 以太网 认识数据中心里的标识应用 数据中心里的设备、系统种类繁多,俨然一个百货商场,如果不做一些标注,很难分清,可千万不要小瞧这些标识,在很多时候标识往往可以起到画龙点睛的作用。虽然数据中心的技术越来越高精尖,但这些传统的东西重要性一点也没有变,很多标识甚至早已写入了数据中心机房的建设标准中,成为数据中心不可缺少的一部分,不能随意自己去定义一些标识。在美国国家标准局发布的《商用建筑电信技术设施管理标准》、UL969认证、RoHS环 java mesos k8s建设数据中心 在Kubernetes(K8S)和Mesos这两个开源项目中,它们都提供了强大的容器编排能力,可以帮助用户建设数据中心,实现高效的容器化部署和管理。对于刚入行的小白来说,可能需要一些指导和帮助才能更好地理解和实施这个过程。首先,让我们来看一下"mesos k8s建设数据中心"的流程,可以通过以下表格展示:| 步骤 | 操作 ||------|------------ 数据中心 代码示例 nginx 初识数据类型 先看这里????小编是大一菜鸟不赘述,欢迎大佬指点江山 此前博客点我!点我!请搜索博主 【知晓天空之蓝】或扫码进入 (https://blog.51cto.com)感谢支持!日常区今天星期天,但比课全满的星期二还要忙,定了个7:20的闹钟,收拾完毕此刻是北京时间7:42寝室还是超级安静,空气冷飕飕的,写完干个饭就可以开始卷( 躺平 )了。正片开始????概念计算机语言以C语言为基础 c语言 数据类型 整型 浮点数 1、初识数据库 1、什么是数据库?数据库 本质上对应一个管理文件的软件DBMS (data base manager system) 数据库管理系统DB data base 正在存储数据的文件RDBMS relation database manager system 关系型数据管理系统RDB relation data base 关系型数据库如果没有安装好,欢迎扫描微信公众... Oracle 数据库 oracle sql MySQL初识数据库 一篇博客,带你了解掌握MySQL的基础用法 MySQL sql mysql java 数据库 Apache Mesos和数据中心操作系统的崛起 陈光 译 分布式实验室 罗杰伊尼亚齐奥是Mesosphere的基础设施自动化工程师和“Mesos实践”的作者。 感谢曼宁出版的团队的慷慨,SysAdvent读者在在https://manning.com/books/mesos-in-action使用代码“mesysad”时享受40%的折扣。容器和应用程序编排是热门话题,因为组织和工程团队试图尽可能快地部署应用程序和基础设施的更改,同时提高数据中 Jav 初识数组排序!!!! 一个简单的排序效果。有需要的可以看看。 background parent border 初识数据库 1006 初识数据库 1006数据的保存第一种方法:用大脑来记住数据第二种方法:写在纸上第三种方法:写在计算机的内存中第四种方法:写成磁盘文件数据库的功能高效、条理分明的存储数据更迅速,更方便的管理数据存储大量数据,方便检索和访问保持数据信息的一致、完整共享和安全通过组合分析,产生新的有用信息数据库与应用程序关系应用程序作用:响应操作并显示结果、向数据库请求数据要求:美观、操作简单方便数据库作用:存储数据、检索数据、生成新的数据要求:统一、安全、性能等数据库的种类s 数据 数据库 存储数据 应用程序 oracle 初识数据连接池 什么是数据连接池?数据库连接池负责分配、管理和释放数据库连接,它允许应用程序 数据连接池 数据库连接 数据源 数据连接 2.初识数据类型 数据类型计算机语言 - 写程序 - 解决生活中问题必须有能力来描述生活中问题!购物商城 - 上架商品,价格 - 15.6元 - 小数 1.56*10^1年龄 - 50C语言 描述小数 - 浮点数 描述整数- 整型字符类型char整型int短整型short长整型long更长的整型long long单精度浮点数float双精度浮点数double存字符需要 整型 浮点数 单精度 mysql一:初识数据库 一、数据库管理软件的由来基于我们之前所学,数据要想永久保存,都是保存于文件中,毫无疑问,一个文件仅仅只能存在于某一台机器上。如果我们暂且忽略直接基于文件来存取数据的效率问题,并且假设程序所有的组件都运行在一台机器上,那么用文件存取数据,并没有问题。但实际情况并不会这么简单,原因如下; 1、程序所有的组件就不可能运行在一台机器上 2、数据安全问题 3、并发 总结: 我们在编写任何程序之前, mysql 初识 数据库 MySQL(一)初识数据库 一、数据库的好处实现数据持久化使用完整的管理系统统一管理,易于查询二、数据库的相关概念1.DB数据库(database):简而言之可视为电子化的文件柜——存储电子文件的处所,用户可以对文件中的数据进行新增、查询、更新、删除等操作。所谓“数据库”是以一定方式储存在一起、能与多个用户共享、具有尽可能小的冗余度、与应用程序彼此独立的数据集合。2.DBMS数据库管理系统(DatabaseManagemen MySQL 数据仓库系列:初识数仓 数仓扫盲初体验~ 数据 数据仓库 数据库 数据分析 数据挖掘 初识数据挖掘 一、何为数据挖掘? 广义的数据挖掘是指知识发现的全过程。又成为数据库中知识发现(Knowledge Discovery in Databases,KDD)。 注意:数据库查询系统和专家系统不是数据挖掘!在小规模数据上的统计分析和学习过程也不算是数据挖掘。 数据挖掘:从大量的、不完全的、有噪声的、模糊 DataMining AI-ML-DL 数据挖掘 数据 知识发现 初识数据库 一、 数据库数据库,简而言之可视为电子化的文件柜——存储电子文件的处所,用户可以对文件中的数据进行新增、截取、更新、删除等操作。所谓“数据库”是以一定方式储存在一起、能予多个用户共享、具有尽可能小的冗余度、与应用... 数据库 关系型数据库 oracle 数据 nosql 初识数据结构 前言 计算机技术是一门研究用计算机进行信息表示和处理的科学。这里面涉及到两个基本问题:信息的表示,信息的处理。 然而现实世界的更多非数值计算问题无法用数学方程加以描述。 例1:超市商品管理 由表构成的信息模型中,计算机处理的对象之间通常存在着的是一种最简单的线性关系,这类数学模型可称为线性的数据结构 ... 数据结构 数据 数值计算 数学模型 最短路径 初识数组 初始数组 数组是相同类型数据的有序集合。 数组的四个基本特点: 1、 长度是确定的。数组一旦被创建,他的大小就是不可改变的。 2、 其元素的类型必须是相同类型,不允许出现混合类型。 3、 数组类型可以是任何数据类型,包括基本类型和引用类型。 4、 数组变量属于引用类型,数组也是对象,数组的元素相当于 ... 数组 初始化 引用类型 赋值 i++