storm集群部署和配置过程详解

1. 设置zookeeper集群
2. 安装依赖到所有nimbus和worker节点
3. 下载并解压storm发布版本到所有nimbus和worker节点
4. 配置storm.yaml
5. 启动相干后台进程

     我们知道storm通过zookeeper来调和全部集群。zookeeper不是用来做消息传递，因此storm不会给zookeeper带来很大的压力。单节点的zookeeper在大多情形下是可以胜任的，但是如果你想得到更好的可靠性或部署大集群的话，你可能就需要1个大的zookeeper集群。关于zookeeper的部署在这里就不多做介绍，具体请参考：here。

     关于zookeeper的部署这里再补充两点：

1. 把zookeeper运行在1个监督进程之下是非常关键的，由于zookeeper是1个fail-fast的进程，当它遇到任何毛病的时候都会自动退出，具体请参考：  here
2. 定时的去紧缩和转移zookeeper数据也是非常关键的，由于zookeeper不具有紧缩和清楚数据机制，如果我们不设置1个cron管理这些数据，zookeeper产生的数据会很快的占满磁盘，具体请参考： here

    storm需要依赖的是：

1. Java 6
2. Python 2.6.6     

     需要注意，storm对大多数版本的依赖都做了测试，但是storm其实不保证对任何版本的依赖都能正常工作。

     下1步就是下载解压storm紧缩文件到每台机器，storm发布版本可以从这里下载from here。

     storm里面有1个文件conf/storm.yaml，它就是storm的配置文件。关于这个文件的所有默许值可以从这里得到here。storm.yaml中的配置会覆盖掉default.yaml中的配置。下面配置1个集群必须修改的配置：

     最后1步就是启动所有storm相干守护进程。固然，把这些进程都纳入到监督进程管理之下是很有必要的。storm也是1个fail-fast系统，这就意味着这些进程1但遇到异常就会终止。storm之所以会这么设计，是为了它可以在任什么时候候安全的终止和在进程重启的时候恢复。这就是storm为不在进程中保存相干状态的缘由，如果nimbus或supervisor节点重启，运行着的topoloies不会遭到任何影响。下面就是启动storm相干进程的命令：

1. Nimbus：在master节点运行“bin/storm nimbus”
2. Supervisor：在每台worker节点运行“bin/storm supervisor”,supervisor进程负责在worker节点上启动和停止相应的worker进程
3. UI：运行“bin/storm ui” ，1个通过页面管理和展现storm集群运行状态的工具，可以通过“http://nimbus host:8080”来访问。