经过一周多的努力,我的storm安装折腾之路终于在这个寒冷的周五结束了,觉得一定要写下来,一则为了即将开始的Storm集群部署保留一手资料,二来也为了给更多没接触过但需要使用Storm的同学提供点指导。网上虽然有很多关于storm的安装教程,但我觉得有两个方面的不足,一是作者默认你已经有了不错的linux,分布式架构,github开源项目的经验,所以有些地方点到即止,让新手好不恼火。另一方面,很少提到遇到的问题,但是,相信我,安装不是困难的,难的是你即将遇到一些你百思不得其解的问题,对于新手来说同样是极其影响心情和士气的,幸好有立鑫学长的倾情指导,为我解决了一个个难题,鞠躬。
这篇文章写的有点罗嗦,但是为了尽量把我在安装过程中遇到的困难都描述清楚,为你提供比较详细的参考,即使你是一个完全没有接触过storm的新手,甚至刚接触linux不久,我相信你也能通过这篇教程搭出一个storm系统。
另外,注意一下,这个教程描述的是单机版的storm,集群版我后面再写,两者配置是不一样的。话不多说,开始吧。
准备工作
我的机器是Ubuntu 12.04,虽然storm可以在windows下部署,但是我不建议你么做,我同样建议你安装一个全新的系统,以防止各种各种别的问题。
1.1 安装JDK6
Storm需要JVM的支持,我选择的是Java1.6,只要是Java1.6以上版本就可以。不过我还是建议你安装JDK6,安装步骤非常简单,我就不赘述了,网上也有很多教程。简单的说就是就是下载安装包,解压到安装路径,如/usr/lib/jvm,修改/etc/profile
,source /etc/profile
。
1.2 安装Eclipse
storm的Topology需要被打成jar包上传,可以使用lein,maven等,不过我建议使用eclipse,因为这个大家可能更熟悉一点,最后我也会以eclipse为例子演示怎么制作storm的jar包。
-
下载安装包
这是下载地址
注意根据机器的位数下载不同版本。我下载的是:eclipse-standard-kepler-SR1-linux-gtk-x86_64.tar.gz - 如果你的系统是刚装的,那么在根目录下创建opt文件夹:
sudo mkdir /opt
- 将eclipse的安装包拷贝到/opt下:
sudo cpeclipse-standard-kepler-SR1-linux-gtk-x86_64.tar.gz /opt
- 解压安装:
cd /opt
tar -zvxf eclipse-standard-kepler-SR1-linux-gtk-x86_64.tar.gz
- 测试是否成功: 进入opt/eclipse文件夹下,打开eclipse,第一次登陆还是要设置workspace,跟windows一样,编写一个helloworld程序试试就知道了,一般是没有问题的。
安装zookeeper
- 下载安装包 同学们可以到官网上去下载.我使用的是目前最新的版本:zookeeper-3.4.5。安装非常简单,解压即可:
cd /home/bupt/installpack 我存放安装包的地方
tar -zvxfzookeeper-3.4.5.tar.gz
- 设置环境变量:
sudo vim /etc/profile
在后面加上:
export ZOOKEEPER_HOME=/home/bupt/installpack/zookeeper-3.4.5
export PATH=$ZOOKEEPER_HOME/bin:$PATH
使其生效:
source /etc/profile
- 修改配置文件 在zookeeper-3.4.5/conf文件下有一个叫zoo_sample.cfg的文件,它是zookeeper配置文件的模版,复制它,并改名为zoo.cfg,打开,修改配置如下:
tickTime=2000
dataDir=/home/bupt/installpack/zookeeper-3.4.5/zkdata 这里zkdata是我自己造的
clientPort=2181
initLimit=5
syncLimit=2
server.1=10.103.12.243:2888:3888
一点说明 :server.1=10.103.12.243:2888:3888
中的IP地址是我本机的地址,你配置的时候要改成你的机器的地址。
上述参数的解释在zoo.cfg文件中有介绍,我就不讲了。你甚至不需要知道意思,照着我的参数配置也可以,等你想了解的时候再回过头来看看。
-
配置myid文件 在dataDir目录下新建myid文件,打开并写入id号,id号即为zoo.cfg文件中server.后的数字, 如server.1=IP1:2888:3888即表示IP1机器中的myid号为1。
-
测试
cd /home/bupt/installpack/zookeeper-3.4.5/bin
sh zkServer.sh start
正常情况下会提示:
JMX enabled by default
Using config: /home/bupt/installpack/zookeeper-3.4.5/bin/../conf/zoo.cfg
Starting zookeeper ... STARTED
查看状态,执行:
sh zkServer.sh status
如果正常会显示:
JMX enabled by default
Using config: /home/bupt/installpack/zookeeper-3.4.5/bin/../conf/zoo.cfg
Mode: standalone
这里的standalone是因为我安装的是单机版。如果是集群的话,应该是leader或者follower。
至此,zookeeper就安装完了。
不过我曾经遇到过一个神奇的问题:当我运行完start之后,显示 STARTED,但是运行status之后,显示如下:
JMX enabled bydefault
Using config: /hadoop/zookeeper/bin/../conf/zoo.cfg
Error contacting service. It is probably not running.
我相信你很可能已经遇到这个问题,相信你同样发现网上的说法都是nc命令的版本问题,解决方法是:用文本编辑器打开zkServer.sh,找到
STAT=`echo stat | nc -q l localhost $(grep clientPort "$ZOOCFG" | sed -e 's/.*=//') 2> /dev/null| grep Mode`
这行,去掉-q 1 即可,或者,如果缺少-q 1,则加上即可,但是我的zkServer.sh问价压根儿就没有这一行,我猜测这应该zookeeper 早期版本的问题,我使用的zookeeper3.4.5已经修改过zkServer.sh文件了。无奈,只好找别的方法。这里教大家一个好的办法,就是去zookeeper.out文件中去察看日志,里面会记录status失败的原因,例如,我的就是:
“无法打开java命令 usr/lib/jvm/jdk目录不存在”
原来是由于我卸载JDK7,重装成JDK6造成的,jdk文件夹确实已经不存在了。于是我修改环境变量,各种设置,凡是涉及到JDK的地方统统修改路径,这也给大家提个醒,尽量不要在机器上装太多JDK,否则容易乱,卸载的时候也要卸载干净,记得修改环境变量等,造成不必要的麻烦。 事情还没完,等我修改了所有我认为应该修改的设置之后,依然是
Error contacting service. It is probably not running.
我已经抓狂了,剧情当然发展到有大神来指导啦,师兄看了半天也不知道怎么回事,觉得所有的地方都对,但zookeeper.out 文件里总是显示:“无法打开java命令 usr/lib/jvm/jdk目录不存在”。于是他索性删除了zookeeper.out文件,并重新创建了同名的空文件,结果就好了。我们得出的结论是Zookeeper 的status命令太SB,经常出一些莫名其妙的bug,需要我们手动的更新zookeeper.out文件,如果你也遇到了这个问题,不妨试试这个方法吧。我真是屡试不爽。
安装ZeroMQ和JZMQ
3.1 安装libtool automake autoconf m4
在安装这两个组件之前,我强烈建议你检查一下你是否已经安装了上面这写组件,因为他们会在安装ZeroMQ和JZMQ时用到,如果你不想在后续安装的时候频繁的被打断,那就索性先一股脑的安装了吧。
-
libtool
这是下载地址。我使用的是libtool-2.4.2.tar.gz。
tar -xzvf libtool-2.4.2.tar.gz
cd libtool-2.4.2
./configure --prefix=/usr/local
make
make install
- m4 这是下载地址。我下载的是:m4-1.4.17.tar.gz。
tar -xzvf m4-1.4.17.tar.gz
cd m4-1.4.17
./configure --prefix=/usr/local
make
make install
- automake 这是下载地址。我下载的是:automake-1.14.tar.gz。
tar xzvf automake-1.14.tar.gz
cd automake-1.14
./configure --prefix=/usr/local
make
make install
- autoconf 这是下载地址。
`tar -xzvf autoconf-2.69.tar.gz
`cd autoconf-2.69
`./configure --prefix=/usr/local
`make
`make install
3.2 安装ZeroMQ
跟上面的安装步骤类似,先是下载安装包。我使用的是最新版本的 zeromq-4.0.3.tar.gz
tar -xzvf zeromq-4.0.3.tar.gz
cd zeromq-4.0.3
./autogen.sh
./configure
make
sudo make install
3.3 安装JZMQ
这是下载地址。直接下载.zip文件就可以了。我使用的是jzmq-master.zip。
unzip jzmq-master.zip
cd jzmq-master
./autogen.sh
./configure
make
sudo make install
注意,在安装ZREOMQ 或者JZMQ的过程中,你很可能会遇到:
没有规则可以创建“org/zeromq/ZMQ.class”需要的目标“classdist_noinst.stamp”
这个奇怪的错误,这时你就直接到src文件夹下去手动创建classdist_noinst.stamp文件:
touch src/classdist_noinst.stamp
你可能还会遇到类似的问题:
*** 没有规则可以创建“XXOO”需要的目标“xxoo”
解决方法是类似的。就是手动去创建一个就可以啦。
安装Storm
4.1下载安装:
到目前为止,终于开始安装storm啦。下载地址.我使用的是最新版本的storm-0.9.1。Storm也是解压就能用的:
unzip storm-0.9.1.zip
sudo mv storm-0.8.2 /usr/local/
4.2 修改环境变量:
sudo vim /etc/profile
export STORM_HOME=/usr/local/storm-0.8.2
export PATH=$PATH:$STORM_HOME/bin
4.3 修改配置文件:
配置storm/conf/storm.yaml文件:
cd /usr/local/storm-0.9.1/conf
sudo vim storm.yaml
配置项:
storm.zookeeper.servers: - "10.103.15.85" nimbus.host : "10.103.15.85" storm.zookeeper.port : 2181 storm.local.dir : "/home/bupt/storm/data" ui.port : 8080 supervisor.slots.ports: - 6700 - 6701 - 6702 - 6703 - 必要的说明:
- storm.zookeeper.servers : 指定Storm系统所使用的Zookeeper的地址。如果安装的是单机版,那就是你的本机地址。
- nimbus.host : "10.103.12.243", storm nimbus的IP地址,指定此机器为Storm的Nimbus结点,也是本机地址。
- storm.local.dir :Storm的一些配置文件或jar包,或日志存放的地方,注意这个目录下,一定要保证有权限生成文件,否则会报错,因此最好是本地用户的文件路径。
- storm.zookeeper.port :zookeeper 与storm通信的 端 口,通常默认为2181。但是最好还是检查一下zookeeper的zoo .cfg文件,保证配置相同。
网上不少同学说,storm.yaml文件的格式很重要,行首与冒号后面都要空一格,否则文件会无法识别。我没有证实是不是必须如此,虽然我不是,不过我还是建议你就这样吧。
4.4 测试storm
cd /home/bupt/installpack/zookeeper-3.4.5/bin
sh zkServer.sh start
cd /usr/local/storm-0.8.2
sudo bin/storm nimbus
sudo bin/storm supervisor
sudo bin/storm ui
注意要先运行zkServer.sh start
。然后在浏览器中输入:http://localhost:8080/
如上图,则你已经成功安装了storm了。
运行storm-starter中的WordCount
storm-starter是storm提供的官方例子,我使用的是里面的WordCountTopology。
5.1 准备工作
运行这个例子需要如下文件:commons-collections-3.2.1-bin.tar.gz ,twitter4j-2.2.6.zip,storm-starter.
注意twitter要被墙,说起这个还跟我们校长有关呢,默默的不爽一下,由此可见翻墙是多么必要的一项技能。大家需要手动下载,网上有好心人提供的,如果使用maven这种自动到twitter官网去下载的工具,很可能不能成功下载,就要坑了。
5.2 生成jar包
官方文档里介绍了两种方法来生成jar包:lein,maven,我对这两种方法不是很熟悉,选择了用eclipse来代替,在这里也推荐大家使用,毕竟eclipse大家都会用,效果也一样,非常简单。
-
使用eclipse建立java project。
追加twitter4j,commons-collections-3.2.1和storm的jar文件。
File->New -> Java Project->为项目取名(如我取的是MyStormCase)-> Next->Libraries -> add External JARs...->
- 追加twitter4j的jar文件:twitter4j/lib下所有的jar包
- 追加commons-collections-3.2.1的jar文件:commons-collections-3.2.1文件夹下所有的jar包。
- 追加storm的jar文件:/usr/local/storm-0.8.2/lib/下的所有jar包和/usr/local/storm-0.8.2/storm-0.8.2.jar)
->Finsh
如下图:
- 导入storm-start
右键点击工程MyStormCase ->Import -> General -> File System-> Next -> Browse(From directory)-> /home/bupt/installpack/storm-start/src/jvm/storm
并且在“Create top-levelfolder”前打勾 -> Finish。
如下图。
完成后,将storm文件夹托拽到src目录下,工程视图如下: 特别注意:分别删除两个文件:
storm.starter下的: PrintSampleStream.java storm.starter.spout下的:TwitterSampleSpout.java
否则最后导出的时候会出错。
- 追加源文件storm-start/multilang/resources×(python 文件wordcount用)
File -> Import-> General -> File System-> Next -> Browse(From directory)->/home/bupt/installpack/storm-start/multilang/resources
并且在“Create top-levelfolder”前打勾 -> Finish
这一步类似于上一步。最后的工程图如下:
- JAR export
File -> Export-> JAR -> JAR file ->取消 “.classpath” ,“.project” 和 “<.settings”->的勾 browse ->你要保存的路径/保存的名字.jar -> next-> next ->点击main class右边的browse键,选择你要运行的例子。然后点击finish。这时候可能会有一些warning,忽略就好了。
5.3 编译jar包:
sudo mv StormStarterOne.jar /usr/local/storm-0.8.2
cd /home/bupt/installpack/zookeeper-3.4.5/bin
sh zkServer.sh start
cd /usr/local/storm-0.8.2
sudo bin/storm nimbus
sudo bin/storm supervisor
sudo bin/storm ui
sudo bin/storm jar StormStarterOne.jar storm.starter.WordCountTopology test1
然后在浏览器中输入localhost:8080,显示如下,则说明运行成功了。
使用中遇到的问题:
到目前为止,我们成功运行了一些官方提供的例子,但是还不太熟悉storm的内部机制,尤其是怎么写一个自己的topology,这是接下来学习的重点,每天也都会遇到一些不可预知的问题,解决就好了,问题的表单可能会越来越长。
- 问题一:supervisor kill: No such process 跑了一下storm-starter这个例子,最开始的时候是成功了。后来重新运行了一下WordCountTopology这个例子。在启动supervisor这一步失败了,在终端中会不停的出现错误:
kill: No such process
kill: No such process
kill: No such process
我检查了logs,主要的有用的log如下:
2014-03-11 09:45:09 supervisor [INFO] 16b6673f-31d1-4f58-b41c-e88cd8974ddc still hasn't started 2014-03-11 09:45:46 supervisor [INFO] Shutting down and clearing state for id 4ee29ce1-1f75-47ee-8aaa-e0a8ea513537. Current supervisor time: 1394502346. State: :timed-out, Heartbeat: 2014-03-11 09:45:46 supervisor [INFO] Shutting down f2ed3b8d-3a23-4c23-9c3c-af94a06cbad9:4ee29ce1-1f75-47ee-8aaa-e0a8ea513537 2014-03-11 09:45:46 util [INFO] Error when trying to kill 2981. Process is probably already dead.
我在stackoverflow上问过别人,有提到说是进程假死造成的,但是具体怎么做没人说,看了storm的官方文档, 说这个问题好像是0.8.2版本的一个bug。我重装成0.9.1,问题确实也解决了,虽然我不太确定是版本原因造成的。这个问题是storm的一个普遍问题,网上讨论得也比较多,但是解决方法却很少,不妨试一试这个办法吧。
-
问题二:
Session 0x0 for server null, unexpected error, closing socket connection and attempting reconnect java.net.NoRouteToHostException: No route to host
刚刚修改了这个bug,没找到bug信息,不想再修改回去重现bug啦。问题的原因是实验室的ip地址难道是变化的吗?上个星期还是10.103.10.243,刚刚才发现是10.103.15.85,导致了连结失败。如果你发现一堆java.lang.connect exception之类的信息,就察看一下你的ip地址和zookeeper,storm的配置文件中的地址是否一致,否则肯定会造成链接问题。网上也有同学说,可能是防火墙的问题,我没有遇到这个问题,如果ip地址配置没有问题,还是连不上,那就试试关闭防火墙吧。
-
问题三:storm启动supervisor错误 当我运行sudo bin/storm supervisor启动supervisor的时候,发现启动失败,看/log文件夹下的supervisor.log文件,是如下的出错信息:
2014-03-24 14:19:55 b.s.d.supervisor [INFO] Starting supervisor with id f2ed3b8d-3a23-4c23-9c3c-af94a06cbad9 at host bupt-Shangqi-N720 2014-03-24 14:19:56 b.s.event [ERROR] Error when processing event java.lang.RuntimeException: java.io.EOFException
解决办法是这样的:
删除storm配置文件中storm.local.dir(你在stom.yaml文件中配置的)所指向的目录中的supervisor和workers两个文件夹。
暂时想到这么多,enjoy,同学们.
主要参考的网站资源:
非常完整的storm安装教程,我主要是参照这篇文章安装的,缺点是文中几乎没有提到遇到的问题,需要自己去查找解决问题的办法
Comments !