JIMS - the JMX-based Infrastructure Monitoring System User's Guide Kazimierz Bałos -------------------------------------------------------------------------------------------- JIMS - the JMX-based Infrastructure Monitoring System: User's Guide by Kazimierz Bałos -------------------------------------------------------------------------------------------- -------------------------------------------------------------------------------------------- -------------------------------------------------------------------------------------------- -------------------------------------------------------------------------------------------- Table of Contents 1.Basic information ................................................................. 1 About thisdocument ........................................................... 1 Where you can findtheJIMS documentation? .............................. 1 What isJIMS? ................................................................. 1 Copyrights .................................................................... 1 2.Installation....................................................................... 2 Platformssupported by JIMS system: ........................................... 2 Required environment .......................................................... 2 Java (i686)............................................................... 2 Java (ia64)............................................................... 2 How togetJIMS system? ....................................................... 2 Binary release............................................................ 2 Source code ............................................................. 2 Compilation ................................................................... 2 Installatio.................................................................... 2 Installatiofrom RPMs ................................................... 2 Installatiofrom BZ2 ..................................................... 2 Installatioof JIMS serviceinitscript...................................... 3 3.Configuration ..................................................................... 4 Configuration.................................................................. 4 Files .................................................................... 4 Man pages ............................................................... 4 Ports.......................................................................... 4 Verifyingthe configuration..................................................... 5 JIMS resource utilizatio....................................................... 5 4.User guide ........................................................................ 6 Command lineinterface........................................................ 6 Commands .............................................................. 6 Command jims-client..................................................... 6 Help .................................................................... 7 GUI ........................................................................... 7 JIMS JMX Manager ...................................................... 7 A. Addresses ofMain Clusters.......................................................11 Glossary ...........................................................................12 Bibliography .......................................................................13 ----------------------------------------iv-------------------------------------------------- -------------------------------------------------------------------------------------------- Chapter 1. Basic information About this document Where you can find the JIMS documentation? JIMS documentation can befound at http://savannah.fzk.de/projects/.ims What is JIMS? JIMS (JMX-based InfrastructurMonitoring System) isa JMX-based system forclusterinfrastruc- ture monitoring.JMX standsfor Java Management Extensions and isa key platform the JIMS is builton. JIMS allowsmonitoring of followingelements ofinfrastructure: 1. computational nodes parameters(CPU, memory, processes), 2. network interfaces(packetssentindifferentprotocols,bytessentper second), 3. hard disks, 4. elements specificto particularhardware and software platforms (Solaris10 containers,Linux kernel2.4 and 2.6parameters). Copyrights Int.eu.grilicense. ----------------------------------------1--------------------------------------------------- -------------------------------------------------------------------------------------------- Chapter 2. Installation Platforms supported by JIMS system: ? Linux systems: supposed to runon any distributiobased on 2.4or 2.6kernel. ? Sun systems:Solaris10. Required environment Java (i686) Sun Microsystems HotSpot(TM) 1.5 Java (ia64) BEA JRockit(R) 1.5 How to get JIMS system? Binary release Binary releaseisavailableat http://savannah.fzk.de/autobuild/module-JIMS.htmin aform of RPM package (i2g-jims-rpm-3.0.0-1.noarch.rpm). Source code Source code isavailableat:http://savannah.fzk.de/svn/?group=ji.s Compilation JIMS sourcescan be compiled usingMaven 2 (version2.0.7): $mvn clean (clean all temporary files) $mvn install (install in local maven2 repository) $mvn assembly:directory (unpacked) $mvn assembly:assembly (tar.bzip2) $mvn javadoc:javadoc (aggregated javadoc) $mvn site (site + aggregated javadoc) In orderto open theprojectinEclipse,we can easilset theM2_REPO variableusing thefollowing command: $mvn -Declipse.workspace=`pwd` eclipse:add-maven-repo Installation Installation from RPMs Download the RPMs and run: $rpm -Uvh i2g-jims-rpm-3.0.0-1.noarch.rpm Installation from BZ2 There isalso possibilittobuild theBZ2 package ofJIMS. Insuch casewe onlyhave to unpack the archive. $tar xvfj jims-3.0.0-bin.tar.bz2 ----------------------------------------2--------------------------------------------------- Installation -------------------------------------------------------------------------------------------- Installation of JIMS service init script We can use chkconfig toadd the servicetothe iniscriptsand to staritautomatically afteoperat- ing system boot.Afterexecution ofthe commands: $chkconfig --add jims-agent $service jims-agent start the fil$JIMS_HOME/etc/init.d/jims-agent should be linkedto thefilejims-agent in/etc/init.dir- ectory. ----------------------------------------3--------------------------------------------------- -------------------------------------------------------------------------------------------- Chapter 3. Configuration Configuration Files Before startinJIMS, thereshouldbe setJAVA_HOME environmental variable: $export JAVA_HOME=/opt/java1.5 The variables can beput into /etc/default/jior /etc/java/java.confilewhich are both "sourced" during JIMS startup.Example configurationof /etc/default/jiis shown below: export JAVA_HOME=/opt/java1.5 Configuration fileare placed in$JIMS_HOME/jims/etc directory.Itisnecessary toconfigure only one filsite.cfg. The GW and HTTP environment variable should be setto thevalue thatis returnedby the 'host- name' command. The GW tellsJIMS which agentis the'master'agent,and the HTTP variabletells JIMS whether to starthe HTTP service withthe repositoryof modules. The repositoryis used by the agent(and potentiallother agents)toload themodules from remote locationIn ourcase there- positoryislocated onthe same node as theJIMS agentisstarted. We can verifytheoperation ofHTTP serverand theJMX WS connectorafterJIMS startupby issu- ing the telnetcommand for the targethostand followingports (respectivelfor HTTP repository and theJMX WS connector): $telnet access 7701 $telnet access 7702 We can also use the browser to check whether the service has started successfully:ht- tp://access:7701http://access:7702/jims-jmxws Man pages In ordertoread man pages for JIMS, we have tosetthe MANPATH environmental variable: $export MANPATH=$MANPATH:$JIMS_HOME/share/man Having the MANPATH setcorrectlywe havethe followingman pages available: $man jims-agent $man jims-manager $man jims-cli Ports 1. JIMS uses UDP/7707/224.224.224.224 for discovery ofother agents inlocal clusterThis port does not have to be open for the externalworld (outside thecluster)and it can concern only privateaddressspace inthe clusterIn systems configuredby iptableswe can use followingcom- mand (fornode withIP w.x.y.z): $iptables -A INPUT -s w.x.y.z/255.255.255.0 -d 224.224.224.224 -i eth0 -p udp -j ACCEPT Important notice:allowing UDP in generalisnot enough -the procedure above is requiredbe- cause iis requiredtoallow UDP multicasttraffiexplicite. 2. In orderto registediscovered nodes in localclusterJIMS uses alsoTCP/7707/unicast connec- tionsfrom CE toitseland (potentiallyallWNs. This port alsodoes nothave to be open forthe outsideworld. 3. In orderto connecto toJIMS from the outsideworld, and for theproper operation ofthe JIMS P2P subsystem (discovery of all computing elements),there has to be open also the TCP/ 7702/unicastport. InJIMS P2P subsystem, theinitialsitesthathave toexistbefore any other ----------------------------------------4--------------------------------------------------- Configuration -------------------------------------------------------------------------------------------- agents are started, are configured in the $JIMS_HOME/share/java/jims-gateway-3.0.0.jar/newGDS.properties file.By default, the file containsthe CYFRONET's address of ce.i2g.cyf-kr.edu.pHowever, itcan be setto any other hostor to thechosen set ofother initiahosts.The newGDS.properties fileincluded inthe JAR has tobe configured before an agentis started(theJAR isthen copied tothe HTTP repository and thenitscopy isdownloaded). 4. JIMS alsouses TCP/7701 tooperate asa repositoryof modules. Indefaultconfiguration (where allvariables,i.ethe GW and theHTTP pointto thehostname of CE), allagents startedon all CEs act asrepositoriesofmodules, thatiswhy thereisa need tohave thisport open forthe CE (itselfinorderto download monitoring modules. 5. For measurement purposes,JIMS pathloadmodule uses two ports(one TCP and one UDP) con- figured in pathload-base-3.0.0.jar/pathload.propfile (by default: tcp_port=55001, udp_port=55002). Verifying the configuration We can verifytheconfigurationby connecting toJIMS system using thecommandline console. As- suming that10.0.128.9isthe publicIP ofaccess node with JIMS agentup and running, we can test the configuratioas follows: $jims-cli JIMS CLI v. 3.0.0, type "help" for help Connectionnect prepared128.9for: 10.0.128.9 JIMS> list [01] 10.0.128.1 [02] 10.0.128.9 JIMS> cpu TIME/CPU0,1,... USER NICE IDLE SYSTEM [hs/s]: [01] 10.0.128.1: 2[0 2] 0[ 0 0]2051[1028 1023] 3[0 3] [02] 10.0.128.9: 2[7 14] 0[ 0 0] 198[ 93 86] 0[0 0] JIMS> quit JIMS resource utilization JIMS resourceutilizationdepends on number ofrequests persecond. Tests forrecentlyused JMX WS (JSR262) connector have not beenperformed yet. ----------------------------------------5--------------------------------------------------- -------------------------------------------------------------------------------------------- Chapter 4. User guide Command line interface Commands There arefollowing commands availablejims-agent,jims-clientand jims-manager. Command jims-client Command jims-clientcan be useto verifyJIMS configurationaswell asto displaythe lisof avail- able nodesdiscovered by theJIMS agentrunning on particulanode. $ jims-client JIMS CLI v. 3.0.0, type "help" for help JIMS> proxy 149.156.9.73 Proxy configured for: 149.156.9.73 JIMS> connect 10.0.128.9 JIMS>ctlist prepared for: 10.0.128.9 [01] 10.0.128.1 [02] 10.0.128.2 [03] 10.0.128.3 [04] 10.0.128.4 [05] 10.0.128.5 [06] 10.0.128.6 [07] 10.0.128.7 [08] 10.0.128.8 [09] 10.0.128.9 JIMS> cpu TIME/CPU0,1,... USER NICE IDLE SYSTEM [hs/s]: [02] 10.0.128.2: 0[ 0 0] 0[ 0 0] 2040[1028 1012] 3[ 0 3] [03] 10.0.128.3: 0[ 0 0] 0[ 0 0] 2055[1029 1026] 3[ 0 3] [04] 10.0.128.4: 1[ 0 1] 0[ 0 0] 2052[1028 1024] 3[ 0 3] [05] 10.0.128.5: 2[ 0 2] 0[ 0 0] 2053[1029 1024] 3[ 0 3] [06] 10.0.128.6: 1[ 0 1] 0[ 0 0] 2056[1030 1026] 3[ 0 3] [07] 10.0.128.7: 1[ 0 1] 0[ 0 0] 2056[1030 1026] 3[ 0 3] [08] 10.0.128.8: 0[ 0 0] 0[ 0 0] 2055[1029 1026] 3[ 0 3] [09] 10.0.128.9: 0[ 0 0] 0[ 0 0] 200[ 100 100] 0[ 0 0] JIMS> quit We can simplyverify operationofthe pathloadmodule usingthisJIMS command lineclient. $ jims-client JIMS CLI v. 3.0.0, type "help" for help JIMS> connect 149.156.9.87 Connection prepared for: 149.156.9.87 JIMS> list [01] 149.156.9.87 JIMS> domain Pathload JIMS>n typeet type Pathload Type set to: type JIMS> module Repository Module set to: Repository JIMS> get ReportString [Pathload:type=Repository] [ReportString]: [01] 149.156.9.87: 149.156.97.159, 94.600, 94.600, 518, OK JIMS> quit What we can seeis the'slaveagent'withIP 149.156.97.159, and theavailablebandwidth: minimum and maximum in Mbit/s,time from the lastmeasurement and the statusof measurement. The gap between measurements can be obtainedfrom Ticker module. $ jims-client JIMS CLI v. 3.0.0, type "help" for help JIMS> domain Pathload Domain set to: Pathload JIMS> type type Type set to: type JIMS> module Ticker Module set to: Ticker JIMS> get MeasureGap ----------------------------------------6--------------------------------------------------- User guide -------------------------------------------------------------------------------------------- [Pathload:type=Ticker] [MeasureGap]: [01] 149.156.9.87: 600 JIMS> quit Help Help forjims-agent,jims-clientand jims-manager is availablvia man pages: $ man jims-agent -M $JIMS_HOME/share/man $ man jims-client -M $JIME_HOME/share/man $ man jims-manager -M $JIME_HOME/share/man GUI JIMS JMX Manager JIMS JMX Manager isused forvisualizatioof monitored parameters.There arefollowing visualiz- ationsavailable:linesbar-graphs,pie-charts. How to starJIMS JMX Manager: $ jims-jmxmanager Main applicationofJIMS system in Int.eu.griisthe pathload module and itsabilitytoconstantly measure theavailablebandwidth. The algorithm formeasurements is based on themethod ofpairs of packetsand packet trainhttp://www.cs.cmu.edu/~hnn/papers/igi-tr.pdIn ordertomeasure avail- able bandwidth, we have to connectto JIMS system,and choose one agent from the setof running agents tobe the master agent.The masteragent connects periodicallytothe slaveagents and per- forms tests.In order toconfigure master agent to operateproperly and startmeasuring available bandwidht we have toset theattributeSlavesStringinthe Pathload/Repositorymodule tothe value thatis thelistofallslave nodes. The lisis simply a comma separatedlistof slavesIPs. Example pathload statisticsobtained between example master 149.156.9.87 and example slave 149.156.97.159 node are shown below: ############################################################################################ ############################################################################################ ############################################################################################ ############################################################################################ ############################################################################################ ############################################################################################ ############################################################################################ ############################################################################################ ############################################################################################ ############################################################################################ ############################################################################################ ############################################################################################ ############################################################################################ ############################################################################################ ############################################################################################ ############################################################################################ ##file:/home/dsrg/jims/jims/jims-docbook/target/tmp/screenshots/jims-manager-pathload1.png## ############################################################################################ ############################################################################################ ############################################################################################ ############################################################################################ ############################################################################################ ############################################################################################ ############################################################################################ ############################################################################################ ############################################################################################ ############################################################################################ ############################################################################################ ############################################################################################ ############################################################################################ ############################################################################################ ############################################################################################ ############################################################################################ ----------------------------------------7--------------------------------------------------- User guide -------------------------------------------------------------------------------------------- ############################################################################################ ############################################################################################ ############################################################################################ ############################################################################################ ############################################################################################ ############################################################################################ ############################################################################################ ############################################################################################ ############################################################################################ ############################################################################################ ############################################################################################ ############################################################################################ ############################################################################################ ############################################################################################ ############################################################################################ ############################################################################################ ##file:/home/dsrg/jims/jims/jims-docbook/target/tmp/screenshots/jims-manager-pathload2.png## ############################################################################################ ############################################################################################ ############################################################################################ ############################################################################################ ############################################################################################ ############################################################################################ ############################################################################################ ############################################################################################ ############################################################################################ ############################################################################################ ############################################################################################ ############################################################################################ ############################################################################################ ############################################################################################ ############################################################################################ ############################################################################################ ############################################################################################ ############################################################################################ ############################################################################################ ############################################################################################ ############################################################################################ ############################################################################################ ############################################################################################ ############################################################################################ ############################################################################################ ############################################################################################ ############################################################################################ ############################################################################################ ############################################################################################ ############################################################################################ ############################################################################################ ############################################################################################ file:/home/dsrg/jims/jims/jims-docbook/target/tmp/screenshots/jims-manager-pathload-web1.png ############################################################################################ ############################################################################################ ############################################################################################ ############################################################################################ ############################################################################################ ############################################################################################ ############################################################################################ ############################################################################################ ############################################################################################ ############################################################################################ ############################################################################################ ############################################################################################ ############################################################################################ ############################################################################################ ############################################################################################ ############################################################################################ ----------------------------------------8--------------------------------------------------- User guide -------------------------------------------------------------------------------------------- ############################################################################################ ############################################################################################ ############################################################################################ ############################################################################################ ############################################################################################ ############################################################################################ ############################################################################################ ############################################################################################ ############################################################################################ ############################################################################################ ############################################################################################ ############################################################################################ ############################################################################################ ############################################################################################ ############################################################################################ ############################################################################################ file:/home/dsrg/jims/jims/jims-docbook/target/tmp/screenshots/jims-manager-pathload-web2.png ############################################################################################ ############################################################################################ ############################################################################################ ############################################################################################ ############################################################################################ ############################################################################################ ############################################################################################ ############################################################################################ ############################################################################################ ############################################################################################ ############################################################################################ ############################################################################################ ############################################################################################ ############################################################################################ ############################################################################################ ############################################################################################ ############################################################################################ ############################################################################################ ############################################################################################ ############################################################################################ ############################################################################################ ############################################################################################ ############################################################################################ ############################################################################################ ############################################################################################ ############################################################################################ ############################################################################################ ############################################################################################ ############################################################################################ ############################################################################################ ############################################################################################ ############################################################################################ file:/home/dsrg/jims/jims/jims-docbook/target/tmp/screenshots/jims-manager-pathload-web3.png ############################################################################################ ############################################################################################ ############################################################################################ ############################################################################################ ############################################################################################ ############################################################################################ ############################################################################################ ############################################################################################ ############################################################################################ ############################################################################################ ############################################################################################ ############################################################################################ ############################################################################################ ############################################################################################ ############################################################################################ ############################################################################################ ----------------------------------------9--------------------------------------------------- User guide -------------------------------------------------------------------------------------------- ############################################################################################ ############################################################################################ ############################################################################################ ############################################################################################ ############################################################################################ ############################################################################################ ############################################################################################ ############################################################################################ ############################################################################################ ############################################################################################ ############################################################################################ ############################################################################################ ############################################################################################ ############################################################################################ ############################################################################################ ############################################################################################ file:/home/dsrg/jims/jims/jims-docbook/target/tmp/screenshots/jims-manager-pathload-web4.png ############################################################################################ ############################################################################################ ############################################################################################ ############################################################################################ ############################################################################################ ############################################################################################ ############################################################################################ ############################################################################################ ############################################################################################ ############################################################################################ ############################################################################################ ############################################################################################ ############################################################################################ ############################################################################################ ############################################################################################ ############################################################################################ ----------------------------------------10-------------------------------------------------- -------------------------------------------------------------------------------------------- Appendix A. Addresses of Main Clusters ? Poland: ? Kraków I2G (access:149.156.9.87,n1-n8: ..proxy: not required) ? Other (accessn/a) ----------------------------------------11-------------------------------------------------- -------------------------------------------------------------------------------------------- Glossary Glossary JMX Java Management Extensions - technology that provides the toolsfor buildingdistributedWeb-based, modular and dynamic solutions for managing and monitoring devices,applications, and service-driven networks ( JMX ht- tp://java.sun.com/javase/technologies/core/mntr-mgmt/javaman agement/ ] JSR003 ht- tp://www.jcp.org/aboutJava/communityprocess/final/jsr003] , JSR160 ht- tp://www.jcp.org/aboutJava/communityprocess/final/jsr160]). JIMS JMX-based InfrastructureMonitoring System See Also JMX . JAX-WS RI 2.1.2 Base for JSR 262 JAX-WS [https://jax-ws.dev.java.net/2.].2/ JSR 262 JMX WebServices Connector JSR-262 ht- tps://ws-jmx-connector.dev.java.ne]/ ----------------------------------------12-------------------------------------------------- -------------------------------------------------------------------------------------------- Bibliography DocBook: The Definitive Guide. http://www.docbook.org/tdg/en/html/docbook.html. Norman Walsh. Leonard Muellner. Copyright ? 2003 O'Reilly & Associates,Inc..156592-580-7. Wydawca. LDP Author Guide .http://www.tldp.org/LDP/LDP-Author-Guide/html/index.html . Java for i686, Sun Microsystems HotSpot(TM) 1.5.0_05, Download Page . ht- tp://java.sun.com/j2se/1.5.0/download.j.p Java for ia64, BEA JRockit(R) 1.5.0_03 Download Page . ht- tp://commerce.bea.com/products/weblogicjrockit/5.0/jr_50.js. ----------------------------------------13--------------------------------------------------