Changes between Version 11 and Version 12 of QCG-AdvancedClient

Show
Ignore:
Timestamp:
11/18/12 21:07:43 (12 years ago)
Author:
mmamonski
Comment:

--

Legend:

Unmodified
Added
Removed
Modified

  • QCG-AdvancedClient

    v11 v12  
    2222module-whatis   "Fusion/Turbulence, 0.1" 
    2323 
    24 #add path to the native MUSCLE kernels 
    25 prepend-path PATH /home/plgrid-groups/plggmuscle/fusionkernels/bin/ 
     24#load all needed modules 
     25module add muscle2 
     26 
     27#sets TCL variable 
     28set FUSION_KERNELS "/home/plgrid-groups/plggmuscle/fusionkernels" 
     29#sets environment variable 
     30setenv FUSION_KERNELS $FUSION_KERNELS 
     31#add to the PATH native kernels 
     32prepend-path PATH ${FUSION_KERNELS}/bin/ 
    2633 
    2734set curMod [module-info name] 
    … …  
    3643}}} 
    3744You can set there two environment variables interpreted by the MUSCLE framework: 
    38  * MUSCLE_CLASSPATH 
    39  * MUSCLE_LIBPATH 
    40 to set Java classpath and the path of dynamically loadable libraries. Thanks to this mechanism you can use single abstract CxA that do not contain any site-specific paths. Also you can load the module in interactive QCG job: 
     45   * MUSCLE_CLASSPATH 
     46   * MUSCLE_LIBPATH 
     47to set Java classpath and the path of dynamically loadable libraries. Thanks to this mechanism you can use single abstract CxA that do not contain any site-specific paths. Also you can load the module in the interactive QCG job: 
    4148{{{ 
    4249bash-4.1$ module load Fusion/Turbulence 
    43 Fusion/Turbulence load complete 
     50openmpi/openmpi-open64_4.5.2-1.4.5-2 load complete. 
     51Fusion/Turbulence load complete. 
     52bash-4.1$ muscle2 -ma -c $FUSION_KERNELS/cxa/testSimpleModelsB_shared.cxa.rb  
     53Running both MUSCLE2 Simulation Manager and the Simulation 
     54=== Running MUSCLE2 Simulation Manager === 
     55 
    4456}}} 
    4557* Prepare XML job description: 
    4658{{{ 
    4759<qcgJob appId="MAPPER" xmlns:jxb="http://java.sun.com/xml/ns/jaxb" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"> 
    48         <task persistent="true" taskId="task"> 
    49                 <requirements> 
    50                         <topology> 
    51                                 <processes processesId="one" masterGroup="true"> 
     60  <task persistent="true" taskId="task"> 
     61    <requirements> 
     62      <topology> 
     63        <processes masterGroup="true" processesId="init:transp:dupCorep:turb"> 
     64                                        <processesCount> 
     65                                                <value>1</value> 
     66                                        </processesCount> 
     67          <candidateHosts> 
     68            <hostName>inula.man.poznan.pl</hostName> 
     69          </candidateHosts> 
     70        </processes> 
     71        <processes processesId="equil:dupEquil"> 
    5272                                        <processesCount> 
    5373                                                <value>1</value> 
    5474                                        </processesCount> 
    55                                                 <candidateHosts> 
    56                                                         <hostName>zeus.cyfronet.pl</hostName> 
    57                                                 </candidateHosts> 
    58                                 </processes> 
    59                                 <processes processesId="two"> 
    60                                         <processesCount> 
    61                                                 <value>1</value> 
    62                                         </processesCount> 
    63                                                 <candidateHosts> 
    64                                                         <hostName>reef.man.poznan.pl</hostName> 
    65                                                 </candidateHosts> 
    66                                 </processes> 
    67                                 <processes processesId="three"> 
    68                                         <processesCount> 
    69                                                 <value>1</value> 
    70                                         </processesCount> 
    71                                                 <candidateHosts> 
    72                                                         <hostName>hydra.icm.edu.pl</hostName> 
    73                                                 </candidateHosts> 
    74                                 </processes> 
    75          
    76                         </topology> 
    77                 </requirements> 
    78                 <execution type="open_mpi"> 
    79                         <executable> 
    80                                 <application name="muscle"/> 
    81                         </executable> 
    82                         <arguments> 
    83                                 <value>Triangle.cxa.rb</value> 
    84                         </arguments> 
    85                         <stdout> 
    86                                 <directory> 
    87                                         <location type="URL">gsiftp://qcg.man.poznan.pl/~/output-${JOB_ID}-${TASK_ID}</location> 
    88                                 </directory> 
    89                         </stdout> 
    90                         <stderr> 
    91                                 <directory> 
    92                                         <location type="URL">gsiftp://qcg.man.poznan.pl/~/error-${JOB_ID}-${TASK_ID}</location> 
    93                                 </directory> 
    94                         </stderr> 
    95                         <stageInOut> 
    96                                 <file name="Triangle.cxa.rb" type="in"> 
    97                                         <location type="URL">gsiftp://qcg.man.poznan.pl/~/Triangle.cxa.rb</location> 
    98                                 </file> 
    99                                 <directory name="outputs" type="out"> 
    100                                         <location type="URL">gsiftp://qcg.man.poznan.pl/~/results-${JOB_ID}-${TASK_ID}</location> 
    101                                 </directory> 
    102  
    103                 </stageInOut> 
    104                 </execution> 
    105                 <executionTime> 
    106                         <executionDuration>P0Y0M0DT0H10M</executionDuration> 
    107                 </executionTime> 
    108         </task> 
     75          <candidateHosts> 
     76            <hostName>zeus.cyfronet.pl</hostName> 
     77          </candidateHosts> 
     78        </processes> 
     79      </topology> 
     80    </requirements> 
     81    <execution type="mapper"> 
     82      <executable> 
     83        <application name="muscle2"/> 
     84      </executable> 
     85      <arguments> 
     86        <value>FusionSimpleModels.cxa.rb</value> 
     87        <value>--verbose</value> 
     88      </arguments> 
     89      <stdout> 
     90        <directory> 
     91          <location type="URL">gsiftp://qcg.man.poznan.pl/~/MAPPER/${JOB_ID}.output</location> 
     92        </directory> 
     93      </stdout> 
     94      <stderr> 
     95        <directory> 
     96          <location type="URL">gsiftp://qcg.man.poznan.pl/~/MAPPER/${JOB_ID}.error</location> 
     97        </directory> 
     98      </stderr> 
     99      <stageInOut> 
     100        <file name="FusionSimpleModels.cxa.rb" type="in"> 
     101          <location type="URL">gsiftp://qcg.man.poznan.pl/~/MAPPER/FusionSimpleModels.cxa.rb</location> 
     102        </file> 
     103        <file name="fusion-preprocess.sh" type="in"> 
     104          <location type="URL">gsiftp://qcg.man.poznan.pl/~/MAPPER/fusion-preprocess.sh</location> 
     105        </file> 
     106        <file name="fusion-postprocess.sh" type="in"> 
     107          <location type="URL">gsiftp://qcg.man.poznan.pl/~/MAPPER/fusion-postprocess.sh</location> 
     108        </file> 
     109  
     110        <directory name="data" type="in"> 
     111          <location type="URL">gsiftp://qcg.man.poznan.pl/~/MAPPER/data</location> 
     112        </directory> 
     113        <directory name="out" type="out"> 
     114          <location type="URL">gsiftp://qcg.man.poznan.pl/~/MAPPER/${JOB_ID}.out</location> 
     115        </directory> 
     116  
     117      </stageInOut> 
     118      <environment> 
     119        <variable name="QCG_MODULES_LIST">Fusion/Turbulence</variable> 
     120        <variable name="QCG_PREPROCESS">fusion-preprocess.sh</variable> 
     121        <variable name="QCG_POSTPROCESS">fusion-postprocess.sh</variable> 
     122      </environment> 
     123    </execution> 
     124    <executionTime> 
     125      <executionDuration>P0Y0M0DT0H30M</executionDuration> 
     126    </executionTime> 
     127  </task> 
    109128</qcgJob> 
    110129}}} 
     130 * In the above example we: 
     131   * run the simulation on the two clusters using advance reservations created  automatically by the QCG-Broker (in the co-allocation process) on two clusters: inula and zeus (`<candidateHosts>` 
     132   * we requested 30 minutes of maximum job walltime (`<executionDuration>`) 
     133   * we added