xremote.sh

   1 #!/bin/bash
   2
   3 #########################################################################
   4 # This program is free software: you can redistribute it and/or modify  #
   5 # it under the terms of the version 3 of the GNU General Public License #
   6 # as published by the Free Software Foundation.                         #
   7 #                                                                       #
   8 # This program is distributed in the hope that it will be useful, but   #
   9 # WITHOUT ANY WARRANTY; without even the implied warranty of            #
  10 # MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the GNU      #
  11 # General Public License for more details.                              #
  12 #                                                                       #
  13 # You should have received a copy of the GNU General Public License     #
  14 # along with this program. If not, see <http://www.gnu.org/licenses/>.  #
  15 #                                                                       #
  16 # Written by and Copyright (C) Francois Fleuret                         #
  17 # Contact <francois@fleuret.org> for comments & bug reports             #
  18 #########################################################################
  19
  20 set -e
  21 set -o pipefail
  22
  23 ######################################################################
  24
  25 function check_remote_is_defined () {
  26     if [[ "${REMOTE_HOST}" ]] && [[ "${REMOTE_DIR}" ]]
  27     then
  28         return 0
  29     else
  30         echo "@XREMOTE_HOST should come first." >&2
  31         exit 1
  32     fi
  33 }
  34
  35 function help () {
  36     cat <<EOF
  37 xremote.sh <executable>
  38
  39   This script takes a script as argument and executes it remotely in a
  40   temporary directory on a ssh-accessible server.
  41
  42   It parses the script first to find embedded arguments which defines
  43   the hostname on which to run it, the files to send, the files to
  44   get back when the execution is done, and commands to execute before
  45   running the executable remotely.
  46
  47   These arguments can appear multiple times, except the one that
  48   specifies the remote host.
  49
  50   Example:
  51
  52     @XREMOTE_HOST: elk.fleuret.org
  53     @XREMOTE_SEND: mnist.py
  54     @XREMOTE_GET: *.dat
  55     @XREMOTE_PRE: ln -s /home/fleuret/data/pytorch ./data
  56
  57   If no argument is provided to @XREMOTE_HOST, the environment
  58   variable $XREMOTE_HOST is used instead
  59
  60   Contact <francois@fleuret.org> for comments.
  61
  62 EOF
  63     return 0
  64 }
  65
  66 function cleanup_remote_tmp () {
  67     if [[ "${REMOTE_HOST}" ]] && [[ "${REMOTE_DIR}" ]]
  68     then
  69         echo "Clean up remote workdir."
  70         ssh "${REMOTE_HOST}" "rm -rf \"${REMOTE_DIR}\""
  71     fi
  72 }
  73
  74 ######################################################################
  75
  76 [[ -x "$1" ]] || (help && exit 1)
  77
  78 main="$(basename "$1")"
  79
  80 cd "$(dirname "$1")"
  81
  82 trap cleanup_remote_tmp EXIT
  83
  84 ######################################################################
  85
  86 while read line
  87 do
  88
  89     if [[ "${line}" =~ '@XREMOTE' ]]
  90     then
  91
  92         label=$(echo "${line}" | sed -e 's/^.*@XREMOTE_\([^:]*\):.*$/\1/')
  93         value=$(echo "${line}" | sed -e 's/^.*@XREMOTE_[^:]*: *\(.*\)$/\1/')
  94
  95         case "${label}" in
  96
  97             PRE)
  98                 check_remote_is_defined
  99                 ssh < /dev/null "${REMOTE_HOST}" "cd \"${REMOTE_DIR}\" && ${value}"
 100                 ;;
 101
 102             SEND)
 103                 check_remote_is_defined
 104                 tar c "${value}" | ssh "${REMOTE_HOST}" "cd \"${REMOTE_DIR}\" && tar mx"
 105                 ;;
 106
 107             HOST)
 108                 [[ "${REMOTE_DIR}" ]] && (exit "Remote host already defined!" >&2 && exit 1)
 109                 REMOTE_HOST="${value}"
 110                 [[ "${REMOTE_HOST}" ]] || REMOTE_HOST="${XREMOTE_HOST}"
 111                 [[ "${REMOTE_HOST}" ]] || (echo "No remote host specified." >&2 && exit 1)
 112                 REMOTE_DIR="$(ssh </dev/null "${REMOTE_HOST}" mktemp -d /tmp/xremote.from_"$(hostname)_$(date +%Y%m%d)".XXXXXX)"
 113                 ;;
 114         esac
 115     fi
 116
 117 done < "${main}"
 118
 119 ######################################################################
 120
 121 check_remote_is_defined
 122
 123 tar c "${main}" | ssh "${REMOTE_HOST}" "cd \"${REMOTE_DIR}\" && tar mx"
 124
 125 echo "----------------------------------------------------------------------"
 126 echo "-- On ${REMOTE_HOST}"
 127 echo "----------------------------------------------------------------------"
 128 ssh </dev/null "${REMOTE_HOST}" "cd \"${REMOTE_DIR}\" && ./$(basename "${main}")"
 129 echo "----------------------------------------------------------------------"
 130
 131 ######################################################################
 132
 133 # Disable globbing to keep wildcards for the remote side
 134
 135 set -f
 136
 137 while read line
 138 do
 139     if [[ "${line}" =~ '@XREMOTE' ]]
 140     then
 141         label=$(echo "${line}" | sed -e 's/^.*@XREMOTE_\([^:]*\):.*$/\1/')
 142         value=$(echo "${line}" | sed -e 's/^.*@XREMOTE_[^:]*: *\(.*\)$/\1/')
 143         case "${label}" in
 144             GET)
 145                 check_remote_is_defined
 146                 ssh </dev/null "${REMOTE_HOST}" "cd \"${REMOTE_DIR}\" && tar c ${value}" | tar mxv
 147                 ;;
 148         esac
 149     fi
 150 done < "${main}"
 151
 152 set +f
 153
 154 ######################################################################