utils/TerraSync/terrasync.cxx

   1 // terrasync.cxx -- "JIT" scenery fetcher
   2 //
   3 // Written by Curtis Olson, started November 2002.
   4 //
   5 // Copyright (C) 2002  Curtis L. Olson  - http://www.flightgear.org/~curt
   6 // Copyright (C) 2008  Alexander R. Perry <alex.perry@ieee.org>
   7 //
   8 // This program is free software; you can redistribute it and/or
   9 // modify it under the terms of the GNU General Public License as
  10 // published by the Free Software Foundation; either version 2 of the
  11 // License, or (at your option) any later version.
  12 //
  13 // This program is distributed in the hope that it will be useful, but
  14 // WITHOUT ANY WARRANTY; without even the implied warranty of
  15 // MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
  16 // General Public License for more details.
  17 //
  18 // You should have received a copy of the GNU General Public License
  19 // along with this program; if not, write to the Free Software
  20 // Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA  02110-1301, USA.
  21 //
  22 // $Id$
  23
  24 #ifdef HAVE_CONFIG_H
  25 #include <config.h>
  26 #endif
  27
  28 #ifdef HAVE_WINDOWS_H
  29 #include <windows.h>
  30 #endif
  31
  32 #ifdef __MINGW32__
  33 #include <time.h>
  34 #include <unistd.h>
  35 #elif defined(_MSC_VER)
  36 #   include <io.h>
  37 #   ifndef HAVE_SVN_CLIENT_H
  38 #       include <time.h>
  39 #       include <process.h>
  40 #   endif
  41 #endif
  42
  43 #include <stdlib.h>             // atoi() atof() abs() system()
  44 #include <signal.h>             // signal()
  45
  46 #include <simgear/compiler.h>
  47
  48 #include <iostream>
  49 #include <fstream>
  50 #include <string>
  51 #include <deque>
  52 #include <map>
  53
  54 #include <simgear/io/raw_socket.hxx>
  55 #include <simgear/bucket/newbucket.hxx>
  56 #include <simgear/misc/sg_path.hxx>
  57
  58 #ifdef HAVE_SVN_CLIENT_H
  59 #  ifdef HAVE_LIBSVN_CLIENT_1
  60 #    include <svn_auth.h>
  61 #    include <svn_client.h>
  62 #    include <svn_cmdline.h>
  63 #    include <svn_pools.h>
  64 #  else
  65 #    undef HAVE_SVN_CLIENT_H
  66 #  endif
  67 #endif
  68
  69 using namespace std;
  70
  71 const char* source_base = NULL;
  72 const char* svn_base =
  73   "http://terrascenery.googlecode.com/svn/trunk/data/Scenery";
  74 const char* rsync_base = "scenery.flightgear.org::Scenery";
  75 const char* dest_base = "terrasyncdir";
  76 const char* rsync_cmd =
  77     "rsync --verbose --archive --delete --perms --owner --group";
  78
  79 #ifdef HAVE_SVN_CLIENT_H
  80 bool use_svn = true;
  81 #else
  82 bool use_svn = false;
  83 const char* svn_cmd = "svn checkout";
  84 #endif
  85
  86 // display usage
  87 static void usage( const string& prog ) {
  88     cout <<
  89 "Usage:  terrasync [options]\n"
  90 "Options:  \n"
  91 " -d <dest>       destination directory [required]\n"
  92 " -R              transport using pipe to rsync\n"
  93 " -S              transport using built-in svn\n"
  94 " -p <port>       listen on UDP port [default: 5501]\n"
  95 " -s <source>     source base [default: '']\n"
  96 " -pid <pidfile>  write PID to file\n"
  97 " -v              be more verbose\n"
  98 ;
  99
 100 #ifdef HAVE_SVN_CLIENT_H
 101     cout << "    (defaults to the built in subversion)" << endl;
 102 #else
 103     cout << "    (defaults to rsync, using external commands)" << endl;
 104 #endif
 105
 106   cout << "\nExample:\n"
 107 "pid=$(cat $pidfile 2>/dev/null)\n"
 108 "if test -n \"$pid\" && kill -0 $pid ; then\n"
 109 "    echo \"terrasync already running: $pid\"\n"
 110 "else\n"
 111 "    nice /games/sport/fgs/utils/TerraSync/terrasync         \\\n"
 112 "      -v -pid $pidfile -S -p 5500 -d /games/orig/terrasync &\n"
 113 "fi" << endl;
 114
 115 }
 116
 117 deque<string> waitingTiles;
 118 typedef map<string,time_t> CompletedTiles;
 119 CompletedTiles completedTiles;
 120 simgear::Socket theSocket;
 121
 122 #ifdef HAVE_SVN_CLIENT_H
 123
 124 // Things we need for doing subversion checkout - often
 125 apr_pool_t *mysvn_pool = NULL;
 126 svn_client_ctx_t *mysvn_ctx = NULL;
 127 svn_opt_revision_t *mysvn_rev = NULL;
 128 svn_opt_revision_t *mysvn_rev_peg = NULL;
 129
 130 static const svn_version_checklist_t mysvn_checklist[] = {
 131     { "svn_subr",   svn_subr_version },
 132     { "svn_client", svn_client_version },
 133     { NULL, NULL }
 134 };
 135
 136 // Configure our subversion session
 137 int mysvn_setup(void) {
 138     // Are we already prepared?
 139     if (mysvn_pool) return EXIT_SUCCESS;
 140     // No, so initialize svn internals generally
 141 #ifdef _MSC_VER
 142     // there is a segfault when providing an error stream.
 143     //  Apparently, calling setvbuf with a nul buffer is
 144     //  not supported under msvc 7.1 ( code inside svn_cmdline_init )
 145     if (svn_cmdline_init("terrasync", 0) != EXIT_SUCCESS)
 146         return EXIT_FAILURE;
 147 #else
 148     if (svn_cmdline_init("terrasync", stderr) != EXIT_SUCCESS)
 149         return EXIT_FAILURE;
 150 #endif
 151     apr_pool_t *pool;
 152     apr_pool_create(&pool, NULL);
 153     svn_error_t *err = NULL;
 154     SVN_VERSION_DEFINE(mysvn_version);
 155     err = svn_ver_check_list(&mysvn_version, mysvn_checklist);
 156     if (err)
 157         return svn_cmdline_handle_exit_error(err, pool, "terrasync: ");
 158     err = svn_ra_initialize(pool);
 159     if (err)
 160         return svn_cmdline_handle_exit_error(err, pool, "terrasync: ");
 161     char *config_dir = NULL;
 162     err = svn_config_ensure(config_dir, pool);
 163     if (err)
 164         return svn_cmdline_handle_exit_error(err, pool, "terrasync: ");
 165     err = svn_client_create_context(&mysvn_ctx, pool);
 166     if (err)
 167         return svn_cmdline_handle_exit_error(err, pool, "terrasync: ");
 168     err = svn_config_get_config(&(mysvn_ctx->config),
 169         config_dir, pool);
 170     if (err)
 171         return svn_cmdline_handle_exit_error(err, pool, "terrasync: ");
 172     svn_config_t *cfg;
 173     cfg = ( svn_config_t*) apr_hash_get(
 174         mysvn_ctx->config,
 175         SVN_CONFIG_CATEGORY_CONFIG,
 176         APR_HASH_KEY_STRING);
 177     if (err)
 178         return svn_cmdline_handle_exit_error(err, pool, "terrasync: ");
 179     svn_auth_baton_t *ab;
 180     err = svn_cmdline_setup_auth_baton(&ab,
 181         TRUE, NULL, NULL, config_dir, TRUE, cfg,
 182         mysvn_ctx->cancel_func, mysvn_ctx->cancel_baton, pool);
 183     if (err)
 184         return svn_cmdline_handle_exit_error(err, pool, "terrasync: ");
 185     mysvn_ctx->auth_baton = ab;
 186     mysvn_ctx->conflict_func = NULL;
 187     mysvn_ctx->conflict_baton = NULL;
 188     // Now our magic revisions
 189     mysvn_rev = (svn_opt_revision_t*) apr_palloc(pool,
 190         sizeof(svn_opt_revision_t));
 191     if (!mysvn_rev)
 192         return EXIT_FAILURE;
 193     mysvn_rev_peg = (svn_opt_revision_t*) apr_palloc(pool,
 194         sizeof(svn_opt_revision_t));
 195     if (!mysvn_rev_peg)
 196         return EXIT_FAILURE;
 197     mysvn_rev->kind = svn_opt_revision_head;
 198     mysvn_rev_peg->kind = svn_opt_revision_unspecified;
 199     // Success if we got this far
 200     mysvn_pool = pool;
 201     return EXIT_SUCCESS;
 202 }
 203
 204 #endif
 205
 206 // sync one directory tree
 207 void sync_tree(const char* dir) {
 208     int rc;
 209     char command[512];
 210     SGPath path( dest_base );
 211
 212     path.append( dir );
 213     rc = path.create_dir( 0755 );
 214     if (rc) {
 215         cout << "Return code = " << rc << endl;
 216         exit(1);
 217     }
 218
 219     if (use_svn) {
 220 #ifdef HAVE_SVN_CLIENT_H
 221         cout << dir << " ... ";
 222         cout.flush();
 223         char dest_base_dir[512];
 224         snprintf( command, 512,
 225             "%s/%s", source_base, dir);
 226         snprintf( dest_base_dir, 512,
 227             "%s/%s", dest_base, dir);
 228         svn_error_t *err = NULL;
 229         if (mysvn_setup() != EXIT_SUCCESS)
 230             exit(1);
 231         apr_pool_t *subpool = svn_pool_create(mysvn_pool);
 232
 233 #if (SVN_VER_MINOR >= 5)
 234         err = svn_client_checkout3(NULL,
 235             command,
 236             dest_base_dir,
 237             mysvn_rev_peg,
 238             mysvn_rev,
 239             svn_depth_infinity,
 240             0, // ignore-externals = false
 241             0, // allow unver obstructions = false
 242             mysvn_ctx,
 243             subpool);
 244 #else
 245     // version 1.4 API
 246     err = svn_client_checkout2(NULL,
 247             command,
 248             dest_base_dir,
 249             mysvn_rev_peg,
 250             mysvn_rev,
 251             1, // recurse=true - same as svn_depth_infinity for checkout3 above
 252             0, // ignore externals = false
 253             mysvn_ctx,
 254             subpool);
 255 #endif
 256
 257         if (err) {
 258             // Report errors from the checkout attempt
 259             cout << "failed: " << endl
 260                  << err->message << endl;
 261             svn_error_clear(err);
 262             return;
 263         } else {
 264             cout << "done" << endl;
 265         }
 266         svn_pool_destroy(subpool);
 267         return;
 268 #else
 269
 270         snprintf( command, 512,
 271             "%s %s/%s %s/%s", svn_cmd,
 272             source_base, dir,
 273             dest_base, dir );
 274 #endif
 275     } else {
 276         snprintf( command, 512,
 277             "%s %s/%s/ %s/%s/", rsync_cmd,
 278             source_base, dir,
 279             dest_base, dir );
 280     }
 281     cout << command << endl;
 282     rc = system( command );
 283     if (rc) {
 284         cout << "Return code = " << rc << endl;
 285         if (rc == 5120) exit(1);
 286     }
 287 }
 288
 289 #if defined(_MSC_VER) || defined(__MINGW32__)
 290 typedef void (__cdecl * sighandler_t)(int);
 291 #elif defined( __APPLE__ )
 292 typedef sig_t sighandler_t;
 293 #endif
 294
 295 bool terminating = false;
 296 sighandler_t prior_signal_handlers[32];
 297 int termination_triggering_signals[] = {
 298 #if defined(_MSC_VER) || defined(__MINGW32__)
 299     SIGINT, SIGILL, SIGFPE, SIGSEGV, SIGTERM, SIGBREAK, SIGABRT,
 300 #else
 301     SIGHUP, SIGINT, SIGQUIT, SIGKILL, SIGTERM,
 302 #endif
 303     0};  // zero terminated
 304
 305 void terminate_request_handler(int param) {
 306     char msg[] = "\nReceived signal XX, intend to exit soon.\n"
 307          "repeat the signal to force immediate termination.\n";
 308     msg[17] = '0' + param / 10;
 309     msg[18] = '0' + param % 10;
 310     write(1, msg, sizeof(msg) - 1);
 311     terminating = true;
 312     signal(param, prior_signal_handlers[param]);
 313     theSocket.close();
 314 }
 315
 316
 317 const int nowhere = -9999;
 318
 319
 320 // parse message
 321 static void parse_message( const string &msg, int *lat, int *lon ) {
 322     double dlat, dlon;
 323     string text = msg;
 324
 325     // find GGA string and advance to start of lat
 326     string::size_type pos = text.find( "$GPGGA" );
 327     if ( pos == string::npos )
 328     {
 329         *lat = nowhere;
 330         *lon = nowhere;
 331         return;
 332     }
 333     string tmp = text.substr( pos + 7 );
 334     pos = tmp.find( "," );
 335     tmp = tmp.substr( pos + 1 );
 336     // cout << "-> " << tmp << endl;
 337
 338     // find lat then advance to start of hemisphere
 339     pos = tmp.find( "," );
 340     string lats = tmp.substr( 0, pos );
 341     dlat = atof( lats.c_str() ) / 100.0;
 342     tmp = tmp.substr( pos + 1 );
 343
 344     // find N/S hemisphere and advance to start of lon
 345     if ( tmp.substr( 0, 1 ) == "S" ) {
 346         dlat = -dlat;
 347     }
 348     pos = tmp.find( "," );
 349     tmp = tmp.substr( pos + 1 );
 350
 351     // find lon
 352     pos = tmp.find( "," );
 353     string lons = tmp.substr( 0, pos );
 354     dlon = atof( lons.c_str() ) / 100.0;
 355     tmp = tmp.substr( pos + 1 );
 356
 357     // find E/W hemisphere and advance to start of lon
 358     if ( tmp.substr( 0, 1 ) == "W" ) {
 359         dlon = -dlon;
 360     }
 361
 362     if ( dlat < 0 ) {
 363         *lat = (int)dlat - 1;
 364     } else {
 365         *lat = (int)dlat;
 366     }
 367
 368     if ( dlon < 0 ) {
 369         *lon = (int)dlon - 1;
 370     } else {
 371         *lon = (int)dlon;
 372     }
 373
 374     if ((dlon == 0) && (dlat == 0)) {
 375       *lon = nowhere;
 376       *lat = nowhere;
 377     }
 378 }
 379
 380
 381 // sync area
 382 static void sync_area( int lat, int lon ) {
 383     if ( lat < -90 || lat > 90 || lon < -180 || lon > 180 )
 384         return;
 385     char NS, EW;
 386     int baselat, baselon;
 387
 388     if ( lat < 0 ) {
 389         int base = (int)(lat / 10);
 390         if ( lat == base * 10 ) {
 391             baselat = base * 10;
 392         } else {
 393             baselat = (base - 1) * 10;
 394         }
 395         NS = 's';
 396     } else {
 397         baselat = (int)(lat / 10) * 10;
 398         NS = 'n';
 399     }
 400     if ( lon < 0 ) {
 401         int base = (int)(lon / 10);
 402         if ( lon == base * 10 ) {
 403             baselon = base * 10;
 404         } else {
 405             baselon = (base - 1) * 10;
 406         }
 407         EW = 'w';
 408     } else {
 409         baselon = (int)(lon / 10) * 10;
 410         EW = 'e';
 411     }
 412
 413     const char* terrainobjects[3] = { "Terrain", "Objects", 0 };
 414
 415     for (const char** tree = &terrainobjects[0]; *tree; tree++) {
 416         char dir[512];
 417         snprintf( dir, 512, "%s/%c%03d%c%02d/%c%03d%c%02d",
 418                 *tree,
 419                 EW, abs(baselon), NS, abs(baselat),
 420                 EW, abs(lon), NS, abs(lat) );
 421         waitingTiles.push_back( dir );
 422     }
 423 }
 424
 425
 426 // sync areas
 427 static void sync_areas( int lat, int lon, int lat_dir, int lon_dir ) {
 428     // do current 1x1 degree area first
 429     sync_area( lat, lon );
 430
 431     if ( lat_dir == 0 && lon_dir == 0 ) {
 432         // now do surrounding 8 1x1 degree areas.
 433         for ( int i = lat - 1; i <= lat + 1; ++i ) {
 434             for ( int j = lon - 1; j <= lon + 1; ++j ) {
 435                 if ( i != lat || j != lon ) {
 436                     sync_area( i, j );
 437                 }
 438             }
 439         }
 440     } else {
 441         if ( lat_dir != 0 ) {
 442             sync_area( lat + lat_dir, lon );
 443             sync_area( lat + lat_dir, lon - 1 );
 444             sync_area( lat + lat_dir, lon + 1 );
 445         }
 446         if ( lon_dir != 0 ) {
 447             sync_area( lat, lon + lon_dir );
 448             sync_area( lat - 1, lon + lon_dir );
 449             sync_area( lat + 1, lon + lon_dir );
 450         }
 451     }
 452 }
 453
 454 void getWaitingTile() {
 455     while ( !waitingTiles.empty() ) {
 456         CompletedTiles::iterator ii =
 457             completedTiles.find( waitingTiles.front() );
 458         time_t now = time(0);
 459         if ( ii == completedTiles.end() || ii->second + 600 < now ) {
 460             sync_tree(waitingTiles.front().c_str());
 461             completedTiles[ waitingTiles.front() ] = now;
 462             waitingTiles.pop_front();
 463             break;
 464         }
 465         waitingTiles.pop_front();
 466     }
 467 }
 468
 469 int main( int argc, char **argv ) {
 470     int port = 5501;
 471     char host[256] = "localhost";
 472     bool testing = false;
 473     bool do_checkout(true);
 474     int verbose(0);
 475     const char* pidfn = "";
 476
 477     // parse arguments
 478     int i = 1;
 479     while ( i < argc ) {
 480         if ( (string)argv[i] == "-p" ) {
 481             ++i;
 482             port = atoi( argv[i] );
 483         } else if ( string(argv[i]).find("-pid") == 0 ) {
 484             ++i;
 485             pidfn = argv[i];
 486             cout << "pidfn: " << pidfn << endl;
 487         } else if ( (string)argv[i] == "-s" ) {
 488             ++i;
 489             source_base = argv[i];
 490         } else if ( (string)argv[i] == "-d" ) {
 491             ++i;
 492             dest_base = argv[i];
 493         } else if ( (string)argv[i] == "-R" ) {
 494             use_svn = false;
 495         } else if ( (string)argv[i] == "-S" ) {
 496             use_svn = true;
 497         } else if ( (string)argv[i] == "-v" ) {
 498             verbose++;
 499         } else if ( (string)argv[i] == "-T" ) {
 500             testing = true;
 501         } else if ( (string)argv[i] == "-h" ) {
 502             usage( argv[0] );
 503             exit(0);
 504         } else {
 505             cerr << "Unrecognized verbiage '" << argv[i] << "'" << endl;
 506             usage( argv[0] );
 507             exit(-1);
 508         }
 509         ++i;
 510     }
 511
 512     if (*pidfn) {
 513       ofstream pidstream;
 514       pidstream.open(pidfn);
 515       if (!pidstream.good()) {
 516         cerr << "Cannot open pid file '" << pidfn << "': ";
 517         perror(0);
 518         exit(2);
 519       }
 520       pidstream << getpid() << endl;
 521       pidstream.close();
 522     }
 523
 524     // Use the appropriate default for the "-s" flag
 525     if (source_base == NULL) {
 526         if (use_svn)
 527             source_base = svn_base;
 528         else
 529             source_base = rsync_base;
 530     }
 531
 532     // Must call this before any other net stuff
 533     simgear::Socket::initSockets();
 534
 535     if ( ! theSocket.open( false ) ) {  // open a UDP socket
 536         printf("error opening socket\n");
 537         return -1;
 538     }
 539
 540     if ( theSocket.bind( host, port ) == -1 ) {
 541         printf("error binding to port %d\n", port);
 542         return -1;
 543     }
 544
 545     char msg[256];
 546     int maxlen = 256;
 547     int len;
 548     int lat, lon;
 549     int last_lat = nowhere;
 550     int last_lon = nowhere;
 551     bool recv_msg = false;
 552
 553     char synced_other;
 554     if (do_checkout) {
 555         for ( synced_other = 'K'; synced_other <= 'Z'; synced_other++ ) {
 556             char dir[512];
 557             snprintf( dir, 512, "Airports/%c", synced_other );
 558             waitingTiles.push_back( dir );
 559         }
 560         for ( synced_other = 'A'; synced_other <= 'J'; synced_other++ ) {
 561             char dir[512];
 562             snprintf( dir, 512, "Airports/%c", synced_other );
 563             waitingTiles.push_back( dir );
 564         }
 565         if ( use_svn ) {
 566             waitingTiles.push_back( "Models" );
 567         }
 568     }
 569
 570
 571     for (int* sigp=termination_triggering_signals; *sigp; sigp++) {
 572         prior_signal_handlers[*sigp] =
 573             signal(*sigp, *terminate_request_handler);
 574         if (verbose) cout << "Intercepted signal " << *sigp << endl;
 575     }
 576
 577     while ( !terminating ) {
 578         // main loop
 579         recv_msg = false;
 580         if ( testing ) {
 581             // No FGFS communications
 582             lat = 37;
 583             lon = -123;
 584             recv_msg = (lat != last_lat) || (lon != last_lon);
 585         } else {
 586             if (verbose && waitingTiles.empty()) {
 587                 cout << "Idle; waiting for FlightGear position\n";
 588             }
 589             theSocket.setBlocking(waitingTiles.empty());
 590             len = theSocket.recv(msg, maxlen, 0);
 591             if (len >= 0) {
 592                 msg[len] = '\0';
 593                 recv_msg = true;
 594                 if (verbose) cout << "recv length: " << len << endl;
 595                 parse_message( msg, &lat, &lon );
 596             }
 597         }
 598
 599         if ( recv_msg ) {
 600              // Ignore messages where the location does not change
 601              if ( lat != last_lat || lon != last_lon ) {
 602                 cout << "pos in msg = " << lat << "," << lon << endl;
 603                 deque<string> oldRequests;
 604                 oldRequests.swap( waitingTiles );
 605                 int lat_dir, lon_dir, dist;
 606                 if ( last_lat == nowhere || last_lon == nowhere ) {
 607                     lat_dir = lon_dir = 0;
 608                 } else {
 609                     dist = lat - last_lat;
 610                     if ( dist != 0 ) {
 611                         lat_dir = dist / abs(dist);
 612                     } else {
 613                         lat_dir = 0;
 614                     }
 615                     dist = lon - last_lon;
 616                     if ( dist != 0 ) {
 617                         lon_dir = dist / abs(dist);
 618                     } else {
 619                         lon_dir = 0;
 620                     }
 621                 }
 622                 cout << "lat = " << lat << " lon = " << lon << endl;
 623                 cout << "lat_dir = " << lat_dir << "  "
 624                      << "lon_dir = " << lon_dir << endl;
 625                 sync_areas( lat, lon, lat_dir, lon_dir );
 626                 while ( !oldRequests.empty() ) {
 627                     waitingTiles.push_back( oldRequests.front() );
 628                     oldRequests.pop_front();
 629                 }
 630                 last_lat = lat;
 631                 last_lon = lon;
 632             }
 633         }
 634
 635         // No messages inbound, so process some pending work
 636         else if ( !waitingTiles.empty() ) {
 637             getWaitingTile();
 638         }
 639
 640         else if ( testing ) {
 641             terminating = true;
 642         } else
 643
 644         #ifdef _WIN32
 645                 Sleep(1000);
 646 #else
 647                 sleep(1);
 648 #endif
 649     } // while !terminating
 650
 651     return 0;
 652 }