src/Navaids/NavDataCache.cxx

   1 // NavDataCache.cxx - defines a unified binary cache for navigation
   2 // data, parsed from various text / XML sources.
   3
   4 // Written by James Turner, started 2012.
   5 //
   6 // Copyright (C) 2012  James Turner
   7 //
   8 // This program is free software; you can redistribute it and/or
   9 // modify it under the terms of the GNU General Public License as
  10 // published by the Free Software Foundation; either version 2 of the
  11 // License, or (at your option) any later version.
  12 //
  13 // This program is distributed in the hope that it will be useful, but
  14 // WITHOUT ANY WARRANTY; without even the implied warranty of
  15 // MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
  16 // General Public License for more details.
  17 //
  18 // You should have received a copy of the GNU General Public License
  19 // along with this program; if not, write to the Free Software
  20 // Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA  02110-1301, USA.
  21
  22 #ifdef HAVE_CONFIG_H
  23 # include "config.h"
  24 #endif
  25
  26 #include "NavDataCache.hxx"
  27
  28 // std
  29 #include <map>
  30 #include <cassert>
  31 #include <stdint.h> // for int64_t
  32 // boost
  33 #include <boost/foreach.hpp>
  34
  35
  36 #ifdef SYSTEM_SQLITE
  37 // the standard sqlite3.h doesn't give a way to set SQLITE_UINT64_TYPE,
  38 // so we have to hope sizeof(int64_t) matches sizeof(sqlite3_int64).
  39 // otherwise things will go bad quickly.
  40   #include "sqlite3.h"
  41 #else
  42 // to ensure compatability between sqlite3_int64 and PositionedID,
  43 // force the type used by sqlite to match PositionedID explicitly
  44 #define SQLITE_INT64_TYPE int64_t
  45 #define SQLITE_UINT64_TYPE uint64_t
  46
  47   #include "fg_sqlite3.h"
  48 #endif
  49
  50 // SimGear
  51 #include <simgear/sg_inlines.h>
  52 #include <simgear/structure/exception.hxx>
  53 #include <simgear/debug/logstream.hxx>
  54 #include <simgear/bucket/newbucket.hxx>
  55 #include <simgear/misc/sg_path.hxx>
  56 #include <simgear/misc/strutils.hxx>
  57 #include <simgear/threads/SGThread.hxx>
  58 #include <simgear/threads/SGGuard.hxx>
  59
  60 #include <Main/globals.hxx>
  61 #include "markerbeacon.hxx"
  62 #include "navrecord.hxx"
  63 #include <Airports/airport.hxx>
  64 #include <Airports/runways.hxx>
  65 #include <ATC/CommStation.hxx>
  66 #include "fix.hxx"
  67 #include <Navaids/fixlist.hxx>
  68 #include <Navaids/navdb.hxx>
  69 #include "PositionedOctree.hxx"
  70 #include <Airports/apt_loader.hxx>
  71 #include <Navaids/airways.hxx>
  72 #include "poidb.hxx"
  73 #include <Airports/parking.hxx>
  74 #include <Airports/gnnode.hxx>
  75 #include "CacheSchema.h"
  76
  77 using std::string;
  78
  79 #define SG_NAVCACHE SG_NAVAID
  80 //#define LAZY_OCTREE_UPDATES 1
  81
  82 namespace {
  83
  84 const int MAX_RETRIES = 10;
  85
  86 const int CACHE_SIZE_KBYTES= 32 * 1024;
  87
  88 // bind a std::string to a sqlite statement. The std::string must live the
  89 // entire duration of the statement execution - do not pass a temporary
  90 // std::string, or the compiler may delete it, freeing the C-string storage,
  91 // and causing subtle memory corruption bugs!
  92 void sqlite_bind_stdstring(sqlite3_stmt* stmt, int value, const std::string& s)
  93 {
  94   sqlite3_bind_text(stmt, value, s.c_str(), s.length(), SQLITE_STATIC);
  95 }
  96
  97 // variant of the above, which does not care about the lifetime of the
  98 // passed std::string
  99 void sqlite_bind_temp_stdstring(sqlite3_stmt* stmt, int value, const std::string& s)
 100 {
 101   sqlite3_bind_text(stmt, value, s.c_str(), s.length(), SQLITE_TRANSIENT);
 102 }
 103
 104 typedef sqlite3_stmt* sqlite3_stmt_ptr;
 105
 106 void f_distanceCartSqrFunction(sqlite3_context* ctx, int argc, sqlite3_value* argv[])
 107 {
 108   if (argc != 6) {
 109     return;
 110   }
 111
 112   SGVec3d posA(sqlite3_value_double(argv[0]),
 113                sqlite3_value_double(argv[1]),
 114                sqlite3_value_double(argv[2]));
 115
 116   SGVec3d posB(sqlite3_value_double(argv[3]),
 117                sqlite3_value_double(argv[4]),
 118                sqlite3_value_double(argv[5]));
 119   sqlite3_result_double(ctx, distSqr(posA, posB));
 120 }
 121
 122
 123 static string cleanRunwayNo(const string& aRwyNo)
 124 {
 125   if (aRwyNo[0] == 'x') {
 126     return string(); // no ident for taxiways
 127   }
 128
 129   string result(aRwyNo);
 130   // canonicalise runway ident
 131   if ((aRwyNo.size() == 1) || !isdigit(aRwyNo[1])) {
 132     result = "0" + aRwyNo;
 133   }
 134
 135   // trim off trailing garbage
 136   if (result.size() > 2) {
 137     char suffix = toupper(result[2]);
 138     if (suffix == 'X') {
 139       result = result.substr(0, 2);
 140     }
 141   }
 142
 143   return result;
 144 }
 145
 146 } // anonymous namespace
 147
 148 namespace flightgear
 149 {
 150
 151 /**
 152  * Thread encapsulating a cache rebuild. This is not used to parallelise
 153  * the rebuild - we must still wait until completion before doing other
 154  * startup, since many things rely on a complete cache. The thread is used
 155  * so we don't block the main event loop for an unacceptable duration,
 156  * which causes 'not responding' / spinning beachballs on Windows & Mac
 157  */
 158 class RebuildThread : public SGThread
 159 {
 160 public:
 161   RebuildThread(NavDataCache* cache) :
 162   _cache(cache),
 163   _isFinished(false)
 164   {
 165
 166   }
 167
 168   bool isFinished() const
 169   {
 170     SGGuard<SGMutex> g(_lock);
 171     return _isFinished;
 172   }
 173
 174   virtual void run()
 175   {
 176     SGTimeStamp st;
 177     st.stamp();
 178     _cache->doRebuild();
 179     SG_LOG(SG_NAVCACHE, SG_INFO, "cache rebuild took:" << st.elapsedMSec() << "msec");
 180
 181     SGGuard<SGMutex> g(_lock);
 182     _isFinished = true;
 183   }
 184 private:
 185   NavDataCache* _cache;
 186   mutable SGMutex _lock;
 187   bool _isFinished;
 188 };
 189
 190 ////////////////////////////////////////////////////////////////////////////
 191
 192 typedef std::map<PositionedID, FGPositionedRef> PositionedCache;
 193
 194 class AirportTower : public FGPositioned
 195 {
 196 public:
 197   AirportTower(PositionedID& guid, PositionedID airport,
 198                const string& ident, const SGGeod& pos) :
 199     FGPositioned(guid, FGPositioned::TOWER, ident, pos)
 200   {
 201   }
 202 };
 203
 204 class NavDataCache::NavDataCachePrivate
 205 {
 206 public:
 207   NavDataCachePrivate(const SGPath& p, NavDataCache* o) :
 208     outer(o),
 209     db(NULL),
 210     path(p),
 211     cacheHits(0),
 212     cacheMisses(0),
 213     transactionLevel(0),
 214     transactionAborted(false)
 215   {
 216   }
 217
 218   ~NavDataCachePrivate()
 219   {
 220     close();
 221   }
 222
 223   void init()
 224   {
 225     SG_LOG(SG_NAVCACHE, SG_INFO, "NavCache at:" << path);
 226
 227         // see http://code.google.com/p/flightgear-bugs/issues/detail?id=1055
 228         // for the logic here. Sigh.
 229         std::string pathUtf8 = simgear::strutils::convertWindowsLocal8BitToUtf8(path.str());
 230     sqlite3_open_v2(pathUtf8.c_str(), &db,
 231                     SQLITE_OPEN_READWRITE | SQLITE_OPEN_CREATE, NULL);
 232
 233
 234     sqlite3_stmt_ptr checkTables =
 235       prepare("SELECT count(*) FROM sqlite_master WHERE name='properties'");
 236
 237     sqlite3_create_function(db, "distanceCartSqr", 6, SQLITE_ANY, NULL,
 238                             f_distanceCartSqrFunction, NULL, NULL);
 239
 240     execSelect(checkTables);
 241     bool didCreate = false;
 242     if (sqlite3_column_int(checkTables, 0) == 0) {
 243       SG_LOG(SG_NAVCACHE, SG_INFO, "will create tables");
 244       initTables();
 245       didCreate = true;
 246     }
 247
 248     readPropertyQuery = prepare("SELECT value FROM properties WHERE key=?");
 249     writePropertyQuery = prepare("INSERT INTO properties (key, value) VALUES (?,?)");
 250     clearProperty = prepare("DELETE FROM properties WHERE key=?1");
 251
 252     if (didCreate) {
 253       writeIntProperty("schema-version", SCHEMA_VERSION);
 254     } else {
 255       int schemaVersion = outer->readIntProperty("schema-version");
 256       if (schemaVersion != SCHEMA_VERSION) {
 257         SG_LOG(SG_NAVCACHE, SG_INFO, "Navcache schema mismatch, will rebuild");
 258         throw sg_exception("Navcache schema has changed");
 259       }
 260     }
 261
 262     // see http://www.sqlite.org/pragma.html#pragma_cache_size
 263     // for the details, small cache would cause thrashing.
 264     std::ostringstream q;
 265     q << "PRAGMA cache_size=-" << CACHE_SIZE_KBYTES << ";";
 266     runSQL(q.str());
 267     prepareQueries();
 268   }
 269
 270   void close()
 271   {
 272     BOOST_FOREACH(sqlite3_stmt_ptr stmt, prepared) {
 273       sqlite3_finalize(stmt);
 274     }
 275     prepared.clear();
 276     sqlite3_close(db);
 277   }
 278
 279   void checkCacheFile()
 280   {
 281     SG_LOG(SG_NAVCACHE, SG_INFO, "running DB integrity check");
 282     SGTimeStamp st;
 283     st.stamp();
 284
 285     sqlite3_stmt_ptr stmt = prepare("PRAGMA quick_check(1)");
 286     if (!execSelect(stmt)) {
 287       throw sg_exception("DB integrity check failed to run");
 288     }
 289
 290     string v = (char*) sqlite3_column_text(stmt, 0);
 291     if (v != "ok") {
 292       throw sg_exception("DB integrity check returned:" + v);
 293     }
 294
 295     SG_LOG(SG_NAVCACHE, SG_INFO, "NavDataCache integrity check took:" << st.elapsedMSec());
 296     finalize(stmt);
 297   }
 298
 299   void callSqlite(int result, const string& sql)
 300   {
 301     if (result == SQLITE_OK)
 302       return; // all good
 303
 304     string errMsg;
 305     if (result == SQLITE_MISUSE) {
 306       errMsg = "Sqlite API abuse";
 307       SG_LOG(SG_NAVCACHE, SG_ALERT, "Sqlite API abuse");
 308     } else {
 309       errMsg = sqlite3_errmsg(db);
 310       SG_LOG(SG_NAVCACHE, SG_ALERT, "Sqlite error:" << errMsg << " running:\n\t" << sql);
 311     }
 312
 313     throw sg_exception("Sqlite error:" + errMsg, sql);
 314   }
 315
 316   void runSQL(const string& sql)
 317   {
 318     sqlite3_stmt_ptr stmt;
 319     callSqlite(sqlite3_prepare_v2(db, sql.c_str(), sql.length(), &stmt, NULL), sql);
 320
 321     try {
 322       execSelect(stmt);
 323     } catch (sg_exception&) {
 324       sqlite3_finalize(stmt);
 325       throw; // re-throw
 326     }
 327
 328     sqlite3_finalize(stmt);
 329   }
 330
 331   sqlite3_stmt_ptr prepare(const string& sql)
 332   {
 333     sqlite3_stmt_ptr stmt;
 334     callSqlite(sqlite3_prepare_v2(db, sql.c_str(), sql.length(), &stmt, NULL), sql);
 335     prepared.push_back(stmt);
 336     return stmt;
 337   }
 338
 339   void finalize(sqlite3_stmt_ptr s)
 340   {
 341     StmtVec::iterator it = std::find(prepared.begin(), prepared.end(), s);
 342     if (it == prepared.end()) {
 343       throw sg_exception("Finalising statement that was not prepared");
 344     }
 345
 346     prepared.erase(it);
 347     sqlite3_finalize(s);
 348   }
 349
 350   void reset(sqlite3_stmt_ptr stmt)
 351   {
 352     assert(stmt);
 353     if (sqlite3_reset(stmt) != SQLITE_OK) {
 354       string errMsg = sqlite3_errmsg(db);
 355       SG_LOG(SG_NAVCACHE, SG_ALERT, "Sqlite error resetting:" << errMsg);
 356       throw sg_exception("Sqlite error resetting:" + errMsg, sqlite3_sql(stmt));
 357     }
 358   }
 359
 360   bool execSelect(sqlite3_stmt_ptr stmt)
 361   {
 362     return stepSelect(stmt);
 363   }
 364
 365   bool stepSelect(sqlite3_stmt_ptr stmt)
 366   {
 367     int retries = 0;
 368     int result;
 369     while (retries < MAX_RETRIES) {
 370       result = sqlite3_step(stmt);
 371       if (result == SQLITE_ROW) {
 372         return true; // at least one result row
 373       }
 374
 375       if (result == SQLITE_DONE) {
 376         return false; // no result rows
 377       }
 378
 379       if (result != SQLITE_BUSY) {
 380         break;
 381       }
 382
 383       SG_LOG(SG_NAVCACHE, SG_ALERT, "NavCache contention on select, will retry:" << retries);
 384       SGTimeStamp::sleepForMSec(++retries * 10);
 385     } // of retry loop for DB locked
 386
 387     if (retries >= MAX_RETRIES) {
 388       SG_LOG(SG_NAVCACHE, SG_ALERT, "exceeded maximum number of SQLITE_BUSY retries");
 389       return false;
 390     }
 391
 392     string errMsg;
 393     if (result == SQLITE_MISUSE) {
 394       errMsg = "Sqlite API abuse";
 395       SG_LOG(SG_NAVCACHE, SG_ALERT, "Sqlite API abuse");
 396     } else {
 397       errMsg = sqlite3_errmsg(db);
 398       SG_LOG(SG_NAVCACHE, SG_ALERT, "Sqlite error:" << errMsg << " (" << result
 399              << ") while running:\n\t" << sqlite3_sql(stmt));
 400     }
 401
 402     throw sg_exception("Sqlite error:" + errMsg, sqlite3_sql(stmt));
 403   }
 404
 405   void execSelect1(sqlite3_stmt_ptr stmt)
 406   {
 407     if (!execSelect(stmt)) {
 408       SG_LOG(SG_NAVCACHE, SG_WARN, "empty SELECT running:\n\t" << sqlite3_sql(stmt));
 409       throw sg_exception("no results returned for select", sqlite3_sql(stmt));
 410     }
 411   }
 412
 413   sqlite3_int64 execInsert(sqlite3_stmt_ptr stmt)
 414   {
 415     execSelect(stmt);
 416     sqlite3_int64 rowid = sqlite3_last_insert_rowid(db);
 417     reset(stmt);
 418     return rowid;
 419   }
 420
 421   void execUpdate(sqlite3_stmt_ptr stmt)
 422   {
 423     execSelect(stmt);
 424     reset(stmt);
 425   }
 426
 427   void initTables()
 428   {
 429       string_list commands = simgear::strutils::split(SCHEMA_SQL, ";");
 430       BOOST_FOREACH(std::string sql, commands) {
 431           if (sql.empty()) {
 432               continue;
 433           }
 434
 435           runSQL(sql);
 436       } // of commands in scheme loop
 437   }
 438
 439   void prepareQueries()
 440   {
 441     writePropertyMulti = prepare("INSERT INTO properties (key, value) VALUES(?1,?2)");
 442
 443     beginTransactionStmt = prepare("BEGIN");
 444     commitTransactionStmt = prepare("COMMIT");
 445     rollbackTransactionStmt = prepare("ROLLBACK");
 446
 447
 448 #define POSITIONED_COLS "rowid, type, ident, name, airport, lon, lat, elev_m, octree_node"
 449 #define AND_TYPED "AND type>=?2 AND type <=?3"
 450     statCacheCheck = prepare("SELECT stamp FROM stat_cache WHERE path=?");
 451     stampFileCache = prepare("INSERT OR REPLACE INTO stat_cache "
 452                              "(path, stamp) VALUES (?,?)");
 453
 454     loadPositioned = prepare("SELECT " POSITIONED_COLS " FROM positioned WHERE rowid=?");
 455     loadAirportStmt = prepare("SELECT has_metar FROM airport WHERE rowid=?");
 456     loadNavaid = prepare("SELECT range_nm, freq, multiuse, runway, colocated FROM navaid WHERE rowid=?");
 457     loadCommStation = prepare("SELECT freq_khz, range_nm FROM comm WHERE rowid=?");
 458     loadRunwayStmt = prepare("SELECT heading, length_ft, width_m, surface, displaced_threshold,"
 459                              "stopway, reciprocal, ils FROM runway WHERE rowid=?1");
 460
 461     getAirportItems = prepare("SELECT rowid FROM positioned WHERE airport=?1 " AND_TYPED);
 462
 463
 464     setAirportMetar = prepare("UPDATE airport SET has_metar=?2 WHERE rowid="
 465                               "(SELECT rowid FROM positioned WHERE ident=?1 AND type>=?3 AND type <=?4)");
 466     sqlite3_bind_int(setAirportMetar, 3, FGPositioned::AIRPORT);
 467     sqlite3_bind_int(setAirportMetar, 4, FGPositioned::SEAPORT);
 468
 469     setRunwayReciprocal = prepare("UPDATE runway SET reciprocal=?2 WHERE rowid=?1");
 470     setRunwayILS = prepare("UPDATE runway SET ils=?2 WHERE rowid=?1");
 471     setNavaidColocated = prepare("UPDATE navaid SET colocated=?2 WHERE rowid=?1");
 472     updateRunwayThreshold = prepare("UPDATE runway SET heading=?2, displaced_threshold=?3, stopway=?4 WHERE rowid=?1");
 473
 474     insertPositionedQuery = prepare("INSERT INTO positioned "
 475                                     "(type, ident, name, airport, lon, lat, elev_m, octree_node, "
 476                                     "cart_x, cart_y, cart_z)"
 477                                     " VALUES (?1, ?2, ?3, ?4, ?5, ?6, ?7, ?8, ?9, ?10, ?11)");
 478
 479     setAirportPos = prepare("UPDATE positioned SET lon=?2, lat=?3, elev_m=?4, octree_node=?5, "
 480                             "cart_x=?6, cart_y=?7, cart_z=?8 WHERE rowid=?1");
 481     insertAirport = prepare("INSERT INTO airport (rowid, has_metar) VALUES (?, ?)");
 482     insertNavaid = prepare("INSERT INTO navaid (rowid, freq, range_nm, multiuse, runway, colocated)"
 483                            " VALUES (?1, ?2, ?3, ?4, ?5, ?6)");
 484     updateILS = prepare("UPDATE navaid SET multiuse=?2 WHERE rowid=?1");
 485
 486     insertCommStation = prepare("INSERT INTO comm (rowid, freq_khz, range_nm)"
 487                                 " VALUES (?, ?, ?)");
 488     insertRunway = prepare("INSERT INTO runway "
 489                            "(rowid, heading, length_ft, width_m, surface, displaced_threshold, stopway, reciprocal)"
 490                            " VALUES (?1, ?2, ?3, ?4, ?5, ?6, ?7, ?8)");
 491     runwayLengthFtQuery = prepare("SELECT length_ft FROM runway WHERE rowid=?1");
 492
 493     removePOIQuery = prepare("DELETE FROM positioned WHERE type=?1 AND ident=?2");
 494
 495   // query statement
 496     findClosestWithIdent = prepare("SELECT rowid FROM positioned WHERE ident=?1 "
 497                                    AND_TYPED " ORDER BY distanceCartSqr(cart_x, cart_y, cart_z, ?4, ?5, ?6)");
 498
 499     findCommByFreq = prepare("SELECT positioned.rowid FROM positioned, comm WHERE "
 500                              "positioned.rowid=comm.rowid AND freq_khz=?1 "
 501                              AND_TYPED " ORDER BY distanceCartSqr(cart_x, cart_y, cart_z, ?4, ?5, ?6)");
 502
 503     findNavsByFreq = prepare("SELECT positioned.rowid FROM positioned, navaid WHERE "
 504                              "positioned.rowid=navaid.rowid "
 505                              "AND navaid.freq=?1 " AND_TYPED
 506                              " ORDER BY distanceCartSqr(cart_x, cart_y, cart_z, ?4, ?5, ?6)");
 507
 508     findNavsByFreqNoPos = prepare("SELECT positioned.rowid FROM positioned, navaid WHERE "
 509                                   "positioned.rowid=navaid.rowid AND freq=?1 " AND_TYPED);
 510
 511     findNavaidForRunway = prepare("SELECT positioned.rowid FROM positioned, navaid WHERE "
 512                                   "positioned.rowid=navaid.rowid AND runway=?1 AND type=?2");
 513
 514   // for an octree branch, return the child octree nodes which exist,
 515   // described as a bit-mask
 516     getOctreeChildren = prepare("SELECT children FROM octree WHERE rowid=?1");
 517
 518 #ifdef LAZY_OCTREE_UPDATES
 519     updateOctreeChildren = prepare("UPDATE octree SET children=?2 WHERE rowid=?1");
 520 #else
 521   // mask the new child value into the existing one
 522     updateOctreeChildren = prepare("UPDATE octree SET children=(?2 | children) WHERE rowid=?1");
 523 #endif
 524
 525   // define a new octree node (with no children)
 526     insertOctree = prepare("INSERT INTO octree (rowid, children) VALUES (?1, 0)");
 527
 528     getOctreeLeafChildren = prepare("SELECT rowid, type FROM positioned WHERE octree_node=?1");
 529
 530     searchAirports = prepare("SELECT ident, name FROM positioned WHERE (name LIKE ?1 OR ident LIKE ?1) " AND_TYPED);
 531     sqlite3_bind_int(searchAirports, 2, FGPositioned::AIRPORT);
 532     sqlite3_bind_int(searchAirports, 3, FGPositioned::SEAPORT);
 533
 534     getAirportItemByIdent = prepare("SELECT rowid FROM positioned WHERE airport=?1 AND ident=?2 AND type=?3");
 535
 536     findAirportRunway = prepare("SELECT airport, rowid FROM positioned WHERE ident=?2 AND type=?3 AND airport="
 537                                 "(SELECT rowid FROM positioned WHERE type=?4 AND ident=?1)");
 538     sqlite3_bind_int(findAirportRunway, 3, FGPositioned::RUNWAY);
 539     sqlite3_bind_int(findAirportRunway, 4, FGPositioned::AIRPORT);
 540
 541     // three-way join to get the navaid ident and runway ident in a single select.
 542     // we're joining positioned to itself by the navaid runway, with the complication
 543     // that we need to join the navaids table to get the runway ID.
 544     // we also need to filter by type to excluse glideslope (GS) matches
 545     findILS = prepare("SELECT nav.rowid FROM positioned AS nav, positioned AS rwy, navaid WHERE "
 546                       "nav.ident=?1 AND nav.airport=?2 AND rwy.ident=?3 "
 547                       "AND rwy.rowid = navaid.runway AND navaid.rowid=nav.rowid "
 548                       "AND (nav.type=?4 OR nav.type=?5)");
 549
 550     sqlite3_bind_int(findILS, 4, FGPositioned::ILS);
 551     sqlite3_bind_int(findILS, 5, FGPositioned::LOC);
 552
 553   // airways
 554     findAirway = prepare("SELECT rowid FROM airway WHERE network=?1 AND ident=?2");
 555     insertAirway = prepare("INSERT INTO airway (ident, network) "
 556                            "VALUES (?1, ?2)");
 557
 558     insertAirwayEdge = prepare("INSERT INTO airway_edge (network, airway, a, b) "
 559                                "VALUES (?1, ?2, ?3, ?4)");
 560
 561     isPosInAirway = prepare("SELECT rowid FROM airway_edge WHERE network=?1 AND a=?2");
 562
 563     airwayEdgesFrom = prepare("SELECT airway, b FROM airway_edge WHERE network=?1 AND a=?2");
 564
 565   // parking / taxi-node graph
 566     insertTaxiNode = prepare("INSERT INTO taxi_node (rowid, hold_type, on_runway, pushback) VALUES(?1, ?2, ?3, 0)");
 567     insertParkingPos = prepare("INSERT INTO parking (rowid, heading, radius, gate_type, airlines) "
 568                                "VALUES (?1, ?2, ?3, ?4, ?5)");
 569     setParkingPushBack = prepare("UPDATE parking SET pushback=?2 WHERE rowid=?1");
 570
 571     loadTaxiNodeStmt = prepare("SELECT hold_type, on_runway FROM taxi_node WHERE rowid=?1");
 572     loadParkingPos = prepare("SELECT heading, radius, gate_type, airlines, pushback FROM parking WHERE rowid=?1");
 573     taxiEdgesFrom = prepare("SELECT b FROM groundnet_edge WHERE a=?1");
 574     pushbackEdgesFrom = prepare("SELECT b FROM groundnet_edge, taxi_node WHERE "
 575                                 "a=?1 AND groundnet_edge.b = taxi_node.rowid AND pushback=1");
 576
 577     insertTaxiEdge = prepare("INSERT INTO groundnet_edge (airport, a,b) VALUES(?1, ?2, ?3)");
 578
 579     markTaxiNodeAsPushback = prepare("UPDATE taxi_node SET pushback=1 WHERE rowid=?1");
 580     airportTaxiNodes = prepare("SELECT rowid FROM positioned WHERE (type=?2 OR type=?3) AND airport=?1");
 581     sqlite3_bind_int(airportTaxiNodes, 2, FGPositioned::PARKING);
 582     sqlite3_bind_int(airportTaxiNodes, 3, FGPositioned::TAXI_NODE);
 583
 584     airportPushbackNodes = prepare("SELECT positioned.rowid FROM positioned, taxi_node WHERE "\
 585                                    "airport=?1 AND positioned.rowid=taxi_node.rowid AND pushback=1 "
 586                                    "AND (type=?2 OR type=?3)");
 587     sqlite3_bind_int(airportPushbackNodes, 2, FGPositioned::PARKING);
 588     sqlite3_bind_int(airportPushbackNodes, 3, FGPositioned::TAXI_NODE);
 589
 590     findNearestTaxiNode = prepare("SELECT positioned.rowid FROM positioned, taxi_node WHERE "
 591                                   "positioned.rowid = taxi_node.rowid AND airport=?1 "
 592                                   "ORDER BY distanceCartSqr(cart_x, cart_y, cart_z, ?2, ?3, ?4) "
 593                                   "LIMIT 1");
 594
 595     findNearestRunwayTaxiNode = prepare("SELECT positioned.rowid FROM positioned, taxi_node WHERE "
 596                                         "positioned.rowid = taxi_node.rowid AND airport=?1 "
 597                                         "AND on_runway=1 "
 598                                         "ORDER BY distanceCartSqr(cart_x, cart_y, cart_z, ?2, ?3, ?4) ");
 599
 600     findAirportParking = prepare("SELECT positioned.rowid FROM positioned, parking WHERE "
 601                                  "airport=?1 AND type=?4 AND "
 602                                  "radius >= ?2 AND gate_type = ?3 AND "
 603                                  "parking.rowid=positioned.rowid");
 604     sqlite3_bind_int(findAirportParking, 4, FGPositioned::PARKING);
 605   }
 606
 607   void writeIntProperty(const string& key, int value)
 608   {
 609     sqlite_bind_stdstring(clearProperty, 1, key);
 610     execUpdate(clearProperty);
 611
 612     sqlite_bind_stdstring(writePropertyQuery, 1, key);
 613     sqlite3_bind_int(writePropertyQuery, 2, value);
 614     execUpdate(writePropertyQuery);
 615   }
 616
 617
 618   FGPositioned* loadById(sqlite_int64 rowId);
 619
 620   FGAirport* loadAirport(sqlite_int64 rowId,
 621                          FGPositioned::Type ty,
 622                          const string& id, const string& name, const SGGeod& pos)
 623   {
 624     sqlite3_bind_int64(loadAirportStmt, 1, rowId);
 625     execSelect1(loadAirportStmt);
 626     bool hasMetar = (sqlite3_column_int(loadAirportStmt, 0) > 0);
 627     reset(loadAirportStmt);
 628
 629     return new FGAirport(rowId, id, pos, name, hasMetar, ty);
 630   }
 631
 632   FGRunwayBase* loadRunway(sqlite3_int64 rowId, FGPositioned::Type ty,
 633                            const string& id, const SGGeod& pos, PositionedID apt)
 634   {
 635     sqlite3_bind_int(loadRunwayStmt, 1, rowId);
 636     execSelect1(loadRunwayStmt);
 637
 638     double heading = sqlite3_column_double(loadRunwayStmt, 0);
 639     double lengthM = sqlite3_column_int(loadRunwayStmt, 1);
 640     double widthM = sqlite3_column_double(loadRunwayStmt, 2);
 641     int surface = sqlite3_column_int(loadRunwayStmt, 3);
 642
 643     if (ty == FGPositioned::TAXIWAY) {
 644       reset(loadRunwayStmt);
 645       return new FGTaxiway(rowId, id, pos, heading, lengthM, widthM, surface);
 646     } else if (ty == FGPositioned::HELIPAD) {
 647         reset(loadRunwayStmt);
 648         return new FGHelipad(rowId, apt, id, pos, heading, lengthM, widthM, surface);
 649     } else {
 650       double displacedThreshold = sqlite3_column_double(loadRunwayStmt, 4);
 651       double stopway = sqlite3_column_double(loadRunwayStmt, 5);
 652       PositionedID reciprocal = sqlite3_column_int64(loadRunwayStmt, 6);
 653       PositionedID ils = sqlite3_column_int64(loadRunwayStmt, 7);
 654       FGRunway* r = new FGRunway(rowId, apt, id, pos, heading, lengthM, widthM,
 655                           displacedThreshold, stopway, surface);
 656
 657       if (reciprocal > 0) {
 658         r->setReciprocalRunway(reciprocal);
 659       }
 660
 661       if (ils > 0) {
 662         r->setILS(ils);
 663       }
 664
 665       reset(loadRunwayStmt);
 666       return r;
 667     }
 668   }
 669
 670   CommStation* loadComm(sqlite3_int64 rowId, FGPositioned::Type ty,
 671                         const string& id, const string& name,
 672                         const SGGeod& pos,
 673                         PositionedID airport)
 674   {
 675     sqlite3_bind_int64(loadCommStation, 1, rowId);
 676     execSelect1(loadCommStation);
 677
 678     int range = sqlite3_column_int(loadCommStation, 0);
 679     int freqKhz = sqlite3_column_int(loadCommStation, 1);
 680     reset(loadCommStation);
 681
 682     CommStation* c = new CommStation(rowId, name, ty, pos, freqKhz, range);
 683     c->setAirport(airport);
 684     return c;
 685   }
 686
 687   FGPositioned* loadNav(sqlite3_int64 rowId,
 688                        FGPositioned::Type ty, const string& id,
 689                        const string& name, const SGGeod& pos)
 690   {
 691     sqlite3_bind_int64(loadNavaid, 1, rowId);
 692     execSelect1(loadNavaid);
 693
 694     PositionedID runway = sqlite3_column_int64(loadNavaid, 3);
 695     // marker beacons are light-weight
 696     if ((ty == FGPositioned::OM) || (ty == FGPositioned::IM) ||
 697         (ty == FGPositioned::MM))
 698     {
 699       reset(loadNavaid);
 700       return new FGMarkerBeaconRecord(rowId, ty, runway, pos);
 701     }
 702
 703     int rangeNm = sqlite3_column_int(loadNavaid, 0),
 704     freq = sqlite3_column_int(loadNavaid, 1);
 705     double mulituse = sqlite3_column_double(loadNavaid, 2);
 706     PositionedID colocated = sqlite3_column_int64(loadNavaid, 4);
 707     reset(loadNavaid);
 708
 709     FGNavRecord* n = new FGNavRecord(rowId, ty, id, name, pos, freq, rangeNm, mulituse, runway);
 710     if (colocated) {
 711         n->setColocatedDME(colocated);
 712     }
 713
 714     return n;
 715   }
 716
 717   FGPositioned* loadParking(sqlite3_int64 rowId,
 718                             const string& name, const SGGeod& pos,
 719                             PositionedID airport)
 720   {
 721     sqlite3_bind_int64(loadParkingPos, 1, rowId);
 722     execSelect1(loadParkingPos);
 723
 724     double heading = sqlite3_column_double(loadParkingPos, 0);
 725     int radius = sqlite3_column_int(loadParkingPos, 1);
 726     string aircraftType((char*) sqlite3_column_text(loadParkingPos, 2));
 727     string airlines((char*) sqlite3_column_text(loadParkingPos, 3));
 728     PositionedID pushBack = sqlite3_column_int64(loadParkingPos, 4);
 729     reset(loadParkingPos);
 730
 731     return new FGParking(rowId, pos, heading, radius, name, aircraftType, airlines, pushBack);
 732   }
 733
 734   FGPositioned* loadTaxiNode(sqlite3_int64 rowId, const SGGeod& pos,
 735                              PositionedID airport)
 736   {
 737     sqlite3_bind_int64(loadTaxiNodeStmt, 1, rowId);
 738     execSelect1(loadTaxiNodeStmt);
 739
 740     int hold_type = sqlite3_column_int(loadTaxiNodeStmt, 0);
 741     bool onRunway = sqlite3_column_int(loadTaxiNodeStmt, 1);
 742     reset(loadTaxiNodeStmt);
 743
 744     return new FGTaxiNode(rowId, pos, onRunway, hold_type);
 745   }
 746
 747   PositionedID insertPositioned(FGPositioned::Type ty, const string& ident,
 748                                 const string& name, const SGGeod& pos, PositionedID apt,
 749                                 bool spatialIndex)
 750   {
 751     SGVec3d cartPos(SGVec3d::fromGeod(pos));
 752
 753     sqlite3_bind_int(insertPositionedQuery, 1, ty);
 754     sqlite_bind_stdstring(insertPositionedQuery, 2, ident);
 755     sqlite_bind_stdstring(insertPositionedQuery, 3, name);
 756     sqlite3_bind_int64(insertPositionedQuery, 4, apt);
 757     sqlite3_bind_double(insertPositionedQuery, 5, pos.getLongitudeDeg());
 758     sqlite3_bind_double(insertPositionedQuery, 6, pos.getLatitudeDeg());
 759     sqlite3_bind_double(insertPositionedQuery, 7, pos.getElevationM());
 760
 761     if (spatialIndex) {
 762       Octree::Leaf* octreeLeaf = Octree::global_spatialOctree->findLeafForPos(cartPos);
 763       assert(intersects(octreeLeaf->bbox(), cartPos));
 764       sqlite3_bind_int64(insertPositionedQuery, 8, octreeLeaf->guid());
 765     } else {
 766       sqlite3_bind_null(insertPositionedQuery, 8);
 767     }
 768
 769     sqlite3_bind_double(insertPositionedQuery, 9, cartPos.x());
 770     sqlite3_bind_double(insertPositionedQuery, 10, cartPos.y());
 771     sqlite3_bind_double(insertPositionedQuery, 11, cartPos.z());
 772
 773     PositionedID r = execInsert(insertPositionedQuery);
 774     return r;
 775   }
 776
 777   FGPositionedList findAllByString(const string& s, const string& column,
 778                                      FGPositioned::Filter* filter, bool exact)
 779   {
 780     string query = s;
 781     if (!exact) query += "%";
 782
 783   // build up SQL query text
 784     string matchTerm = exact ? "=?1" : " LIKE ?1";
 785     string sql = "SELECT rowid FROM positioned WHERE " + column + matchTerm;
 786     if (filter) {
 787       sql += " " AND_TYPED;
 788     }
 789
 790   // find or prepare a suitable statement frrm the SQL
 791     sqlite3_stmt_ptr stmt = findByStringDict[sql];
 792     if (!stmt) {
 793       stmt = prepare(sql);
 794       findByStringDict[sql] = stmt;
 795     }
 796
 797     sqlite_bind_stdstring(stmt, 1, query);
 798     if (filter) {
 799       sqlite3_bind_int(stmt, 2, filter->minType());
 800       sqlite3_bind_int(stmt, 3, filter->maxType());
 801     }
 802
 803     FGPositionedList result;
 804   // run the prepared SQL
 805     while (stepSelect(stmt))
 806     {
 807       FGPositioned* pos = outer->loadById(sqlite3_column_int64(stmt, 0));
 808       if (filter && !filter->pass(pos)) {
 809         continue;
 810       }
 811
 812       result.push_back(pos);
 813     }
 814
 815     reset(stmt);
 816     return result;
 817   }
 818
 819   PositionedIDVec selectIds(sqlite3_stmt_ptr query)
 820   {
 821     PositionedIDVec result;
 822     while (stepSelect(query)) {
 823       result.push_back(sqlite3_column_int64(query, 0));
 824     }
 825     reset(query);
 826     return result;
 827   }
 828
 829   double runwayLengthFt(PositionedID rwy)
 830   {
 831     sqlite3_bind_int64(runwayLengthFtQuery, 1, rwy);
 832     execSelect1(runwayLengthFtQuery);
 833     double length = sqlite3_column_double(runwayLengthFtQuery, 0);
 834     reset(runwayLengthFtQuery);
 835     return length;
 836   }
 837
 838   void flushDeferredOctreeUpdates()
 839   {
 840     BOOST_FOREACH(Octree::Branch* nd, deferredOctreeUpdates) {
 841       sqlite3_bind_int64(updateOctreeChildren, 1, nd->guid());
 842       sqlite3_bind_int(updateOctreeChildren, 2, nd->childMask());
 843       execUpdate(updateOctreeChildren);
 844     }
 845
 846     deferredOctreeUpdates.clear();
 847   }
 848
 849   void removePositionedWithIdent(FGPositioned::Type ty, const std::string& aIdent)
 850   {
 851     sqlite3_bind_int(removePOIQuery, 1, ty);
 852     sqlite_bind_stdstring(removePOIQuery, 2, aIdent);
 853     execUpdate(removePOIQuery);
 854     reset(removePOIQuery);
 855   }
 856
 857   NavDataCache* outer;
 858   sqlite3* db;
 859   SGPath path;
 860
 861   /// the actual cache of ID -> instances. This holds an owning reference,
 862   /// so once items are in the cache they will never be deleted until
 863   /// the cache drops its reference
 864   PositionedCache cache;
 865   unsigned int cacheHits, cacheMisses;
 866
 867   /**
 868    * record the levels of open transaction objects we have
 869    */
 870   unsigned int transactionLevel;
 871   bool transactionAborted;
 872   sqlite3_stmt_ptr beginTransactionStmt, commitTransactionStmt, rollbackTransactionStmt;
 873
 874   SGPath aptDatPath, metarDatPath, navDatPath, fixDatPath, poiDatPath,
 875   carrierDatPath, airwayDatPath;
 876
 877   sqlite3_stmt_ptr readPropertyQuery, writePropertyQuery,
 878     stampFileCache, statCacheCheck,
 879     loadAirportStmt, loadCommStation, loadPositioned, loadNavaid,
 880     loadRunwayStmt;
 881   sqlite3_stmt_ptr writePropertyMulti, clearProperty;
 882
 883   sqlite3_stmt_ptr insertPositionedQuery, insertAirport, insertTower, insertRunway,
 884   insertCommStation, insertNavaid;
 885   sqlite3_stmt_ptr setAirportMetar, setRunwayReciprocal, setRunwayILS, setNavaidColocated,
 886     setAirportPos, updateRunwayThreshold, updateILS;
 887   sqlite3_stmt_ptr removePOIQuery;
 888
 889   sqlite3_stmt_ptr findClosestWithIdent;
 890 // octree (spatial index) related queries
 891   sqlite3_stmt_ptr getOctreeChildren, insertOctree, updateOctreeChildren,
 892     getOctreeLeafChildren;
 893
 894   sqlite3_stmt_ptr searchAirports;
 895   sqlite3_stmt_ptr findCommByFreq, findNavsByFreq,
 896   findNavsByFreqNoPos, findNavaidForRunway;
 897   sqlite3_stmt_ptr getAirportItems, getAirportItemByIdent;
 898   sqlite3_stmt_ptr findAirportRunway,
 899     findILS;
 900
 901   sqlite3_stmt_ptr runwayLengthFtQuery;
 902
 903 // airways
 904   sqlite3_stmt_ptr findAirway, insertAirwayEdge, isPosInAirway, airwayEdgesFrom,
 905   insertAirway;
 906
 907 // groundnet (parking, taxi node graph)
 908   sqlite3_stmt_ptr loadTaxiNodeStmt, loadParkingPos, insertTaxiNode, insertParkingPos;
 909   sqlite3_stmt_ptr taxiEdgesFrom, pushbackEdgesFrom, insertTaxiEdge, markTaxiNodeAsPushback,
 910     airportTaxiNodes, airportPushbackNodes, findNearestTaxiNode, findAirportParking,
 911     setParkingPushBack, findNearestRunwayTaxiNode;
 912
 913 // since there's many permutations of ident/name queries, we create
 914 // them programtically, but cache the exact query by its raw SQL once
 915 // used.
 916   std::map<string, sqlite3_stmt_ptr> findByStringDict;
 917
 918   typedef std::vector<sqlite3_stmt_ptr> StmtVec;
 919   StmtVec prepared;
 920
 921   std::set<Octree::Branch*> deferredOctreeUpdates;
 922
 923   // if we're performing a rebuild, the thread that is doing the work.
 924   // otherwise, NULL
 925   std::auto_ptr<RebuildThread> rebuilder;
 926 };
 927
 928   //////////////////////////////////////////////////////////////////////
 929
 930 FGPositioned* NavDataCache::NavDataCachePrivate::loadById(sqlite3_int64 rowid)
 931 {
 932
 933   sqlite3_bind_int64(loadPositioned, 1, rowid);
 934   execSelect1(loadPositioned);
 935
 936   assert(rowid == sqlite3_column_int64(loadPositioned, 0));
 937   FGPositioned::Type ty = (FGPositioned::Type) sqlite3_column_int(loadPositioned, 1);
 938
 939   string ident = (char*) sqlite3_column_text(loadPositioned, 2);
 940   string name = (char*) sqlite3_column_text(loadPositioned, 3);
 941   sqlite3_int64 aptId = sqlite3_column_int64(loadPositioned, 4);
 942   double lon = sqlite3_column_double(loadPositioned, 5);
 943   double lat = sqlite3_column_double(loadPositioned, 6);
 944   double elev = sqlite3_column_double(loadPositioned, 7);
 945   SGGeod pos = SGGeod::fromDegM(lon, lat, elev);
 946
 947   reset(loadPositioned);
 948
 949   switch (ty) {
 950     case FGPositioned::AIRPORT:
 951     case FGPositioned::SEAPORT:
 952     case FGPositioned::HELIPORT:
 953       return loadAirport(rowid, ty, ident, name, pos);
 954
 955     case FGPositioned::TOWER:
 956       return new AirportTower(rowid, aptId, ident, pos);
 957
 958     case FGPositioned::RUNWAY:
 959     case FGPositioned::HELIPAD:
 960     case FGPositioned::TAXIWAY:
 961       return loadRunway(rowid, ty, ident, pos, aptId);
 962
 963     case FGPositioned::LOC:
 964     case FGPositioned::VOR:
 965     case FGPositioned::GS:
 966     case FGPositioned::ILS:
 967     case FGPositioned::NDB:
 968     case FGPositioned::OM:
 969     case FGPositioned::MM:
 970     case FGPositioned::IM:
 971     case FGPositioned::DME:
 972     case FGPositioned::TACAN:
 973     case FGPositioned::MOBILE_TACAN:
 974     {
 975       if (aptId > 0) {
 976         FGAirport* apt = FGPositioned::loadById<FGAirport>(aptId);
 977         if (apt->validateILSData()) {
 978           // queried data above is probably invalid, force us to go around again
 979           // (the next time through, validateILSData will return false)
 980           return outer->loadById(rowid);
 981         }
 982       }
 983
 984       return loadNav(rowid, ty, ident, name, pos);
 985     }
 986
 987     case FGPositioned::FIX:
 988       return new FGFix(rowid, ident, pos);
 989
 990     case FGPositioned::WAYPOINT:
 991     case FGPositioned::COUNTRY:
 992     case FGPositioned::CITY:
 993     case FGPositioned::TOWN:
 994     case FGPositioned::VILLAGE:
 995     {
 996         FGPositioned* wpt = new FGPositioned(rowid, ty, ident, pos);
 997       return wpt;
 998     }
 999
1000     case FGPositioned::FREQ_GROUND:
1001     case FGPositioned::FREQ_TOWER:
1002     case FGPositioned::FREQ_ATIS:
1003     case FGPositioned::FREQ_AWOS:
1004     case FGPositioned::FREQ_APP_DEP:
1005     case FGPositioned::FREQ_ENROUTE:
1006     case FGPositioned::FREQ_CLEARANCE:
1007     case FGPositioned::FREQ_UNICOM:
1008       return loadComm(rowid, ty, ident, name, pos, aptId);
1009
1010     case FGPositioned::TAXI_NODE:
1011       return loadTaxiNode(rowid, pos, aptId);
1012
1013     case FGPositioned::PARKING:
1014       return loadParking(rowid, ident, pos, aptId);
1015
1016     default:
1017       return NULL;
1018   }
1019 }
1020
1021
1022 static NavDataCache* static_instance = NULL;
1023
1024 NavDataCache::NavDataCache()
1025 {
1026   const int MAX_TRIES = 3;
1027   SGPath homePath(globals->get_fg_home());
1028
1029   std::ostringstream os;
1030   string_list versionParts = simgear::strutils::split(VERSION, ".");
1031   if (versionParts.size() < 2) {
1032     os << "navdata.cache";
1033   } else {
1034     os << "navdata_" << versionParts[0] << "_" << versionParts[1] << ".cache";
1035   }
1036
1037   homePath.append(os.str());
1038
1039   for (int t=0; t < MAX_TRIES; ++t) {
1040     try {
1041       d.reset(new NavDataCachePrivate(homePath, this));
1042       d->init();
1043       //d->checkCacheFile();
1044     // reached this point with no exception, success
1045       break;
1046     } catch (sg_exception& e) {
1047       SG_LOG(SG_NAVCACHE, t == 0 ? SG_WARN : SG_ALERT, "NavCache: init failed:" << e.what()
1048              << " (attempt " << t << ")");
1049       d.reset();
1050       homePath.remove();
1051     }
1052   } // of retry loop
1053
1054   double RADIUS_EARTH_M = 7000 * 1000.0; // 7000km is plenty
1055   SGVec3d earthExtent(RADIUS_EARTH_M, RADIUS_EARTH_M, RADIUS_EARTH_M);
1056   Octree::global_spatialOctree =
1057     new Octree::Branch(SGBox<double>(-earthExtent, earthExtent), 1);
1058
1059   d->aptDatPath = SGPath(globals->get_fg_root());
1060   d->aptDatPath.append("Airports/apt.dat.gz");
1061
1062   d->metarDatPath = SGPath(globals->get_fg_root());
1063   d->metarDatPath.append("Airports/metar.dat.gz");
1064
1065   d->navDatPath = SGPath(globals->get_fg_root());
1066   d->navDatPath.append("Navaids/nav.dat.gz");
1067
1068   d->fixDatPath = SGPath(globals->get_fg_root());
1069   d->fixDatPath.append("Navaids/fix.dat.gz");
1070
1071   d->poiDatPath = SGPath(globals->get_fg_root());
1072   d->poiDatPath.append("Navaids/poi.dat.gz");
1073
1074   d->carrierDatPath = SGPath(globals->get_fg_root());
1075   d->carrierDatPath.append("Navaids/carrier_nav.dat.gz");
1076
1077   d->airwayDatPath = SGPath(globals->get_fg_root());
1078   d->airwayDatPath.append("Navaids/awy.dat.gz");
1079 }
1080
1081 NavDataCache::~NavDataCache()
1082 {
1083   assert(static_instance == this);
1084   static_instance = NULL;
1085   d.reset();
1086 }
1087
1088 NavDataCache* NavDataCache::instance()
1089 {
1090   if (!static_instance) {
1091     static_instance = new NavDataCache;
1092   }
1093
1094   return static_instance;
1095 }
1096
1097 bool NavDataCache::isRebuildRequired()
1098 {
1099   if (isCachedFileModified(d->aptDatPath) ||
1100       isCachedFileModified(d->metarDatPath) ||
1101       isCachedFileModified(d->navDatPath) ||
1102       isCachedFileModified(d->fixDatPath) ||
1103 // since POI loading is disabled on Windows, don't check for it
1104 // this caused: https://code.google.com/p/flightgear-bugs/issues/detail?id=1227
1105 #ifndef SG_WINDOWS
1106       isCachedFileModified(d->poiDatPath) ||
1107 #endif
1108       isCachedFileModified(d->airwayDatPath))
1109   {
1110     SG_LOG(SG_NAVCACHE, SG_INFO, "NavCache: main cache rebuild required");
1111     return true;
1112   }
1113
1114   string sceneryPaths = simgear::strutils::join(globals->get_fg_scenery(), ";");
1115   if (readStringProperty("scenery_paths") != sceneryPaths) {
1116     SG_LOG(SG_NAVCACHE, SG_INFO, "NavCache: scenery paths changed, main cache rebuild required");
1117     return true;
1118   }
1119
1120   SG_LOG(SG_NAVCACHE, SG_INFO, "NavCache: no main cache rebuild required");
1121   return false;
1122 }
1123
1124 bool NavDataCache::rebuild()
1125 {
1126   if (!d->rebuilder.get()) {
1127     d->rebuilder.reset(new RebuildThread(this));
1128     d->rebuilder->start();
1129   }
1130
1131 // poll the rebuild thread
1132   bool fin = d->rebuilder->isFinished();
1133   if (fin) {
1134     d->rebuilder.reset(); // all done!
1135   }
1136   return fin;
1137 }
1138
1139 void NavDataCache::doRebuild()
1140 {
1141   try {
1142     d->close(); // completely close the sqlite object
1143     d->path.remove(); // remove the file on disk
1144     d->init(); // start again from scratch
1145
1146     // initialise the root octree node
1147     d->runSQL("INSERT INTO octree (rowid, children) VALUES (1, 0)");
1148
1149     SGTimeStamp st;
1150     {
1151         Transaction txn(this);
1152
1153         st.stamp();
1154         airportDBLoad(d->aptDatPath);
1155         SG_LOG(SG_NAVCACHE, SG_INFO, "apt.dat load took:" << st.elapsedMSec());
1156
1157         metarDataLoad(d->metarDatPath);
1158         stampCacheFile(d->aptDatPath);
1159         stampCacheFile(d->metarDatPath);
1160
1161         st.stamp();
1162         loadFixes(d->fixDatPath);
1163         stampCacheFile(d->fixDatPath);
1164         SG_LOG(SG_NAVCACHE, SG_INFO, "fix.dat load took:" << st.elapsedMSec());
1165
1166         st.stamp();
1167         navDBInit(d->navDatPath);
1168         stampCacheFile(d->navDatPath);
1169         SG_LOG(SG_NAVCACHE, SG_INFO, "nav.dat load took:" << st.elapsedMSec());
1170
1171         st.stamp();
1172         txn.commit();
1173         SG_LOG(SG_NAVCACHE, SG_INFO, "stage 1 commit took:" << st.elapsedMSec());
1174     }
1175
1176 #ifdef SG_WINDOWS
1177       SG_LOG(SG_NAVCACHE, SG_ALERT, "SKIPPING POI load on Windows");
1178 #else
1179       {
1180           Transaction txn(this);
1181
1182           st.stamp();
1183           poiDBInit(d->poiDatPath);
1184           stampCacheFile(d->poiDatPath);
1185           SG_LOG(SG_NAVCACHE, SG_INFO, "poi.dat load took:" << st.elapsedMSec());
1186
1187           st.stamp();
1188           txn.commit();
1189           SG_LOG(SG_NAVCACHE, SG_INFO, "POI commit took:" << st.elapsedMSec());
1190       }
1191 #endif
1192
1193       {
1194           Transaction txn(this);
1195           loadCarrierNav(d->carrierDatPath);
1196           stampCacheFile(d->carrierDatPath);
1197
1198           st.stamp();
1199           Airway::load(d->airwayDatPath);
1200           stampCacheFile(d->airwayDatPath);
1201           SG_LOG(SG_NAVCACHE, SG_INFO, "awy.dat load took:" << st.elapsedMSec());
1202
1203           d->flushDeferredOctreeUpdates();
1204
1205           string sceneryPaths = simgear::strutils::join(globals->get_fg_scenery(), ";");
1206           writeStringProperty("scenery_paths", sceneryPaths);
1207
1208           st.stamp();
1209           txn.commit();
1210           SG_LOG(SG_NAVCACHE, SG_INFO, "final commit took:" << st.elapsedMSec());
1211
1212       }
1213
1214   } catch (sg_exception& e) {
1215     SG_LOG(SG_NAVCACHE, SG_ALERT, "caught exception rebuilding navCache:" << e.what());
1216   }
1217 }
1218
1219 int NavDataCache::readIntProperty(const string& key)
1220 {
1221   sqlite_bind_stdstring(d->readPropertyQuery, 1, key);
1222   int result = 0;
1223
1224   if (d->execSelect(d->readPropertyQuery)) {
1225     result = sqlite3_column_int(d->readPropertyQuery, 0);
1226   } else {
1227     SG_LOG(SG_NAVCACHE, SG_WARN, "readIntProperty: unknown:" << key);
1228   }
1229
1230   d->reset(d->readPropertyQuery);
1231   return result;
1232 }
1233
1234 double NavDataCache::readDoubleProperty(const string& key)
1235 {
1236   sqlite_bind_stdstring(d->readPropertyQuery, 1, key);
1237   double result = 0.0;
1238   if (d->execSelect(d->readPropertyQuery)) {
1239     result = sqlite3_column_double(d->readPropertyQuery, 0);
1240   } else {
1241     SG_LOG(SG_NAVCACHE, SG_WARN, "readDoubleProperty: unknown:" << key);
1242   }
1243
1244   d->reset(d->readPropertyQuery);
1245   return result;
1246 }
1247
1248 string NavDataCache::readStringProperty(const string& key)
1249 {
1250   sqlite_bind_stdstring(d->readPropertyQuery, 1, key);
1251   string result;
1252   if (d->execSelect(d->readPropertyQuery)) {
1253     result = (char*) sqlite3_column_text(d->readPropertyQuery, 0);
1254   } else {
1255     SG_LOG(SG_NAVCACHE, SG_WARN, "readStringProperty: unknown:" << key);
1256   }
1257
1258   d->reset(d->readPropertyQuery);
1259   return result;
1260 }
1261
1262 void NavDataCache::writeIntProperty(const string& key, int value)
1263 {
1264   d->writeIntProperty(key, value);
1265 }
1266
1267 void NavDataCache::writeStringProperty(const string& key, const string& value)
1268 {
1269   sqlite_bind_stdstring(d->clearProperty, 1, key);
1270   d->execUpdate(d->clearProperty);
1271
1272   sqlite_bind_stdstring(d->writePropertyQuery, 1, key);
1273   sqlite_bind_stdstring(d->writePropertyQuery, 2, value);
1274   d->execUpdate(d->writePropertyQuery);
1275 }
1276
1277 void NavDataCache::writeDoubleProperty(const string& key, const double& value)
1278 {
1279   sqlite_bind_stdstring(d->clearProperty, 1, key);
1280   d->execUpdate(d->clearProperty);
1281
1282   sqlite_bind_stdstring(d->writePropertyQuery, 1, key);
1283   sqlite3_bind_double(d->writePropertyQuery, 2, value);
1284   d->execUpdate(d->writePropertyQuery);
1285 }
1286
1287 string_list NavDataCache::readStringListProperty(const string& key)
1288 {
1289   sqlite_bind_stdstring(d->readPropertyQuery, 1, key);
1290   string_list result;
1291   while (d->stepSelect(d->readPropertyQuery)) {
1292     result.push_back((char*) sqlite3_column_text(d->readPropertyQuery, 0));
1293   }
1294   d->reset(d->readPropertyQuery);
1295
1296   return result;
1297 }
1298
1299 void NavDataCache::writeStringListProperty(const string& key, const string_list& values)
1300 {
1301   sqlite_bind_stdstring(d->clearProperty, 1, key);
1302   d->execUpdate(d->clearProperty);
1303
1304   BOOST_FOREACH(string value, values) {
1305     sqlite_bind_stdstring(d->writePropertyMulti, 1, key);
1306     sqlite_bind_stdstring(d->writePropertyMulti, 2, value);
1307     d->execInsert(d->writePropertyMulti);
1308   }
1309 }
1310
1311 bool NavDataCache::isCachedFileModified(const SGPath& path) const
1312 {
1313   if (!path.exists()) {
1314     throw sg_io_exception("isCachedFileModified: Missing file:" + path.str());
1315   }
1316
1317   sqlite_bind_temp_stdstring(d->statCacheCheck, 1, path.str());
1318   bool isModified = true;
1319
1320   if (d->execSelect(d->statCacheCheck)) {
1321     time_t modtime = sqlite3_column_int64(d->statCacheCheck, 0);
1322     time_t delta = std::labs(modtime - path.modTime());
1323     if (delta != 0)
1324     {
1325       SG_LOG(SG_NAVCACHE, SG_DEBUG, "NavCache: rebuild required for " << path << ". Timestamps: " << modtime << " != " << path.modTime());
1326     }
1327     else
1328     {
1329       SG_LOG(SG_NAVCACHE, SG_DEBUG, "NavCache: no rebuild required for " << path);
1330     }
1331
1332     isModified = (delta != 0);
1333   } else {
1334     SG_LOG(SG_NAVCACHE, SG_DEBUG, "NavCache: initial build required for " << path);
1335   }
1336
1337   d->reset(d->statCacheCheck);
1338   return isModified;
1339 }
1340
1341 void NavDataCache::stampCacheFile(const SGPath& path)
1342 {
1343   sqlite_bind_temp_stdstring(d->stampFileCache, 1, path.str());
1344   sqlite3_bind_int64(d->stampFileCache, 2, path.modTime());
1345   d->execInsert(d->stampFileCache);
1346 }
1347
1348 void NavDataCache::beginTransaction()
1349 {
1350   if (d->transactionLevel == 0) {
1351     d->transactionAborted = false;
1352     d->stepSelect(d->beginTransactionStmt);
1353     sqlite3_reset(d->beginTransactionStmt);
1354   }
1355
1356   ++d->transactionLevel;
1357 }
1358
1359 void NavDataCache::commitTransaction()
1360 {
1361   assert(d->transactionLevel > 0);
1362   if (--d->transactionLevel == 0) {
1363     // if a nested transaction aborted, we might end up here, but must
1364     // still abort the entire transaction. That's bad, but safer than
1365     // committing.
1366     sqlite3_stmt_ptr q = d->transactionAborted ? d->rollbackTransactionStmt : d->commitTransactionStmt;
1367
1368     int retries = 0;
1369     int result;
1370     while (retries < MAX_RETRIES) {
1371       result = sqlite3_step(q);
1372       if (result == SQLITE_DONE) {
1373         break;
1374       }
1375
1376       // see http://www.sqlite.org/c3ref/get_autocommit.html for a hint
1377       // what's going on here: autocommit in inactive inside BEGIN, so if
1378       // it's active, the DB was rolled-back
1379       if (sqlite3_get_autocommit(d->db)) {
1380         SG_LOG(SG_NAVCACHE, SG_ALERT, "commit: was rolled back!" << retries);
1381         d->transactionAborted = true;
1382         break;
1383       }
1384
1385       if (result != SQLITE_BUSY) {
1386         break;
1387       }
1388
1389       SGTimeStamp::sleepForMSec(++retries * 10);
1390       SG_LOG(SG_NAVCACHE, SG_ALERT, "NavCache contention on commit, will retry:" << retries);
1391     } // of retry loop for DB busy
1392
1393     string errMsg;
1394     if (result != SQLITE_DONE) {
1395       errMsg = sqlite3_errmsg(d->db);
1396       SG_LOG(SG_NAVCACHE, SG_ALERT, "Sqlite error:" << errMsg << " for  " << result
1397              << " while running:\n\t" << sqlite3_sql(q));
1398     }
1399
1400     sqlite3_reset(q);
1401   }
1402 }
1403
1404 void NavDataCache::abortTransaction()
1405 {
1406   SG_LOG(SG_NAVCACHE, SG_WARN, "NavCache: aborting transaction");
1407
1408   assert(d->transactionLevel > 0);
1409   if (--d->transactionLevel == 0) {
1410     d->stepSelect(d->rollbackTransactionStmt);
1411     sqlite3_reset(d->rollbackTransactionStmt);
1412   }
1413
1414   d->transactionAborted = true;
1415 }
1416
1417 FGPositionedRef NavDataCache::loadById(PositionedID rowid)
1418 {
1419   if (rowid == 0) {
1420     return NULL;
1421   }
1422
1423   PositionedCache::iterator it = d->cache.find(rowid);
1424   if (it != d->cache.end()) {
1425     d->cacheHits++;
1426     return it->second; // cache it
1427   }
1428
1429   FGPositioned* pos = d->loadById(rowid);
1430   d->cache.insert(it, PositionedCache::value_type(rowid, pos));
1431   d->cacheMisses++;
1432   return pos;
1433 }
1434
1435 PositionedID NavDataCache::insertAirport(FGPositioned::Type ty, const string& ident,
1436                                          const string& name)
1437 {
1438   // airports have their pos computed based on the avergae runway centres
1439   // so the pos isn't available immediately. Pass a dummy pos and avoid
1440   // doing spatial indexing until later
1441   sqlite3_int64 rowId = d->insertPositioned(ty, ident, name, SGGeod(),
1442                                             0 /* airport */,
1443                                             false /* spatial index */);
1444
1445   sqlite3_bind_int64(d->insertAirport, 1, rowId);
1446   d->execInsert(d->insertAirport);
1447
1448   return rowId;
1449 }
1450
1451 void NavDataCache::updatePosition(PositionedID item, const SGGeod &pos)
1452 {
1453   if (d->cache.find(item) != d->cache.end()) {
1454     SG_LOG(SG_NAVCACHE, SG_DEBUG, "updating position of an item in the cache");
1455     d->cache[item]->modifyPosition(pos);
1456   }
1457
1458   SGVec3d cartPos(SGVec3d::fromGeod(pos));
1459
1460   sqlite3_bind_int(d->setAirportPos, 1, item);
1461   sqlite3_bind_double(d->setAirportPos, 2, pos.getLongitudeDeg());
1462   sqlite3_bind_double(d->setAirportPos, 3, pos.getLatitudeDeg());
1463   sqlite3_bind_double(d->setAirportPos, 4, pos.getElevationM());
1464
1465 // bug 905; the octree leaf may change here, but the leaf may already be
1466 // loaded, and caching its children. (Either the old or new leaf!). Worse,
1467 // we may be called here as a result of loading one of those leaf's children.
1468 // instead of dealing with all those possibilites, such as modifying
1469 // the in-memory leaf's STL child container, we simply leave the runtime
1470 // structures alone. This is fine providing items do no move very far, since
1471 // all the spatial searches ultimately use the items' real cartesian position,
1472 // which was updated above.
1473   Octree::Leaf* octreeLeaf = Octree::global_spatialOctree->findLeafForPos(cartPos);
1474   sqlite3_bind_int64(d->setAirportPos, 5, octreeLeaf->guid());
1475
1476   sqlite3_bind_double(d->setAirportPos, 6, cartPos.x());
1477   sqlite3_bind_double(d->setAirportPos, 7, cartPos.y());
1478   sqlite3_bind_double(d->setAirportPos, 8, cartPos.z());
1479
1480
1481   d->execUpdate(d->setAirportPos);
1482 }
1483
1484 void NavDataCache::insertTower(PositionedID airportId, const SGGeod& pos)
1485 {
1486   d->insertPositioned(FGPositioned::TOWER, string(), string(),
1487                       pos, airportId, true /* spatial index */);
1488 }
1489
1490 PositionedID
1491 NavDataCache::insertRunway(FGPositioned::Type ty, const string& ident,
1492                            const SGGeod& pos, PositionedID apt,
1493                            double heading, double length, double width, double displacedThreshold,
1494                            double stopway, int surfaceCode)
1495 {
1496   // only runways are spatially indexed; don't bother indexing taxiways
1497   // or pavements
1498   bool spatialIndex = ( ty == FGPositioned::RUNWAY || ty == FGPositioned::HELIPAD);
1499
1500   sqlite3_int64 rowId = d->insertPositioned(ty, cleanRunwayNo(ident), "", pos, apt,
1501                                             spatialIndex);
1502   sqlite3_bind_int64(d->insertRunway, 1, rowId);
1503   sqlite3_bind_double(d->insertRunway, 2, heading);
1504   sqlite3_bind_double(d->insertRunway, 3, length);
1505   sqlite3_bind_double(d->insertRunway, 4, width);
1506   sqlite3_bind_int(d->insertRunway, 5, surfaceCode);
1507   sqlite3_bind_double(d->insertRunway, 6, displacedThreshold);
1508   sqlite3_bind_double(d->insertRunway, 7, stopway);
1509
1510   return d->execInsert(d->insertRunway);
1511 }
1512
1513 void NavDataCache::setRunwayReciprocal(PositionedID runway, PositionedID recip)
1514 {
1515   sqlite3_bind_int64(d->setRunwayReciprocal, 1, runway);
1516   sqlite3_bind_int64(d->setRunwayReciprocal, 2, recip);
1517   d->execUpdate(d->setRunwayReciprocal);
1518
1519 // and the opposite direction too!
1520   sqlite3_bind_int64(d->setRunwayReciprocal, 2, runway);
1521   sqlite3_bind_int64(d->setRunwayReciprocal, 1, recip);
1522   d->execUpdate(d->setRunwayReciprocal);
1523 }
1524
1525 void NavDataCache::setRunwayILS(PositionedID runway, PositionedID ils)
1526 {
1527   sqlite3_bind_int64(d->setRunwayILS, 1, runway);
1528   sqlite3_bind_int64(d->setRunwayILS, 2, ils);
1529   d->execUpdate(d->setRunwayILS);
1530
1531   // and the in-memory one
1532   if (d->cache.find(runway) != d->cache.end()) {
1533     FGRunway* instance = (FGRunway*) d->cache[runway].ptr();
1534     instance->setILS(ils);
1535   }
1536 }
1537
1538 void NavDataCache::updateRunwayThreshold(PositionedID runwayID, const SGGeod &aThreshold,
1539                                   double aHeading, double aDisplacedThreshold,
1540                                   double aStopway)
1541 {
1542 // update the runway information
1543   sqlite3_bind_int64(d->updateRunwayThreshold, 1, runwayID);
1544   sqlite3_bind_double(d->updateRunwayThreshold, 2, aHeading);
1545   sqlite3_bind_double(d->updateRunwayThreshold, 3, aDisplacedThreshold);
1546   sqlite3_bind_double(d->updateRunwayThreshold, 4, aStopway);
1547   d->execUpdate(d->updateRunwayThreshold);
1548
1549   // now update the positional data
1550   updatePosition(runwayID, aThreshold);
1551 }
1552
1553 PositionedID
1554 NavDataCache::insertNavaid(FGPositioned::Type ty, const string& ident,
1555                           const string& name, const SGGeod& pos,
1556                            int freq, int range, double multiuse,
1557                            PositionedID apt, PositionedID runway)
1558 {
1559   bool spatialIndex = true;
1560   if (ty == FGPositioned::MOBILE_TACAN) {
1561     spatialIndex = false;
1562   }
1563
1564   sqlite3_int64 rowId = d->insertPositioned(ty, ident, name, pos, apt,
1565                                             spatialIndex);
1566   sqlite3_bind_int64(d->insertNavaid, 1, rowId);
1567   sqlite3_bind_int(d->insertNavaid, 2, freq);
1568   sqlite3_bind_int(d->insertNavaid, 3, range);
1569   sqlite3_bind_double(d->insertNavaid, 4, multiuse);
1570   sqlite3_bind_int64(d->insertNavaid, 5, runway);
1571   sqlite3_bind_int64(d->insertNavaid, 6, 0);
1572   return d->execInsert(d->insertNavaid);
1573 }
1574
1575 void NavDataCache::setNavaidColocated(PositionedID navaid, PositionedID colocatedDME)
1576 {
1577   // Update DB entries...
1578   sqlite3_bind_int64(d->setNavaidColocated, 1, navaid);
1579   sqlite3_bind_int64(d->setNavaidColocated, 2, colocatedDME);
1580   d->execUpdate(d->setNavaidColocated);
1581
1582   // ...and the in-memory copy of the navrecord
1583   if (d->cache.find(navaid) != d->cache.end()) {
1584     FGNavRecord* rec = (FGNavRecord*) d->cache[navaid].get();
1585     rec->setColocatedDME(colocatedDME);
1586   }
1587 }
1588
1589 void NavDataCache::updateILS(PositionedID ils, const SGGeod& newPos, double aHdg)
1590 {
1591   sqlite3_bind_int64(d->updateILS, 1, ils);
1592   sqlite3_bind_double(d->updateILS, 2, aHdg);
1593   d->execUpdate(d->updateILS);
1594   updatePosition(ils, newPos);
1595 }
1596
1597 PositionedID NavDataCache::insertCommStation(FGPositioned::Type ty,
1598                                              const string& name, const SGGeod& pos, int freq, int range,
1599                                              PositionedID apt)
1600 {
1601   sqlite3_int64 rowId = d->insertPositioned(ty, "", name, pos, apt, true);
1602   sqlite3_bind_int64(d->insertCommStation, 1, rowId);
1603   sqlite3_bind_int(d->insertCommStation, 2, freq);
1604   sqlite3_bind_int(d->insertCommStation, 3, range);
1605   return d->execInsert(d->insertCommStation);
1606 }
1607
1608 PositionedID NavDataCache::insertFix(const std::string& ident, const SGGeod& aPos)
1609 {
1610   return d->insertPositioned(FGPositioned::FIX, ident, string(), aPos, 0, true);
1611 }
1612
1613 PositionedID NavDataCache::createPOI(FGPositioned::Type ty, const std::string& ident, const SGGeod& aPos)
1614 {
1615   return d->insertPositioned(ty, ident, string(), aPos, 0,
1616                              true /* spatial index */);
1617 }
1618
1619 bool NavDataCache::removePOI(FGPositioned::Type ty, const std::string& aIdent)
1620 {
1621   d->removePositionedWithIdent(ty, aIdent);
1622   // should remove from the live cache too?
1623
1624     return true;
1625 }
1626
1627 void NavDataCache::setAirportMetar(const string& icao, bool hasMetar)
1628 {
1629   sqlite_bind_stdstring(d->setAirportMetar, 1, icao);
1630   sqlite3_bind_int(d->setAirportMetar, 2, hasMetar);
1631   d->execUpdate(d->setAirportMetar);
1632 }
1633
1634 //------------------------------------------------------------------------------
1635 FGPositionedList NavDataCache::findAllWithIdent( const string& s,
1636                                                  FGPositioned::Filter* filter,
1637                                                  bool exact )
1638 {
1639   return d->findAllByString(s, "ident", filter, exact);
1640 }
1641
1642 //------------------------------------------------------------------------------
1643 FGPositionedList NavDataCache::findAllWithName( const string& s,
1644                                                 FGPositioned::Filter* filter,
1645                                                 bool exact )
1646 {
1647   return d->findAllByString(s, "name", filter, exact);
1648 }
1649
1650 //------------------------------------------------------------------------------
1651 FGPositionedRef NavDataCache::findClosestWithIdent( const string& aIdent,
1652                                                     const SGGeod& aPos,
1653                                                     FGPositioned::Filter* aFilter )
1654 {
1655   sqlite_bind_stdstring(d->findClosestWithIdent, 1, aIdent);
1656   if (aFilter) {
1657     sqlite3_bind_int(d->findClosestWithIdent, 2, aFilter->minType());
1658     sqlite3_bind_int(d->findClosestWithIdent, 3, aFilter->maxType());
1659   } else { // full type range
1660     sqlite3_bind_int(d->findClosestWithIdent, 2, FGPositioned::INVALID);
1661     sqlite3_bind_int(d->findClosestWithIdent, 3, FGPositioned::LAST_TYPE);
1662   }
1663
1664   SGVec3d cartPos(SGVec3d::fromGeod(aPos));
1665   sqlite3_bind_double(d->findClosestWithIdent, 4, cartPos.x());
1666   sqlite3_bind_double(d->findClosestWithIdent, 5, cartPos.y());
1667   sqlite3_bind_double(d->findClosestWithIdent, 6, cartPos.z());
1668
1669   FGPositionedRef result;
1670
1671   while (d->stepSelect(d->findClosestWithIdent)) {
1672     FGPositioned* pos = loadById(sqlite3_column_int64(d->findClosestWithIdent, 0));
1673     if (aFilter && !aFilter->pass(pos)) {
1674       continue;
1675     }
1676
1677     result = pos;
1678     break;
1679   }
1680
1681   d->reset(d->findClosestWithIdent);
1682   return result;
1683 }
1684
1685
1686 int NavDataCache::getOctreeBranchChildren(int64_t octreeNodeId)
1687 {
1688   sqlite3_bind_int64(d->getOctreeChildren, 1, octreeNodeId);
1689   d->execSelect1(d->getOctreeChildren);
1690   int children = sqlite3_column_int(d->getOctreeChildren, 0);
1691   d->reset(d->getOctreeChildren);
1692   return children;
1693 }
1694
1695 void NavDataCache::defineOctreeNode(Octree::Branch* pr, Octree::Node* nd)
1696 {
1697   sqlite3_bind_int64(d->insertOctree, 1, nd->guid());
1698   d->execInsert(d->insertOctree);
1699
1700 #ifdef LAZY_OCTREE_UPDATES
1701   d->deferredOctreeUpdates.insert(pr);
1702 #else
1703   // lowest three bits of node ID are 0..7 index of the child in the parent
1704   int childIndex = nd->guid() & 0x07;
1705
1706   sqlite3_bind_int64(d->updateOctreeChildren, 1, pr->guid());
1707 // mask has bit N set where child N exists
1708   int childMask = 1 << childIndex;
1709   sqlite3_bind_int(d->updateOctreeChildren, 2, childMask);
1710   d->execUpdate(d->updateOctreeChildren);
1711 #endif
1712 }
1713
1714 TypedPositionedVec
1715 NavDataCache::getOctreeLeafChildren(int64_t octreeNodeId)
1716 {
1717   sqlite3_bind_int64(d->getOctreeLeafChildren, 1, octreeNodeId);
1718
1719   TypedPositionedVec r;
1720   while (d->stepSelect(d->getOctreeLeafChildren)) {
1721     FGPositioned::Type ty = static_cast<FGPositioned::Type>
1722       (sqlite3_column_int(d->getOctreeLeafChildren, 1));
1723     r.push_back(std::make_pair(ty,
1724                 sqlite3_column_int64(d->getOctreeLeafChildren, 0)));
1725   }
1726
1727   d->reset(d->getOctreeLeafChildren);
1728   return r;
1729 }
1730
1731
1732 /**
1733  * A special purpose helper (used by FGAirport::searchNamesAndIdents) to
1734  * implement the AirportList dialog. It's unfortunate that it needs to reside
1735  * here, but for now it's least ugly solution.
1736  */
1737 char** NavDataCache::searchAirportNamesAndIdents(const std::string& aFilter)
1738 {
1739   string s = "%" + aFilter + "%";
1740   sqlite_bind_stdstring(d->searchAirports, 1, s);
1741
1742   unsigned int numMatches = 0, numAllocated = 16;
1743   char** result = (char**) malloc(sizeof(char*) * numAllocated);
1744
1745   while (d->stepSelect(d->searchAirports)) {
1746     if ((numMatches + 1) >= numAllocated) {
1747       numAllocated <<= 1; // double in size!
1748     // reallocate results array
1749       char** nresult = (char**) malloc(sizeof(char*) * numAllocated);
1750       memcpy(nresult, result, sizeof(char*) * numMatches);
1751       free(result);
1752       result = nresult;
1753     }
1754
1755     // nasty code to avoid excessive string copying and allocations.
1756     // We format results as follows (note whitespace!):
1757     //   ' name-of-airport-chars   (ident)'
1758     // so the total length is:
1759     //    1 + strlen(name) + 4 + strlen(icao) + 1 + 1 (for the null)
1760     // which gives a grand total of 7 + name-length + icao-length.
1761     // note the ident can be three letters (non-ICAO local strip), four
1762     // (default ICAO) or more (extended format ICAO)
1763     int nameLength = sqlite3_column_bytes(d->searchAirports, 1);
1764     int icaoLength = sqlite3_column_bytes(d->searchAirports, 0);
1765     char* entry = (char*) malloc(7 + nameLength + icaoLength);
1766     char* dst = entry;
1767     *dst++ = ' ';
1768     memcpy(dst, sqlite3_column_text(d->searchAirports, 1), nameLength);
1769     dst += nameLength;
1770     *dst++ = ' ';
1771     *dst++ = ' ';
1772     *dst++ = ' ';
1773     *dst++ = '(';
1774     memcpy(dst, sqlite3_column_text(d->searchAirports, 0), icaoLength);
1775     dst += icaoLength;
1776     *dst++ = ')';
1777     *dst++ = 0;
1778
1779     result[numMatches++] = entry;
1780   }
1781
1782   result[numMatches] = NULL; // end of list marker
1783   d->reset(d->searchAirports);
1784   return result;
1785 }
1786
1787 FGPositionedRef
1788 NavDataCache::findCommByFreq(int freqKhz, const SGGeod& aPos, FGPositioned::Filter* aFilter)
1789 {
1790   sqlite3_bind_int(d->findCommByFreq, 1, freqKhz);
1791   if (aFilter) {
1792     sqlite3_bind_int(d->findCommByFreq, 2, aFilter->minType());
1793     sqlite3_bind_int(d->findCommByFreq, 3, aFilter->maxType());
1794   } else { // full type range
1795     sqlite3_bind_int(d->findCommByFreq, 2, FGPositioned::FREQ_GROUND);
1796     sqlite3_bind_int(d->findCommByFreq, 3, FGPositioned::FREQ_UNICOM);
1797   }
1798
1799   SGVec3d cartPos(SGVec3d::fromGeod(aPos));
1800   sqlite3_bind_double(d->findCommByFreq, 4, cartPos.x());
1801   sqlite3_bind_double(d->findCommByFreq, 5, cartPos.y());
1802   sqlite3_bind_double(d->findCommByFreq, 6, cartPos.z());
1803   FGPositionedRef result;
1804
1805   while (d->execSelect(d->findCommByFreq)) {
1806     FGPositioned* p = loadById(sqlite3_column_int64(d->findCommByFreq, 0));
1807     if (aFilter && !aFilter->pass(p)) {
1808       continue;
1809     }
1810
1811     result = p;
1812     break;
1813   }
1814
1815   d->reset(d->findCommByFreq);
1816   return result;
1817 }
1818
1819 PositionedIDVec
1820 NavDataCache::findNavaidsByFreq(int freqKhz, const SGGeod& aPos, FGPositioned::Filter* aFilter)
1821 {
1822   sqlite3_bind_int(d->findNavsByFreq, 1, freqKhz);
1823   if (aFilter) {
1824     sqlite3_bind_int(d->findNavsByFreq, 2, aFilter->minType());
1825     sqlite3_bind_int(d->findNavsByFreq, 3, aFilter->maxType());
1826   } else { // full type range
1827     sqlite3_bind_int(d->findNavsByFreq, 2, FGPositioned::NDB);
1828     sqlite3_bind_int(d->findNavsByFreq, 3, FGPositioned::GS);
1829   }
1830
1831   SGVec3d cartPos(SGVec3d::fromGeod(aPos));
1832   sqlite3_bind_double(d->findNavsByFreq, 4, cartPos.x());
1833   sqlite3_bind_double(d->findNavsByFreq, 5, cartPos.y());
1834   sqlite3_bind_double(d->findNavsByFreq, 6, cartPos.z());
1835
1836   return d->selectIds(d->findNavsByFreq);
1837 }
1838
1839 PositionedIDVec
1840 NavDataCache::findNavaidsByFreq(int freqKhz, FGPositioned::Filter* aFilter)
1841 {
1842   sqlite3_bind_int(d->findNavsByFreqNoPos, 1, freqKhz);
1843   if (aFilter) {
1844     sqlite3_bind_int(d->findNavsByFreqNoPos, 2, aFilter->minType());
1845     sqlite3_bind_int(d->findNavsByFreqNoPos, 3, aFilter->maxType());
1846   } else { // full type range
1847     sqlite3_bind_int(d->findNavsByFreqNoPos, 2, FGPositioned::NDB);
1848     sqlite3_bind_int(d->findNavsByFreqNoPos, 3, FGPositioned::GS);
1849   }
1850
1851   return d->selectIds(d->findNavsByFreqNoPos);
1852 }
1853
1854 PositionedIDVec
1855 NavDataCache::airportItemsOfType(PositionedID apt,FGPositioned::Type ty,
1856                                  FGPositioned::Type maxTy)
1857 {
1858   if (maxTy == FGPositioned::INVALID) {
1859     maxTy = ty; // single-type range
1860   }
1861
1862   sqlite3_bind_int64(d->getAirportItems, 1, apt);
1863   sqlite3_bind_int(d->getAirportItems, 2, ty);
1864   sqlite3_bind_int(d->getAirportItems, 3, maxTy);
1865
1866   return d->selectIds(d->getAirportItems);
1867 }
1868
1869 PositionedID
1870 NavDataCache::airportItemWithIdent(PositionedID apt, FGPositioned::Type ty,
1871                                    const std::string& ident)
1872 {
1873   sqlite3_bind_int64(d->getAirportItemByIdent, 1, apt);
1874   sqlite_bind_stdstring(d->getAirportItemByIdent, 2, ident);
1875   sqlite3_bind_int(d->getAirportItemByIdent, 3, ty);
1876   PositionedID result = 0;
1877
1878   if (d->execSelect(d->getAirportItemByIdent)) {
1879     result = sqlite3_column_int64(d->getAirportItemByIdent, 0);
1880   }
1881
1882   d->reset(d->getAirportItemByIdent);
1883   return result;
1884 }
1885
1886 AirportRunwayPair
1887 NavDataCache::findAirportRunway(const std::string& aName)
1888 {
1889   if (aName.empty()) {
1890     return AirportRunwayPair();
1891   }
1892
1893   string_list parts = simgear::strutils::split(aName);
1894   if (parts.size() < 2) {
1895     SG_LOG(SG_NAVCACHE, SG_WARN, "findAirportRunway: malformed name:" << aName);
1896     return AirportRunwayPair();
1897   }
1898
1899   AirportRunwayPair result;
1900   sqlite_bind_stdstring(d->findAirportRunway, 1, parts[0]);
1901   sqlite_bind_stdstring(d->findAirportRunway, 2, parts[1]);
1902
1903   if (d->execSelect(d->findAirportRunway)) {
1904     result = AirportRunwayPair(sqlite3_column_int64(d->findAirportRunway, 0),
1905                       sqlite3_column_int64(d->findAirportRunway, 1));
1906
1907   } else {
1908     SG_LOG(SG_NAVCACHE, SG_WARN, "findAirportRunway: unknown airport/runway:" << aName);
1909   }
1910
1911   d->reset(d->findAirportRunway);
1912   return result;
1913 }
1914
1915 PositionedID
1916 NavDataCache::findILS(PositionedID airport, const string& runway, const string& navIdent)
1917 {
1918   sqlite_bind_stdstring(d->findILS, 1, navIdent);
1919   sqlite3_bind_int64(d->findILS, 2, airport);
1920   sqlite_bind_stdstring(d->findILS, 3, runway);
1921   PositionedID result = 0;
1922   if (d->execSelect(d->findILS)) {
1923     result = sqlite3_column_int64(d->findILS, 0);
1924   }
1925
1926   d->reset(d->findILS);
1927   return result;
1928 }
1929
1930 int NavDataCache::findAirway(int network, const string& aName)
1931 {
1932   sqlite3_bind_int(d->findAirway, 1, network);
1933   sqlite_bind_stdstring(d->findAirway, 2, aName);
1934
1935   int airway = 0;
1936   if (d->execSelect(d->findAirway)) {
1937     // already exists
1938     airway = sqlite3_column_int(d->findAirway, 0);
1939   } else {
1940     sqlite_bind_stdstring(d->insertAirway, 1, aName);
1941     sqlite3_bind_int(d->insertAirway, 2, network);
1942     airway = d->execInsert(d->insertAirway);
1943   }
1944
1945   d->reset(d->findAirway);
1946   return airway;
1947 }
1948
1949 void NavDataCache::insertEdge(int network, int airwayID, PositionedID from, PositionedID to)
1950 {
1951   // assume all edges are bidirectional for the moment
1952   for (int i=0; i<2; ++i) {
1953     sqlite3_bind_int(d->insertAirwayEdge, 1, network);
1954     sqlite3_bind_int(d->insertAirwayEdge, 2, airwayID);
1955     sqlite3_bind_int64(d->insertAirwayEdge, 3, from);
1956     sqlite3_bind_int64(d->insertAirwayEdge, 4, to);
1957     d->execInsert(d->insertAirwayEdge);
1958
1959     std::swap(from, to);
1960   }
1961 }
1962
1963 bool NavDataCache::isInAirwayNetwork(int network, PositionedID pos)
1964 {
1965   sqlite3_bind_int(d->isPosInAirway, 1, network);
1966   sqlite3_bind_int64(d->isPosInAirway, 2, pos);
1967   bool ok = d->execSelect(d->isPosInAirway);
1968   d->reset(d->isPosInAirway);
1969
1970   return ok;
1971 }
1972
1973 AirwayEdgeVec NavDataCache::airwayEdgesFrom(int network, PositionedID pos)
1974 {
1975   sqlite3_bind_int(d->airwayEdgesFrom, 1, network);
1976   sqlite3_bind_int64(d->airwayEdgesFrom, 2, pos);
1977
1978   AirwayEdgeVec result;
1979   while (d->stepSelect(d->airwayEdgesFrom)) {
1980     result.push_back(AirwayEdge(
1981                      sqlite3_column_int(d->airwayEdgesFrom, 0),
1982                      sqlite3_column_int64(d->airwayEdgesFrom, 1)
1983                      ));
1984   }
1985
1986   d->reset(d->airwayEdgesFrom);
1987   return result;
1988 }
1989
1990 PositionedID NavDataCache::findNavaidForRunway(PositionedID runway, FGPositioned::Type ty)
1991 {
1992   sqlite3_bind_int64(d->findNavaidForRunway, 1, runway);
1993   sqlite3_bind_int(d->findNavaidForRunway, 2, ty);
1994
1995   PositionedID result = 0;
1996   if (d->execSelect(d->findNavaidForRunway)) {
1997     result = sqlite3_column_int64(d->findNavaidForRunway, 0);
1998   }
1999
2000   d->reset(d->findNavaidForRunway);
2001   return result;
2002 }
2003
2004 PositionedID
2005 NavDataCache::insertParking(const std::string& name, const SGGeod& aPos,
2006                             PositionedID aAirport,
2007                            double aHeading, int aRadius, const std::string& aAircraftType,
2008                            const std::string& aAirlines)
2009 {
2010   sqlite3_int64 rowId = d->insertPositioned(FGPositioned::PARKING, name, "", aPos, aAirport, false);
2011
2012 // we need to insert a row into the taxi_node table, otherwise we can't maintain
2013 // the appropriate pushback flag.
2014   sqlite3_bind_int64(d->insertTaxiNode, 1, rowId);
2015   sqlite3_bind_int(d->insertTaxiNode, 2, 0);
2016   sqlite3_bind_int(d->insertTaxiNode, 3, 0);
2017   d->execInsert(d->insertTaxiNode);
2018
2019   sqlite3_bind_int64(d->insertParkingPos, 1, rowId);
2020   sqlite3_bind_double(d->insertParkingPos, 2, aHeading);
2021   sqlite3_bind_int(d->insertParkingPos, 3, aRadius);
2022   sqlite_bind_stdstring(d->insertParkingPos, 4, aAircraftType);
2023   sqlite_bind_stdstring(d->insertParkingPos, 5, aAirlines);
2024   return d->execInsert(d->insertParkingPos);
2025 }
2026
2027 void NavDataCache::setParkingPushBackRoute(PositionedID parking, PositionedID pushBackNode)
2028 {
2029   sqlite3_bind_int64(d->setParkingPushBack, 1, parking);
2030   sqlite3_bind_int64(d->setParkingPushBack, 2, pushBackNode);
2031   d->execUpdate(d->setParkingPushBack);
2032 }
2033
2034 PositionedID
2035 NavDataCache::insertTaxiNode(const SGGeod& aPos, PositionedID aAirport, int aHoldType, bool aOnRunway)
2036 {
2037   sqlite3_int64 rowId = d->insertPositioned(FGPositioned::TAXI_NODE, string(), string(), aPos, aAirport, false);
2038   sqlite3_bind_int64(d->insertTaxiNode, 1, rowId);
2039   sqlite3_bind_int(d->insertTaxiNode, 2, aHoldType);
2040   sqlite3_bind_int(d->insertTaxiNode, 3, aOnRunway);
2041   return d->execInsert(d->insertTaxiNode);
2042 }
2043
2044 void NavDataCache::insertGroundnetEdge(PositionedID aAirport, PositionedID from, PositionedID to)
2045 {
2046   sqlite3_bind_int64(d->insertTaxiEdge, 1, aAirport);
2047   sqlite3_bind_int64(d->insertTaxiEdge, 2, from);
2048   sqlite3_bind_int64(d->insertTaxiEdge, 3, to);
2049   d->execInsert(d->insertTaxiEdge);
2050 }
2051
2052 PositionedIDVec NavDataCache::groundNetNodes(PositionedID aAirport, bool onlyPushback)
2053 {
2054   sqlite3_stmt_ptr q = onlyPushback ? d->airportPushbackNodes : d->airportTaxiNodes;
2055   sqlite3_bind_int64(q, 1, aAirport);
2056   return d->selectIds(q);
2057 }
2058
2059 void NavDataCache::markGroundnetAsPushback(PositionedID nodeId)
2060 {
2061   sqlite3_bind_int64(d->markTaxiNodeAsPushback, 1, nodeId);
2062   d->execUpdate(d->markTaxiNodeAsPushback);
2063 }
2064
2065 static double headingDifferenceDeg(double crs1, double crs2)
2066 {
2067   double diff =  crs2 - crs1;
2068   SG_NORMALIZE_RANGE(diff, -180.0, 180.0);
2069   return diff;
2070 }
2071
2072 PositionedID NavDataCache::findGroundNetNode(PositionedID airport, const SGGeod& aPos,
2073                                              bool onRunway, FGRunway* aRunway)
2074 {
2075   sqlite3_stmt_ptr q = onRunway ? d->findNearestRunwayTaxiNode : d->findNearestTaxiNode;
2076   sqlite3_bind_int64(q, 1, airport);
2077
2078   SGVec3d cartPos(SGVec3d::fromGeod(aPos));
2079   sqlite3_bind_double(q, 2, cartPos.x());
2080   sqlite3_bind_double(q, 3, cartPos.y());
2081   sqlite3_bind_double(q, 4, cartPos.z());
2082
2083   PositionedID result = 0;
2084   while (d->execSelect(q)) {
2085     PositionedID id = sqlite3_column_int64(q, 0);
2086     if (!aRunway) {
2087       result = id;
2088       break;
2089     }
2090
2091   // ensure found node lies on the runway
2092     FGPositionedRef node = loadById(id);
2093     double course = SGGeodesy::courseDeg(node->geod(), aRunway->end());
2094     if (fabs(headingDifferenceDeg(course, aRunway->headingDeg())) < 3.0 ) {
2095       result = id;
2096       break;
2097     }
2098   }
2099
2100   d->reset(q);
2101   return result;
2102 }
2103
2104 PositionedIDVec NavDataCache::groundNetEdgesFrom(PositionedID pos, bool onlyPushback)
2105 {
2106   sqlite3_stmt_ptr q = onlyPushback ? d->pushbackEdgesFrom : d->taxiEdgesFrom;
2107   sqlite3_bind_int64(q, 1, pos);
2108   return d->selectIds(q);
2109 }
2110
2111 PositionedIDVec NavDataCache::findAirportParking(PositionedID airport, const std::string& flightType,
2112                                    int radius)
2113 {
2114   sqlite3_bind_int64(d->findAirportParking, 1, airport);
2115   sqlite3_bind_int(d->findAirportParking, 2, radius);
2116   sqlite_bind_stdstring(d->findAirportParking, 3, flightType);
2117
2118   return d->selectIds(d->findAirportParking);
2119 }
2120
2121 void NavDataCache::dropGroundnetFor(PositionedID aAirport)
2122 {
2123   sqlite3_stmt_ptr q = d->prepare("DELETE FROM parking WHERE rowid IN (SELECT rowid FROM positioned WHERE type=?1 AND airport=?2)");
2124   sqlite3_bind_int(q, 1, FGPositioned::PARKING);
2125   sqlite3_bind_int64(q, 2, aAirport);
2126   d->execUpdate(q);
2127
2128   q = d->prepare("DELETE FROM taxi_node WHERE rowid IN (SELECT rowid FROM positioned WHERE (type=?1 OR type=?2) AND airport=?3)");
2129   sqlite3_bind_int(q, 1, FGPositioned::TAXI_NODE);
2130   sqlite3_bind_int(q, 2, FGPositioned::PARKING);
2131   sqlite3_bind_int64(q, 3, aAirport);
2132   d->execUpdate(q);
2133
2134   q = d->prepare("DELETE FROM positioned WHERE (type=?1 OR type=?2) AND airport=?3");
2135   sqlite3_bind_int(q, 1, FGPositioned::TAXI_NODE);
2136   sqlite3_bind_int(q, 2, FGPositioned::PARKING);
2137   sqlite3_bind_int64(q, 3, aAirport);
2138   d->execUpdate(q);
2139
2140   q = d->prepare("DELETE FROM groundnet_edge WHERE airport=?1");
2141   sqlite3_bind_int64(q, 1, aAirport);
2142   d->execUpdate(q);
2143 }
2144
2145 /////////////////////////////////////////////////////////////////////////////////////////
2146 // Transaction RAII object
2147
2148 NavDataCache::Transaction::Transaction(NavDataCache* cache) :
2149     _instance(cache),
2150     _committed(false)
2151 {
2152     assert(cache);
2153     _instance->beginTransaction();
2154 }
2155
2156 NavDataCache::Transaction::~Transaction()
2157 {
2158     if (!_committed) {
2159         SG_LOG(SG_NAVCACHE, SG_INFO, "aborting cache transaction!");
2160         _instance->abortTransaction();
2161     }
2162 }
2163
2164 void NavDataCache::Transaction::commit()
2165 {
2166     assert(!_committed);
2167     _committed = true;
2168     _instance->commitTransaction();
2169 }
2170
2171 } // of namespace flightgear
2172