src/Navaids/NavDataCache.cxx

   1 // NavDataCache.cxx - defines a unified binary cache for navigation
   2 // data, parsed from various text / XML sources.
   3
   4 // Written by James Turner, started 2012.
   5 //
   6 // Copyright (C) 2012  James Turner
   7 //
   8 // This program is free software; you can redistribute it and/or
   9 // modify it under the terms of the GNU General Public License as
  10 // published by the Free Software Foundation; either version 2 of the
  11 // License, or (at your option) any later version.
  12 //
  13 // This program is distributed in the hope that it will be useful, but
  14 // WITHOUT ANY WARRANTY; without even the implied warranty of
  15 // MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
  16 // General Public License for more details.
  17 //
  18 // You should have received a copy of the GNU General Public License
  19 // along with this program; if not, write to the Free Software
  20 // Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA  02110-1301, USA.
  21
  22 #ifdef HAVE_CONFIG_H
  23 # include "config.h"
  24 #endif
  25
  26 #include "NavDataCache.hxx"
  27
  28 // std
  29 #include <map>
  30 #include <cassert>
  31 #include <stdint.h> // for int64_t
  32 // boost
  33 #include <boost/foreach.hpp>
  34
  35
  36 #ifdef SYSTEM_SQLITE
  37 // the standard sqlite3.h doesn't give a way to set SQLITE_UINT64_TYPE,
  38 // so we have to hope sizeof(int64_t) matches sizeof(sqlite3_int64).
  39 // otherwise things will go bad quickly.
  40   #include "sqlite3.h"
  41 #else
  42 // to ensure compatability between sqlite3_int64 and PositionedID,
  43 // force the type used by sqlite to match PositionedID explicitly
  44 #define SQLITE_INT64_TYPE int64_t
  45 #define SQLITE_UINT64_TYPE uint64_t
  46
  47   #include "fg_sqlite3.h"
  48 #endif
  49
  50 // SimGear
  51 #include <simgear/sg_inlines.h>
  52 #include <simgear/structure/exception.hxx>
  53 #include <simgear/debug/logstream.hxx>
  54 #include <simgear/bucket/newbucket.hxx>
  55 #include <simgear/misc/sg_path.hxx>
  56 #include <simgear/misc/strutils.hxx>
  57 #include <simgear/threads/SGThread.hxx>
  58 #include <simgear/threads/SGGuard.hxx>
  59
  60 #include <Main/globals.hxx>
  61 #include <Main/fg_props.hxx>
  62 #include <Main/options.hxx>
  63 #include "markerbeacon.hxx"
  64 #include "navrecord.hxx"
  65 #include <Airports/airport.hxx>
  66 #include <Airports/runways.hxx>
  67 #include <ATC/CommStation.hxx>
  68 #include "fix.hxx"
  69 #include <Navaids/fixlist.hxx>
  70 #include <Navaids/navdb.hxx>
  71 #include "PositionedOctree.hxx"
  72 #include <Airports/apt_loader.hxx>
  73 #include <Navaids/airways.hxx>
  74 #include "poidb.hxx"
  75 #include <Airports/parking.hxx>
  76 #include <Airports/gnnode.hxx>
  77 #include "CacheSchema.h"
  78
  79 using std::string;
  80
  81 #define SG_NAVCACHE SG_NAVAID
  82 //#define LAZY_OCTREE_UPDATES 1
  83
  84 namespace {
  85
  86 const int MAX_RETRIES = 10;
  87
  88 const int CACHE_SIZE_KBYTES= 32 * 1024;
  89
  90 // bind a std::string to a sqlite statement. The std::string must live the
  91 // entire duration of the statement execution - do not pass a temporary
  92 // std::string, or the compiler may delete it, freeing the C-string storage,
  93 // and causing subtle memory corruption bugs!
  94 void sqlite_bind_stdstring(sqlite3_stmt* stmt, int value, const std::string& s)
  95 {
  96   sqlite3_bind_text(stmt, value, s.c_str(), s.length(), SQLITE_STATIC);
  97 }
  98
  99 // variant of the above, which does not care about the lifetime of the
 100 // passed std::string
 101 void sqlite_bind_temp_stdstring(sqlite3_stmt* stmt, int value, const std::string& s)
 102 {
 103   sqlite3_bind_text(stmt, value, s.c_str(), s.length(), SQLITE_TRANSIENT);
 104 }
 105
 106 typedef sqlite3_stmt* sqlite3_stmt_ptr;
 107
 108 void f_distanceCartSqrFunction(sqlite3_context* ctx, int argc, sqlite3_value* argv[])
 109 {
 110   if (argc != 6) {
 111     return;
 112   }
 113
 114   SGVec3d posA(sqlite3_value_double(argv[0]),
 115                sqlite3_value_double(argv[1]),
 116                sqlite3_value_double(argv[2]));
 117
 118   SGVec3d posB(sqlite3_value_double(argv[3]),
 119                sqlite3_value_double(argv[4]),
 120                sqlite3_value_double(argv[5]));
 121   sqlite3_result_double(ctx, distSqr(posA, posB));
 122 }
 123
 124
 125 static string cleanRunwayNo(const string& aRwyNo)
 126 {
 127   if (aRwyNo[0] == 'x') {
 128     return string(); // no ident for taxiways
 129   }
 130
 131   string result(aRwyNo);
 132   // canonicalise runway ident
 133   if ((aRwyNo.size() == 1) || !isdigit(aRwyNo[1])) {
 134     result = "0" + aRwyNo;
 135   }
 136
 137   // trim off trailing garbage
 138   if (result.size() > 2) {
 139     char suffix = toupper(result[2]);
 140     if (suffix == 'X') {
 141       result = result.substr(0, 2);
 142     }
 143   }
 144
 145   return result;
 146 }
 147
 148 } // anonymous namespace
 149
 150 namespace flightgear
 151 {
 152
 153 /**
 154  * Thread encapsulating a cache rebuild. This is not used to parallelise
 155  * the rebuild - we must still wait until completion before doing other
 156  * startup, since many things rely on a complete cache. The thread is used
 157  * so we don't block the main event loop for an unacceptable duration,
 158  * which causes 'not responding' / spinning beachballs on Windows & Mac
 159  */
 160 class RebuildThread : public SGThread
 161 {
 162 public:
 163   RebuildThread(NavDataCache* cache) :
 164   _cache(cache),
 165   _isFinished(false)
 166   {
 167
 168   }
 169
 170   bool isFinished() const
 171   {
 172     SGGuard<SGMutex> g(_lock);
 173     return _isFinished;
 174   }
 175
 176   virtual void run()
 177   {
 178     SGTimeStamp st;
 179     st.stamp();
 180     _cache->doRebuild();
 181     SG_LOG(SG_NAVCACHE, SG_INFO, "cache rebuild took:" << st.elapsedMSec() << "msec");
 182
 183     SGGuard<SGMutex> g(_lock);
 184     _isFinished = true;
 185   }
 186 private:
 187   NavDataCache* _cache;
 188   mutable SGMutex _lock;
 189   bool _isFinished;
 190 };
 191
 192 ////////////////////////////////////////////////////////////////////////////
 193
 194 typedef std::map<PositionedID, FGPositionedRef> PositionedCache;
 195
 196 class AirportTower : public FGPositioned
 197 {
 198 public:
 199   AirportTower(PositionedID& guid, PositionedID airport,
 200                const string& ident, const SGGeod& pos) :
 201     FGPositioned(guid, FGPositioned::TOWER, ident, pos)
 202   {
 203   }
 204 };
 205
 206 class NavDataCache::NavDataCachePrivate
 207 {
 208 public:
 209   NavDataCachePrivate(const SGPath& p, NavDataCache* o) :
 210     outer(o),
 211     db(NULL),
 212     path(p),
 213     readOnly(false),
 214     cacheHits(0),
 215     cacheMisses(0),
 216     transactionLevel(0),
 217     transactionAborted(false)
 218   {
 219   }
 220
 221   ~NavDataCachePrivate()
 222   {
 223     close();
 224   }
 225
 226   void init()
 227   {
 228     SG_LOG(SG_NAVCACHE, SG_INFO, "NavCache at:" << path);
 229
 230       readOnly = fgGetBool("/sim/fghome-readonly", false);
 231
 232       int openFlags = readOnly ? SQLITE_OPEN_READONLY :
 233         SQLITE_OPEN_READWRITE | SQLITE_OPEN_CREATE;
 234       // see http://code.google.com/p/flightgear-bugs/issues/detail?id=1055
 235       // for the UTF8 / path logic here
 236         std::string pathUtf8 = simgear::strutils::convertWindowsLocal8BitToUtf8(path.str());
 237     sqlite3_open_v2(pathUtf8.c_str(), &db, openFlags, NULL);
 238
 239     sqlite3_stmt_ptr checkTables =
 240       prepare("SELECT count(*) FROM sqlite_master WHERE name='properties'");
 241
 242     sqlite3_create_function(db, "distanceCartSqr", 6, SQLITE_ANY, NULL,
 243                             f_distanceCartSqrFunction, NULL, NULL);
 244
 245     execSelect(checkTables);
 246     bool didCreate = false;
 247     if (!readOnly && (sqlite3_column_int(checkTables, 0) == 0)) {
 248       SG_LOG(SG_NAVCACHE, SG_INFO, "will create tables");
 249       initTables();
 250       didCreate = true;
 251     }
 252
 253     readPropertyQuery = prepare("SELECT value FROM properties WHERE key=?");
 254     writePropertyQuery = prepare("INSERT INTO properties (key, value) VALUES (?,?)");
 255     clearProperty = prepare("DELETE FROM properties WHERE key=?1");
 256
 257     if (didCreate) {
 258       writeIntProperty("schema-version", SCHEMA_VERSION);
 259     } else {
 260       int schemaVersion = outer->readIntProperty("schema-version");
 261       if (schemaVersion != SCHEMA_VERSION) {
 262         SG_LOG(SG_NAVCACHE, SG_INFO, "Navcache schema mismatch, will rebuild");
 263         throw sg_exception("Navcache schema has changed");
 264       }
 265     }
 266
 267     // see http://www.sqlite.org/pragma.html#pragma_cache_size
 268     // for the details, small cache would cause thrashing.
 269     std::ostringstream q;
 270     q << "PRAGMA cache_size=-" << CACHE_SIZE_KBYTES << ";";
 271     runSQL(q.str());
 272     prepareQueries();
 273   }
 274
 275   void close()
 276   {
 277     BOOST_FOREACH(sqlite3_stmt_ptr stmt, prepared) {
 278       sqlite3_finalize(stmt);
 279     }
 280     prepared.clear();
 281     sqlite3_close(db);
 282   }
 283
 284   void checkCacheFile()
 285   {
 286     SG_LOG(SG_NAVCACHE, SG_INFO, "running DB integrity check");
 287     SGTimeStamp st;
 288     st.stamp();
 289
 290     sqlite3_stmt_ptr stmt = prepare("PRAGMA quick_check(1)");
 291     if (!execSelect(stmt)) {
 292       throw sg_exception("DB integrity check failed to run");
 293     }
 294
 295     string v = (char*) sqlite3_column_text(stmt, 0);
 296     if (v != "ok") {
 297       throw sg_exception("DB integrity check returned:" + v);
 298     }
 299
 300     SG_LOG(SG_NAVCACHE, SG_INFO, "NavDataCache integrity check took:" << st.elapsedMSec());
 301     finalize(stmt);
 302   }
 303
 304   bool isCachedFileModified(const SGPath& path, bool verbose);
 305
 306   void callSqlite(int result, const string& sql)
 307   {
 308     if (result == SQLITE_OK)
 309       return; // all good
 310
 311     string errMsg;
 312     if (result == SQLITE_MISUSE) {
 313       errMsg = "Sqlite API abuse";
 314       SG_LOG(SG_NAVCACHE, SG_ALERT, "Sqlite API abuse");
 315     } else {
 316       errMsg = sqlite3_errmsg(db);
 317       SG_LOG(SG_NAVCACHE, SG_ALERT, "Sqlite error:" << errMsg << " running:\n\t" << sql);
 318     }
 319
 320     throw sg_exception("Sqlite error:" + errMsg, sql);
 321   }
 322
 323   void runSQL(const string& sql)
 324   {
 325     sqlite3_stmt_ptr stmt;
 326     callSqlite(sqlite3_prepare_v2(db, sql.c_str(), sql.length(), &stmt, NULL), sql);
 327
 328     try {
 329       execSelect(stmt);
 330     } catch (sg_exception&) {
 331       sqlite3_finalize(stmt);
 332       throw; // re-throw
 333     }
 334
 335     sqlite3_finalize(stmt);
 336   }
 337
 338   sqlite3_stmt_ptr prepare(const string& sql)
 339   {
 340     sqlite3_stmt_ptr stmt;
 341     callSqlite(sqlite3_prepare_v2(db, sql.c_str(), sql.length(), &stmt, NULL), sql);
 342     prepared.push_back(stmt);
 343     return stmt;
 344   }
 345
 346   void finalize(sqlite3_stmt_ptr s)
 347   {
 348     StmtVec::iterator it = std::find(prepared.begin(), prepared.end(), s);
 349     if (it == prepared.end()) {
 350       throw sg_exception("Finalising statement that was not prepared");
 351     }
 352
 353     prepared.erase(it);
 354     sqlite3_finalize(s);
 355   }
 356
 357   void reset(sqlite3_stmt_ptr stmt)
 358   {
 359     assert(stmt);
 360     if (sqlite3_reset(stmt) != SQLITE_OK) {
 361       string errMsg = sqlite3_errmsg(db);
 362       SG_LOG(SG_NAVCACHE, SG_ALERT, "Sqlite error resetting:" << errMsg);
 363       throw sg_exception("Sqlite error resetting:" + errMsg, sqlite3_sql(stmt));
 364     }
 365   }
 366
 367   bool execSelect(sqlite3_stmt_ptr stmt)
 368   {
 369     return stepSelect(stmt);
 370   }
 371
 372   bool stepSelect(sqlite3_stmt_ptr stmt)
 373   {
 374     int retries = 0;
 375     int result;
 376     while (retries < MAX_RETRIES) {
 377       result = sqlite3_step(stmt);
 378       if (result == SQLITE_ROW) {
 379         return true; // at least one result row
 380       }
 381
 382       if (result == SQLITE_DONE) {
 383         return false; // no result rows
 384       }
 385
 386       if (result != SQLITE_BUSY) {
 387         break;
 388       }
 389
 390       SG_LOG(SG_NAVCACHE, SG_ALERT, "NavCache contention on select, will retry:" << retries);
 391       SGTimeStamp::sleepForMSec(++retries * 10);
 392     } // of retry loop for DB locked
 393
 394     if (retries >= MAX_RETRIES) {
 395       SG_LOG(SG_NAVCACHE, SG_ALERT, "exceeded maximum number of SQLITE_BUSY retries");
 396       return false;
 397     }
 398
 399     string errMsg;
 400     if (result == SQLITE_MISUSE) {
 401       errMsg = "Sqlite API abuse";
 402       SG_LOG(SG_NAVCACHE, SG_ALERT, "Sqlite API abuse");
 403     } else {
 404       errMsg = sqlite3_errmsg(db);
 405       SG_LOG(SG_NAVCACHE, SG_ALERT, "Sqlite error:" << errMsg << " (" << result
 406              << ") while running:\n\t" << sqlite3_sql(stmt));
 407     }
 408
 409     throw sg_exception("Sqlite error:" + errMsg, sqlite3_sql(stmt));
 410   }
 411
 412   void execSelect1(sqlite3_stmt_ptr stmt)
 413   {
 414     if (!execSelect(stmt)) {
 415       SG_LOG(SG_NAVCACHE, SG_WARN, "empty SELECT running:\n\t" << sqlite3_sql(stmt));
 416       throw sg_exception("no results returned for select", sqlite3_sql(stmt));
 417     }
 418   }
 419
 420   sqlite3_int64 execInsert(sqlite3_stmt_ptr stmt)
 421   {
 422     execSelect(stmt);
 423     sqlite3_int64 rowid = sqlite3_last_insert_rowid(db);
 424     reset(stmt);
 425     return rowid;
 426   }
 427
 428   void execUpdate(sqlite3_stmt_ptr stmt)
 429   {
 430     execSelect(stmt);
 431     reset(stmt);
 432   }
 433
 434   void initTables()
 435   {
 436       string_list commands = simgear::strutils::split(SCHEMA_SQL, ";");
 437       BOOST_FOREACH(std::string sql, commands) {
 438           if (sql.empty()) {
 439               continue;
 440           }
 441
 442           runSQL(sql);
 443       } // of commands in scheme loop
 444   }
 445
 446   void prepareQueries()
 447   {
 448     writePropertyMulti = prepare("INSERT INTO properties (key, value) VALUES(?1,?2)");
 449
 450     beginTransactionStmt = prepare("BEGIN");
 451     commitTransactionStmt = prepare("COMMIT");
 452     rollbackTransactionStmt = prepare("ROLLBACK");
 453
 454
 455 #define POSITIONED_COLS "rowid, type, ident, name, airport, lon, lat, elev_m, octree_node"
 456 #define AND_TYPED "AND type>=?2 AND type <=?3"
 457     statCacheCheck = prepare("SELECT stamp FROM stat_cache WHERE path=?");
 458     stampFileCache = prepare("INSERT OR REPLACE INTO stat_cache "
 459                              "(path, stamp) VALUES (?,?)");
 460
 461     loadPositioned = prepare("SELECT " POSITIONED_COLS " FROM positioned WHERE rowid=?");
 462     loadAirportStmt = prepare("SELECT has_metar FROM airport WHERE rowid=?");
 463     loadNavaid = prepare("SELECT range_nm, freq, multiuse, runway, colocated FROM navaid WHERE rowid=?");
 464     loadCommStation = prepare("SELECT freq_khz, range_nm FROM comm WHERE rowid=?");
 465     loadRunwayStmt = prepare("SELECT heading, length_ft, width_m, surface, displaced_threshold,"
 466                              "stopway, reciprocal, ils FROM runway WHERE rowid=?1");
 467
 468     getAirportItems = prepare("SELECT rowid FROM positioned WHERE airport=?1 " AND_TYPED);
 469
 470
 471     setAirportMetar = prepare("UPDATE airport SET has_metar=?2 WHERE rowid="
 472                               "(SELECT rowid FROM positioned WHERE ident=?1 AND type>=?3 AND type <=?4)");
 473     sqlite3_bind_int(setAirportMetar, 3, FGPositioned::AIRPORT);
 474     sqlite3_bind_int(setAirportMetar, 4, FGPositioned::SEAPORT);
 475
 476     setRunwayReciprocal = prepare("UPDATE runway SET reciprocal=?2 WHERE rowid=?1");
 477     setRunwayILS = prepare("UPDATE runway SET ils=?2 WHERE rowid=?1");
 478     setNavaidColocated = prepare("UPDATE navaid SET colocated=?2 WHERE rowid=?1");
 479
 480     insertPositionedQuery = prepare("INSERT INTO positioned "
 481                                     "(type, ident, name, airport, lon, lat, elev_m, octree_node, "
 482                                     "cart_x, cart_y, cart_z)"
 483                                     " VALUES (?1, ?2, ?3, ?4, ?5, ?6, ?7, ?8, ?9, ?10, ?11)");
 484
 485     setAirportPos = prepare("UPDATE positioned SET lon=?2, lat=?3, elev_m=?4, octree_node=?5, "
 486                             "cart_x=?6, cart_y=?7, cart_z=?8 WHERE rowid=?1");
 487     insertAirport = prepare("INSERT INTO airport (rowid, has_metar) VALUES (?, ?)");
 488     insertNavaid = prepare("INSERT INTO navaid (rowid, freq, range_nm, multiuse, runway, colocated)"
 489                            " VALUES (?1, ?2, ?3, ?4, ?5, ?6)");
 490
 491     insertCommStation = prepare("INSERT INTO comm (rowid, freq_khz, range_nm)"
 492                                 " VALUES (?, ?, ?)");
 493     insertRunway = prepare("INSERT INTO runway "
 494                            "(rowid, heading, length_ft, width_m, surface, displaced_threshold, stopway, reciprocal)"
 495                            " VALUES (?1, ?2, ?3, ?4, ?5, ?6, ?7, ?8)");
 496     runwayLengthFtQuery = prepare("SELECT length_ft FROM runway WHERE rowid=?1");
 497
 498     removePOIQuery = prepare("DELETE FROM positioned WHERE type=?1 AND ident=?2");
 499
 500   // query statement
 501     findClosestWithIdent = prepare("SELECT rowid FROM positioned WHERE ident=?1 "
 502                                    AND_TYPED " ORDER BY distanceCartSqr(cart_x, cart_y, cart_z, ?4, ?5, ?6)");
 503
 504     findCommByFreq = prepare("SELECT positioned.rowid FROM positioned, comm WHERE "
 505                              "positioned.rowid=comm.rowid AND freq_khz=?1 "
 506                              AND_TYPED " ORDER BY distanceCartSqr(cart_x, cart_y, cart_z, ?4, ?5, ?6)");
 507
 508     findNavsByFreq = prepare("SELECT positioned.rowid FROM positioned, navaid WHERE "
 509                              "positioned.rowid=navaid.rowid "
 510                              "AND navaid.freq=?1 " AND_TYPED
 511                              " ORDER BY distanceCartSqr(cart_x, cart_y, cart_z, ?4, ?5, ?6)");
 512
 513     findNavsByFreqNoPos = prepare("SELECT positioned.rowid FROM positioned, navaid WHERE "
 514                                   "positioned.rowid=navaid.rowid AND freq=?1 " AND_TYPED);
 515
 516     findNavaidForRunway = prepare("SELECT positioned.rowid FROM positioned, navaid WHERE "
 517                                   "positioned.rowid=navaid.rowid AND runway=?1 AND type=?2");
 518
 519   // for an octree branch, return the child octree nodes which exist,
 520   // described as a bit-mask
 521     getOctreeChildren = prepare("SELECT children FROM octree WHERE rowid=?1");
 522
 523 #ifdef LAZY_OCTREE_UPDATES
 524     updateOctreeChildren = prepare("UPDATE octree SET children=?2 WHERE rowid=?1");
 525 #else
 526   // mask the new child value into the existing one
 527     updateOctreeChildren = prepare("UPDATE octree SET children=(?2 | children) WHERE rowid=?1");
 528 #endif
 529
 530   // define a new octree node (with no children)
 531     insertOctree = prepare("INSERT INTO octree (rowid, children) VALUES (?1, 0)");
 532
 533     getOctreeLeafChildren = prepare("SELECT rowid, type FROM positioned WHERE octree_node=?1");
 534
 535     searchAirports = prepare("SELECT ident, name FROM positioned WHERE (name LIKE ?1 OR ident LIKE ?1) " AND_TYPED);
 536     sqlite3_bind_int(searchAirports, 2, FGPositioned::AIRPORT);
 537     sqlite3_bind_int(searchAirports, 3, FGPositioned::SEAPORT);
 538
 539     getAllAirports = prepare("SELECT ident, name FROM positioned WHERE type>=?1 AND type <=?2");
 540     sqlite3_bind_int(getAllAirports, 1, FGPositioned::AIRPORT);
 541     sqlite3_bind_int(getAllAirports, 2, FGPositioned::SEAPORT);
 542
 543
 544     getAirportItemByIdent = prepare("SELECT rowid FROM positioned WHERE airport=?1 AND ident=?2 AND type=?3");
 545
 546     findAirportRunway = prepare("SELECT airport, rowid FROM positioned WHERE ident=?2 AND type=?3 AND airport="
 547                                 "(SELECT rowid FROM positioned WHERE type=?4 AND ident=?1)");
 548     sqlite3_bind_int(findAirportRunway, 3, FGPositioned::RUNWAY);
 549     sqlite3_bind_int(findAirportRunway, 4, FGPositioned::AIRPORT);
 550
 551     // three-way join to get the navaid ident and runway ident in a single select.
 552     // we're joining positioned to itself by the navaid runway, with the complication
 553     // that we need to join the navaids table to get the runway ID.
 554     // we also need to filter by type to excluse glideslope (GS) matches
 555     findILS = prepare("SELECT nav.rowid FROM positioned AS nav, positioned AS rwy, navaid WHERE "
 556                       "nav.ident=?1 AND nav.airport=?2 AND rwy.ident=?3 "
 557                       "AND rwy.rowid = navaid.runway AND navaid.rowid=nav.rowid "
 558                       "AND (nav.type=?4 OR nav.type=?5)");
 559
 560     sqlite3_bind_int(findILS, 4, FGPositioned::ILS);
 561     sqlite3_bind_int(findILS, 5, FGPositioned::LOC);
 562
 563   // airways
 564     findAirway = prepare("SELECT rowid FROM airway WHERE network=?1 AND ident=?2");
 565     insertAirway = prepare("INSERT INTO airway (ident, network) "
 566                            "VALUES (?1, ?2)");
 567
 568     insertAirwayEdge = prepare("INSERT INTO airway_edge (network, airway, a, b) "
 569                                "VALUES (?1, ?2, ?3, ?4)");
 570
 571     isPosInAirway = prepare("SELECT rowid FROM airway_edge WHERE network=?1 AND a=?2");
 572
 573     airwayEdgesFrom = prepare("SELECT airway, b FROM airway_edge WHERE network=?1 AND a=?2");
 574
 575   // parking / taxi-node graph
 576     insertTaxiNode = prepare("INSERT INTO taxi_node (rowid, hold_type, on_runway, pushback) VALUES(?1, ?2, ?3, 0)");
 577     insertParkingPos = prepare("INSERT INTO parking (rowid, heading, radius, gate_type, airlines) "
 578                                "VALUES (?1, ?2, ?3, ?4, ?5)");
 579     setParkingPushBack = prepare("UPDATE parking SET pushback=?2 WHERE rowid=?1");
 580
 581     loadTaxiNodeStmt = prepare("SELECT hold_type, on_runway FROM taxi_node WHERE rowid=?1");
 582     loadParkingPos = prepare("SELECT heading, radius, gate_type, airlines, pushback FROM parking WHERE rowid=?1");
 583     taxiEdgesFrom = prepare("SELECT b FROM groundnet_edge WHERE a=?1");
 584     pushbackEdgesFrom = prepare("SELECT b FROM groundnet_edge, taxi_node WHERE "
 585                                 "a=?1 AND groundnet_edge.b = taxi_node.rowid AND pushback=1");
 586
 587     insertTaxiEdge = prepare("INSERT INTO groundnet_edge (airport, a,b) VALUES(?1, ?2, ?3)");
 588
 589     markTaxiNodeAsPushback = prepare("UPDATE taxi_node SET pushback=1 WHERE rowid=?1");
 590     airportTaxiNodes = prepare("SELECT rowid FROM positioned WHERE (type=?2 OR type=?3) AND airport=?1");
 591     sqlite3_bind_int(airportTaxiNodes, 2, FGPositioned::PARKING);
 592     sqlite3_bind_int(airportTaxiNodes, 3, FGPositioned::TAXI_NODE);
 593
 594     airportPushbackNodes = prepare("SELECT positioned.rowid FROM positioned, taxi_node WHERE "\
 595                                    "airport=?1 AND positioned.rowid=taxi_node.rowid AND pushback=1 "
 596                                    "AND (type=?2 OR type=?3)");
 597     sqlite3_bind_int(airportPushbackNodes, 2, FGPositioned::PARKING);
 598     sqlite3_bind_int(airportPushbackNodes, 3, FGPositioned::TAXI_NODE);
 599
 600     findNearestTaxiNode = prepare("SELECT positioned.rowid FROM positioned, taxi_node WHERE "
 601                                   "positioned.rowid = taxi_node.rowid AND airport=?1 "
 602                                   "ORDER BY distanceCartSqr(cart_x, cart_y, cart_z, ?2, ?3, ?4) "
 603                                   "LIMIT 1");
 604
 605     findNearestRunwayTaxiNode = prepare("SELECT positioned.rowid FROM positioned, taxi_node WHERE "
 606                                         "positioned.rowid = taxi_node.rowid AND airport=?1 "
 607                                         "AND on_runway=1 "
 608                                         "ORDER BY distanceCartSqr(cart_x, cart_y, cart_z, ?2, ?3, ?4) ");
 609
 610     findAirportParking = prepare("SELECT positioned.rowid FROM positioned, parking WHERE "
 611                                  "airport=?1 AND type=?4 AND "
 612                                  "radius >= ?2 AND gate_type = ?3 AND "
 613                                  "parking.rowid=positioned.rowid");
 614     sqlite3_bind_int(findAirportParking, 4, FGPositioned::PARKING);
 615   }
 616
 617   void writeIntProperty(const string& key, int value)
 618   {
 619     sqlite_bind_stdstring(clearProperty, 1, key);
 620     execUpdate(clearProperty);
 621
 622     sqlite_bind_stdstring(writePropertyQuery, 1, key);
 623     sqlite3_bind_int(writePropertyQuery, 2, value);
 624     execUpdate(writePropertyQuery);
 625   }
 626
 627
 628   FGPositioned* loadById(sqlite_int64 rowId, sqlite3_int64& aptId);
 629
 630   FGAirport* loadAirport(sqlite_int64 rowId,
 631                          FGPositioned::Type ty,
 632                          const string& id, const string& name, const SGGeod& pos)
 633   {
 634     sqlite3_bind_int64(loadAirportStmt, 1, rowId);
 635     execSelect1(loadAirportStmt);
 636     bool hasMetar = (sqlite3_column_int(loadAirportStmt, 0) > 0);
 637     reset(loadAirportStmt);
 638
 639     return new FGAirport(rowId, id, pos, name, hasMetar, ty);
 640   }
 641
 642   FGRunwayBase* loadRunway(sqlite3_int64 rowId, FGPositioned::Type ty,
 643                            const string& id, const SGGeod& pos, PositionedID apt)
 644   {
 645     sqlite3_bind_int(loadRunwayStmt, 1, rowId);
 646     execSelect1(loadRunwayStmt);
 647
 648     double heading = sqlite3_column_double(loadRunwayStmt, 0);
 649     double lengthM = sqlite3_column_int(loadRunwayStmt, 1);
 650     double widthM = sqlite3_column_double(loadRunwayStmt, 2);
 651     int surface = sqlite3_column_int(loadRunwayStmt, 3);
 652
 653     if (ty == FGPositioned::TAXIWAY) {
 654       reset(loadRunwayStmt);
 655       return new FGTaxiway(rowId, id, pos, heading, lengthM, widthM, surface);
 656     } else if (ty == FGPositioned::HELIPAD) {
 657         reset(loadRunwayStmt);
 658         return new FGHelipad(rowId, apt, id, pos, heading, lengthM, widthM, surface);
 659     } else {
 660       double displacedThreshold = sqlite3_column_double(loadRunwayStmt, 4);
 661       double stopway = sqlite3_column_double(loadRunwayStmt, 5);
 662       PositionedID reciprocal = sqlite3_column_int64(loadRunwayStmt, 6);
 663       PositionedID ils = sqlite3_column_int64(loadRunwayStmt, 7);
 664       FGRunway* r = new FGRunway(rowId, apt, id, pos, heading, lengthM, widthM,
 665                           displacedThreshold, stopway, surface);
 666
 667       if (reciprocal > 0) {
 668         r->setReciprocalRunway(reciprocal);
 669       }
 670
 671       if (ils > 0) {
 672         r->setILS(ils);
 673       }
 674
 675       reset(loadRunwayStmt);
 676       return r;
 677     }
 678   }
 679
 680   CommStation* loadComm(sqlite3_int64 rowId, FGPositioned::Type ty,
 681                         const string& id, const string& name,
 682                         const SGGeod& pos,
 683                         PositionedID airport)
 684   {
 685     sqlite3_bind_int64(loadCommStation, 1, rowId);
 686     execSelect1(loadCommStation);
 687
 688     int range = sqlite3_column_int(loadCommStation, 0);
 689     int freqKhz = sqlite3_column_int(loadCommStation, 1);
 690     reset(loadCommStation);
 691
 692     CommStation* c = new CommStation(rowId, name, ty, pos, freqKhz, range);
 693     c->setAirport(airport);
 694     return c;
 695   }
 696
 697   FGPositioned* loadNav(sqlite3_int64 rowId,
 698                        FGPositioned::Type ty, const string& id,
 699                        const string& name, const SGGeod& pos)
 700   {
 701     sqlite3_bind_int64(loadNavaid, 1, rowId);
 702     execSelect1(loadNavaid);
 703
 704     PositionedID runway = sqlite3_column_int64(loadNavaid, 3);
 705     // marker beacons are light-weight
 706     if ((ty == FGPositioned::OM) || (ty == FGPositioned::IM) ||
 707         (ty == FGPositioned::MM))
 708     {
 709       reset(loadNavaid);
 710       return new FGMarkerBeaconRecord(rowId, ty, runway, pos);
 711     }
 712
 713     int rangeNm = sqlite3_column_int(loadNavaid, 0),
 714     freq = sqlite3_column_int(loadNavaid, 1);
 715     double mulituse = sqlite3_column_double(loadNavaid, 2);
 716     PositionedID colocated = sqlite3_column_int64(loadNavaid, 4);
 717     reset(loadNavaid);
 718
 719     FGNavRecord* n =
 720       (ty == FGPositioned::MOBILE_TACAN)
 721       ? new FGMobileNavRecord
 722             (rowId, ty, id, name, pos, freq, rangeNm, mulituse, runway)
 723       : new FGNavRecord
 724             (rowId, ty, id, name, pos, freq, rangeNm, mulituse, runway);
 725
 726     if (colocated)
 727       n->setColocatedDME(colocated);
 728
 729     return n;
 730   }
 731
 732   FGPositioned* loadParking(sqlite3_int64 rowId,
 733                             const string& name, const SGGeod& pos,
 734                             PositionedID airport)
 735   {
 736     sqlite3_bind_int64(loadParkingPos, 1, rowId);
 737     execSelect1(loadParkingPos);
 738
 739     double heading = sqlite3_column_double(loadParkingPos, 0);
 740     int radius = sqlite3_column_int(loadParkingPos, 1);
 741     string aircraftType((char*) sqlite3_column_text(loadParkingPos, 2));
 742     string airlines((char*) sqlite3_column_text(loadParkingPos, 3));
 743     PositionedID pushBack = sqlite3_column_int64(loadParkingPos, 4);
 744     reset(loadParkingPos);
 745
 746     return new FGParking(rowId, pos, heading, radius, name, aircraftType, airlines, pushBack);
 747   }
 748
 749   FGPositioned* loadTaxiNode(sqlite3_int64 rowId, const SGGeod& pos,
 750                              PositionedID airport)
 751   {
 752     sqlite3_bind_int64(loadTaxiNodeStmt, 1, rowId);
 753     execSelect1(loadTaxiNodeStmt);
 754
 755     int hold_type = sqlite3_column_int(loadTaxiNodeStmt, 0);
 756     bool onRunway = sqlite3_column_int(loadTaxiNodeStmt, 1);
 757     reset(loadTaxiNodeStmt);
 758
 759     return new FGTaxiNode(rowId, pos, onRunway, hold_type);
 760   }
 761
 762   PositionedID insertPositioned(FGPositioned::Type ty, const string& ident,
 763                                 const string& name, const SGGeod& pos, PositionedID apt,
 764                                 bool spatialIndex)
 765   {
 766     SGVec3d cartPos(SGVec3d::fromGeod(pos));
 767
 768     sqlite3_bind_int(insertPositionedQuery, 1, ty);
 769     sqlite_bind_stdstring(insertPositionedQuery, 2, ident);
 770     sqlite_bind_stdstring(insertPositionedQuery, 3, name);
 771     sqlite3_bind_int64(insertPositionedQuery, 4, apt);
 772     sqlite3_bind_double(insertPositionedQuery, 5, pos.getLongitudeDeg());
 773     sqlite3_bind_double(insertPositionedQuery, 6, pos.getLatitudeDeg());
 774     sqlite3_bind_double(insertPositionedQuery, 7, pos.getElevationM());
 775
 776     if (spatialIndex) {
 777       Octree::Leaf* octreeLeaf = Octree::global_spatialOctree->findLeafForPos(cartPos);
 778       assert(intersects(octreeLeaf->bbox(), cartPos));
 779       sqlite3_bind_int64(insertPositionedQuery, 8, octreeLeaf->guid());
 780     } else {
 781       sqlite3_bind_null(insertPositionedQuery, 8);
 782     }
 783
 784     sqlite3_bind_double(insertPositionedQuery, 9, cartPos.x());
 785     sqlite3_bind_double(insertPositionedQuery, 10, cartPos.y());
 786     sqlite3_bind_double(insertPositionedQuery, 11, cartPos.z());
 787
 788     PositionedID r = execInsert(insertPositionedQuery);
 789     return r;
 790   }
 791
 792   FGPositionedList findAllByString(const string& s, const string& column,
 793                                      FGPositioned::Filter* filter, bool exact)
 794   {
 795     string query = s;
 796     if (!exact) query += "%";
 797
 798   // build up SQL query text
 799     string matchTerm = exact ? "=?1" : " LIKE ?1";
 800     string sql = "SELECT rowid FROM positioned WHERE " + column + matchTerm;
 801     if (filter) {
 802       sql += " " AND_TYPED;
 803     }
 804
 805   // find or prepare a suitable statement frrm the SQL
 806     sqlite3_stmt_ptr stmt = findByStringDict[sql];
 807     if (!stmt) {
 808       stmt = prepare(sql);
 809       findByStringDict[sql] = stmt;
 810     }
 811
 812     sqlite_bind_stdstring(stmt, 1, query);
 813     if (filter) {
 814       sqlite3_bind_int(stmt, 2, filter->minType());
 815       sqlite3_bind_int(stmt, 3, filter->maxType());
 816     }
 817
 818     FGPositionedList result;
 819   // run the prepared SQL
 820     while (stepSelect(stmt))
 821     {
 822       FGPositioned* pos = outer->loadById(sqlite3_column_int64(stmt, 0));
 823       if (filter && !filter->pass(pos)) {
 824         continue;
 825       }
 826
 827       result.push_back(pos);
 828     }
 829
 830     reset(stmt);
 831     return result;
 832   }
 833
 834   PositionedIDVec selectIds(sqlite3_stmt_ptr query)
 835   {
 836     PositionedIDVec result;
 837     while (stepSelect(query)) {
 838       result.push_back(sqlite3_column_int64(query, 0));
 839     }
 840     reset(query);
 841     return result;
 842   }
 843
 844   double runwayLengthFt(PositionedID rwy)
 845   {
 846     sqlite3_bind_int64(runwayLengthFtQuery, 1, rwy);
 847     execSelect1(runwayLengthFtQuery);
 848     double length = sqlite3_column_double(runwayLengthFtQuery, 0);
 849     reset(runwayLengthFtQuery);
 850     return length;
 851   }
 852
 853   void flushDeferredOctreeUpdates()
 854   {
 855     BOOST_FOREACH(Octree::Branch* nd, deferredOctreeUpdates) {
 856       sqlite3_bind_int64(updateOctreeChildren, 1, nd->guid());
 857       sqlite3_bind_int(updateOctreeChildren, 2, nd->childMask());
 858       execUpdate(updateOctreeChildren);
 859     }
 860
 861     deferredOctreeUpdates.clear();
 862   }
 863
 864   void removePositionedWithIdent(FGPositioned::Type ty, const std::string& aIdent)
 865   {
 866     sqlite3_bind_int(removePOIQuery, 1, ty);
 867     sqlite_bind_stdstring(removePOIQuery, 2, aIdent);
 868     execUpdate(removePOIQuery);
 869     reset(removePOIQuery);
 870   }
 871
 872   NavDataCache* outer;
 873   sqlite3* db;
 874   SGPath path;
 875     bool readOnly;
 876
 877   /// the actual cache of ID -> instances. This holds an owning reference,
 878   /// so once items are in the cache they will never be deleted until
 879   /// the cache drops its reference
 880   PositionedCache cache;
 881   unsigned int cacheHits, cacheMisses;
 882
 883   /**
 884    * record the levels of open transaction objects we have
 885    */
 886   unsigned int transactionLevel;
 887   bool transactionAborted;
 888   sqlite3_stmt_ptr beginTransactionStmt, commitTransactionStmt, rollbackTransactionStmt;
 889
 890   SGPath aptDatPath, metarDatPath, navDatPath, fixDatPath, poiDatPath,
 891   carrierDatPath, airwayDatPath;
 892
 893   sqlite3_stmt_ptr readPropertyQuery, writePropertyQuery,
 894     stampFileCache, statCacheCheck,
 895     loadAirportStmt, loadCommStation, loadPositioned, loadNavaid,
 896     loadRunwayStmt;
 897   sqlite3_stmt_ptr writePropertyMulti, clearProperty;
 898
 899   sqlite3_stmt_ptr insertPositionedQuery, insertAirport, insertTower, insertRunway,
 900   insertCommStation, insertNavaid;
 901   sqlite3_stmt_ptr setAirportMetar, setRunwayReciprocal, setRunwayILS, setNavaidColocated,
 902     setAirportPos;
 903   sqlite3_stmt_ptr removePOIQuery;
 904
 905   sqlite3_stmt_ptr findClosestWithIdent;
 906 // octree (spatial index) related queries
 907   sqlite3_stmt_ptr getOctreeChildren, insertOctree, updateOctreeChildren,
 908     getOctreeLeafChildren;
 909
 910   sqlite3_stmt_ptr searchAirports, getAllAirports;
 911   sqlite3_stmt_ptr findCommByFreq, findNavsByFreq,
 912   findNavsByFreqNoPos, findNavaidForRunway;
 913   sqlite3_stmt_ptr getAirportItems, getAirportItemByIdent;
 914   sqlite3_stmt_ptr findAirportRunway,
 915     findILS;
 916
 917   sqlite3_stmt_ptr runwayLengthFtQuery;
 918
 919 // airways
 920   sqlite3_stmt_ptr findAirway, insertAirwayEdge, isPosInAirway, airwayEdgesFrom,
 921   insertAirway;
 922
 923 // groundnet (parking, taxi node graph)
 924   sqlite3_stmt_ptr loadTaxiNodeStmt, loadParkingPos, insertTaxiNode, insertParkingPos;
 925   sqlite3_stmt_ptr taxiEdgesFrom, pushbackEdgesFrom, insertTaxiEdge, markTaxiNodeAsPushback,
 926     airportTaxiNodes, airportPushbackNodes, findNearestTaxiNode, findAirportParking,
 927     setParkingPushBack, findNearestRunwayTaxiNode;
 928
 929 // since there's many permutations of ident/name queries, we create
 930 // them programtically, but cache the exact query by its raw SQL once
 931 // used.
 932   std::map<string, sqlite3_stmt_ptr> findByStringDict;
 933
 934   typedef std::vector<sqlite3_stmt_ptr> StmtVec;
 935   StmtVec prepared;
 936
 937   std::set<Octree::Branch*> deferredOctreeUpdates;
 938
 939   // if we're performing a rebuild, the thread that is doing the work.
 940   // otherwise, NULL
 941   std::auto_ptr<RebuildThread> rebuilder;
 942 };
 943
 944 //////////////////////////////////////////////////////////////////////
 945
 946 FGPositioned* NavDataCache::NavDataCachePrivate::loadById(sqlite3_int64 rowid,
 947                                                           sqlite3_int64& aptId)
 948 {
 949
 950   sqlite3_bind_int64(loadPositioned, 1, rowid);
 951   execSelect1(loadPositioned);
 952
 953   assert(rowid == sqlite3_column_int64(loadPositioned, 0));
 954   FGPositioned::Type ty = (FGPositioned::Type) sqlite3_column_int(loadPositioned, 1);
 955
 956   PositionedID prowid = static_cast<PositionedID>(rowid);
 957   string ident = (char*) sqlite3_column_text(loadPositioned, 2);
 958   string name = (char*) sqlite3_column_text(loadPositioned, 3);
 959   aptId = sqlite3_column_int64(loadPositioned, 4);
 960   double lon = sqlite3_column_double(loadPositioned, 5);
 961   double lat = sqlite3_column_double(loadPositioned, 6);
 962   double elev = sqlite3_column_double(loadPositioned, 7);
 963   SGGeod pos = SGGeod::fromDegM(lon, lat, elev);
 964
 965   reset(loadPositioned);
 966
 967   switch (ty) {
 968     case FGPositioned::AIRPORT:
 969     case FGPositioned::SEAPORT:
 970     case FGPositioned::HELIPORT:
 971       return loadAirport(rowid, ty, ident, name, pos);
 972
 973     case FGPositioned::TOWER:
 974       return new AirportTower(prowid, aptId, ident, pos);
 975
 976     case FGPositioned::RUNWAY:
 977     case FGPositioned::HELIPAD:
 978     case FGPositioned::TAXIWAY:
 979       return loadRunway(rowid, ty, ident, pos, aptId);
 980
 981     case FGPositioned::LOC:
 982     case FGPositioned::VOR:
 983     case FGPositioned::GS:
 984     case FGPositioned::ILS:
 985     case FGPositioned::NDB:
 986     case FGPositioned::OM:
 987     case FGPositioned::MM:
 988     case FGPositioned::IM:
 989     case FGPositioned::DME:
 990     case FGPositioned::TACAN:
 991     case FGPositioned::MOBILE_TACAN:
 992       return loadNav(rowid, ty, ident, name, pos);
 993
 994     case FGPositioned::FIX:
 995       return new FGFix(rowid, ident, pos);
 996
 997     case FGPositioned::WAYPOINT:
 998     case FGPositioned::COUNTRY:
 999     case FGPositioned::CITY:
1000     case FGPositioned::TOWN:
1001     case FGPositioned::VILLAGE:
1002     {
1003         FGPositioned* wpt = new FGPositioned(rowid, ty, ident, pos);
1004       return wpt;
1005     }
1006
1007     case FGPositioned::FREQ_GROUND:
1008     case FGPositioned::FREQ_TOWER:
1009     case FGPositioned::FREQ_ATIS:
1010     case FGPositioned::FREQ_AWOS:
1011     case FGPositioned::FREQ_APP_DEP:
1012     case FGPositioned::FREQ_ENROUTE:
1013     case FGPositioned::FREQ_CLEARANCE:
1014     case FGPositioned::FREQ_UNICOM:
1015       return loadComm(rowid, ty, ident, name, pos, aptId);
1016
1017     case FGPositioned::TAXI_NODE:
1018       return loadTaxiNode(rowid, pos, aptId);
1019
1020     case FGPositioned::PARKING:
1021       return loadParking(rowid, ident, pos, aptId);
1022
1023     default:
1024       return NULL;
1025   }
1026 }
1027
1028 bool NavDataCache::NavDataCachePrivate::isCachedFileModified(const SGPath& path, bool verbose)
1029 {
1030   if (!path.exists()) {
1031     throw sg_io_exception("isCachedFileModified: Missing file:" + path.str());
1032   }
1033
1034   sqlite_bind_temp_stdstring(statCacheCheck, 1, path.str());
1035   bool isModified = true;
1036   sgDebugPriority logLevel = verbose ? SG_WARN : SG_DEBUG;
1037   if (execSelect(statCacheCheck)) {
1038     time_t modtime = sqlite3_column_int64(statCacheCheck, 0);
1039     time_t delta = std::labs(modtime - path.modTime());
1040     if (delta != 0)
1041     {
1042       SG_LOG(SG_NAVCACHE, logLevel, "NavCache: rebuild required for " << path <<
1043              ". Timestamps: " << modtime << " != " << path.modTime());
1044     }
1045     else
1046     {
1047       SG_LOG(SG_NAVCACHE, SG_DEBUG, "NavCache: no rebuild required for " << path);
1048     }
1049
1050     isModified = (delta != 0);
1051   } else {
1052     SG_LOG(SG_NAVCACHE, logLevel, "NavCache: initial build required for " << path);
1053   }
1054
1055   reset(statCacheCheck);
1056   return isModified;
1057 }
1058
1059 static NavDataCache* static_instance = NULL;
1060
1061 NavDataCache::NavDataCache()
1062 {
1063   const int MAX_TRIES = 3;
1064   SGPath homePath(globals->get_fg_home());
1065
1066   std::ostringstream os;
1067   string_list versionParts = simgear::strutils::split(VERSION, ".");
1068   if (versionParts.size() < 2) {
1069     os << "navdata.cache";
1070   } else {
1071     os << "navdata_" << versionParts[0] << "_" << versionParts[1] << ".cache";
1072   }
1073
1074   homePath.append(os.str());
1075
1076   for (int t=0; t < MAX_TRIES; ++t) {
1077     try {
1078       d.reset(new NavDataCachePrivate(homePath, this));
1079       d->init();
1080       //d->checkCacheFile();
1081     // reached this point with no exception, success
1082       break;
1083     } catch (sg_exception& e) {
1084       SG_LOG(SG_NAVCACHE, t == 0 ? SG_WARN : SG_ALERT, "NavCache: init failed:" << e.what()
1085              << " (attempt " << t << ")");
1086       d.reset();
1087
1088         // only wipe the existing if not readonly
1089         if (!fgGetBool("/sim/fghome-readonly", false)) {
1090             homePath.remove();
1091         }
1092     }
1093   } // of retry loop
1094
1095   double RADIUS_EARTH_M = 7000 * 1000.0; // 7000km is plenty
1096   SGVec3d earthExtent(RADIUS_EARTH_M, RADIUS_EARTH_M, RADIUS_EARTH_M);
1097   Octree::global_spatialOctree =
1098     new Octree::Branch(SGBox<double>(-earthExtent, earthExtent), 1);
1099
1100   d->aptDatPath = SGPath(globals->get_fg_root());
1101   d->aptDatPath.append("Airports/apt.dat.gz");
1102
1103   d->metarDatPath = SGPath(globals->get_fg_root());
1104   d->metarDatPath.append("Airports/metar.dat.gz");
1105
1106   d->navDatPath = SGPath(globals->get_fg_root());
1107   d->navDatPath.append("Navaids/nav.dat.gz");
1108
1109   d->fixDatPath = SGPath(globals->get_fg_root());
1110   d->fixDatPath.append("Navaids/fix.dat.gz");
1111
1112   d->poiDatPath = SGPath(globals->get_fg_root());
1113   d->poiDatPath.append("Navaids/poi.dat.gz");
1114
1115   d->carrierDatPath = SGPath(globals->get_fg_root());
1116   d->carrierDatPath.append("Navaids/carrier_nav.dat.gz");
1117
1118   d->airwayDatPath = SGPath(globals->get_fg_root());
1119   d->airwayDatPath.append("Navaids/awy.dat.gz");
1120 }
1121
1122 NavDataCache::~NavDataCache()
1123 {
1124   assert(static_instance == this);
1125   static_instance = NULL;
1126   d.reset();
1127 }
1128
1129 NavDataCache* NavDataCache::instance()
1130 {
1131   if (!static_instance) {
1132     static_instance = new NavDataCache;
1133   }
1134
1135   return static_instance;
1136 }
1137
1138 bool NavDataCache::isRebuildRequired()
1139 {
1140     if (d->readOnly) {
1141         return false;
1142     }
1143
1144     if (flightgear::Options::sharedInstance()->isOptionSet("restore-defaults")) {
1145         SG_LOG(SG_NAVCACHE, SG_INFO, "NavCache: restore-defaults requested, will rebuild cache");
1146         return true;
1147     }
1148
1149   if (d->isCachedFileModified(d->aptDatPath, true) ||
1150       d->isCachedFileModified(d->metarDatPath, true) ||
1151       d->isCachedFileModified(d->navDatPath, true) ||
1152       d->isCachedFileModified(d->fixDatPath, true) ||
1153       d->isCachedFileModified(d->carrierDatPath, true) ||
1154 // since POI loading is disabled on Windows, don't check for it
1155 // this caused: https://code.google.com/p/flightgear-bugs/issues/detail?id=1227
1156 #ifndef SG_WINDOWS
1157       d->isCachedFileModified(d->poiDatPath, true) ||
1158 #endif
1159       d->isCachedFileModified(d->airwayDatPath, true))
1160   {
1161     SG_LOG(SG_NAVCACHE, SG_INFO, "NavCache: main cache rebuild required");
1162     return true;
1163   }
1164
1165   dropGroundnetsIfRequired();
1166
1167   SG_LOG(SG_NAVCACHE, SG_INFO, "NavCache: no main cache rebuild required");
1168   return false;
1169 }
1170
1171 bool NavDataCache::dropGroundnetsIfRequired()
1172 {
1173     string sceneryPaths = simgear::strutils::join(globals->get_fg_scenery(), ";");
1174     if (readStringProperty("scenery_paths") != sceneryPaths) {
1175         SG_LOG(SG_NAVCACHE, SG_INFO, "NavCache: scenery paths changed, dropping ground nets");
1176         dropAllGroundnets();
1177         writeStringProperty("scenery_paths", sceneryPaths);
1178         return true;
1179     }
1180
1181     return false;
1182 }
1183
1184 bool NavDataCache::rebuild()
1185 {
1186   if (!d->rebuilder.get()) {
1187     d->rebuilder.reset(new RebuildThread(this));
1188     d->rebuilder->start();
1189   }
1190
1191 // poll the rebuild thread
1192   bool fin = d->rebuilder->isFinished();
1193   if (fin) {
1194     d->rebuilder.reset(); // all done!
1195   }
1196   return fin;
1197 }
1198
1199 void NavDataCache::doRebuild()
1200 {
1201   try {
1202     d->close(); // completely close the sqlite object
1203     d->path.remove(); // remove the file on disk
1204     d->init(); // start again from scratch
1205
1206     // initialise the root octree node
1207     d->runSQL("INSERT INTO octree (rowid, children) VALUES (1, 0)");
1208
1209     SGTimeStamp st;
1210     {
1211         Transaction txn(this);
1212
1213         st.stamp();
1214         airportDBLoad(d->aptDatPath);
1215         SG_LOG(SG_NAVCACHE, SG_INFO, "apt.dat load took:" << st.elapsedMSec());
1216
1217         metarDataLoad(d->metarDatPath);
1218         stampCacheFile(d->aptDatPath);
1219         stampCacheFile(d->metarDatPath);
1220
1221         st.stamp();
1222         loadFixes(d->fixDatPath);
1223         stampCacheFile(d->fixDatPath);
1224         SG_LOG(SG_NAVCACHE, SG_INFO, "fix.dat load took:" << st.elapsedMSec());
1225
1226         st.stamp();
1227         navDBInit(d->navDatPath);
1228         stampCacheFile(d->navDatPath);
1229         SG_LOG(SG_NAVCACHE, SG_INFO, "nav.dat load took:" << st.elapsedMSec());
1230
1231         st.stamp();
1232         txn.commit();
1233         SG_LOG(SG_NAVCACHE, SG_INFO, "stage 1 commit took:" << st.elapsedMSec());
1234     }
1235
1236 #ifdef SG_WINDOWS
1237       SG_LOG(SG_NAVCACHE, SG_ALERT, "SKIPPING POI load on Windows");
1238 #else
1239       {
1240           Transaction txn(this);
1241
1242           st.stamp();
1243           poiDBInit(d->poiDatPath);
1244           stampCacheFile(d->poiDatPath);
1245           SG_LOG(SG_NAVCACHE, SG_INFO, "poi.dat load took:" << st.elapsedMSec());
1246
1247           st.stamp();
1248           txn.commit();
1249           SG_LOG(SG_NAVCACHE, SG_INFO, "POI commit took:" << st.elapsedMSec());
1250       }
1251 #endif
1252
1253       {
1254           Transaction txn(this);
1255           loadCarrierNav(d->carrierDatPath);
1256           stampCacheFile(d->carrierDatPath);
1257
1258           st.stamp();
1259           Airway::load(d->airwayDatPath);
1260           stampCacheFile(d->airwayDatPath);
1261           SG_LOG(SG_NAVCACHE, SG_INFO, "awy.dat load took:" << st.elapsedMSec());
1262
1263           d->flushDeferredOctreeUpdates();
1264
1265           string sceneryPaths = simgear::strutils::join(globals->get_fg_scenery(), ";");
1266           writeStringProperty("scenery_paths", sceneryPaths);
1267
1268           st.stamp();
1269           txn.commit();
1270           SG_LOG(SG_NAVCACHE, SG_INFO, "final commit took:" << st.elapsedMSec());
1271
1272       }
1273
1274   } catch (sg_exception& e) {
1275     SG_LOG(SG_NAVCACHE, SG_ALERT, "caught exception rebuilding navCache:" << e.what());
1276   }
1277 }
1278
1279 int NavDataCache::readIntProperty(const string& key)
1280 {
1281   sqlite_bind_stdstring(d->readPropertyQuery, 1, key);
1282   int result = 0;
1283
1284   if (d->execSelect(d->readPropertyQuery)) {
1285     result = sqlite3_column_int(d->readPropertyQuery, 0);
1286   } else {
1287     SG_LOG(SG_NAVCACHE, SG_WARN, "readIntProperty: unknown:" << key);
1288   }
1289
1290   d->reset(d->readPropertyQuery);
1291   return result;
1292 }
1293
1294 double NavDataCache::readDoubleProperty(const string& key)
1295 {
1296   sqlite_bind_stdstring(d->readPropertyQuery, 1, key);
1297   double result = 0.0;
1298   if (d->execSelect(d->readPropertyQuery)) {
1299     result = sqlite3_column_double(d->readPropertyQuery, 0);
1300   } else {
1301     SG_LOG(SG_NAVCACHE, SG_WARN, "readDoubleProperty: unknown:" << key);
1302   }
1303
1304   d->reset(d->readPropertyQuery);
1305   return result;
1306 }
1307
1308 string NavDataCache::readStringProperty(const string& key)
1309 {
1310   sqlite_bind_stdstring(d->readPropertyQuery, 1, key);
1311   string result;
1312   if (d->execSelect(d->readPropertyQuery)) {
1313     result = (char*) sqlite3_column_text(d->readPropertyQuery, 0);
1314   } else {
1315     SG_LOG(SG_NAVCACHE, SG_WARN, "readStringProperty: unknown:" << key);
1316   }
1317
1318   d->reset(d->readPropertyQuery);
1319   return result;
1320 }
1321
1322 void NavDataCache::writeIntProperty(const string& key, int value)
1323 {
1324   d->writeIntProperty(key, value);
1325 }
1326
1327 void NavDataCache::writeStringProperty(const string& key, const string& value)
1328 {
1329   sqlite_bind_stdstring(d->clearProperty, 1, key);
1330   d->execUpdate(d->clearProperty);
1331
1332   sqlite_bind_stdstring(d->writePropertyQuery, 1, key);
1333   sqlite_bind_stdstring(d->writePropertyQuery, 2, value);
1334   d->execUpdate(d->writePropertyQuery);
1335 }
1336
1337 void NavDataCache::writeDoubleProperty(const string& key, const double& value)
1338 {
1339   sqlite_bind_stdstring(d->clearProperty, 1, key);
1340   d->execUpdate(d->clearProperty);
1341
1342   sqlite_bind_stdstring(d->writePropertyQuery, 1, key);
1343   sqlite3_bind_double(d->writePropertyQuery, 2, value);
1344   d->execUpdate(d->writePropertyQuery);
1345 }
1346
1347 string_list NavDataCache::readStringListProperty(const string& key)
1348 {
1349   sqlite_bind_stdstring(d->readPropertyQuery, 1, key);
1350   string_list result;
1351   while (d->stepSelect(d->readPropertyQuery)) {
1352     result.push_back((char*) sqlite3_column_text(d->readPropertyQuery, 0));
1353   }
1354   d->reset(d->readPropertyQuery);
1355
1356   return result;
1357 }
1358
1359 void NavDataCache::writeStringListProperty(const string& key, const string_list& values)
1360 {
1361   sqlite_bind_stdstring(d->clearProperty, 1, key);
1362   d->execUpdate(d->clearProperty);
1363
1364   BOOST_FOREACH(string value, values) {
1365     sqlite_bind_stdstring(d->writePropertyMulti, 1, key);
1366     sqlite_bind_stdstring(d->writePropertyMulti, 2, value);
1367     d->execInsert(d->writePropertyMulti);
1368   }
1369 }
1370
1371 bool NavDataCache::isCachedFileModified(const SGPath& path) const
1372 {
1373   return d->isCachedFileModified(path, false);
1374 }
1375
1376 void NavDataCache::stampCacheFile(const SGPath& path)
1377 {
1378   sqlite_bind_temp_stdstring(d->stampFileCache, 1, path.str());
1379   sqlite3_bind_int64(d->stampFileCache, 2, path.modTime());
1380   d->execInsert(d->stampFileCache);
1381 }
1382
1383 void NavDataCache::beginTransaction()
1384 {
1385   if (d->transactionLevel == 0) {
1386     d->transactionAborted = false;
1387     d->stepSelect(d->beginTransactionStmt);
1388     sqlite3_reset(d->beginTransactionStmt);
1389   }
1390
1391   ++d->transactionLevel;
1392 }
1393
1394 void NavDataCache::commitTransaction()
1395 {
1396   assert(d->transactionLevel > 0);
1397   if (--d->transactionLevel == 0) {
1398     // if a nested transaction aborted, we might end up here, but must
1399     // still abort the entire transaction. That's bad, but safer than
1400     // committing.
1401     sqlite3_stmt_ptr q = d->transactionAborted ? d->rollbackTransactionStmt : d->commitTransactionStmt;
1402
1403     int retries = 0;
1404     int result;
1405     while (retries < MAX_RETRIES) {
1406       result = sqlite3_step(q);
1407       if (result == SQLITE_DONE) {
1408         break;
1409       }
1410
1411       // see http://www.sqlite.org/c3ref/get_autocommit.html for a hint
1412       // what's going on here: autocommit in inactive inside BEGIN, so if
1413       // it's active, the DB was rolled-back
1414       if (sqlite3_get_autocommit(d->db)) {
1415         SG_LOG(SG_NAVCACHE, SG_ALERT, "commit: was rolled back!" << retries);
1416         d->transactionAborted = true;
1417         break;
1418       }
1419
1420       if (result != SQLITE_BUSY) {
1421         break;
1422       }
1423
1424       SGTimeStamp::sleepForMSec(++retries * 10);
1425       SG_LOG(SG_NAVCACHE, SG_ALERT, "NavCache contention on commit, will retry:" << retries);
1426     } // of retry loop for DB busy
1427
1428     string errMsg;
1429     if (result != SQLITE_DONE) {
1430       errMsg = sqlite3_errmsg(d->db);
1431       SG_LOG(SG_NAVCACHE, SG_ALERT, "Sqlite error:" << errMsg << " for  " << result
1432              << " while running:\n\t" << sqlite3_sql(q));
1433     }
1434
1435     sqlite3_reset(q);
1436   }
1437 }
1438
1439 void NavDataCache::abortTransaction()
1440 {
1441   SG_LOG(SG_NAVCACHE, SG_WARN, "NavCache: aborting transaction");
1442
1443   assert(d->transactionLevel > 0);
1444   if (--d->transactionLevel == 0) {
1445     d->stepSelect(d->rollbackTransactionStmt);
1446     sqlite3_reset(d->rollbackTransactionStmt);
1447   }
1448
1449   d->transactionAborted = true;
1450 }
1451
1452 FGPositionedRef NavDataCache::loadById(PositionedID rowid)
1453 {
1454   if (rowid == 0) {
1455     return NULL;
1456   }
1457
1458   PositionedCache::iterator it = d->cache.find(rowid);
1459   if (it != d->cache.end()) {
1460     d->cacheHits++;
1461     return it->second; // cache it
1462   }
1463
1464   sqlite3_int64 aptId;
1465   FGPositioned* pos = d->loadById(rowid, aptId);
1466   d->cache.insert(it, PositionedCache::value_type(rowid, pos));
1467   d->cacheMisses++;
1468
1469   // when we loaded an ILS, we must apply per-airport changes
1470   if ((pos->type() == FGPositioned::ILS) && (aptId > 0)) {
1471     FGAirport* apt = FGPositioned::loadById<FGAirport>(aptId);
1472     apt->validateILSData();
1473   }
1474
1475   return pos;
1476 }
1477
1478 PositionedID NavDataCache::insertAirport(FGPositioned::Type ty, const string& ident,
1479                                          const string& name)
1480 {
1481   // airports have their pos computed based on the avergae runway centres
1482   // so the pos isn't available immediately. Pass a dummy pos and avoid
1483   // doing spatial indexing until later
1484   sqlite3_int64 rowId = d->insertPositioned(ty, ident, name, SGGeod(),
1485                                             0 /* airport */,
1486                                             false /* spatial index */);
1487
1488   sqlite3_bind_int64(d->insertAirport, 1, rowId);
1489   d->execInsert(d->insertAirport);
1490
1491   return rowId;
1492 }
1493
1494 void NavDataCache::updatePosition(PositionedID item, const SGGeod &pos)
1495 {
1496   if (d->cache.find(item) != d->cache.end()) {
1497     SG_LOG(SG_NAVCACHE, SG_DEBUG, "updating position of an item in the cache");
1498     d->cache[item]->modifyPosition(pos);
1499   }
1500
1501   SGVec3d cartPos(SGVec3d::fromGeod(pos));
1502
1503   sqlite3_bind_int(d->setAirportPos, 1, item);
1504   sqlite3_bind_double(d->setAirportPos, 2, pos.getLongitudeDeg());
1505   sqlite3_bind_double(d->setAirportPos, 3, pos.getLatitudeDeg());
1506   sqlite3_bind_double(d->setAirportPos, 4, pos.getElevationM());
1507
1508 // bug 905; the octree leaf may change here, but the leaf may already be
1509 // loaded, and caching its children. (Either the old or new leaf!). Worse,
1510 // we may be called here as a result of loading one of those leaf's children.
1511 // instead of dealing with all those possibilites, such as modifying
1512 // the in-memory leaf's STL child container, we simply leave the runtime
1513 // structures alone. This is fine providing items do no move very far, since
1514 // all the spatial searches ultimately use the items' real cartesian position,
1515 // which was updated above.
1516   Octree::Leaf* octreeLeaf = Octree::global_spatialOctree->findLeafForPos(cartPos);
1517   sqlite3_bind_int64(d->setAirportPos, 5, octreeLeaf->guid());
1518
1519   sqlite3_bind_double(d->setAirportPos, 6, cartPos.x());
1520   sqlite3_bind_double(d->setAirportPos, 7, cartPos.y());
1521   sqlite3_bind_double(d->setAirportPos, 8, cartPos.z());
1522
1523
1524   d->execUpdate(d->setAirportPos);
1525 }
1526
1527 void NavDataCache::insertTower(PositionedID airportId, const SGGeod& pos)
1528 {
1529   d->insertPositioned(FGPositioned::TOWER, string(), string(),
1530                       pos, airportId, true /* spatial index */);
1531 }
1532
1533 PositionedID
1534 NavDataCache::insertRunway(FGPositioned::Type ty, const string& ident,
1535                            const SGGeod& pos, PositionedID apt,
1536                            double heading, double length, double width, double displacedThreshold,
1537                            double stopway, int surfaceCode)
1538 {
1539   // only runways are spatially indexed; don't bother indexing taxiways
1540   // or pavements
1541   bool spatialIndex = ( ty == FGPositioned::RUNWAY || ty == FGPositioned::HELIPAD);
1542
1543   sqlite3_int64 rowId = d->insertPositioned(ty, cleanRunwayNo(ident), "", pos, apt,
1544                                             spatialIndex);
1545   sqlite3_bind_int64(d->insertRunway, 1, rowId);
1546   sqlite3_bind_double(d->insertRunway, 2, heading);
1547   sqlite3_bind_double(d->insertRunway, 3, length);
1548   sqlite3_bind_double(d->insertRunway, 4, width);
1549   sqlite3_bind_int(d->insertRunway, 5, surfaceCode);
1550   sqlite3_bind_double(d->insertRunway, 6, displacedThreshold);
1551   sqlite3_bind_double(d->insertRunway, 7, stopway);
1552
1553   return d->execInsert(d->insertRunway);
1554 }
1555
1556 void NavDataCache::setRunwayReciprocal(PositionedID runway, PositionedID recip)
1557 {
1558   sqlite3_bind_int64(d->setRunwayReciprocal, 1, runway);
1559   sqlite3_bind_int64(d->setRunwayReciprocal, 2, recip);
1560   d->execUpdate(d->setRunwayReciprocal);
1561
1562 // and the opposite direction too!
1563   sqlite3_bind_int64(d->setRunwayReciprocal, 2, runway);
1564   sqlite3_bind_int64(d->setRunwayReciprocal, 1, recip);
1565   d->execUpdate(d->setRunwayReciprocal);
1566 }
1567
1568 void NavDataCache::setRunwayILS(PositionedID runway, PositionedID ils)
1569 {
1570   sqlite3_bind_int64(d->setRunwayILS, 1, runway);
1571   sqlite3_bind_int64(d->setRunwayILS, 2, ils);
1572   d->execUpdate(d->setRunwayILS);
1573
1574   // and the in-memory one
1575   if (d->cache.find(runway) != d->cache.end()) {
1576     FGRunway* instance = (FGRunway*) d->cache[runway].ptr();
1577     instance->setILS(ils);
1578   }
1579 }
1580
1581 PositionedID
1582 NavDataCache::insertNavaid(FGPositioned::Type ty, const string& ident,
1583                           const string& name, const SGGeod& pos,
1584                            int freq, int range, double multiuse,
1585                            PositionedID apt, PositionedID runway)
1586 {
1587   bool spatialIndex = true;
1588   if (ty == FGPositioned::MOBILE_TACAN) {
1589     spatialIndex = false;
1590   }
1591
1592   sqlite3_int64 rowId = d->insertPositioned(ty, ident, name, pos, apt,
1593                                             spatialIndex);
1594   sqlite3_bind_int64(d->insertNavaid, 1, rowId);
1595   sqlite3_bind_int(d->insertNavaid, 2, freq);
1596   sqlite3_bind_int(d->insertNavaid, 3, range);
1597   sqlite3_bind_double(d->insertNavaid, 4, multiuse);
1598   sqlite3_bind_int64(d->insertNavaid, 5, runway);
1599   sqlite3_bind_int64(d->insertNavaid, 6, 0);
1600   return d->execInsert(d->insertNavaid);
1601 }
1602
1603 void NavDataCache::setNavaidColocated(PositionedID navaid, PositionedID colocatedDME)
1604 {
1605   // Update DB entries...
1606   sqlite3_bind_int64(d->setNavaidColocated, 1, navaid);
1607   sqlite3_bind_int64(d->setNavaidColocated, 2, colocatedDME);
1608   d->execUpdate(d->setNavaidColocated);
1609
1610   // ...and the in-memory copy of the navrecord
1611   if (d->cache.find(navaid) != d->cache.end()) {
1612     FGNavRecord* rec = (FGNavRecord*) d->cache[navaid].get();
1613     rec->setColocatedDME(colocatedDME);
1614   }
1615 }
1616
1617 PositionedID NavDataCache::insertCommStation(FGPositioned::Type ty,
1618                                              const string& name, const SGGeod& pos, int freq, int range,
1619                                              PositionedID apt)
1620 {
1621   sqlite3_int64 rowId = d->insertPositioned(ty, "", name, pos, apt, true);
1622   sqlite3_bind_int64(d->insertCommStation, 1, rowId);
1623   sqlite3_bind_int(d->insertCommStation, 2, freq);
1624   sqlite3_bind_int(d->insertCommStation, 3, range);
1625   return d->execInsert(d->insertCommStation);
1626 }
1627
1628 PositionedID NavDataCache::insertFix(const std::string& ident, const SGGeod& aPos)
1629 {
1630   return d->insertPositioned(FGPositioned::FIX, ident, string(), aPos, 0, true);
1631 }
1632
1633 PositionedID NavDataCache::createPOI(FGPositioned::Type ty, const std::string& ident, const SGGeod& aPos)
1634 {
1635   return d->insertPositioned(ty, ident, string(), aPos, 0,
1636                              true /* spatial index */);
1637 }
1638
1639 bool NavDataCache::removePOI(FGPositioned::Type ty, const std::string& aIdent)
1640 {
1641   d->removePositionedWithIdent(ty, aIdent);
1642   // should remove from the live cache too?
1643
1644     return true;
1645 }
1646
1647 void NavDataCache::setAirportMetar(const string& icao, bool hasMetar)
1648 {
1649   sqlite_bind_stdstring(d->setAirportMetar, 1, icao);
1650   sqlite3_bind_int(d->setAirportMetar, 2, hasMetar);
1651   d->execUpdate(d->setAirportMetar);
1652 }
1653
1654 //------------------------------------------------------------------------------
1655 FGPositionedList NavDataCache::findAllWithIdent( const string& s,
1656                                                  FGPositioned::Filter* filter,
1657                                                  bool exact )
1658 {
1659   return d->findAllByString(s, "ident", filter, exact);
1660 }
1661
1662 //------------------------------------------------------------------------------
1663 FGPositionedList NavDataCache::findAllWithName( const string& s,
1664                                                 FGPositioned::Filter* filter,
1665                                                 bool exact )
1666 {
1667   return d->findAllByString(s, "name", filter, exact);
1668 }
1669
1670 //------------------------------------------------------------------------------
1671 FGPositionedRef NavDataCache::findClosestWithIdent( const string& aIdent,
1672                                                     const SGGeod& aPos,
1673                                                     FGPositioned::Filter* aFilter )
1674 {
1675   sqlite_bind_stdstring(d->findClosestWithIdent, 1, aIdent);
1676   if (aFilter) {
1677     sqlite3_bind_int(d->findClosestWithIdent, 2, aFilter->minType());
1678     sqlite3_bind_int(d->findClosestWithIdent, 3, aFilter->maxType());
1679   } else { // full type range
1680     sqlite3_bind_int(d->findClosestWithIdent, 2, FGPositioned::INVALID);
1681     sqlite3_bind_int(d->findClosestWithIdent, 3, FGPositioned::LAST_TYPE);
1682   }
1683
1684   SGVec3d cartPos(SGVec3d::fromGeod(aPos));
1685   sqlite3_bind_double(d->findClosestWithIdent, 4, cartPos.x());
1686   sqlite3_bind_double(d->findClosestWithIdent, 5, cartPos.y());
1687   sqlite3_bind_double(d->findClosestWithIdent, 6, cartPos.z());
1688
1689   FGPositionedRef result;
1690
1691   while (d->stepSelect(d->findClosestWithIdent)) {
1692     FGPositioned* pos = loadById(sqlite3_column_int64(d->findClosestWithIdent, 0));
1693     if (aFilter && !aFilter->pass(pos)) {
1694       continue;
1695     }
1696
1697     result = pos;
1698     break;
1699   }
1700
1701   d->reset(d->findClosestWithIdent);
1702   return result;
1703 }
1704
1705
1706 int NavDataCache::getOctreeBranchChildren(int64_t octreeNodeId)
1707 {
1708   sqlite3_bind_int64(d->getOctreeChildren, 1, octreeNodeId);
1709   d->execSelect1(d->getOctreeChildren);
1710   int children = sqlite3_column_int(d->getOctreeChildren, 0);
1711   d->reset(d->getOctreeChildren);
1712   return children;
1713 }
1714
1715 void NavDataCache::defineOctreeNode(Octree::Branch* pr, Octree::Node* nd)
1716 {
1717   sqlite3_bind_int64(d->insertOctree, 1, nd->guid());
1718   d->execInsert(d->insertOctree);
1719
1720 #ifdef LAZY_OCTREE_UPDATES
1721   d->deferredOctreeUpdates.insert(pr);
1722 #else
1723   // lowest three bits of node ID are 0..7 index of the child in the parent
1724   int childIndex = nd->guid() & 0x07;
1725
1726   sqlite3_bind_int64(d->updateOctreeChildren, 1, pr->guid());
1727 // mask has bit N set where child N exists
1728   int childMask = 1 << childIndex;
1729   sqlite3_bind_int(d->updateOctreeChildren, 2, childMask);
1730   d->execUpdate(d->updateOctreeChildren);
1731 #endif
1732 }
1733
1734 TypedPositionedVec
1735 NavDataCache::getOctreeLeafChildren(int64_t octreeNodeId)
1736 {
1737   sqlite3_bind_int64(d->getOctreeLeafChildren, 1, octreeNodeId);
1738
1739   TypedPositionedVec r;
1740   while (d->stepSelect(d->getOctreeLeafChildren)) {
1741     FGPositioned::Type ty = static_cast<FGPositioned::Type>
1742       (sqlite3_column_int(d->getOctreeLeafChildren, 1));
1743     r.push_back(std::make_pair(ty,
1744                 sqlite3_column_int64(d->getOctreeLeafChildren, 0)));
1745   }
1746
1747   d->reset(d->getOctreeLeafChildren);
1748   return r;
1749 }
1750
1751
1752 /**
1753  * A special purpose helper (used by FGAirport::searchNamesAndIdents) to
1754  * implement the AirportList dialog. It's unfortunate that it needs to reside
1755  * here, but for now it's least ugly solution.
1756  */
1757 char** NavDataCache::searchAirportNamesAndIdents(const std::string& aFilter)
1758 {
1759   sqlite3_stmt_ptr stmt;
1760   unsigned int numMatches = 0, numAllocated = 16;
1761   string searchTerm("%" + aFilter + "%");
1762   if (aFilter.empty()) {
1763     stmt = d->getAllAirports;
1764     numAllocated = 4096; // start much larger for all airports
1765   } else {
1766     stmt = d->searchAirports;
1767     sqlite_bind_stdstring(stmt, 1, searchTerm);
1768   }
1769
1770   char** result = (char**) malloc(sizeof(char*) * numAllocated);
1771   while (d->stepSelect(stmt)) {
1772     if ((numMatches + 1) >= numAllocated) {
1773       numAllocated <<= 1; // double in size!
1774     // reallocate results array
1775       char** nresult = (char**) malloc(sizeof(char*) * numAllocated);
1776       memcpy(nresult, result, sizeof(char*) * numMatches);
1777       free(result);
1778       result = nresult;
1779     }
1780
1781     // nasty code to avoid excessive string copying and allocations.
1782     // We format results as follows (note whitespace!):
1783     //   ' name-of-airport-chars   (ident)'
1784     // so the total length is:
1785     //    1 + strlen(name) + 4 + strlen(icao) + 1 + 1 (for the null)
1786     // which gives a grand total of 7 + name-length + icao-length.
1787     // note the ident can be three letters (non-ICAO local strip), four
1788     // (default ICAO) or more (extended format ICAO)
1789     int nameLength = sqlite3_column_bytes(stmt, 1);
1790     int icaoLength = sqlite3_column_bytes(stmt, 0);
1791     char* entry = (char*) malloc(7 + nameLength + icaoLength);
1792     char* dst = entry;
1793     *dst++ = ' ';
1794     memcpy(dst, sqlite3_column_text(stmt, 1), nameLength);
1795     dst += nameLength;
1796     *dst++ = ' ';
1797     *dst++ = ' ';
1798     *dst++ = ' ';
1799     *dst++ = '(';
1800     memcpy(dst, sqlite3_column_text(stmt, 0), icaoLength);
1801     dst += icaoLength;
1802     *dst++ = ')';
1803     *dst++ = 0;
1804
1805     result[numMatches++] = entry;
1806   }
1807
1808   result[numMatches] = NULL; // end of list marker
1809   d->reset(stmt);
1810   return result;
1811 }
1812
1813 FGPositionedRef
1814 NavDataCache::findCommByFreq(int freqKhz, const SGGeod& aPos, FGPositioned::Filter* aFilter)
1815 {
1816   sqlite3_bind_int(d->findCommByFreq, 1, freqKhz);
1817   if (aFilter) {
1818     sqlite3_bind_int(d->findCommByFreq, 2, aFilter->minType());
1819     sqlite3_bind_int(d->findCommByFreq, 3, aFilter->maxType());
1820   } else { // full type range
1821     sqlite3_bind_int(d->findCommByFreq, 2, FGPositioned::FREQ_GROUND);
1822     sqlite3_bind_int(d->findCommByFreq, 3, FGPositioned::FREQ_UNICOM);
1823   }
1824
1825   SGVec3d cartPos(SGVec3d::fromGeod(aPos));
1826   sqlite3_bind_double(d->findCommByFreq, 4, cartPos.x());
1827   sqlite3_bind_double(d->findCommByFreq, 5, cartPos.y());
1828   sqlite3_bind_double(d->findCommByFreq, 6, cartPos.z());
1829   FGPositionedRef result;
1830
1831   while (d->execSelect(d->findCommByFreq)) {
1832     FGPositioned* p = loadById(sqlite3_column_int64(d->findCommByFreq, 0));
1833     if (aFilter && !aFilter->pass(p)) {
1834       continue;
1835     }
1836
1837     result = p;
1838     break;
1839   }
1840
1841   d->reset(d->findCommByFreq);
1842   return result;
1843 }
1844
1845 PositionedIDVec
1846 NavDataCache::findNavaidsByFreq(int freqKhz, const SGGeod& aPos, FGPositioned::Filter* aFilter)
1847 {
1848   sqlite3_bind_int(d->findNavsByFreq, 1, freqKhz);
1849   if (aFilter) {
1850     sqlite3_bind_int(d->findNavsByFreq, 2, aFilter->minType());
1851     sqlite3_bind_int(d->findNavsByFreq, 3, aFilter->maxType());
1852   } else { // full type range
1853     sqlite3_bind_int(d->findNavsByFreq, 2, FGPositioned::NDB);
1854     sqlite3_bind_int(d->findNavsByFreq, 3, FGPositioned::GS);
1855   }
1856
1857   SGVec3d cartPos(SGVec3d::fromGeod(aPos));
1858   sqlite3_bind_double(d->findNavsByFreq, 4, cartPos.x());
1859   sqlite3_bind_double(d->findNavsByFreq, 5, cartPos.y());
1860   sqlite3_bind_double(d->findNavsByFreq, 6, cartPos.z());
1861
1862   return d->selectIds(d->findNavsByFreq);
1863 }
1864
1865 PositionedIDVec
1866 NavDataCache::findNavaidsByFreq(int freqKhz, FGPositioned::Filter* aFilter)
1867 {
1868   sqlite3_bind_int(d->findNavsByFreqNoPos, 1, freqKhz);
1869   if (aFilter) {
1870     sqlite3_bind_int(d->findNavsByFreqNoPos, 2, aFilter->minType());
1871     sqlite3_bind_int(d->findNavsByFreqNoPos, 3, aFilter->maxType());
1872   } else { // full type range
1873     sqlite3_bind_int(d->findNavsByFreqNoPos, 2, FGPositioned::NDB);
1874     sqlite3_bind_int(d->findNavsByFreqNoPos, 3, FGPositioned::GS);
1875   }
1876
1877   return d->selectIds(d->findNavsByFreqNoPos);
1878 }
1879
1880 PositionedIDVec
1881 NavDataCache::airportItemsOfType(PositionedID apt,FGPositioned::Type ty,
1882                                  FGPositioned::Type maxTy)
1883 {
1884   if (maxTy == FGPositioned::INVALID) {
1885     maxTy = ty; // single-type range
1886   }
1887
1888   sqlite3_bind_int64(d->getAirportItems, 1, apt);
1889   sqlite3_bind_int(d->getAirportItems, 2, ty);
1890   sqlite3_bind_int(d->getAirportItems, 3, maxTy);
1891
1892   return d->selectIds(d->getAirportItems);
1893 }
1894
1895 PositionedID
1896 NavDataCache::airportItemWithIdent(PositionedID apt, FGPositioned::Type ty,
1897                                    const std::string& ident)
1898 {
1899   sqlite3_bind_int64(d->getAirportItemByIdent, 1, apt);
1900   sqlite_bind_stdstring(d->getAirportItemByIdent, 2, ident);
1901   sqlite3_bind_int(d->getAirportItemByIdent, 3, ty);
1902   PositionedID result = 0;
1903
1904   if (d->execSelect(d->getAirportItemByIdent)) {
1905     result = sqlite3_column_int64(d->getAirportItemByIdent, 0);
1906   }
1907
1908   d->reset(d->getAirportItemByIdent);
1909   return result;
1910 }
1911
1912 AirportRunwayPair
1913 NavDataCache::findAirportRunway(const std::string& aName)
1914 {
1915   if (aName.empty()) {
1916     return AirportRunwayPair();
1917   }
1918
1919   string_list parts = simgear::strutils::split(aName);
1920   if (parts.size() < 2) {
1921     SG_LOG(SG_NAVCACHE, SG_WARN, "findAirportRunway: malformed name:" << aName);
1922     return AirportRunwayPair();
1923   }
1924
1925   AirportRunwayPair result;
1926   sqlite_bind_stdstring(d->findAirportRunway, 1, parts[0]);
1927   sqlite_bind_stdstring(d->findAirportRunway, 2, cleanRunwayNo(parts[1]));
1928
1929   if (d->execSelect(d->findAirportRunway)) {
1930     result = AirportRunwayPair(sqlite3_column_int64(d->findAirportRunway, 0),
1931                       sqlite3_column_int64(d->findAirportRunway, 1));
1932
1933   } else {
1934     SG_LOG(SG_NAVCACHE, SG_WARN, "findAirportRunway: unknown airport/runway:" << aName);
1935   }
1936
1937   d->reset(d->findAirportRunway);
1938   return result;
1939 }
1940
1941 PositionedID
1942 NavDataCache::findILS(PositionedID airport, const string& aRunway, const string& navIdent)
1943 {
1944   string runway(cleanRunwayNo(aRunway));
1945
1946   sqlite_bind_stdstring(d->findILS, 1, navIdent);
1947   sqlite3_bind_int64(d->findILS, 2, airport);
1948   sqlite_bind_stdstring(d->findILS, 3, runway);
1949   PositionedID result = 0;
1950   if (d->execSelect(d->findILS)) {
1951     result = sqlite3_column_int64(d->findILS, 0);
1952   }
1953
1954   d->reset(d->findILS);
1955   return result;
1956 }
1957
1958 int NavDataCache::findAirway(int network, const string& aName)
1959 {
1960   sqlite3_bind_int(d->findAirway, 1, network);
1961   sqlite_bind_stdstring(d->findAirway, 2, aName);
1962
1963   int airway = 0;
1964   if (d->execSelect(d->findAirway)) {
1965     // already exists
1966     airway = sqlite3_column_int(d->findAirway, 0);
1967   } else {
1968     sqlite_bind_stdstring(d->insertAirway, 1, aName);
1969     sqlite3_bind_int(d->insertAirway, 2, network);
1970     airway = d->execInsert(d->insertAirway);
1971   }
1972
1973   d->reset(d->findAirway);
1974   return airway;
1975 }
1976
1977 void NavDataCache::insertEdge(int network, int airwayID, PositionedID from, PositionedID to)
1978 {
1979   // assume all edges are bidirectional for the moment
1980   for (int i=0; i<2; ++i) {
1981     sqlite3_bind_int(d->insertAirwayEdge, 1, network);
1982     sqlite3_bind_int(d->insertAirwayEdge, 2, airwayID);
1983     sqlite3_bind_int64(d->insertAirwayEdge, 3, from);
1984     sqlite3_bind_int64(d->insertAirwayEdge, 4, to);
1985     d->execInsert(d->insertAirwayEdge);
1986
1987     std::swap(from, to);
1988   }
1989 }
1990
1991 bool NavDataCache::isInAirwayNetwork(int network, PositionedID pos)
1992 {
1993   sqlite3_bind_int(d->isPosInAirway, 1, network);
1994   sqlite3_bind_int64(d->isPosInAirway, 2, pos);
1995   bool ok = d->execSelect(d->isPosInAirway);
1996   d->reset(d->isPosInAirway);
1997
1998   return ok;
1999 }
2000
2001 AirwayEdgeVec NavDataCache::airwayEdgesFrom(int network, PositionedID pos)
2002 {
2003   sqlite3_bind_int(d->airwayEdgesFrom, 1, network);
2004   sqlite3_bind_int64(d->airwayEdgesFrom, 2, pos);
2005
2006   AirwayEdgeVec result;
2007   while (d->stepSelect(d->airwayEdgesFrom)) {
2008     result.push_back(AirwayEdge(
2009                      sqlite3_column_int(d->airwayEdgesFrom, 0),
2010                      sqlite3_column_int64(d->airwayEdgesFrom, 1)
2011                      ));
2012   }
2013
2014   d->reset(d->airwayEdgesFrom);
2015   return result;
2016 }
2017
2018 PositionedID NavDataCache::findNavaidForRunway(PositionedID runway, FGPositioned::Type ty)
2019 {
2020   sqlite3_bind_int64(d->findNavaidForRunway, 1, runway);
2021   sqlite3_bind_int(d->findNavaidForRunway, 2, ty);
2022
2023   PositionedID result = 0;
2024   if (d->execSelect(d->findNavaidForRunway)) {
2025     result = sqlite3_column_int64(d->findNavaidForRunway, 0);
2026   }
2027
2028   d->reset(d->findNavaidForRunway);
2029   return result;
2030 }
2031
2032 PositionedID
2033 NavDataCache::insertParking(const std::string& name, const SGGeod& aPos,
2034                             PositionedID aAirport,
2035                            double aHeading, int aRadius, const std::string& aAircraftType,
2036                            const std::string& aAirlines)
2037 {
2038   sqlite3_int64 rowId = d->insertPositioned(FGPositioned::PARKING, name, "", aPos, aAirport, false);
2039
2040 // we need to insert a row into the taxi_node table, otherwise we can't maintain
2041 // the appropriate pushback flag.
2042   sqlite3_bind_int64(d->insertTaxiNode, 1, rowId);
2043   sqlite3_bind_int(d->insertTaxiNode, 2, 0);
2044   sqlite3_bind_int(d->insertTaxiNode, 3, 0);
2045   d->execInsert(d->insertTaxiNode);
2046
2047   sqlite3_bind_int64(d->insertParkingPos, 1, rowId);
2048   sqlite3_bind_double(d->insertParkingPos, 2, aHeading);
2049   sqlite3_bind_int(d->insertParkingPos, 3, aRadius);
2050   sqlite_bind_stdstring(d->insertParkingPos, 4, aAircraftType);
2051   sqlite_bind_stdstring(d->insertParkingPos, 5, aAirlines);
2052   return d->execInsert(d->insertParkingPos);
2053 }
2054
2055 void NavDataCache::setParkingPushBackRoute(PositionedID parking, PositionedID pushBackNode)
2056 {
2057   sqlite3_bind_int64(d->setParkingPushBack, 1, parking);
2058   sqlite3_bind_int64(d->setParkingPushBack, 2, pushBackNode);
2059   d->execUpdate(d->setParkingPushBack);
2060 }
2061
2062 PositionedID
2063 NavDataCache::insertTaxiNode(const SGGeod& aPos, PositionedID aAirport, int aHoldType, bool aOnRunway)
2064 {
2065   sqlite3_int64 rowId = d->insertPositioned(FGPositioned::TAXI_NODE, string(), string(), aPos, aAirport, false);
2066   sqlite3_bind_int64(d->insertTaxiNode, 1, rowId);
2067   sqlite3_bind_int(d->insertTaxiNode, 2, aHoldType);
2068   sqlite3_bind_int(d->insertTaxiNode, 3, aOnRunway);
2069   return d->execInsert(d->insertTaxiNode);
2070 }
2071
2072 void NavDataCache::insertGroundnetEdge(PositionedID aAirport, PositionedID from, PositionedID to)
2073 {
2074   sqlite3_bind_int64(d->insertTaxiEdge, 1, aAirport);
2075   sqlite3_bind_int64(d->insertTaxiEdge, 2, from);
2076   sqlite3_bind_int64(d->insertTaxiEdge, 3, to);
2077   d->execInsert(d->insertTaxiEdge);
2078 }
2079
2080 PositionedIDVec NavDataCache::groundNetNodes(PositionedID aAirport, bool onlyPushback)
2081 {
2082   sqlite3_stmt_ptr q = onlyPushback ? d->airportPushbackNodes : d->airportTaxiNodes;
2083   sqlite3_bind_int64(q, 1, aAirport);
2084   return d->selectIds(q);
2085 }
2086
2087 void NavDataCache::markGroundnetAsPushback(PositionedID nodeId)
2088 {
2089   sqlite3_bind_int64(d->markTaxiNodeAsPushback, 1, nodeId);
2090   d->execUpdate(d->markTaxiNodeAsPushback);
2091 }
2092
2093 static double headingDifferenceDeg(double crs1, double crs2)
2094 {
2095   double diff =  crs2 - crs1;
2096   SG_NORMALIZE_RANGE(diff, -180.0, 180.0);
2097   return diff;
2098 }
2099
2100 PositionedID NavDataCache::findGroundNetNode(PositionedID airport, const SGGeod& aPos,
2101                                              bool onRunway, FGRunway* aRunway)
2102 {
2103   sqlite3_stmt_ptr q = onRunway ? d->findNearestRunwayTaxiNode : d->findNearestTaxiNode;
2104   sqlite3_bind_int64(q, 1, airport);
2105
2106   SGVec3d cartPos(SGVec3d::fromGeod(aPos));
2107   sqlite3_bind_double(q, 2, cartPos.x());
2108   sqlite3_bind_double(q, 3, cartPos.y());
2109   sqlite3_bind_double(q, 4, cartPos.z());
2110
2111   PositionedID result = 0;
2112   while (d->execSelect(q)) {
2113     PositionedID id = sqlite3_column_int64(q, 0);
2114     if (!aRunway) {
2115       result = id;
2116       break;
2117     }
2118
2119   // ensure found node lies on the runway
2120     FGPositionedRef node = loadById(id);
2121     double course = SGGeodesy::courseDeg(node->geod(), aRunway->end());
2122     if (fabs(headingDifferenceDeg(course, aRunway->headingDeg())) < 3.0 ) {
2123       result = id;
2124       break;
2125     }
2126   }
2127
2128   d->reset(q);
2129   return result;
2130 }
2131
2132 PositionedIDVec NavDataCache::groundNetEdgesFrom(PositionedID pos, bool onlyPushback)
2133 {
2134   sqlite3_stmt_ptr q = onlyPushback ? d->pushbackEdgesFrom : d->taxiEdgesFrom;
2135   sqlite3_bind_int64(q, 1, pos);
2136   return d->selectIds(q);
2137 }
2138
2139 PositionedIDVec NavDataCache::findAirportParking(PositionedID airport, const std::string& flightType,
2140                                    int radius)
2141 {
2142   sqlite3_bind_int64(d->findAirportParking, 1, airport);
2143   sqlite3_bind_int(d->findAirportParking, 2, radius);
2144   sqlite_bind_stdstring(d->findAirportParking, 3, flightType);
2145
2146   return d->selectIds(d->findAirportParking);
2147 }
2148
2149 void NavDataCache::dropGroundnetFor(PositionedID aAirport)
2150 {
2151   sqlite3_stmt_ptr q = d->prepare("DELETE FROM parking WHERE rowid IN (SELECT rowid FROM positioned WHERE type=?1 AND airport=?2)");
2152   sqlite3_bind_int(q, 1, FGPositioned::PARKING);
2153   sqlite3_bind_int64(q, 2, aAirport);
2154   d->execUpdate(q);
2155
2156   q = d->prepare("DELETE FROM taxi_node WHERE rowid IN (SELECT rowid FROM positioned WHERE (type=?1 OR type=?2) AND airport=?3)");
2157   sqlite3_bind_int(q, 1, FGPositioned::TAXI_NODE);
2158   sqlite3_bind_int(q, 2, FGPositioned::PARKING);
2159   sqlite3_bind_int64(q, 3, aAirport);
2160   d->execUpdate(q);
2161
2162   q = d->prepare("DELETE FROM positioned WHERE (type=?1 OR type=?2) AND airport=?3");
2163   sqlite3_bind_int(q, 1, FGPositioned::TAXI_NODE);
2164   sqlite3_bind_int(q, 2, FGPositioned::PARKING);
2165   sqlite3_bind_int64(q, 3, aAirport);
2166   d->execUpdate(q);
2167
2168   q = d->prepare("DELETE FROM groundnet_edge WHERE airport=?1");
2169   sqlite3_bind_int64(q, 1, aAirport);
2170   d->execUpdate(q);
2171 }
2172
2173 void NavDataCache::dropAllGroundnets()
2174 {
2175     SG_LOG(SG_NAVCACHE, SG_INFO, "dropping ground-net data");
2176   beginTransaction();
2177   d->runSQL("DELETE FROM groundnet_edge");
2178   d->runSQL("DELETE FROM parking");
2179   d->runSQL("DELETE FROM taxi_node");
2180
2181   sqlite3_stmt_ptr q = d->prepare("DELETE FROM positioned WHERE (type=?1 OR type=?2)");
2182   sqlite3_bind_int(q, 1, FGPositioned::TAXI_NODE);
2183   sqlite3_bind_int(q, 2, FGPositioned::PARKING);
2184   d->execUpdate(q);
2185   commitTransaction();
2186 }
2187
2188 bool NavDataCache::isReadOnly() const
2189 {
2190     return d->readOnly;
2191 }
2192
2193 /////////////////////////////////////////////////////////////////////////////////////////
2194 // Transaction RAII object
2195
2196 NavDataCache::Transaction::Transaction(NavDataCache* cache) :
2197     _instance(cache),
2198     _committed(false)
2199 {
2200     assert(cache);
2201     _instance->beginTransaction();
2202 }
2203
2204 NavDataCache::Transaction::~Transaction()
2205 {
2206     if (!_committed) {
2207         SG_LOG(SG_NAVCACHE, SG_INFO, "aborting cache transaction!");
2208         _instance->abortTransaction();
2209     }
2210 }
2211
2212 void NavDataCache::Transaction::commit()
2213 {
2214     assert(!_committed);
2215     _committed = true;
2216     _instance->commitTransaction();
2217 }
2218
2219 } // of namespace flightgear
2220