src/Navaids/NavDataCache.cxx

   1 // NavDataCache.cxx - defines a unified binary cache for navigation
   2 // data, parsed from various text / XML sources.
   3
   4 // Written by James Turner, started 2012.
   5 //
   6 // Copyright (C) 2012  James Turner
   7 //
   8 // This program is free software; you can redistribute it and/or
   9 // modify it under the terms of the GNU General Public License as
  10 // published by the Free Software Foundation; either version 2 of the
  11 // License, or (at your option) any later version.
  12 //
  13 // This program is distributed in the hope that it will be useful, but
  14 // WITHOUT ANY WARRANTY; without even the implied warranty of
  15 // MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
  16 // General Public License for more details.
  17 //
  18 // You should have received a copy of the GNU General Public License
  19 // along with this program; if not, write to the Free Software
  20 // Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA  02110-1301, USA.
  21
  22 #ifdef HAVE_CONFIG_H
  23 # include "config.h"
  24 #endif
  25
  26 #include "NavDataCache.hxx"
  27
  28 // std
  29 #include <map>
  30 #include <cassert>
  31 #include <stdint.h> // for int64_t
  32 // boost
  33 #include <boost/foreach.hpp>
  34
  35
  36 #ifdef SYSTEM_SQLITE
  37 // the standard sqlite3.h doesn't give a way to set SQLITE_UINT64_TYPE,
  38 // so we have to hope sizeof(int64_t) matches sizeof(sqlite3_int64).
  39 // otherwise things will go bad quickly.
  40   #include "sqlite3.h"
  41 #else
  42 // to ensure compatability between sqlite3_int64 and PositionedID,
  43 // force the type used by sqlite to match PositionedID explicitly
  44 #define SQLITE_INT64_TYPE int64_t
  45 #define SQLITE_UINT64_TYPE uint64_t
  46
  47   #include "fg_sqlite3.h"
  48 #endif
  49
  50 // SimGear
  51 #include <simgear/sg_inlines.h>
  52 #include <simgear/structure/exception.hxx>
  53 #include <simgear/debug/logstream.hxx>
  54 #include <simgear/bucket/newbucket.hxx>
  55 #include <simgear/misc/sg_path.hxx>
  56 #include <simgear/misc/strutils.hxx>
  57 #include <simgear/threads/SGThread.hxx>
  58 #include <simgear/threads/SGGuard.hxx>
  59
  60 #include <Main/globals.hxx>
  61 #include <Main/fg_props.hxx>
  62 #include <Main/options.hxx>
  63 #include "markerbeacon.hxx"
  64 #include "navrecord.hxx"
  65 #include <Airports/airport.hxx>
  66 #include <Airports/runways.hxx>
  67 #include <ATC/CommStation.hxx>
  68 #include "fix.hxx"
  69 #include <Navaids/fixlist.hxx>
  70 #include <Navaids/navdb.hxx>
  71 #include "PositionedOctree.hxx"
  72 #include <Airports/apt_loader.hxx>
  73 #include <Navaids/airways.hxx>
  74 #include "poidb.hxx"
  75 #include <Airports/parking.hxx>
  76 #include <Airports/gnnode.hxx>
  77 #include "CacheSchema.h"
  78
  79 using std::string;
  80
  81 #define SG_NAVCACHE SG_NAVAID
  82 //#define LAZY_OCTREE_UPDATES 1
  83
  84 namespace {
  85
  86 const int MAX_RETRIES = 10;
  87
  88 const int CACHE_SIZE_KBYTES= 32 * 1024;
  89
  90 // bind a std::string to a sqlite statement. The std::string must live the
  91 // entire duration of the statement execution - do not pass a temporary
  92 // std::string, or the compiler may delete it, freeing the C-string storage,
  93 // and causing subtle memory corruption bugs!
  94 void sqlite_bind_stdstring(sqlite3_stmt* stmt, int value, const std::string& s)
  95 {
  96   sqlite3_bind_text(stmt, value, s.c_str(), s.length(), SQLITE_STATIC);
  97 }
  98
  99 // variant of the above, which does not care about the lifetime of the
 100 // passed std::string
 101 void sqlite_bind_temp_stdstring(sqlite3_stmt* stmt, int value, const std::string& s)
 102 {
 103   sqlite3_bind_text(stmt, value, s.c_str(), s.length(), SQLITE_TRANSIENT);
 104 }
 105
 106 typedef sqlite3_stmt* sqlite3_stmt_ptr;
 107
 108 void f_distanceCartSqrFunction(sqlite3_context* ctx, int argc, sqlite3_value* argv[])
 109 {
 110   if (argc != 6) {
 111     return;
 112   }
 113
 114   SGVec3d posA(sqlite3_value_double(argv[0]),
 115                sqlite3_value_double(argv[1]),
 116                sqlite3_value_double(argv[2]));
 117
 118   SGVec3d posB(sqlite3_value_double(argv[3]),
 119                sqlite3_value_double(argv[4]),
 120                sqlite3_value_double(argv[5]));
 121   sqlite3_result_double(ctx, distSqr(posA, posB));
 122 }
 123
 124
 125 static string cleanRunwayNo(const string& aRwyNo)
 126 {
 127   if (aRwyNo[0] == 'x') {
 128     return string(); // no ident for taxiways
 129   }
 130
 131   string result(aRwyNo);
 132   // canonicalise runway ident
 133   if ((aRwyNo.size() == 1) || !isdigit(aRwyNo[1])) {
 134     result = "0" + aRwyNo;
 135   }
 136
 137   // trim off trailing garbage
 138   if (result.size() > 2) {
 139     char suffix = toupper(result[2]);
 140     if (suffix == 'X') {
 141       result = result.substr(0, 2);
 142     }
 143   }
 144
 145   return result;
 146 }
 147
 148 } // anonymous namespace
 149
 150 namespace flightgear
 151 {
 152
 153 /**
 154  * Thread encapsulating a cache rebuild. This is not used to parallelise
 155  * the rebuild - we must still wait until completion before doing other
 156  * startup, since many things rely on a complete cache. The thread is used
 157  * so we don't block the main event loop for an unacceptable duration,
 158  * which causes 'not responding' / spinning beachballs on Windows & Mac
 159  */
 160 class RebuildThread : public SGThread
 161 {
 162 public:
 163   RebuildThread(NavDataCache* cache) :
 164   _cache(cache),
 165   _isFinished(false)
 166   {
 167
 168   }
 169
 170   bool isFinished() const
 171   {
 172     SGGuard<SGMutex> g(_lock);
 173     return _isFinished;
 174   }
 175
 176   virtual void run()
 177   {
 178     SGTimeStamp st;
 179     st.stamp();
 180     _cache->doRebuild();
 181     SG_LOG(SG_NAVCACHE, SG_INFO, "cache rebuild took:" << st.elapsedMSec() << "msec");
 182
 183     SGGuard<SGMutex> g(_lock);
 184     _isFinished = true;
 185   }
 186 private:
 187   NavDataCache* _cache;
 188   mutable SGMutex _lock;
 189   bool _isFinished;
 190 };
 191
 192 ////////////////////////////////////////////////////////////////////////////
 193
 194 typedef std::map<PositionedID, FGPositionedRef> PositionedCache;
 195
 196 class AirportTower : public FGPositioned
 197 {
 198 public:
 199   AirportTower(PositionedID& guid, PositionedID airport,
 200                const string& ident, const SGGeod& pos) :
 201     FGPositioned(guid, FGPositioned::TOWER, ident, pos)
 202   {
 203   }
 204 };
 205
 206 class NavDataCache::NavDataCachePrivate
 207 {
 208 public:
 209   NavDataCachePrivate(const SGPath& p, NavDataCache* o) :
 210     outer(o),
 211     db(NULL),
 212     path(p),
 213     readOnly(false),
 214     cacheHits(0),
 215     cacheMisses(0),
 216     transactionLevel(0),
 217     transactionAborted(false)
 218   {
 219   }
 220
 221   ~NavDataCachePrivate()
 222   {
 223     close();
 224   }
 225
 226   void init()
 227   {
 228     SG_LOG(SG_NAVCACHE, SG_INFO, "NavCache at:" << path);
 229
 230       readOnly = fgGetBool("/sim/fghome-readonly", false);
 231
 232       int openFlags = readOnly ? SQLITE_OPEN_READONLY :
 233         SQLITE_OPEN_READWRITE | SQLITE_OPEN_CREATE;
 234       // see http://code.google.com/p/flightgear-bugs/issues/detail?id=1055
 235       // for the UTF8 / path logic here
 236         std::string pathUtf8 = simgear::strutils::convertWindowsLocal8BitToUtf8(path.str());
 237     sqlite3_open_v2(pathUtf8.c_str(), &db, openFlags, NULL);
 238
 239     sqlite3_stmt_ptr checkTables =
 240       prepare("SELECT count(*) FROM sqlite_master WHERE name='properties'");
 241
 242     sqlite3_create_function(db, "distanceCartSqr", 6, SQLITE_ANY, NULL,
 243                             f_distanceCartSqrFunction, NULL, NULL);
 244
 245     execSelect(checkTables);
 246     bool didCreate = false;
 247     if (!readOnly && (sqlite3_column_int(checkTables, 0) == 0)) {
 248       SG_LOG(SG_NAVCACHE, SG_INFO, "will create tables");
 249       initTables();
 250       didCreate = true;
 251     }
 252
 253     readPropertyQuery = prepare("SELECT value FROM properties WHERE key=?");
 254     writePropertyQuery = prepare("INSERT INTO properties (key, value) VALUES (?,?)");
 255     clearProperty = prepare("DELETE FROM properties WHERE key=?1");
 256
 257     if (didCreate) {
 258       writeIntProperty("schema-version", SCHEMA_VERSION);
 259     } else {
 260       int schemaVersion = outer->readIntProperty("schema-version");
 261       if (schemaVersion != SCHEMA_VERSION) {
 262         SG_LOG(SG_NAVCACHE, SG_INFO, "Navcache schema mismatch, will rebuild");
 263         throw sg_exception("Navcache schema has changed");
 264       }
 265     }
 266
 267     // see http://www.sqlite.org/pragma.html#pragma_cache_size
 268     // for the details, small cache would cause thrashing.
 269     std::ostringstream q;
 270     q << "PRAGMA cache_size=-" << CACHE_SIZE_KBYTES << ";";
 271     runSQL(q.str());
 272     prepareQueries();
 273   }
 274
 275   void close()
 276   {
 277     BOOST_FOREACH(sqlite3_stmt_ptr stmt, prepared) {
 278       sqlite3_finalize(stmt);
 279     }
 280     prepared.clear();
 281     sqlite3_close(db);
 282   }
 283
 284   void checkCacheFile()
 285   {
 286     SG_LOG(SG_NAVCACHE, SG_INFO, "running DB integrity check");
 287     SGTimeStamp st;
 288     st.stamp();
 289
 290     sqlite3_stmt_ptr stmt = prepare("PRAGMA quick_check(1)");
 291     if (!execSelect(stmt)) {
 292       throw sg_exception("DB integrity check failed to run");
 293     }
 294
 295     string v = (char*) sqlite3_column_text(stmt, 0);
 296     if (v != "ok") {
 297       throw sg_exception("DB integrity check returned:" + v);
 298     }
 299
 300     SG_LOG(SG_NAVCACHE, SG_INFO, "NavDataCache integrity check took:" << st.elapsedMSec());
 301     finalize(stmt);
 302   }
 303
 304   void callSqlite(int result, const string& sql)
 305   {
 306     if (result == SQLITE_OK)
 307       return; // all good
 308
 309     string errMsg;
 310     if (result == SQLITE_MISUSE) {
 311       errMsg = "Sqlite API abuse";
 312       SG_LOG(SG_NAVCACHE, SG_ALERT, "Sqlite API abuse");
 313     } else {
 314       errMsg = sqlite3_errmsg(db);
 315       SG_LOG(SG_NAVCACHE, SG_ALERT, "Sqlite error:" << errMsg << " running:\n\t" << sql);
 316     }
 317
 318     throw sg_exception("Sqlite error:" + errMsg, sql);
 319   }
 320
 321   void runSQL(const string& sql)
 322   {
 323     sqlite3_stmt_ptr stmt;
 324     callSqlite(sqlite3_prepare_v2(db, sql.c_str(), sql.length(), &stmt, NULL), sql);
 325
 326     try {
 327       execSelect(stmt);
 328     } catch (sg_exception&) {
 329       sqlite3_finalize(stmt);
 330       throw; // re-throw
 331     }
 332
 333     sqlite3_finalize(stmt);
 334   }
 335
 336   sqlite3_stmt_ptr prepare(const string& sql)
 337   {
 338     sqlite3_stmt_ptr stmt;
 339     callSqlite(sqlite3_prepare_v2(db, sql.c_str(), sql.length(), &stmt, NULL), sql);
 340     prepared.push_back(stmt);
 341     return stmt;
 342   }
 343
 344   void finalize(sqlite3_stmt_ptr s)
 345   {
 346     StmtVec::iterator it = std::find(prepared.begin(), prepared.end(), s);
 347     if (it == prepared.end()) {
 348       throw sg_exception("Finalising statement that was not prepared");
 349     }
 350
 351     prepared.erase(it);
 352     sqlite3_finalize(s);
 353   }
 354
 355   void reset(sqlite3_stmt_ptr stmt)
 356   {
 357     assert(stmt);
 358     if (sqlite3_reset(stmt) != SQLITE_OK) {
 359       string errMsg = sqlite3_errmsg(db);
 360       SG_LOG(SG_NAVCACHE, SG_ALERT, "Sqlite error resetting:" << errMsg);
 361       throw sg_exception("Sqlite error resetting:" + errMsg, sqlite3_sql(stmt));
 362     }
 363   }
 364
 365   bool execSelect(sqlite3_stmt_ptr stmt)
 366   {
 367     return stepSelect(stmt);
 368   }
 369
 370   bool stepSelect(sqlite3_stmt_ptr stmt)
 371   {
 372     int retries = 0;
 373     int result;
 374     while (retries < MAX_RETRIES) {
 375       result = sqlite3_step(stmt);
 376       if (result == SQLITE_ROW) {
 377         return true; // at least one result row
 378       }
 379
 380       if (result == SQLITE_DONE) {
 381         return false; // no result rows
 382       }
 383
 384       if (result != SQLITE_BUSY) {
 385         break;
 386       }
 387
 388       SG_LOG(SG_NAVCACHE, SG_ALERT, "NavCache contention on select, will retry:" << retries);
 389       SGTimeStamp::sleepForMSec(++retries * 10);
 390     } // of retry loop for DB locked
 391
 392     if (retries >= MAX_RETRIES) {
 393       SG_LOG(SG_NAVCACHE, SG_ALERT, "exceeded maximum number of SQLITE_BUSY retries");
 394       return false;
 395     }
 396
 397     string errMsg;
 398     if (result == SQLITE_MISUSE) {
 399       errMsg = "Sqlite API abuse";
 400       SG_LOG(SG_NAVCACHE, SG_ALERT, "Sqlite API abuse");
 401     } else {
 402       errMsg = sqlite3_errmsg(db);
 403       SG_LOG(SG_NAVCACHE, SG_ALERT, "Sqlite error:" << errMsg << " (" << result
 404              << ") while running:\n\t" << sqlite3_sql(stmt));
 405     }
 406
 407     throw sg_exception("Sqlite error:" + errMsg, sqlite3_sql(stmt));
 408   }
 409
 410   void execSelect1(sqlite3_stmt_ptr stmt)
 411   {
 412     if (!execSelect(stmt)) {
 413       SG_LOG(SG_NAVCACHE, SG_WARN, "empty SELECT running:\n\t" << sqlite3_sql(stmt));
 414       throw sg_exception("no results returned for select", sqlite3_sql(stmt));
 415     }
 416   }
 417
 418   sqlite3_int64 execInsert(sqlite3_stmt_ptr stmt)
 419   {
 420     execSelect(stmt);
 421     sqlite3_int64 rowid = sqlite3_last_insert_rowid(db);
 422     reset(stmt);
 423     return rowid;
 424   }
 425
 426   void execUpdate(sqlite3_stmt_ptr stmt)
 427   {
 428     execSelect(stmt);
 429     reset(stmt);
 430   }
 431
 432   void initTables()
 433   {
 434       string_list commands = simgear::strutils::split(SCHEMA_SQL, ";");
 435       BOOST_FOREACH(std::string sql, commands) {
 436           if (sql.empty()) {
 437               continue;
 438           }
 439
 440           runSQL(sql);
 441       } // of commands in scheme loop
 442   }
 443
 444   void prepareQueries()
 445   {
 446     writePropertyMulti = prepare("INSERT INTO properties (key, value) VALUES(?1,?2)");
 447
 448     beginTransactionStmt = prepare("BEGIN");
 449     commitTransactionStmt = prepare("COMMIT");
 450     rollbackTransactionStmt = prepare("ROLLBACK");
 451
 452
 453 #define POSITIONED_COLS "rowid, type, ident, name, airport, lon, lat, elev_m, octree_node"
 454 #define AND_TYPED "AND type>=?2 AND type <=?3"
 455     statCacheCheck = prepare("SELECT stamp FROM stat_cache WHERE path=?");
 456     stampFileCache = prepare("INSERT OR REPLACE INTO stat_cache "
 457                              "(path, stamp) VALUES (?,?)");
 458
 459     loadPositioned = prepare("SELECT " POSITIONED_COLS " FROM positioned WHERE rowid=?");
 460     loadAirportStmt = prepare("SELECT has_metar FROM airport WHERE rowid=?");
 461     loadNavaid = prepare("SELECT range_nm, freq, multiuse, runway, colocated FROM navaid WHERE rowid=?");
 462     loadCommStation = prepare("SELECT freq_khz, range_nm FROM comm WHERE rowid=?");
 463     loadRunwayStmt = prepare("SELECT heading, length_ft, width_m, surface, displaced_threshold,"
 464                              "stopway, reciprocal, ils FROM runway WHERE rowid=?1");
 465
 466     getAirportItems = prepare("SELECT rowid FROM positioned WHERE airport=?1 " AND_TYPED);
 467
 468
 469     setAirportMetar = prepare("UPDATE airport SET has_metar=?2 WHERE rowid="
 470                               "(SELECT rowid FROM positioned WHERE ident=?1 AND type>=?3 AND type <=?4)");
 471     sqlite3_bind_int(setAirportMetar, 3, FGPositioned::AIRPORT);
 472     sqlite3_bind_int(setAirportMetar, 4, FGPositioned::SEAPORT);
 473
 474     setRunwayReciprocal = prepare("UPDATE runway SET reciprocal=?2 WHERE rowid=?1");
 475     setRunwayILS = prepare("UPDATE runway SET ils=?2 WHERE rowid=?1");
 476     setNavaidColocated = prepare("UPDATE navaid SET colocated=?2 WHERE rowid=?1");
 477
 478     insertPositionedQuery = prepare("INSERT INTO positioned "
 479                                     "(type, ident, name, airport, lon, lat, elev_m, octree_node, "
 480                                     "cart_x, cart_y, cart_z)"
 481                                     " VALUES (?1, ?2, ?3, ?4, ?5, ?6, ?7, ?8, ?9, ?10, ?11)");
 482
 483     setAirportPos = prepare("UPDATE positioned SET lon=?2, lat=?3, elev_m=?4, octree_node=?5, "
 484                             "cart_x=?6, cart_y=?7, cart_z=?8 WHERE rowid=?1");
 485     insertAirport = prepare("INSERT INTO airport (rowid, has_metar) VALUES (?, ?)");
 486     insertNavaid = prepare("INSERT INTO navaid (rowid, freq, range_nm, multiuse, runway, colocated)"
 487                            " VALUES (?1, ?2, ?3, ?4, ?5, ?6)");
 488     updateILS = prepare("UPDATE navaid SET multiuse=?2 WHERE rowid=?1");
 489
 490     insertCommStation = prepare("INSERT INTO comm (rowid, freq_khz, range_nm)"
 491                                 " VALUES (?, ?, ?)");
 492     insertRunway = prepare("INSERT INTO runway "
 493                            "(rowid, heading, length_ft, width_m, surface, displaced_threshold, stopway, reciprocal)"
 494                            " VALUES (?1, ?2, ?3, ?4, ?5, ?6, ?7, ?8)");
 495     runwayLengthFtQuery = prepare("SELECT length_ft FROM runway WHERE rowid=?1");
 496
 497     removePOIQuery = prepare("DELETE FROM positioned WHERE type=?1 AND ident=?2");
 498
 499   // query statement
 500     findClosestWithIdent = prepare("SELECT rowid FROM positioned WHERE ident=?1 "
 501                                    AND_TYPED " ORDER BY distanceCartSqr(cart_x, cart_y, cart_z, ?4, ?5, ?6)");
 502
 503     findCommByFreq = prepare("SELECT positioned.rowid FROM positioned, comm WHERE "
 504                              "positioned.rowid=comm.rowid AND freq_khz=?1 "
 505                              AND_TYPED " ORDER BY distanceCartSqr(cart_x, cart_y, cart_z, ?4, ?5, ?6)");
 506
 507     findNavsByFreq = prepare("SELECT positioned.rowid FROM positioned, navaid WHERE "
 508                              "positioned.rowid=navaid.rowid "
 509                              "AND navaid.freq=?1 " AND_TYPED
 510                              " ORDER BY distanceCartSqr(cart_x, cart_y, cart_z, ?4, ?5, ?6)");
 511
 512     findNavsByFreqNoPos = prepare("SELECT positioned.rowid FROM positioned, navaid WHERE "
 513                                   "positioned.rowid=navaid.rowid AND freq=?1 " AND_TYPED);
 514
 515     findNavaidForRunway = prepare("SELECT positioned.rowid FROM positioned, navaid WHERE "
 516                                   "positioned.rowid=navaid.rowid AND runway=?1 AND type=?2");
 517
 518   // for an octree branch, return the child octree nodes which exist,
 519   // described as a bit-mask
 520     getOctreeChildren = prepare("SELECT children FROM octree WHERE rowid=?1");
 521
 522 #ifdef LAZY_OCTREE_UPDATES
 523     updateOctreeChildren = prepare("UPDATE octree SET children=?2 WHERE rowid=?1");
 524 #else
 525   // mask the new child value into the existing one
 526     updateOctreeChildren = prepare("UPDATE octree SET children=(?2 | children) WHERE rowid=?1");
 527 #endif
 528
 529   // define a new octree node (with no children)
 530     insertOctree = prepare("INSERT INTO octree (rowid, children) VALUES (?1, 0)");
 531
 532     getOctreeLeafChildren = prepare("SELECT rowid, type FROM positioned WHERE octree_node=?1");
 533
 534     searchAirports = prepare("SELECT ident, name FROM positioned WHERE (name LIKE ?1 OR ident LIKE ?1) " AND_TYPED);
 535     sqlite3_bind_int(searchAirports, 2, FGPositioned::AIRPORT);
 536     sqlite3_bind_int(searchAirports, 3, FGPositioned::SEAPORT);
 537
 538     getAllAirports = prepare("SELECT ident, name FROM positioned WHERE type>=?1 AND type <=?2");
 539     sqlite3_bind_int(getAllAirports, 1, FGPositioned::AIRPORT);
 540     sqlite3_bind_int(getAllAirports, 2, FGPositioned::SEAPORT);
 541
 542
 543     getAirportItemByIdent = prepare("SELECT rowid FROM positioned WHERE airport=?1 AND ident=?2 AND type=?3");
 544
 545     findAirportRunway = prepare("SELECT airport, rowid FROM positioned WHERE ident=?2 AND type=?3 AND airport="
 546                                 "(SELECT rowid FROM positioned WHERE type=?4 AND ident=?1)");
 547     sqlite3_bind_int(findAirportRunway, 3, FGPositioned::RUNWAY);
 548     sqlite3_bind_int(findAirportRunway, 4, FGPositioned::AIRPORT);
 549
 550     // three-way join to get the navaid ident and runway ident in a single select.
 551     // we're joining positioned to itself by the navaid runway, with the complication
 552     // that we need to join the navaids table to get the runway ID.
 553     // we also need to filter by type to excluse glideslope (GS) matches
 554     findILS = prepare("SELECT nav.rowid FROM positioned AS nav, positioned AS rwy, navaid WHERE "
 555                       "nav.ident=?1 AND nav.airport=?2 AND rwy.ident=?3 "
 556                       "AND rwy.rowid = navaid.runway AND navaid.rowid=nav.rowid "
 557                       "AND (nav.type=?4 OR nav.type=?5)");
 558
 559     sqlite3_bind_int(findILS, 4, FGPositioned::ILS);
 560     sqlite3_bind_int(findILS, 5, FGPositioned::LOC);
 561
 562   // airways
 563     findAirway = prepare("SELECT rowid FROM airway WHERE network=?1 AND ident=?2");
 564     insertAirway = prepare("INSERT INTO airway (ident, network) "
 565                            "VALUES (?1, ?2)");
 566
 567     insertAirwayEdge = prepare("INSERT INTO airway_edge (network, airway, a, b) "
 568                                "VALUES (?1, ?2, ?3, ?4)");
 569
 570     isPosInAirway = prepare("SELECT rowid FROM airway_edge WHERE network=?1 AND a=?2");
 571
 572     airwayEdgesFrom = prepare("SELECT airway, b FROM airway_edge WHERE network=?1 AND a=?2");
 573
 574   // parking / taxi-node graph
 575     insertTaxiNode = prepare("INSERT INTO taxi_node (rowid, hold_type, on_runway, pushback) VALUES(?1, ?2, ?3, 0)");
 576     insertParkingPos = prepare("INSERT INTO parking (rowid, heading, radius, gate_type, airlines) "
 577                                "VALUES (?1, ?2, ?3, ?4, ?5)");
 578     setParkingPushBack = prepare("UPDATE parking SET pushback=?2 WHERE rowid=?1");
 579
 580     loadTaxiNodeStmt = prepare("SELECT hold_type, on_runway FROM taxi_node WHERE rowid=?1");
 581     loadParkingPos = prepare("SELECT heading, radius, gate_type, airlines, pushback FROM parking WHERE rowid=?1");
 582     taxiEdgesFrom = prepare("SELECT b FROM groundnet_edge WHERE a=?1");
 583     pushbackEdgesFrom = prepare("SELECT b FROM groundnet_edge, taxi_node WHERE "
 584                                 "a=?1 AND groundnet_edge.b = taxi_node.rowid AND pushback=1");
 585
 586     insertTaxiEdge = prepare("INSERT INTO groundnet_edge (airport, a,b) VALUES(?1, ?2, ?3)");
 587
 588     markTaxiNodeAsPushback = prepare("UPDATE taxi_node SET pushback=1 WHERE rowid=?1");
 589     airportTaxiNodes = prepare("SELECT rowid FROM positioned WHERE (type=?2 OR type=?3) AND airport=?1");
 590     sqlite3_bind_int(airportTaxiNodes, 2, FGPositioned::PARKING);
 591     sqlite3_bind_int(airportTaxiNodes, 3, FGPositioned::TAXI_NODE);
 592
 593     airportPushbackNodes = prepare("SELECT positioned.rowid FROM positioned, taxi_node WHERE "\
 594                                    "airport=?1 AND positioned.rowid=taxi_node.rowid AND pushback=1 "
 595                                    "AND (type=?2 OR type=?3)");
 596     sqlite3_bind_int(airportPushbackNodes, 2, FGPositioned::PARKING);
 597     sqlite3_bind_int(airportPushbackNodes, 3, FGPositioned::TAXI_NODE);
 598
 599     findNearestTaxiNode = prepare("SELECT positioned.rowid FROM positioned, taxi_node WHERE "
 600                                   "positioned.rowid = taxi_node.rowid AND airport=?1 "
 601                                   "ORDER BY distanceCartSqr(cart_x, cart_y, cart_z, ?2, ?3, ?4) "
 602                                   "LIMIT 1");
 603
 604     findNearestRunwayTaxiNode = prepare("SELECT positioned.rowid FROM positioned, taxi_node WHERE "
 605                                         "positioned.rowid = taxi_node.rowid AND airport=?1 "
 606                                         "AND on_runway=1 "
 607                                         "ORDER BY distanceCartSqr(cart_x, cart_y, cart_z, ?2, ?3, ?4) ");
 608
 609     findAirportParking = prepare("SELECT positioned.rowid FROM positioned, parking WHERE "
 610                                  "airport=?1 AND type=?4 AND "
 611                                  "radius >= ?2 AND gate_type = ?3 AND "
 612                                  "parking.rowid=positioned.rowid");
 613     sqlite3_bind_int(findAirportParking, 4, FGPositioned::PARKING);
 614   }
 615
 616   void writeIntProperty(const string& key, int value)
 617   {
 618     sqlite_bind_stdstring(clearProperty, 1, key);
 619     execUpdate(clearProperty);
 620
 621     sqlite_bind_stdstring(writePropertyQuery, 1, key);
 622     sqlite3_bind_int(writePropertyQuery, 2, value);
 623     execUpdate(writePropertyQuery);
 624   }
 625
 626
 627   FGPositioned* loadById(sqlite_int64 rowId);
 628
 629   FGAirport* loadAirport(sqlite_int64 rowId,
 630                          FGPositioned::Type ty,
 631                          const string& id, const string& name, const SGGeod& pos)
 632   {
 633     sqlite3_bind_int64(loadAirportStmt, 1, rowId);
 634     execSelect1(loadAirportStmt);
 635     bool hasMetar = (sqlite3_column_int(loadAirportStmt, 0) > 0);
 636     reset(loadAirportStmt);
 637
 638     return new FGAirport(rowId, id, pos, name, hasMetar, ty);
 639   }
 640
 641   FGRunwayBase* loadRunway(sqlite3_int64 rowId, FGPositioned::Type ty,
 642                            const string& id, const SGGeod& pos, PositionedID apt)
 643   {
 644     sqlite3_bind_int(loadRunwayStmt, 1, rowId);
 645     execSelect1(loadRunwayStmt);
 646
 647     double heading = sqlite3_column_double(loadRunwayStmt, 0);
 648     double lengthM = sqlite3_column_int(loadRunwayStmt, 1);
 649     double widthM = sqlite3_column_double(loadRunwayStmt, 2);
 650     int surface = sqlite3_column_int(loadRunwayStmt, 3);
 651
 652     if (ty == FGPositioned::TAXIWAY) {
 653       reset(loadRunwayStmt);
 654       return new FGTaxiway(rowId, id, pos, heading, lengthM, widthM, surface);
 655     } else if (ty == FGPositioned::HELIPAD) {
 656         reset(loadRunwayStmt);
 657         return new FGHelipad(rowId, apt, id, pos, heading, lengthM, widthM, surface);
 658     } else {
 659       double displacedThreshold = sqlite3_column_double(loadRunwayStmt, 4);
 660       double stopway = sqlite3_column_double(loadRunwayStmt, 5);
 661       PositionedID reciprocal = sqlite3_column_int64(loadRunwayStmt, 6);
 662       PositionedID ils = sqlite3_column_int64(loadRunwayStmt, 7);
 663       FGRunway* r = new FGRunway(rowId, apt, id, pos, heading, lengthM, widthM,
 664                           displacedThreshold, stopway, surface);
 665
 666       if (reciprocal > 0) {
 667         r->setReciprocalRunway(reciprocal);
 668       }
 669
 670       if (ils > 0) {
 671         r->setILS(ils);
 672       }
 673
 674       reset(loadRunwayStmt);
 675       return r;
 676     }
 677   }
 678
 679   CommStation* loadComm(sqlite3_int64 rowId, FGPositioned::Type ty,
 680                         const string& id, const string& name,
 681                         const SGGeod& pos,
 682                         PositionedID airport)
 683   {
 684     sqlite3_bind_int64(loadCommStation, 1, rowId);
 685     execSelect1(loadCommStation);
 686
 687     int range = sqlite3_column_int(loadCommStation, 0);
 688     int freqKhz = sqlite3_column_int(loadCommStation, 1);
 689     reset(loadCommStation);
 690
 691     CommStation* c = new CommStation(rowId, name, ty, pos, freqKhz, range);
 692     c->setAirport(airport);
 693     return c;
 694   }
 695
 696   FGPositioned* loadNav(sqlite3_int64 rowId,
 697                        FGPositioned::Type ty, const string& id,
 698                        const string& name, const SGGeod& pos)
 699   {
 700     sqlite3_bind_int64(loadNavaid, 1, rowId);
 701     execSelect1(loadNavaid);
 702
 703     PositionedID runway = sqlite3_column_int64(loadNavaid, 3);
 704     // marker beacons are light-weight
 705     if ((ty == FGPositioned::OM) || (ty == FGPositioned::IM) ||
 706         (ty == FGPositioned::MM))
 707     {
 708       reset(loadNavaid);
 709       return new FGMarkerBeaconRecord(rowId, ty, runway, pos);
 710     }
 711
 712     int rangeNm = sqlite3_column_int(loadNavaid, 0),
 713     freq = sqlite3_column_int(loadNavaid, 1);
 714     double mulituse = sqlite3_column_double(loadNavaid, 2);
 715     PositionedID colocated = sqlite3_column_int64(loadNavaid, 4);
 716     reset(loadNavaid);
 717
 718     FGNavRecord* n =
 719       (ty == FGPositioned::MOBILE_TACAN)
 720       ? new FGMobileNavRecord
 721             (rowId, ty, id, name, pos, freq, rangeNm, mulituse, runway)
 722       : new FGNavRecord
 723             (rowId, ty, id, name, pos, freq, rangeNm, mulituse, runway);
 724
 725     if (colocated)
 726       n->setColocatedDME(colocated);
 727
 728     return n;
 729   }
 730
 731   FGPositioned* loadParking(sqlite3_int64 rowId,
 732                             const string& name, const SGGeod& pos,
 733                             PositionedID airport)
 734   {
 735     sqlite3_bind_int64(loadParkingPos, 1, rowId);
 736     execSelect1(loadParkingPos);
 737
 738     double heading = sqlite3_column_double(loadParkingPos, 0);
 739     int radius = sqlite3_column_int(loadParkingPos, 1);
 740     string aircraftType((char*) sqlite3_column_text(loadParkingPos, 2));
 741     string airlines((char*) sqlite3_column_text(loadParkingPos, 3));
 742     PositionedID pushBack = sqlite3_column_int64(loadParkingPos, 4);
 743     reset(loadParkingPos);
 744
 745     return new FGParking(rowId, pos, heading, radius, name, aircraftType, airlines, pushBack);
 746   }
 747
 748   FGPositioned* loadTaxiNode(sqlite3_int64 rowId, const SGGeod& pos,
 749                              PositionedID airport)
 750   {
 751     sqlite3_bind_int64(loadTaxiNodeStmt, 1, rowId);
 752     execSelect1(loadTaxiNodeStmt);
 753
 754     int hold_type = sqlite3_column_int(loadTaxiNodeStmt, 0);
 755     bool onRunway = sqlite3_column_int(loadTaxiNodeStmt, 1);
 756     reset(loadTaxiNodeStmt);
 757
 758     return new FGTaxiNode(rowId, pos, onRunway, hold_type);
 759   }
 760
 761   PositionedID insertPositioned(FGPositioned::Type ty, const string& ident,
 762                                 const string& name, const SGGeod& pos, PositionedID apt,
 763                                 bool spatialIndex)
 764   {
 765     SGVec3d cartPos(SGVec3d::fromGeod(pos));
 766
 767     sqlite3_bind_int(insertPositionedQuery, 1, ty);
 768     sqlite_bind_stdstring(insertPositionedQuery, 2, ident);
 769     sqlite_bind_stdstring(insertPositionedQuery, 3, name);
 770     sqlite3_bind_int64(insertPositionedQuery, 4, apt);
 771     sqlite3_bind_double(insertPositionedQuery, 5, pos.getLongitudeDeg());
 772     sqlite3_bind_double(insertPositionedQuery, 6, pos.getLatitudeDeg());
 773     sqlite3_bind_double(insertPositionedQuery, 7, pos.getElevationM());
 774
 775     if (spatialIndex) {
 776       Octree::Leaf* octreeLeaf = Octree::global_spatialOctree->findLeafForPos(cartPos);
 777       assert(intersects(octreeLeaf->bbox(), cartPos));
 778       sqlite3_bind_int64(insertPositionedQuery, 8, octreeLeaf->guid());
 779     } else {
 780       sqlite3_bind_null(insertPositionedQuery, 8);
 781     }
 782
 783     sqlite3_bind_double(insertPositionedQuery, 9, cartPos.x());
 784     sqlite3_bind_double(insertPositionedQuery, 10, cartPos.y());
 785     sqlite3_bind_double(insertPositionedQuery, 11, cartPos.z());
 786
 787     PositionedID r = execInsert(insertPositionedQuery);
 788     return r;
 789   }
 790
 791   FGPositionedList findAllByString(const string& s, const string& column,
 792                                      FGPositioned::Filter* filter, bool exact)
 793   {
 794     string query = s;
 795     if (!exact) query += "%";
 796
 797   // build up SQL query text
 798     string matchTerm = exact ? "=?1" : " LIKE ?1";
 799     string sql = "SELECT rowid FROM positioned WHERE " + column + matchTerm;
 800     if (filter) {
 801       sql += " " AND_TYPED;
 802     }
 803
 804   // find or prepare a suitable statement frrm the SQL
 805     sqlite3_stmt_ptr stmt = findByStringDict[sql];
 806     if (!stmt) {
 807       stmt = prepare(sql);
 808       findByStringDict[sql] = stmt;
 809     }
 810
 811     sqlite_bind_stdstring(stmt, 1, query);
 812     if (filter) {
 813       sqlite3_bind_int(stmt, 2, filter->minType());
 814       sqlite3_bind_int(stmt, 3, filter->maxType());
 815     }
 816
 817     FGPositionedList result;
 818   // run the prepared SQL
 819     while (stepSelect(stmt))
 820     {
 821       FGPositioned* pos = outer->loadById(sqlite3_column_int64(stmt, 0));
 822       if (filter && !filter->pass(pos)) {
 823         continue;
 824       }
 825
 826       result.push_back(pos);
 827     }
 828
 829     reset(stmt);
 830     return result;
 831   }
 832
 833   PositionedIDVec selectIds(sqlite3_stmt_ptr query)
 834   {
 835     PositionedIDVec result;
 836     while (stepSelect(query)) {
 837       result.push_back(sqlite3_column_int64(query, 0));
 838     }
 839     reset(query);
 840     return result;
 841   }
 842
 843   double runwayLengthFt(PositionedID rwy)
 844   {
 845     sqlite3_bind_int64(runwayLengthFtQuery, 1, rwy);
 846     execSelect1(runwayLengthFtQuery);
 847     double length = sqlite3_column_double(runwayLengthFtQuery, 0);
 848     reset(runwayLengthFtQuery);
 849     return length;
 850   }
 851
 852   void flushDeferredOctreeUpdates()
 853   {
 854     BOOST_FOREACH(Octree::Branch* nd, deferredOctreeUpdates) {
 855       sqlite3_bind_int64(updateOctreeChildren, 1, nd->guid());
 856       sqlite3_bind_int(updateOctreeChildren, 2, nd->childMask());
 857       execUpdate(updateOctreeChildren);
 858     }
 859
 860     deferredOctreeUpdates.clear();
 861   }
 862
 863   void removePositionedWithIdent(FGPositioned::Type ty, const std::string& aIdent)
 864   {
 865     sqlite3_bind_int(removePOIQuery, 1, ty);
 866     sqlite_bind_stdstring(removePOIQuery, 2, aIdent);
 867     execUpdate(removePOIQuery);
 868     reset(removePOIQuery);
 869   }
 870
 871   NavDataCache* outer;
 872   sqlite3* db;
 873   SGPath path;
 874     bool readOnly;
 875
 876   /// the actual cache of ID -> instances. This holds an owning reference,
 877   /// so once items are in the cache they will never be deleted until
 878   /// the cache drops its reference
 879   PositionedCache cache;
 880   unsigned int cacheHits, cacheMisses;
 881
 882   /**
 883    * record the levels of open transaction objects we have
 884    */
 885   unsigned int transactionLevel;
 886   bool transactionAborted;
 887   sqlite3_stmt_ptr beginTransactionStmt, commitTransactionStmt, rollbackTransactionStmt;
 888
 889   SGPath aptDatPath, metarDatPath, navDatPath, fixDatPath, poiDatPath,
 890   carrierDatPath, airwayDatPath;
 891
 892   sqlite3_stmt_ptr readPropertyQuery, writePropertyQuery,
 893     stampFileCache, statCacheCheck,
 894     loadAirportStmt, loadCommStation, loadPositioned, loadNavaid,
 895     loadRunwayStmt;
 896   sqlite3_stmt_ptr writePropertyMulti, clearProperty;
 897
 898   sqlite3_stmt_ptr insertPositionedQuery, insertAirport, insertTower, insertRunway,
 899   insertCommStation, insertNavaid;
 900   sqlite3_stmt_ptr setAirportMetar, setRunwayReciprocal, setRunwayILS, setNavaidColocated,
 901     setAirportPos, updateILS;
 902   sqlite3_stmt_ptr removePOIQuery;
 903
 904   sqlite3_stmt_ptr findClosestWithIdent;
 905 // octree (spatial index) related queries
 906   sqlite3_stmt_ptr getOctreeChildren, insertOctree, updateOctreeChildren,
 907     getOctreeLeafChildren;
 908
 909   sqlite3_stmt_ptr searchAirports, getAllAirports;
 910   sqlite3_stmt_ptr findCommByFreq, findNavsByFreq,
 911   findNavsByFreqNoPos, findNavaidForRunway;
 912   sqlite3_stmt_ptr getAirportItems, getAirportItemByIdent;
 913   sqlite3_stmt_ptr findAirportRunway,
 914     findILS;
 915
 916   sqlite3_stmt_ptr runwayLengthFtQuery;
 917
 918 // airways
 919   sqlite3_stmt_ptr findAirway, insertAirwayEdge, isPosInAirway, airwayEdgesFrom,
 920   insertAirway;
 921
 922 // groundnet (parking, taxi node graph)
 923   sqlite3_stmt_ptr loadTaxiNodeStmt, loadParkingPos, insertTaxiNode, insertParkingPos;
 924   sqlite3_stmt_ptr taxiEdgesFrom, pushbackEdgesFrom, insertTaxiEdge, markTaxiNodeAsPushback,
 925     airportTaxiNodes, airportPushbackNodes, findNearestTaxiNode, findAirportParking,
 926     setParkingPushBack, findNearestRunwayTaxiNode;
 927
 928 // since there's many permutations of ident/name queries, we create
 929 // them programtically, but cache the exact query by its raw SQL once
 930 // used.
 931   std::map<string, sqlite3_stmt_ptr> findByStringDict;
 932
 933   typedef std::vector<sqlite3_stmt_ptr> StmtVec;
 934   StmtVec prepared;
 935
 936   std::set<Octree::Branch*> deferredOctreeUpdates;
 937
 938   // if we're performing a rebuild, the thread that is doing the work.
 939   // otherwise, NULL
 940   std::auto_ptr<RebuildThread> rebuilder;
 941 };
 942
 943   //////////////////////////////////////////////////////////////////////
 944
 945 FGPositioned* NavDataCache::NavDataCachePrivate::loadById(sqlite3_int64 rowid)
 946 {
 947
 948   sqlite3_bind_int64(loadPositioned, 1, rowid);
 949   execSelect1(loadPositioned);
 950
 951   assert(rowid == sqlite3_column_int64(loadPositioned, 0));
 952   FGPositioned::Type ty = (FGPositioned::Type) sqlite3_column_int(loadPositioned, 1);
 953
 954   PositionedID prowid = static_cast<PositionedID>(rowid);
 955   string ident = (char*) sqlite3_column_text(loadPositioned, 2);
 956   string name = (char*) sqlite3_column_text(loadPositioned, 3);
 957   sqlite3_int64 aptId = sqlite3_column_int64(loadPositioned, 4);
 958   double lon = sqlite3_column_double(loadPositioned, 5);
 959   double lat = sqlite3_column_double(loadPositioned, 6);
 960   double elev = sqlite3_column_double(loadPositioned, 7);
 961   SGGeod pos = SGGeod::fromDegM(lon, lat, elev);
 962
 963   reset(loadPositioned);
 964
 965   switch (ty) {
 966     case FGPositioned::AIRPORT:
 967     case FGPositioned::SEAPORT:
 968     case FGPositioned::HELIPORT:
 969       return loadAirport(rowid, ty, ident, name, pos);
 970
 971     case FGPositioned::TOWER:
 972       return new AirportTower(prowid, aptId, ident, pos);
 973
 974     case FGPositioned::RUNWAY:
 975     case FGPositioned::HELIPAD:
 976     case FGPositioned::TAXIWAY:
 977       return loadRunway(rowid, ty, ident, pos, aptId);
 978
 979     case FGPositioned::LOC:
 980     case FGPositioned::VOR:
 981     case FGPositioned::GS:
 982     case FGPositioned::ILS:
 983     case FGPositioned::NDB:
 984     case FGPositioned::OM:
 985     case FGPositioned::MM:
 986     case FGPositioned::IM:
 987     case FGPositioned::DME:
 988     case FGPositioned::TACAN:
 989     case FGPositioned::MOBILE_TACAN:
 990     {
 991       if (aptId > 0) {
 992         FGAirport* apt = FGPositioned::loadById<FGAirport>(aptId);
 993         if (apt->validateILSData()) {
 994           // queried data above is probably invalid, force us to go around again
 995           // (the next time through, validateILSData will return false)
 996           return outer->loadById(rowid);
 997         }
 998       }
 999
1000       return loadNav(rowid, ty, ident, name, pos);
1001     }
1002
1003     case FGPositioned::FIX:
1004       return new FGFix(rowid, ident, pos);
1005
1006     case FGPositioned::WAYPOINT:
1007     case FGPositioned::COUNTRY:
1008     case FGPositioned::CITY:
1009     case FGPositioned::TOWN:
1010     case FGPositioned::VILLAGE:
1011     {
1012         FGPositioned* wpt = new FGPositioned(rowid, ty, ident, pos);
1013       return wpt;
1014     }
1015
1016     case FGPositioned::FREQ_GROUND:
1017     case FGPositioned::FREQ_TOWER:
1018     case FGPositioned::FREQ_ATIS:
1019     case FGPositioned::FREQ_AWOS:
1020     case FGPositioned::FREQ_APP_DEP:
1021     case FGPositioned::FREQ_ENROUTE:
1022     case FGPositioned::FREQ_CLEARANCE:
1023     case FGPositioned::FREQ_UNICOM:
1024       return loadComm(rowid, ty, ident, name, pos, aptId);
1025
1026     case FGPositioned::TAXI_NODE:
1027       return loadTaxiNode(rowid, pos, aptId);
1028
1029     case FGPositioned::PARKING:
1030       return loadParking(rowid, ident, pos, aptId);
1031
1032     default:
1033       return NULL;
1034   }
1035 }
1036
1037
1038 static NavDataCache* static_instance = NULL;
1039
1040 NavDataCache::NavDataCache()
1041 {
1042   const int MAX_TRIES = 3;
1043   SGPath homePath(globals->get_fg_home());
1044
1045   std::ostringstream os;
1046   string_list versionParts = simgear::strutils::split(VERSION, ".");
1047   if (versionParts.size() < 2) {
1048     os << "navdata.cache";
1049   } else {
1050     os << "navdata_" << versionParts[0] << "_" << versionParts[1] << ".cache";
1051   }
1052
1053   homePath.append(os.str());
1054
1055   for (int t=0; t < MAX_TRIES; ++t) {
1056     try {
1057       d.reset(new NavDataCachePrivate(homePath, this));
1058       d->init();
1059       //d->checkCacheFile();
1060     // reached this point with no exception, success
1061       break;
1062     } catch (sg_exception& e) {
1063       SG_LOG(SG_NAVCACHE, t == 0 ? SG_WARN : SG_ALERT, "NavCache: init failed:" << e.what()
1064              << " (attempt " << t << ")");
1065       d.reset();
1066
1067         // only wipe the existing if not readonly
1068         if (!fgGetBool("/sim/fghome-readonly", false)) {
1069             homePath.remove();
1070         }
1071     }
1072   } // of retry loop
1073
1074   double RADIUS_EARTH_M = 7000 * 1000.0; // 7000km is plenty
1075   SGVec3d earthExtent(RADIUS_EARTH_M, RADIUS_EARTH_M, RADIUS_EARTH_M);
1076   Octree::global_spatialOctree =
1077     new Octree::Branch(SGBox<double>(-earthExtent, earthExtent), 1);
1078
1079   d->aptDatPath = SGPath(globals->get_fg_root());
1080   d->aptDatPath.append("Airports/apt.dat.gz");
1081
1082   d->metarDatPath = SGPath(globals->get_fg_root());
1083   d->metarDatPath.append("Airports/metar.dat.gz");
1084
1085   d->navDatPath = SGPath(globals->get_fg_root());
1086   d->navDatPath.append("Navaids/nav.dat.gz");
1087
1088   d->fixDatPath = SGPath(globals->get_fg_root());
1089   d->fixDatPath.append("Navaids/fix.dat.gz");
1090
1091   d->poiDatPath = SGPath(globals->get_fg_root());
1092   d->poiDatPath.append("Navaids/poi.dat.gz");
1093
1094   d->carrierDatPath = SGPath(globals->get_fg_root());
1095   d->carrierDatPath.append("Navaids/carrier_nav.dat.gz");
1096
1097   d->airwayDatPath = SGPath(globals->get_fg_root());
1098   d->airwayDatPath.append("Navaids/awy.dat.gz");
1099 }
1100
1101 NavDataCache::~NavDataCache()
1102 {
1103   assert(static_instance == this);
1104   static_instance = NULL;
1105   d.reset();
1106 }
1107
1108 NavDataCache* NavDataCache::instance()
1109 {
1110   if (!static_instance) {
1111     static_instance = new NavDataCache;
1112   }
1113
1114   return static_instance;
1115 }
1116
1117 bool NavDataCache::isRebuildRequired()
1118 {
1119     if (d->readOnly) {
1120         return false;
1121     }
1122
1123     if (flightgear::Options::sharedInstance()->isOptionSet("restore-defaults")) {
1124         SG_LOG(SG_NAVCACHE, SG_INFO, "NavCache: restore-defaults requested, will rebuild cache");
1125         return true;
1126     }
1127
1128   if (isCachedFileModified(d->aptDatPath) ||
1129       isCachedFileModified(d->metarDatPath) ||
1130       isCachedFileModified(d->navDatPath) ||
1131       isCachedFileModified(d->carrierDatPath) ||
1132       isCachedFileModified(d->fixDatPath) ||
1133 // since POI loading is disabled on Windows, don't check for it
1134 // this caused: https://code.google.com/p/flightgear-bugs/issues/detail?id=1227
1135 #ifndef SG_WINDOWS
1136       isCachedFileModified(d->poiDatPath) ||
1137 #endif
1138       isCachedFileModified(d->airwayDatPath))
1139   {
1140     SG_LOG(SG_NAVCACHE, SG_INFO, "NavCache: main cache rebuild required");
1141     return true;
1142   }
1143
1144   string sceneryPaths = simgear::strutils::join(globals->get_fg_scenery(), ";");
1145   if (readStringProperty("scenery_paths") != sceneryPaths) {
1146     SG_LOG(SG_NAVCACHE, SG_INFO, "NavCache: scenery paths changed, main cache rebuild required");
1147     return true;
1148   }
1149
1150   SG_LOG(SG_NAVCACHE, SG_INFO, "NavCache: no main cache rebuild required");
1151   return false;
1152 }
1153
1154 bool NavDataCache::rebuild()
1155 {
1156   if (!d->rebuilder.get()) {
1157     d->rebuilder.reset(new RebuildThread(this));
1158     d->rebuilder->start();
1159   }
1160
1161 // poll the rebuild thread
1162   bool fin = d->rebuilder->isFinished();
1163   if (fin) {
1164     d->rebuilder.reset(); // all done!
1165   }
1166   return fin;
1167 }
1168
1169 void NavDataCache::doRebuild()
1170 {
1171   try {
1172     d->close(); // completely close the sqlite object
1173     d->path.remove(); // remove the file on disk
1174     d->init(); // start again from scratch
1175
1176     // initialise the root octree node
1177     d->runSQL("INSERT INTO octree (rowid, children) VALUES (1, 0)");
1178
1179     SGTimeStamp st;
1180     {
1181         Transaction txn(this);
1182
1183         st.stamp();
1184         airportDBLoad(d->aptDatPath);
1185         SG_LOG(SG_NAVCACHE, SG_INFO, "apt.dat load took:" << st.elapsedMSec());
1186
1187         metarDataLoad(d->metarDatPath);
1188         stampCacheFile(d->aptDatPath);
1189         stampCacheFile(d->metarDatPath);
1190
1191         st.stamp();
1192         loadFixes(d->fixDatPath);
1193         stampCacheFile(d->fixDatPath);
1194         SG_LOG(SG_NAVCACHE, SG_INFO, "fix.dat load took:" << st.elapsedMSec());
1195
1196         st.stamp();
1197         navDBInit(d->navDatPath);
1198         stampCacheFile(d->navDatPath);
1199         SG_LOG(SG_NAVCACHE, SG_INFO, "nav.dat load took:" << st.elapsedMSec());
1200
1201         st.stamp();
1202         txn.commit();
1203         SG_LOG(SG_NAVCACHE, SG_INFO, "stage 1 commit took:" << st.elapsedMSec());
1204     }
1205
1206 #ifdef SG_WINDOWS
1207       SG_LOG(SG_NAVCACHE, SG_ALERT, "SKIPPING POI load on Windows");
1208 #else
1209       {
1210           Transaction txn(this);
1211
1212           st.stamp();
1213           poiDBInit(d->poiDatPath);
1214           stampCacheFile(d->poiDatPath);
1215           SG_LOG(SG_NAVCACHE, SG_INFO, "poi.dat load took:" << st.elapsedMSec());
1216
1217           st.stamp();
1218           txn.commit();
1219           SG_LOG(SG_NAVCACHE, SG_INFO, "POI commit took:" << st.elapsedMSec());
1220       }
1221 #endif
1222
1223       {
1224           Transaction txn(this);
1225           loadCarrierNav(d->carrierDatPath);
1226           stampCacheFile(d->carrierDatPath);
1227
1228           st.stamp();
1229           Airway::load(d->airwayDatPath);
1230           stampCacheFile(d->airwayDatPath);
1231           SG_LOG(SG_NAVCACHE, SG_INFO, "awy.dat load took:" << st.elapsedMSec());
1232
1233           d->flushDeferredOctreeUpdates();
1234
1235           string sceneryPaths = simgear::strutils::join(globals->get_fg_scenery(), ";");
1236           writeStringProperty("scenery_paths", sceneryPaths);
1237
1238           st.stamp();
1239           txn.commit();
1240           SG_LOG(SG_NAVCACHE, SG_INFO, "final commit took:" << st.elapsedMSec());
1241
1242       }
1243
1244   } catch (sg_exception& e) {
1245     SG_LOG(SG_NAVCACHE, SG_ALERT, "caught exception rebuilding navCache:" << e.what());
1246   }
1247 }
1248
1249 int NavDataCache::readIntProperty(const string& key)
1250 {
1251   sqlite_bind_stdstring(d->readPropertyQuery, 1, key);
1252   int result = 0;
1253
1254   if (d->execSelect(d->readPropertyQuery)) {
1255     result = sqlite3_column_int(d->readPropertyQuery, 0);
1256   } else {
1257     SG_LOG(SG_NAVCACHE, SG_WARN, "readIntProperty: unknown:" << key);
1258   }
1259
1260   d->reset(d->readPropertyQuery);
1261   return result;
1262 }
1263
1264 double NavDataCache::readDoubleProperty(const string& key)
1265 {
1266   sqlite_bind_stdstring(d->readPropertyQuery, 1, key);
1267   double result = 0.0;
1268   if (d->execSelect(d->readPropertyQuery)) {
1269     result = sqlite3_column_double(d->readPropertyQuery, 0);
1270   } else {
1271     SG_LOG(SG_NAVCACHE, SG_WARN, "readDoubleProperty: unknown:" << key);
1272   }
1273
1274   d->reset(d->readPropertyQuery);
1275   return result;
1276 }
1277
1278 string NavDataCache::readStringProperty(const string& key)
1279 {
1280   sqlite_bind_stdstring(d->readPropertyQuery, 1, key);
1281   string result;
1282   if (d->execSelect(d->readPropertyQuery)) {
1283     result = (char*) sqlite3_column_text(d->readPropertyQuery, 0);
1284   } else {
1285     SG_LOG(SG_NAVCACHE, SG_WARN, "readStringProperty: unknown:" << key);
1286   }
1287
1288   d->reset(d->readPropertyQuery);
1289   return result;
1290 }
1291
1292 void NavDataCache::writeIntProperty(const string& key, int value)
1293 {
1294   d->writeIntProperty(key, value);
1295 }
1296
1297 void NavDataCache::writeStringProperty(const string& key, const string& value)
1298 {
1299   sqlite_bind_stdstring(d->clearProperty, 1, key);
1300   d->execUpdate(d->clearProperty);
1301
1302   sqlite_bind_stdstring(d->writePropertyQuery, 1, key);
1303   sqlite_bind_stdstring(d->writePropertyQuery, 2, value);
1304   d->execUpdate(d->writePropertyQuery);
1305 }
1306
1307 void NavDataCache::writeDoubleProperty(const string& key, const double& value)
1308 {
1309   sqlite_bind_stdstring(d->clearProperty, 1, key);
1310   d->execUpdate(d->clearProperty);
1311
1312   sqlite_bind_stdstring(d->writePropertyQuery, 1, key);
1313   sqlite3_bind_double(d->writePropertyQuery, 2, value);
1314   d->execUpdate(d->writePropertyQuery);
1315 }
1316
1317 string_list NavDataCache::readStringListProperty(const string& key)
1318 {
1319   sqlite_bind_stdstring(d->readPropertyQuery, 1, key);
1320   string_list result;
1321   while (d->stepSelect(d->readPropertyQuery)) {
1322     result.push_back((char*) sqlite3_column_text(d->readPropertyQuery, 0));
1323   }
1324   d->reset(d->readPropertyQuery);
1325
1326   return result;
1327 }
1328
1329 void NavDataCache::writeStringListProperty(const string& key, const string_list& values)
1330 {
1331   sqlite_bind_stdstring(d->clearProperty, 1, key);
1332   d->execUpdate(d->clearProperty);
1333
1334   BOOST_FOREACH(string value, values) {
1335     sqlite_bind_stdstring(d->writePropertyMulti, 1, key);
1336     sqlite_bind_stdstring(d->writePropertyMulti, 2, value);
1337     d->execInsert(d->writePropertyMulti);
1338   }
1339 }
1340
1341 bool NavDataCache::isCachedFileModified(const SGPath& path) const
1342 {
1343   if (!path.exists()) {
1344     throw sg_io_exception("isCachedFileModified: Missing file:" + path.str());
1345   }
1346
1347   sqlite_bind_temp_stdstring(d->statCacheCheck, 1, path.str());
1348   bool isModified = true;
1349
1350   if (d->execSelect(d->statCacheCheck)) {
1351     time_t modtime = sqlite3_column_int64(d->statCacheCheck, 0);
1352     time_t delta = std::labs(modtime - path.modTime());
1353     if (delta != 0)
1354     {
1355       SG_LOG(SG_NAVCACHE, SG_DEBUG, "NavCache: rebuild required for " << path << ". Timestamps: " << modtime << " != " << path.modTime());
1356     }
1357     else
1358     {
1359       SG_LOG(SG_NAVCACHE, SG_DEBUG, "NavCache: no rebuild required for " << path);
1360     }
1361
1362     isModified = (delta != 0);
1363   } else {
1364     SG_LOG(SG_NAVCACHE, SG_DEBUG, "NavCache: initial build required for " << path);
1365   }
1366
1367   d->reset(d->statCacheCheck);
1368   return isModified;
1369 }
1370
1371 void NavDataCache::stampCacheFile(const SGPath& path)
1372 {
1373   sqlite_bind_temp_stdstring(d->stampFileCache, 1, path.str());
1374   sqlite3_bind_int64(d->stampFileCache, 2, path.modTime());
1375   d->execInsert(d->stampFileCache);
1376 }
1377
1378 void NavDataCache::beginTransaction()
1379 {
1380   if (d->transactionLevel == 0) {
1381     d->transactionAborted = false;
1382     d->stepSelect(d->beginTransactionStmt);
1383     sqlite3_reset(d->beginTransactionStmt);
1384   }
1385
1386   ++d->transactionLevel;
1387 }
1388
1389 void NavDataCache::commitTransaction()
1390 {
1391   assert(d->transactionLevel > 0);
1392   if (--d->transactionLevel == 0) {
1393     // if a nested transaction aborted, we might end up here, but must
1394     // still abort the entire transaction. That's bad, but safer than
1395     // committing.
1396     sqlite3_stmt_ptr q = d->transactionAborted ? d->rollbackTransactionStmt : d->commitTransactionStmt;
1397
1398     int retries = 0;
1399     int result;
1400     while (retries < MAX_RETRIES) {
1401       result = sqlite3_step(q);
1402       if (result == SQLITE_DONE) {
1403         break;
1404       }
1405
1406       // see http://www.sqlite.org/c3ref/get_autocommit.html for a hint
1407       // what's going on here: autocommit in inactive inside BEGIN, so if
1408       // it's active, the DB was rolled-back
1409       if (sqlite3_get_autocommit(d->db)) {
1410         SG_LOG(SG_NAVCACHE, SG_ALERT, "commit: was rolled back!" << retries);
1411         d->transactionAborted = true;
1412         break;
1413       }
1414
1415       if (result != SQLITE_BUSY) {
1416         break;
1417       }
1418
1419       SGTimeStamp::sleepForMSec(++retries * 10);
1420       SG_LOG(SG_NAVCACHE, SG_ALERT, "NavCache contention on commit, will retry:" << retries);
1421     } // of retry loop for DB busy
1422
1423     string errMsg;
1424     if (result != SQLITE_DONE) {
1425       errMsg = sqlite3_errmsg(d->db);
1426       SG_LOG(SG_NAVCACHE, SG_ALERT, "Sqlite error:" << errMsg << " for  " << result
1427              << " while running:\n\t" << sqlite3_sql(q));
1428     }
1429
1430     sqlite3_reset(q);
1431   }
1432 }
1433
1434 void NavDataCache::abortTransaction()
1435 {
1436   SG_LOG(SG_NAVCACHE, SG_WARN, "NavCache: aborting transaction");
1437
1438   assert(d->transactionLevel > 0);
1439   if (--d->transactionLevel == 0) {
1440     d->stepSelect(d->rollbackTransactionStmt);
1441     sqlite3_reset(d->rollbackTransactionStmt);
1442   }
1443
1444   d->transactionAborted = true;
1445 }
1446
1447 FGPositionedRef NavDataCache::loadById(PositionedID rowid)
1448 {
1449   if (rowid == 0) {
1450     return NULL;
1451   }
1452
1453   PositionedCache::iterator it = d->cache.find(rowid);
1454   if (it != d->cache.end()) {
1455     d->cacheHits++;
1456     return it->second; // cache it
1457   }
1458
1459   FGPositioned* pos = d->loadById(rowid);
1460   d->cache.insert(it, PositionedCache::value_type(rowid, pos));
1461   d->cacheMisses++;
1462   return pos;
1463 }
1464
1465 PositionedID NavDataCache::insertAirport(FGPositioned::Type ty, const string& ident,
1466                                          const string& name)
1467 {
1468   // airports have their pos computed based on the avergae runway centres
1469   // so the pos isn't available immediately. Pass a dummy pos and avoid
1470   // doing spatial indexing until later
1471   sqlite3_int64 rowId = d->insertPositioned(ty, ident, name, SGGeod(),
1472                                             0 /* airport */,
1473                                             false /* spatial index */);
1474
1475   sqlite3_bind_int64(d->insertAirport, 1, rowId);
1476   d->execInsert(d->insertAirport);
1477
1478   return rowId;
1479 }
1480
1481 void NavDataCache::updatePosition(PositionedID item, const SGGeod &pos)
1482 {
1483   if (d->cache.find(item) != d->cache.end()) {
1484     SG_LOG(SG_NAVCACHE, SG_DEBUG, "updating position of an item in the cache");
1485     d->cache[item]->modifyPosition(pos);
1486   }
1487
1488   SGVec3d cartPos(SGVec3d::fromGeod(pos));
1489
1490   sqlite3_bind_int(d->setAirportPos, 1, item);
1491   sqlite3_bind_double(d->setAirportPos, 2, pos.getLongitudeDeg());
1492   sqlite3_bind_double(d->setAirportPos, 3, pos.getLatitudeDeg());
1493   sqlite3_bind_double(d->setAirportPos, 4, pos.getElevationM());
1494
1495 // bug 905; the octree leaf may change here, but the leaf may already be
1496 // loaded, and caching its children. (Either the old or new leaf!). Worse,
1497 // we may be called here as a result of loading one of those leaf's children.
1498 // instead of dealing with all those possibilites, such as modifying
1499 // the in-memory leaf's STL child container, we simply leave the runtime
1500 // structures alone. This is fine providing items do no move very far, since
1501 // all the spatial searches ultimately use the items' real cartesian position,
1502 // which was updated above.
1503   Octree::Leaf* octreeLeaf = Octree::global_spatialOctree->findLeafForPos(cartPos);
1504   sqlite3_bind_int64(d->setAirportPos, 5, octreeLeaf->guid());
1505
1506   sqlite3_bind_double(d->setAirportPos, 6, cartPos.x());
1507   sqlite3_bind_double(d->setAirportPos, 7, cartPos.y());
1508   sqlite3_bind_double(d->setAirportPos, 8, cartPos.z());
1509
1510
1511   d->execUpdate(d->setAirportPos);
1512 }
1513
1514 void NavDataCache::insertTower(PositionedID airportId, const SGGeod& pos)
1515 {
1516   d->insertPositioned(FGPositioned::TOWER, string(), string(),
1517                       pos, airportId, true /* spatial index */);
1518 }
1519
1520 PositionedID
1521 NavDataCache::insertRunway(FGPositioned::Type ty, const string& ident,
1522                            const SGGeod& pos, PositionedID apt,
1523                            double heading, double length, double width, double displacedThreshold,
1524                            double stopway, int surfaceCode)
1525 {
1526   // only runways are spatially indexed; don't bother indexing taxiways
1527   // or pavements
1528   bool spatialIndex = ( ty == FGPositioned::RUNWAY || ty == FGPositioned::HELIPAD);
1529
1530   sqlite3_int64 rowId = d->insertPositioned(ty, cleanRunwayNo(ident), "", pos, apt,
1531                                             spatialIndex);
1532   sqlite3_bind_int64(d->insertRunway, 1, rowId);
1533   sqlite3_bind_double(d->insertRunway, 2, heading);
1534   sqlite3_bind_double(d->insertRunway, 3, length);
1535   sqlite3_bind_double(d->insertRunway, 4, width);
1536   sqlite3_bind_int(d->insertRunway, 5, surfaceCode);
1537   sqlite3_bind_double(d->insertRunway, 6, displacedThreshold);
1538   sqlite3_bind_double(d->insertRunway, 7, stopway);
1539
1540   return d->execInsert(d->insertRunway);
1541 }
1542
1543 void NavDataCache::setRunwayReciprocal(PositionedID runway, PositionedID recip)
1544 {
1545   sqlite3_bind_int64(d->setRunwayReciprocal, 1, runway);
1546   sqlite3_bind_int64(d->setRunwayReciprocal, 2, recip);
1547   d->execUpdate(d->setRunwayReciprocal);
1548
1549 // and the opposite direction too!
1550   sqlite3_bind_int64(d->setRunwayReciprocal, 2, runway);
1551   sqlite3_bind_int64(d->setRunwayReciprocal, 1, recip);
1552   d->execUpdate(d->setRunwayReciprocal);
1553 }
1554
1555 void NavDataCache::setRunwayILS(PositionedID runway, PositionedID ils)
1556 {
1557   sqlite3_bind_int64(d->setRunwayILS, 1, runway);
1558   sqlite3_bind_int64(d->setRunwayILS, 2, ils);
1559   d->execUpdate(d->setRunwayILS);
1560
1561   // and the in-memory one
1562   if (d->cache.find(runway) != d->cache.end()) {
1563     FGRunway* instance = (FGRunway*) d->cache[runway].ptr();
1564     instance->setILS(ils);
1565   }
1566 }
1567
1568 PositionedID
1569 NavDataCache::insertNavaid(FGPositioned::Type ty, const string& ident,
1570                           const string& name, const SGGeod& pos,
1571                            int freq, int range, double multiuse,
1572                            PositionedID apt, PositionedID runway)
1573 {
1574   bool spatialIndex = true;
1575   if (ty == FGPositioned::MOBILE_TACAN) {
1576     spatialIndex = false;
1577   }
1578
1579   sqlite3_int64 rowId = d->insertPositioned(ty, ident, name, pos, apt,
1580                                             spatialIndex);
1581   sqlite3_bind_int64(d->insertNavaid, 1, rowId);
1582   sqlite3_bind_int(d->insertNavaid, 2, freq);
1583   sqlite3_bind_int(d->insertNavaid, 3, range);
1584   sqlite3_bind_double(d->insertNavaid, 4, multiuse);
1585   sqlite3_bind_int64(d->insertNavaid, 5, runway);
1586   sqlite3_bind_int64(d->insertNavaid, 6, 0);
1587   return d->execInsert(d->insertNavaid);
1588 }
1589
1590 void NavDataCache::setNavaidColocated(PositionedID navaid, PositionedID colocatedDME)
1591 {
1592   // Update DB entries...
1593   sqlite3_bind_int64(d->setNavaidColocated, 1, navaid);
1594   sqlite3_bind_int64(d->setNavaidColocated, 2, colocatedDME);
1595   d->execUpdate(d->setNavaidColocated);
1596
1597   // ...and the in-memory copy of the navrecord
1598   if (d->cache.find(navaid) != d->cache.end()) {
1599     FGNavRecord* rec = (FGNavRecord*) d->cache[navaid].get();
1600     rec->setColocatedDME(colocatedDME);
1601   }
1602 }
1603
1604 void NavDataCache::updateILS(PositionedID ils, const SGGeod& newPos, double aHdg)
1605 {
1606   sqlite3_bind_int64(d->updateILS, 1, ils);
1607   sqlite3_bind_double(d->updateILS, 2, aHdg);
1608   d->execUpdate(d->updateILS);
1609   updatePosition(ils, newPos);
1610 }
1611
1612 PositionedID NavDataCache::insertCommStation(FGPositioned::Type ty,
1613                                              const string& name, const SGGeod& pos, int freq, int range,
1614                                              PositionedID apt)
1615 {
1616   sqlite3_int64 rowId = d->insertPositioned(ty, "", name, pos, apt, true);
1617   sqlite3_bind_int64(d->insertCommStation, 1, rowId);
1618   sqlite3_bind_int(d->insertCommStation, 2, freq);
1619   sqlite3_bind_int(d->insertCommStation, 3, range);
1620   return d->execInsert(d->insertCommStation);
1621 }
1622
1623 PositionedID NavDataCache::insertFix(const std::string& ident, const SGGeod& aPos)
1624 {
1625   return d->insertPositioned(FGPositioned::FIX, ident, string(), aPos, 0, true);
1626 }
1627
1628 PositionedID NavDataCache::createPOI(FGPositioned::Type ty, const std::string& ident, const SGGeod& aPos)
1629 {
1630   return d->insertPositioned(ty, ident, string(), aPos, 0,
1631                              true /* spatial index */);
1632 }
1633
1634 bool NavDataCache::removePOI(FGPositioned::Type ty, const std::string& aIdent)
1635 {
1636   d->removePositionedWithIdent(ty, aIdent);
1637   // should remove from the live cache too?
1638
1639     return true;
1640 }
1641
1642 void NavDataCache::setAirportMetar(const string& icao, bool hasMetar)
1643 {
1644   sqlite_bind_stdstring(d->setAirportMetar, 1, icao);
1645   sqlite3_bind_int(d->setAirportMetar, 2, hasMetar);
1646   d->execUpdate(d->setAirportMetar);
1647 }
1648
1649 //------------------------------------------------------------------------------
1650 FGPositionedList NavDataCache::findAllWithIdent( const string& s,
1651                                                  FGPositioned::Filter* filter,
1652                                                  bool exact )
1653 {
1654   return d->findAllByString(s, "ident", filter, exact);
1655 }
1656
1657 //------------------------------------------------------------------------------
1658 FGPositionedList NavDataCache::findAllWithName( const string& s,
1659                                                 FGPositioned::Filter* filter,
1660                                                 bool exact )
1661 {
1662   return d->findAllByString(s, "name", filter, exact);
1663 }
1664
1665 //------------------------------------------------------------------------------
1666 FGPositionedRef NavDataCache::findClosestWithIdent( const string& aIdent,
1667                                                     const SGGeod& aPos,
1668                                                     FGPositioned::Filter* aFilter )
1669 {
1670   sqlite_bind_stdstring(d->findClosestWithIdent, 1, aIdent);
1671   if (aFilter) {
1672     sqlite3_bind_int(d->findClosestWithIdent, 2, aFilter->minType());
1673     sqlite3_bind_int(d->findClosestWithIdent, 3, aFilter->maxType());
1674   } else { // full type range
1675     sqlite3_bind_int(d->findClosestWithIdent, 2, FGPositioned::INVALID);
1676     sqlite3_bind_int(d->findClosestWithIdent, 3, FGPositioned::LAST_TYPE);
1677   }
1678
1679   SGVec3d cartPos(SGVec3d::fromGeod(aPos));
1680   sqlite3_bind_double(d->findClosestWithIdent, 4, cartPos.x());
1681   sqlite3_bind_double(d->findClosestWithIdent, 5, cartPos.y());
1682   sqlite3_bind_double(d->findClosestWithIdent, 6, cartPos.z());
1683
1684   FGPositionedRef result;
1685
1686   while (d->stepSelect(d->findClosestWithIdent)) {
1687     FGPositioned* pos = loadById(sqlite3_column_int64(d->findClosestWithIdent, 0));
1688     if (aFilter && !aFilter->pass(pos)) {
1689       continue;
1690     }
1691
1692     result = pos;
1693     break;
1694   }
1695
1696   d->reset(d->findClosestWithIdent);
1697   return result;
1698 }
1699
1700
1701 int NavDataCache::getOctreeBranchChildren(int64_t octreeNodeId)
1702 {
1703   sqlite3_bind_int64(d->getOctreeChildren, 1, octreeNodeId);
1704   d->execSelect1(d->getOctreeChildren);
1705   int children = sqlite3_column_int(d->getOctreeChildren, 0);
1706   d->reset(d->getOctreeChildren);
1707   return children;
1708 }
1709
1710 void NavDataCache::defineOctreeNode(Octree::Branch* pr, Octree::Node* nd)
1711 {
1712   sqlite3_bind_int64(d->insertOctree, 1, nd->guid());
1713   d->execInsert(d->insertOctree);
1714
1715 #ifdef LAZY_OCTREE_UPDATES
1716   d->deferredOctreeUpdates.insert(pr);
1717 #else
1718   // lowest three bits of node ID are 0..7 index of the child in the parent
1719   int childIndex = nd->guid() & 0x07;
1720
1721   sqlite3_bind_int64(d->updateOctreeChildren, 1, pr->guid());
1722 // mask has bit N set where child N exists
1723   int childMask = 1 << childIndex;
1724   sqlite3_bind_int(d->updateOctreeChildren, 2, childMask);
1725   d->execUpdate(d->updateOctreeChildren);
1726 #endif
1727 }
1728
1729 TypedPositionedVec
1730 NavDataCache::getOctreeLeafChildren(int64_t octreeNodeId)
1731 {
1732   sqlite3_bind_int64(d->getOctreeLeafChildren, 1, octreeNodeId);
1733
1734   TypedPositionedVec r;
1735   while (d->stepSelect(d->getOctreeLeafChildren)) {
1736     FGPositioned::Type ty = static_cast<FGPositioned::Type>
1737       (sqlite3_column_int(d->getOctreeLeafChildren, 1));
1738     r.push_back(std::make_pair(ty,
1739                 sqlite3_column_int64(d->getOctreeLeafChildren, 0)));
1740   }
1741
1742   d->reset(d->getOctreeLeafChildren);
1743   return r;
1744 }
1745
1746
1747 /**
1748  * A special purpose helper (used by FGAirport::searchNamesAndIdents) to
1749  * implement the AirportList dialog. It's unfortunate that it needs to reside
1750  * here, but for now it's least ugly solution.
1751  */
1752 char** NavDataCache::searchAirportNamesAndIdents(const std::string& aFilter)
1753 {
1754   sqlite3_stmt_ptr stmt;
1755   unsigned int numMatches = 0, numAllocated = 16;
1756   if (aFilter.empty()) {
1757     stmt = d->getAllAirports;
1758     numAllocated = 4096; // start much larger for all airports
1759   } else {
1760     stmt = d->searchAirports;
1761     string s = "%" + aFilter + "%";
1762     sqlite_bind_stdstring(stmt, 1, s);
1763   }
1764
1765   char** result = (char**) malloc(sizeof(char*) * numAllocated);
1766   while (d->stepSelect(stmt)) {
1767     if ((numMatches + 1) >= numAllocated) {
1768       numAllocated <<= 1; // double in size!
1769     // reallocate results array
1770       char** nresult = (char**) malloc(sizeof(char*) * numAllocated);
1771       memcpy(nresult, result, sizeof(char*) * numMatches);
1772       free(result);
1773       result = nresult;
1774     }
1775
1776     // nasty code to avoid excessive string copying and allocations.
1777     // We format results as follows (note whitespace!):
1778     //   ' name-of-airport-chars   (ident)'
1779     // so the total length is:
1780     //    1 + strlen(name) + 4 + strlen(icao) + 1 + 1 (for the null)
1781     // which gives a grand total of 7 + name-length + icao-length.
1782     // note the ident can be three letters (non-ICAO local strip), four
1783     // (default ICAO) or more (extended format ICAO)
1784     int nameLength = sqlite3_column_bytes(stmt, 1);
1785     int icaoLength = sqlite3_column_bytes(stmt, 0);
1786     char* entry = (char*) malloc(7 + nameLength + icaoLength);
1787     char* dst = entry;
1788     *dst++ = ' ';
1789     memcpy(dst, sqlite3_column_text(stmt, 1), nameLength);
1790     dst += nameLength;
1791     *dst++ = ' ';
1792     *dst++ = ' ';
1793     *dst++ = ' ';
1794     *dst++ = '(';
1795     memcpy(dst, sqlite3_column_text(stmt, 0), icaoLength);
1796     dst += icaoLength;
1797     *dst++ = ')';
1798     *dst++ = 0;
1799
1800     result[numMatches++] = entry;
1801   }
1802
1803   result[numMatches] = NULL; // end of list marker
1804   d->reset(stmt);
1805   return result;
1806 }
1807
1808 FGPositionedRef
1809 NavDataCache::findCommByFreq(int freqKhz, const SGGeod& aPos, FGPositioned::Filter* aFilter)
1810 {
1811   sqlite3_bind_int(d->findCommByFreq, 1, freqKhz);
1812   if (aFilter) {
1813     sqlite3_bind_int(d->findCommByFreq, 2, aFilter->minType());
1814     sqlite3_bind_int(d->findCommByFreq, 3, aFilter->maxType());
1815   } else { // full type range
1816     sqlite3_bind_int(d->findCommByFreq, 2, FGPositioned::FREQ_GROUND);
1817     sqlite3_bind_int(d->findCommByFreq, 3, FGPositioned::FREQ_UNICOM);
1818   }
1819
1820   SGVec3d cartPos(SGVec3d::fromGeod(aPos));
1821   sqlite3_bind_double(d->findCommByFreq, 4, cartPos.x());
1822   sqlite3_bind_double(d->findCommByFreq, 5, cartPos.y());
1823   sqlite3_bind_double(d->findCommByFreq, 6, cartPos.z());
1824   FGPositionedRef result;
1825
1826   while (d->execSelect(d->findCommByFreq)) {
1827     FGPositioned* p = loadById(sqlite3_column_int64(d->findCommByFreq, 0));
1828     if (aFilter && !aFilter->pass(p)) {
1829       continue;
1830     }
1831
1832     result = p;
1833     break;
1834   }
1835
1836   d->reset(d->findCommByFreq);
1837   return result;
1838 }
1839
1840 PositionedIDVec
1841 NavDataCache::findNavaidsByFreq(int freqKhz, const SGGeod& aPos, FGPositioned::Filter* aFilter)
1842 {
1843   sqlite3_bind_int(d->findNavsByFreq, 1, freqKhz);
1844   if (aFilter) {
1845     sqlite3_bind_int(d->findNavsByFreq, 2, aFilter->minType());
1846     sqlite3_bind_int(d->findNavsByFreq, 3, aFilter->maxType());
1847   } else { // full type range
1848     sqlite3_bind_int(d->findNavsByFreq, 2, FGPositioned::NDB);
1849     sqlite3_bind_int(d->findNavsByFreq, 3, FGPositioned::GS);
1850   }
1851
1852   SGVec3d cartPos(SGVec3d::fromGeod(aPos));
1853   sqlite3_bind_double(d->findNavsByFreq, 4, cartPos.x());
1854   sqlite3_bind_double(d->findNavsByFreq, 5, cartPos.y());
1855   sqlite3_bind_double(d->findNavsByFreq, 6, cartPos.z());
1856
1857   return d->selectIds(d->findNavsByFreq);
1858 }
1859
1860 PositionedIDVec
1861 NavDataCache::findNavaidsByFreq(int freqKhz, FGPositioned::Filter* aFilter)
1862 {
1863   sqlite3_bind_int(d->findNavsByFreqNoPos, 1, freqKhz);
1864   if (aFilter) {
1865     sqlite3_bind_int(d->findNavsByFreqNoPos, 2, aFilter->minType());
1866     sqlite3_bind_int(d->findNavsByFreqNoPos, 3, aFilter->maxType());
1867   } else { // full type range
1868     sqlite3_bind_int(d->findNavsByFreqNoPos, 2, FGPositioned::NDB);
1869     sqlite3_bind_int(d->findNavsByFreqNoPos, 3, FGPositioned::GS);
1870   }
1871
1872   return d->selectIds(d->findNavsByFreqNoPos);
1873 }
1874
1875 PositionedIDVec
1876 NavDataCache::airportItemsOfType(PositionedID apt,FGPositioned::Type ty,
1877                                  FGPositioned::Type maxTy)
1878 {
1879   if (maxTy == FGPositioned::INVALID) {
1880     maxTy = ty; // single-type range
1881   }
1882
1883   sqlite3_bind_int64(d->getAirportItems, 1, apt);
1884   sqlite3_bind_int(d->getAirportItems, 2, ty);
1885   sqlite3_bind_int(d->getAirportItems, 3, maxTy);
1886
1887   return d->selectIds(d->getAirportItems);
1888 }
1889
1890 PositionedID
1891 NavDataCache::airportItemWithIdent(PositionedID apt, FGPositioned::Type ty,
1892                                    const std::string& ident)
1893 {
1894   sqlite3_bind_int64(d->getAirportItemByIdent, 1, apt);
1895   sqlite_bind_stdstring(d->getAirportItemByIdent, 2, ident);
1896   sqlite3_bind_int(d->getAirportItemByIdent, 3, ty);
1897   PositionedID result = 0;
1898
1899   if (d->execSelect(d->getAirportItemByIdent)) {
1900     result = sqlite3_column_int64(d->getAirportItemByIdent, 0);
1901   }
1902
1903   d->reset(d->getAirportItemByIdent);
1904   return result;
1905 }
1906
1907 AirportRunwayPair
1908 NavDataCache::findAirportRunway(const std::string& aName)
1909 {
1910   if (aName.empty()) {
1911     return AirportRunwayPair();
1912   }
1913
1914   string_list parts = simgear::strutils::split(aName);
1915   if (parts.size() < 2) {
1916     SG_LOG(SG_NAVCACHE, SG_WARN, "findAirportRunway: malformed name:" << aName);
1917     return AirportRunwayPair();
1918   }
1919
1920   AirportRunwayPair result;
1921   sqlite_bind_stdstring(d->findAirportRunway, 1, parts[0]);
1922   sqlite_bind_stdstring(d->findAirportRunway, 2, parts[1]);
1923
1924   if (d->execSelect(d->findAirportRunway)) {
1925     result = AirportRunwayPair(sqlite3_column_int64(d->findAirportRunway, 0),
1926                       sqlite3_column_int64(d->findAirportRunway, 1));
1927
1928   } else {
1929     SG_LOG(SG_NAVCACHE, SG_WARN, "findAirportRunway: unknown airport/runway:" << aName);
1930   }
1931
1932   d->reset(d->findAirportRunway);
1933   return result;
1934 }
1935
1936 PositionedID
1937 NavDataCache::findILS(PositionedID airport, const string& runway, const string& navIdent)
1938 {
1939   sqlite_bind_stdstring(d->findILS, 1, navIdent);
1940   sqlite3_bind_int64(d->findILS, 2, airport);
1941   sqlite_bind_stdstring(d->findILS, 3, runway);
1942   PositionedID result = 0;
1943   if (d->execSelect(d->findILS)) {
1944     result = sqlite3_column_int64(d->findILS, 0);
1945   }
1946
1947   d->reset(d->findILS);
1948   return result;
1949 }
1950
1951 int NavDataCache::findAirway(int network, const string& aName)
1952 {
1953   sqlite3_bind_int(d->findAirway, 1, network);
1954   sqlite_bind_stdstring(d->findAirway, 2, aName);
1955
1956   int airway = 0;
1957   if (d->execSelect(d->findAirway)) {
1958     // already exists
1959     airway = sqlite3_column_int(d->findAirway, 0);
1960   } else {
1961     sqlite_bind_stdstring(d->insertAirway, 1, aName);
1962     sqlite3_bind_int(d->insertAirway, 2, network);
1963     airway = d->execInsert(d->insertAirway);
1964   }
1965
1966   d->reset(d->findAirway);
1967   return airway;
1968 }
1969
1970 void NavDataCache::insertEdge(int network, int airwayID, PositionedID from, PositionedID to)
1971 {
1972   // assume all edges are bidirectional for the moment
1973   for (int i=0; i<2; ++i) {
1974     sqlite3_bind_int(d->insertAirwayEdge, 1, network);
1975     sqlite3_bind_int(d->insertAirwayEdge, 2, airwayID);
1976     sqlite3_bind_int64(d->insertAirwayEdge, 3, from);
1977     sqlite3_bind_int64(d->insertAirwayEdge, 4, to);
1978     d->execInsert(d->insertAirwayEdge);
1979
1980     std::swap(from, to);
1981   }
1982 }
1983
1984 bool NavDataCache::isInAirwayNetwork(int network, PositionedID pos)
1985 {
1986   sqlite3_bind_int(d->isPosInAirway, 1, network);
1987   sqlite3_bind_int64(d->isPosInAirway, 2, pos);
1988   bool ok = d->execSelect(d->isPosInAirway);
1989   d->reset(d->isPosInAirway);
1990
1991   return ok;
1992 }
1993
1994 AirwayEdgeVec NavDataCache::airwayEdgesFrom(int network, PositionedID pos)
1995 {
1996   sqlite3_bind_int(d->airwayEdgesFrom, 1, network);
1997   sqlite3_bind_int64(d->airwayEdgesFrom, 2, pos);
1998
1999   AirwayEdgeVec result;
2000   while (d->stepSelect(d->airwayEdgesFrom)) {
2001     result.push_back(AirwayEdge(
2002                      sqlite3_column_int(d->airwayEdgesFrom, 0),
2003                      sqlite3_column_int64(d->airwayEdgesFrom, 1)
2004                      ));
2005   }
2006
2007   d->reset(d->airwayEdgesFrom);
2008   return result;
2009 }
2010
2011 PositionedID NavDataCache::findNavaidForRunway(PositionedID runway, FGPositioned::Type ty)
2012 {
2013   sqlite3_bind_int64(d->findNavaidForRunway, 1, runway);
2014   sqlite3_bind_int(d->findNavaidForRunway, 2, ty);
2015
2016   PositionedID result = 0;
2017   if (d->execSelect(d->findNavaidForRunway)) {
2018     result = sqlite3_column_int64(d->findNavaidForRunway, 0);
2019   }
2020
2021   d->reset(d->findNavaidForRunway);
2022   return result;
2023 }
2024
2025 PositionedID
2026 NavDataCache::insertParking(const std::string& name, const SGGeod& aPos,
2027                             PositionedID aAirport,
2028                            double aHeading, int aRadius, const std::string& aAircraftType,
2029                            const std::string& aAirlines)
2030 {
2031   sqlite3_int64 rowId = d->insertPositioned(FGPositioned::PARKING, name, "", aPos, aAirport, false);
2032
2033 // we need to insert a row into the taxi_node table, otherwise we can't maintain
2034 // the appropriate pushback flag.
2035   sqlite3_bind_int64(d->insertTaxiNode, 1, rowId);
2036   sqlite3_bind_int(d->insertTaxiNode, 2, 0);
2037   sqlite3_bind_int(d->insertTaxiNode, 3, 0);
2038   d->execInsert(d->insertTaxiNode);
2039
2040   sqlite3_bind_int64(d->insertParkingPos, 1, rowId);
2041   sqlite3_bind_double(d->insertParkingPos, 2, aHeading);
2042   sqlite3_bind_int(d->insertParkingPos, 3, aRadius);
2043   sqlite_bind_stdstring(d->insertParkingPos, 4, aAircraftType);
2044   sqlite_bind_stdstring(d->insertParkingPos, 5, aAirlines);
2045   return d->execInsert(d->insertParkingPos);
2046 }
2047
2048 void NavDataCache::setParkingPushBackRoute(PositionedID parking, PositionedID pushBackNode)
2049 {
2050   sqlite3_bind_int64(d->setParkingPushBack, 1, parking);
2051   sqlite3_bind_int64(d->setParkingPushBack, 2, pushBackNode);
2052   d->execUpdate(d->setParkingPushBack);
2053 }
2054
2055 PositionedID
2056 NavDataCache::insertTaxiNode(const SGGeod& aPos, PositionedID aAirport, int aHoldType, bool aOnRunway)
2057 {
2058   sqlite3_int64 rowId = d->insertPositioned(FGPositioned::TAXI_NODE, string(), string(), aPos, aAirport, false);
2059   sqlite3_bind_int64(d->insertTaxiNode, 1, rowId);
2060   sqlite3_bind_int(d->insertTaxiNode, 2, aHoldType);
2061   sqlite3_bind_int(d->insertTaxiNode, 3, aOnRunway);
2062   return d->execInsert(d->insertTaxiNode);
2063 }
2064
2065 void NavDataCache::insertGroundnetEdge(PositionedID aAirport, PositionedID from, PositionedID to)
2066 {
2067   sqlite3_bind_int64(d->insertTaxiEdge, 1, aAirport);
2068   sqlite3_bind_int64(d->insertTaxiEdge, 2, from);
2069   sqlite3_bind_int64(d->insertTaxiEdge, 3, to);
2070   d->execInsert(d->insertTaxiEdge);
2071 }
2072
2073 PositionedIDVec NavDataCache::groundNetNodes(PositionedID aAirport, bool onlyPushback)
2074 {
2075   sqlite3_stmt_ptr q = onlyPushback ? d->airportPushbackNodes : d->airportTaxiNodes;
2076   sqlite3_bind_int64(q, 1, aAirport);
2077   return d->selectIds(q);
2078 }
2079
2080 void NavDataCache::markGroundnetAsPushback(PositionedID nodeId)
2081 {
2082   sqlite3_bind_int64(d->markTaxiNodeAsPushback, 1, nodeId);
2083   d->execUpdate(d->markTaxiNodeAsPushback);
2084 }
2085
2086 static double headingDifferenceDeg(double crs1, double crs2)
2087 {
2088   double diff =  crs2 - crs1;
2089   SG_NORMALIZE_RANGE(diff, -180.0, 180.0);
2090   return diff;
2091 }
2092
2093 PositionedID NavDataCache::findGroundNetNode(PositionedID airport, const SGGeod& aPos,
2094                                              bool onRunway, FGRunway* aRunway)
2095 {
2096   sqlite3_stmt_ptr q = onRunway ? d->findNearestRunwayTaxiNode : d->findNearestTaxiNode;
2097   sqlite3_bind_int64(q, 1, airport);
2098
2099   SGVec3d cartPos(SGVec3d::fromGeod(aPos));
2100   sqlite3_bind_double(q, 2, cartPos.x());
2101   sqlite3_bind_double(q, 3, cartPos.y());
2102   sqlite3_bind_double(q, 4, cartPos.z());
2103
2104   PositionedID result = 0;
2105   while (d->execSelect(q)) {
2106     PositionedID id = sqlite3_column_int64(q, 0);
2107     if (!aRunway) {
2108       result = id;
2109       break;
2110     }
2111
2112   // ensure found node lies on the runway
2113     FGPositionedRef node = loadById(id);
2114     double course = SGGeodesy::courseDeg(node->geod(), aRunway->end());
2115     if (fabs(headingDifferenceDeg(course, aRunway->headingDeg())) < 3.0 ) {
2116       result = id;
2117       break;
2118     }
2119   }
2120
2121   d->reset(q);
2122   return result;
2123 }
2124
2125 PositionedIDVec NavDataCache::groundNetEdgesFrom(PositionedID pos, bool onlyPushback)
2126 {
2127   sqlite3_stmt_ptr q = onlyPushback ? d->pushbackEdgesFrom : d->taxiEdgesFrom;
2128   sqlite3_bind_int64(q, 1, pos);
2129   return d->selectIds(q);
2130 }
2131
2132 PositionedIDVec NavDataCache::findAirportParking(PositionedID airport, const std::string& flightType,
2133                                    int radius)
2134 {
2135   sqlite3_bind_int64(d->findAirportParking, 1, airport);
2136   sqlite3_bind_int(d->findAirportParking, 2, radius);
2137   sqlite_bind_stdstring(d->findAirportParking, 3, flightType);
2138
2139   return d->selectIds(d->findAirportParking);
2140 }
2141
2142 void NavDataCache::dropGroundnetFor(PositionedID aAirport)
2143 {
2144   sqlite3_stmt_ptr q = d->prepare("DELETE FROM parking WHERE rowid IN (SELECT rowid FROM positioned WHERE type=?1 AND airport=?2)");
2145   sqlite3_bind_int(q, 1, FGPositioned::PARKING);
2146   sqlite3_bind_int64(q, 2, aAirport);
2147   d->execUpdate(q);
2148
2149   q = d->prepare("DELETE FROM taxi_node WHERE rowid IN (SELECT rowid FROM positioned WHERE (type=?1 OR type=?2) AND airport=?3)");
2150   sqlite3_bind_int(q, 1, FGPositioned::TAXI_NODE);
2151   sqlite3_bind_int(q, 2, FGPositioned::PARKING);
2152   sqlite3_bind_int64(q, 3, aAirport);
2153   d->execUpdate(q);
2154
2155   q = d->prepare("DELETE FROM positioned WHERE (type=?1 OR type=?2) AND airport=?3");
2156   sqlite3_bind_int(q, 1, FGPositioned::TAXI_NODE);
2157   sqlite3_bind_int(q, 2, FGPositioned::PARKING);
2158   sqlite3_bind_int64(q, 3, aAirport);
2159   d->execUpdate(q);
2160
2161   q = d->prepare("DELETE FROM groundnet_edge WHERE airport=?1");
2162   sqlite3_bind_int64(q, 1, aAirport);
2163   d->execUpdate(q);
2164 }
2165
2166 bool NavDataCache::isReadOnly() const
2167 {
2168     return d->readOnly;
2169 }
2170
2171 /////////////////////////////////////////////////////////////////////////////////////////
2172 // Transaction RAII object
2173
2174 NavDataCache::Transaction::Transaction(NavDataCache* cache) :
2175     _instance(cache),
2176     _committed(false)
2177 {
2178     assert(cache);
2179     _instance->beginTransaction();
2180 }
2181
2182 NavDataCache::Transaction::~Transaction()
2183 {
2184     if (!_committed) {
2185         SG_LOG(SG_NAVCACHE, SG_INFO, "aborting cache transaction!");
2186         _instance->abortTransaction();
2187     }
2188 }
2189
2190 void NavDataCache::Transaction::commit()
2191 {
2192     assert(!_committed);
2193     _committed = true;
2194     _instance->commitTransaction();
2195 }
2196
2197 } // of namespace flightgear
2198