src/Navaids/NavDataCache.cxx

   1 // NavDataCache.cxx - defines a unified binary cache for navigation
   2 // data, parsed from various text / XML sources.
   3
   4 // Written by James Turner, started 2012.
   5 //
   6 // Copyright (C) 2012  James Turner
   7 //
   8 // This program is free software; you can redistribute it and/or
   9 // modify it under the terms of the GNU General Public License as
  10 // published by the Free Software Foundation; either version 2 of the
  11 // License, or (at your option) any later version.
  12 //
  13 // This program is distributed in the hope that it will be useful, but
  14 // WITHOUT ANY WARRANTY; without even the implied warranty of
  15 // MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
  16 // General Public License for more details.
  17 //
  18 // You should have received a copy of the GNU General Public License
  19 // along with this program; if not, write to the Free Software
  20 // Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA  02110-1301, USA.
  21
  22 #ifdef HAVE_CONFIG_H
  23 # include "config.h"
  24 #endif
  25
  26 // to ensure compatability between sqlite3_int64 and PositionedID,
  27 // force the type used by sqlite to match PositionedID explicitly
  28 #define SQLITE_INT64_TYPE int64_t
  29 #define SQLITE_UINT64_TYPE uint64_t
  30
  31 #include "NavDataCache.hxx"
  32
  33 // std
  34 #include <map>
  35 #include <cassert>
  36 #include <stdint.h> // for int64_t
  37 // boost
  38 #include <boost/foreach.hpp>
  39
  40 #include "sqlite3.h"
  41
  42 // SimGear
  43 #include <simgear/structure/exception.hxx>
  44 #include <simgear/debug/logstream.hxx>
  45 #include <simgear/bucket/newbucket.hxx>
  46 #include <simgear/misc/sg_path.hxx>
  47 #include <simgear/misc/strutils.hxx>
  48 #include <simgear/threads/SGThread.hxx>
  49 #include <simgear/threads/SGGuard.hxx>
  50
  51 #include <Main/globals.hxx>
  52 #include "markerbeacon.hxx"
  53 #include "navrecord.hxx"
  54 #include <Airports/simple.hxx>
  55 #include <Airports/runways.hxx>
  56 #include <ATC/CommStation.hxx>
  57 #include "fix.hxx"
  58 #include <Navaids/fixlist.hxx>
  59 #include <Navaids/navdb.hxx>
  60 #include "PositionedOctree.hxx"
  61 #include <Airports/apt_loader.hxx>
  62 #include <Navaids/airways.hxx>
  63 #include <Airports/parking.hxx>
  64 #include <Airports/gnnode.hxx>
  65
  66 using std::string;
  67
  68 #define SG_NAVCACHE SG_NAVAID
  69 //#define LAZY_OCTREE_UPDATES 1
  70
  71 namespace {
  72
  73 const int MAX_RETRIES = 10;
  74 const int SCHEMA_VERSION = 6;
  75
  76 // bind a std::string to a sqlite statement. The std::string must live the
  77 // entire duration of the statement execution - do not pass a temporary
  78 // std::string, or the compiler may delete it, freeing the C-string storage,
  79 // and causing subtle memory corruption bugs!
  80 void sqlite_bind_stdstring(sqlite3_stmt* stmt, int value, const std::string& s)
  81 {
  82   sqlite3_bind_text(stmt, value, s.c_str(), s.length(), SQLITE_STATIC);
  83 }
  84
  85 // variant of the above, which does not care about the lifetime of the
  86 // passed std::string
  87 void sqlite_bind_temp_stdstring(sqlite3_stmt* stmt, int value, const std::string& s)
  88 {
  89   sqlite3_bind_text(stmt, value, s.c_str(), s.length(), SQLITE_TRANSIENT);
  90 }
  91
  92 typedef sqlite3_stmt* sqlite3_stmt_ptr;
  93
  94 void f_distanceCartSqrFunction(sqlite3_context* ctx, int argc, sqlite3_value* argv[])
  95 {
  96   if (argc != 6) {
  97     return;
  98   }
  99
 100   SGVec3d posA(sqlite3_value_double(argv[0]),
 101                sqlite3_value_double(argv[1]),
 102                sqlite3_value_double(argv[2]));
 103
 104   SGVec3d posB(sqlite3_value_double(argv[3]),
 105                sqlite3_value_double(argv[4]),
 106                sqlite3_value_double(argv[5]));
 107   sqlite3_result_double(ctx, distSqr(posA, posB));
 108 }
 109
 110
 111 static string cleanRunwayNo(const string& aRwyNo)
 112 {
 113   if (aRwyNo[0] == 'x') {
 114     return string(); // no ident for taxiways
 115   }
 116
 117   string result(aRwyNo);
 118   // canonicalise runway ident
 119   if ((aRwyNo.size() == 1) || !isdigit(aRwyNo[1])) {
 120     result = "0" + aRwyNo;
 121   }
 122
 123   // trim off trailing garbage
 124   if (result.size() > 2) {
 125     char suffix = toupper(result[2]);
 126     if (suffix == 'X') {
 127       result = result.substr(0, 2);
 128     }
 129   }
 130
 131   return result;
 132 }
 133
 134 } // anonymous namespace
 135
 136 namespace flightgear
 137 {
 138
 139 /**
 140  * Thread encapsulating a cache rebuild. This is not used to parallelise
 141  * the rebuild - we must still wait until completion before doing other
 142  * startup, since many things rely on a complete cache. The thread is used
 143  * so we don't block the main event loop for an unacceptable duration,
 144  * which causes 'not responding' / spinning beachballs on Windows & Mac
 145  */
 146 class RebuildThread : public SGThread
 147 {
 148 public:
 149   RebuildThread(NavDataCache* cache) :
 150   _cache(cache),
 151   _isFinished(false)
 152   {
 153
 154   }
 155
 156   bool isFinished() const
 157   {
 158     SGGuard<SGMutex> g(_lock);
 159     return _isFinished;
 160   }
 161
 162   virtual void run()
 163   {
 164     SGTimeStamp st;
 165     st.stamp();
 166     _cache->doRebuild();
 167     SG_LOG(SG_NAVCACHE, SG_INFO, "cache rebuild took:" << st.elapsedMSec() << "msec");
 168
 169     SGGuard<SGMutex> g(_lock);
 170     _isFinished = true;
 171   }
 172 private:
 173   NavDataCache* _cache;
 174   mutable SGMutex _lock;
 175   bool _isFinished;
 176 };
 177
 178 ////////////////////////////////////////////////////////////////////////////
 179
 180 typedef std::map<PositionedID, FGPositionedRef> PositionedCache;
 181
 182 class AirportTower : public FGPositioned
 183 {
 184 public:
 185   AirportTower(PositionedID& guid, PositionedID airport,
 186                const string& ident, const SGGeod& pos) :
 187     FGPositioned(guid, FGPositioned::TOWER, ident, pos)
 188   {
 189   }
 190 };
 191
 192 class NavDataCache::NavDataCachePrivate
 193 {
 194 public:
 195   NavDataCachePrivate(const SGPath& p, NavDataCache* o) :
 196     outer(o),
 197     db(NULL),
 198     path(p),
 199     cacheHits(0),
 200     cacheMisses(0),
 201     transactionLevel(0),
 202     transactionAborted(false)
 203   {
 204   }
 205
 206   ~NavDataCachePrivate()
 207   {
 208     BOOST_FOREACH(sqlite3_stmt_ptr stmt, prepared) {
 209       sqlite3_finalize(stmt);
 210     }
 211     prepared.clear();
 212
 213     sqlite3_close(db);
 214   }
 215
 216   void init()
 217   {
 218     SG_LOG(SG_NAVCACHE, SG_INFO, "NavCache at:" << path);
 219     sqlite3_open_v2(path.c_str(), &db,
 220                     SQLITE_OPEN_READWRITE | SQLITE_OPEN_CREATE, NULL);
 221
 222
 223     sqlite3_stmt_ptr checkTables =
 224       prepare("SELECT count(*) FROM sqlite_master WHERE name='properties'");
 225
 226     sqlite3_create_function(db, "distanceCartSqr", 6, SQLITE_ANY, NULL,
 227                             f_distanceCartSqrFunction, NULL, NULL);
 228
 229     execSelect(checkTables);
 230     bool didCreate = false;
 231     if (sqlite3_column_int(checkTables, 0) == 0) {
 232       SG_LOG(SG_NAVCACHE, SG_INFO, "will create tables");
 233       initTables();
 234       didCreate = true;
 235     }
 236
 237     readPropertyQuery = prepare("SELECT value FROM properties WHERE key=?");
 238     writePropertyQuery = prepare("INSERT INTO properties (key, value) VALUES (?,?)");
 239     clearProperty = prepare("DELETE FROM properties WHERE key=?1");
 240
 241     if (didCreate) {
 242       writeIntProperty("schema-version", SCHEMA_VERSION);
 243     } else {
 244       int schemaVersion = outer->readIntProperty("schema-version");
 245       if (schemaVersion != SCHEMA_VERSION) {
 246         SG_LOG(SG_NAVCACHE, SG_INFO, "Navcache schema mismatch, will rebuild");
 247         throw sg_exception("Navcache schema has changed");
 248       }
 249     }
 250
 251     prepareQueries();
 252   }
 253
 254   void checkCacheFile()
 255   {
 256     SG_LOG(SG_NAVCACHE, SG_INFO, "running DB integrity check");
 257     SGTimeStamp st;
 258     st.stamp();
 259
 260     sqlite3_stmt_ptr stmt = prepare("PRAGMA quick_check(1)");
 261     if (!execSelect(stmt)) {
 262       throw sg_exception("DB integrity check failed to run");
 263     }
 264
 265     string v = (char*) sqlite3_column_text(stmt, 0);
 266     if (v != "ok") {
 267       throw sg_exception("DB integrity check returned:" + v);
 268     }
 269
 270     SG_LOG(SG_NAVCACHE, SG_INFO, "NavDataCache integrity check took:" << st.elapsedMSec());
 271     finalize(stmt);
 272   }
 273
 274   void callSqlite(int result, const string& sql)
 275   {
 276     if (result == SQLITE_OK)
 277       return; // all good
 278
 279     string errMsg;
 280     if (result == SQLITE_MISUSE) {
 281       errMsg = "Sqlite API abuse";
 282       SG_LOG(SG_NAVCACHE, SG_ALERT, "Sqlite API abuse");
 283     } else {
 284       errMsg = sqlite3_errmsg(db);
 285       SG_LOG(SG_NAVCACHE, SG_ALERT, "Sqlite error:" << errMsg << " running:\n\t" << sql);
 286     }
 287
 288     throw sg_exception("Sqlite error:" + errMsg, sql);
 289   }
 290
 291   void runSQL(const string& sql)
 292   {
 293     sqlite3_stmt_ptr stmt;
 294     callSqlite(sqlite3_prepare_v2(db, sql.c_str(), sql.length(), &stmt, NULL), sql);
 295
 296     try {
 297       execSelect(stmt);
 298     } catch (sg_exception&) {
 299       sqlite3_finalize(stmt);
 300       throw; // re-throw
 301     }
 302
 303     sqlite3_finalize(stmt);
 304   }
 305
 306   sqlite3_stmt_ptr prepare(const string& sql)
 307   {
 308     sqlite3_stmt_ptr stmt;
 309     callSqlite(sqlite3_prepare_v2(db, sql.c_str(), sql.length(), &stmt, NULL), sql);
 310     prepared.push_back(stmt);
 311     return stmt;
 312   }
 313
 314   void finalize(sqlite3_stmt_ptr s)
 315   {
 316     StmtVec::iterator it = std::find(prepared.begin(), prepared.end(), s);
 317     if (it == prepared.end()) {
 318       throw sg_exception("Finalising statement that was not prepared");
 319     }
 320
 321     prepared.erase(it);
 322     sqlite3_finalize(s);
 323   }
 324
 325   void reset(sqlite3_stmt_ptr stmt)
 326   {
 327     assert(stmt);
 328     if (sqlite3_reset(stmt) != SQLITE_OK) {
 329       string errMsg = sqlite3_errmsg(db);
 330       SG_LOG(SG_NAVCACHE, SG_ALERT, "Sqlite error resetting:" << errMsg);
 331       throw sg_exception("Sqlite error resetting:" + errMsg, sqlite3_sql(stmt));
 332     }
 333   }
 334
 335   bool execSelect(sqlite3_stmt_ptr stmt)
 336   {
 337     return stepSelect(stmt);
 338   }
 339
 340   bool stepSelect(sqlite3_stmt_ptr stmt)
 341   {
 342     int retries = 0;
 343     int result;
 344     while (retries < MAX_RETRIES) {
 345       result = sqlite3_step(stmt);
 346       if (result == SQLITE_ROW) {
 347         return true; // at least one result row
 348       }
 349
 350       if (result == SQLITE_DONE) {
 351         return false; // no result rows
 352       }
 353
 354       if (result != SQLITE_BUSY) {
 355         break;
 356       }
 357
 358       SG_LOG(SG_NAVCACHE, SG_ALERT, "NavCache contention on select, will retry:" << retries);
 359       SGTimeStamp::sleepForMSec(++retries * 10);
 360     } // of retry loop for DB locked
 361
 362     if (retries >= MAX_RETRIES) {
 363       SG_LOG(SG_NAVCACHE, SG_ALERT, "exceeded maximum number of SQLITE_BUSY retries");
 364       return false;
 365     }
 366
 367     string errMsg;
 368     if (result == SQLITE_MISUSE) {
 369       errMsg = "Sqlite API abuse";
 370       SG_LOG(SG_NAVCACHE, SG_ALERT, "Sqlite API abuse");
 371     } else {
 372       errMsg = sqlite3_errmsg(db);
 373       SG_LOG(SG_NAVCACHE, SG_ALERT, "Sqlite error:" << errMsg << " (" << result
 374              << ") while running:\n\t" << sqlite3_sql(stmt));
 375     }
 376
 377     throw sg_exception("Sqlite error:" + errMsg, sqlite3_sql(stmt));
 378   }
 379
 380   void execSelect1(sqlite3_stmt_ptr stmt)
 381   {
 382     if (!execSelect(stmt)) {
 383       SG_LOG(SG_NAVCACHE, SG_WARN, "empty SELECT running:\n\t" << sqlite3_sql(stmt));
 384       throw sg_exception("no results returned for select", sqlite3_sql(stmt));
 385     }
 386   }
 387
 388   sqlite3_int64 execInsert(sqlite3_stmt_ptr stmt)
 389   {
 390     execSelect(stmt);
 391     sqlite3_int64 rowid = sqlite3_last_insert_rowid(db);
 392     reset(stmt);
 393     return rowid;
 394   }
 395
 396   void execUpdate(sqlite3_stmt_ptr stmt)
 397   {
 398     execSelect(stmt);
 399     reset(stmt);
 400   }
 401
 402   void initTables()
 403   {
 404     runSQL("CREATE TABLE properties ("
 405            "key VARCHAR,"
 406            "value VARCHAR"
 407            ")");
 408
 409     runSQL("CREATE TABLE stat_cache ("
 410            "path VARCHAR unique,"
 411            "stamp INT"
 412            ")");
 413
 414     runSQL("CREATE TABLE positioned ("
 415            "type INT,"
 416            "ident VARCHAR collate nocase,"
 417            "name VARCHAR collate nocase,"
 418            "airport INT64,"
 419            "lon FLOAT,"
 420            "lat FLOAT,"
 421            "elev_m FLOAT,"
 422            "octree_node INT,"
 423            "cart_x FLOAT,"
 424            "cart_y FLOAT,"
 425            "cart_z FLOAT"
 426            ")");
 427
 428     runSQL("CREATE INDEX pos_octree ON positioned(octree_node)");
 429     runSQL("CREATE INDEX pos_ident ON positioned(ident collate nocase)");
 430     runSQL("CREATE INDEX pos_name ON positioned(name collate nocase)");
 431     // allow efficient querying of 'all ATIS at this airport' or
 432     // 'all towers at this airport'
 433     runSQL("CREATE INDEX pos_apt_type ON positioned(airport, type)");
 434
 435     runSQL("CREATE TABLE airport ("
 436            "has_metar BOOL"
 437            ")"
 438            );
 439
 440     runSQL("CREATE TABLE comm ("
 441            "freq_khz INT,"
 442            "range_nm INT"
 443            ")"
 444            );
 445
 446     runSQL("CREATE INDEX comm_freq ON comm(freq_khz)");
 447
 448     runSQL("CREATE TABLE runway ("
 449            "heading FLOAT,"
 450            "length_ft FLOAT,"
 451            "width_m FLOAT,"
 452            "surface INT,"
 453            "displaced_threshold FLOAT,"
 454            "stopway FLOAT,"
 455            "reciprocal INT64,"
 456            "ils INT64"
 457            ")"
 458            );
 459
 460     runSQL("CREATE TABLE navaid ("
 461            "freq INT,"
 462            "range_nm INT,"
 463            "multiuse FLOAT,"
 464            "runway INT64,"
 465            "colocated INT64"
 466            ")"
 467            );
 468
 469     runSQL("CREATE INDEX navaid_freq ON navaid(freq)");
 470
 471     runSQL("CREATE TABLE octree (children INT)");
 472
 473     runSQL("CREATE TABLE airway ("
 474            "ident VARCHAR collate nocase,"
 475            "network INT" // high-level or low-level
 476            ")");
 477
 478     runSQL("CREATE INDEX airway_ident ON airway(ident)");
 479
 480     runSQL("CREATE TABLE airway_edge ("
 481            "network INT,"
 482            "airway INT64,"
 483            "a INT64,"
 484            "b INT64"
 485            ")");
 486
 487     runSQL("CREATE INDEX airway_edge_from ON airway_edge(a)");
 488
 489     runSQL("CREATE TABLE taxi_node ("
 490            "hold_type INT,"
 491            "on_runway BOOL,"
 492            "pushback BOOL"
 493            ")");
 494
 495     runSQL("CREATE TABLE parking ("
 496            "heading FLOAT,"
 497            "radius INT,"
 498            "gate_type VARCHAR,"
 499            "airlines VARCHAR,"
 500            "pushback INT64"
 501            ")");
 502
 503     runSQL("CREATE TABLE groundnet_edge ("
 504            "airport INT64,"
 505            "a INT64,"
 506            "b INT64"
 507            ")");
 508
 509     runSQL("CREATE INDEX groundnet_edge_airport ON groundnet_edge(airport)");
 510     runSQL("CREATE INDEX groundnet_edge_from ON groundnet_edge(a)");
 511   }
 512
 513   void prepareQueries()
 514   {
 515     writePropertyMulti = prepare("INSERT INTO properties (key, value) VALUES(?1,?2)");
 516
 517     beginTransactionStmt = prepare("BEGIN");
 518     commitTransactionStmt = prepare("COMMIT");
 519     rollbackTransactionStmt = prepare("ROLLBACK");
 520
 521
 522 #define POSITIONED_COLS "rowid, type, ident, name, airport, lon, lat, elev_m, octree_node"
 523 #define AND_TYPED "AND type>=?2 AND type <=?3"
 524     statCacheCheck = prepare("SELECT stamp FROM stat_cache WHERE path=?");
 525     stampFileCache = prepare("INSERT OR REPLACE INTO stat_cache "
 526                              "(path, stamp) VALUES (?,?)");
 527
 528     loadPositioned = prepare("SELECT " POSITIONED_COLS " FROM positioned WHERE rowid=?");
 529     loadAirportStmt = prepare("SELECT has_metar FROM airport WHERE rowid=?");
 530     loadNavaid = prepare("SELECT range_nm, freq, multiuse, runway, colocated FROM navaid WHERE rowid=?");
 531     loadCommStation = prepare("SELECT freq_khz, range_nm FROM comm WHERE rowid=?");
 532     loadRunwayStmt = prepare("SELECT heading, length_ft, width_m, surface, displaced_threshold,"
 533                              "stopway, reciprocal, ils FROM runway WHERE rowid=?1");
 534
 535     getAirportItems = prepare("SELECT rowid FROM positioned WHERE airport=?1 " AND_TYPED);
 536
 537
 538     setAirportMetar = prepare("UPDATE airport SET has_metar=?2 WHERE rowid="
 539                               "(SELECT rowid FROM positioned WHERE ident=?1 AND type>=?3 AND type <=?4)");
 540     sqlite3_bind_int(setAirportMetar, 3, FGPositioned::AIRPORT);
 541     sqlite3_bind_int(setAirportMetar, 4, FGPositioned::SEAPORT);
 542
 543     setRunwayReciprocal = prepare("UPDATE runway SET reciprocal=?2 WHERE rowid=?1");
 544     setRunwayILS = prepare("UPDATE runway SET ils=?2 WHERE rowid=?1");
 545     updateRunwayThreshold = prepare("UPDATE runway SET heading=?2, displaced_threshold=?3, stopway=?4 WHERE rowid=?1");
 546
 547     insertPositionedQuery = prepare("INSERT INTO positioned "
 548                                     "(type, ident, name, airport, lon, lat, elev_m, octree_node, "
 549                                     "cart_x, cart_y, cart_z)"
 550                                     " VALUES (?1, ?2, ?3, ?4, ?5, ?6, ?7, ?8, ?9, ?10, ?11)");
 551
 552     setAirportPos = prepare("UPDATE positioned SET lon=?2, lat=?3, elev_m=?4, octree_node=?5, "
 553                             "cart_x=?6, cart_y=?7, cart_z=?8 WHERE rowid=?1");
 554     insertAirport = prepare("INSERT INTO airport (rowid, has_metar) VALUES (?, ?)");
 555     insertNavaid = prepare("INSERT INTO navaid (rowid, freq, range_nm, multiuse, runway, colocated)"
 556                            " VALUES (?1, ?2, ?3, ?4, ?5, ?6)");
 557     updateILS = prepare("UPDATE navaid SET multiuse=?2 WHERE rowid=?1");
 558
 559     insertCommStation = prepare("INSERT INTO comm (rowid, freq_khz, range_nm)"
 560                                 " VALUES (?, ?, ?)");
 561     insertRunway = prepare("INSERT INTO runway "
 562                            "(rowid, heading, length_ft, width_m, surface, displaced_threshold, stopway, reciprocal)"
 563                            " VALUES (?1, ?2, ?3, ?4, ?5, ?6, ?7, ?8)");
 564     runwayLengthFtQuery = prepare("SELECT length_ft FROM runway WHERE rowid=?1");
 565
 566   // query statement
 567     findClosestWithIdent = prepare("SELECT rowid FROM positioned WHERE ident=?1 "
 568                                    AND_TYPED " ORDER BY distanceCartSqr(cart_x, cart_y, cart_z, ?4, ?5, ?6)");
 569
 570     findCommByFreq = prepare("SELECT positioned.rowid FROM positioned, comm WHERE "
 571                              "positioned.rowid=comm.rowid AND freq_khz=?1 "
 572                              AND_TYPED " ORDER BY distanceCartSqr(cart_x, cart_y, cart_z, ?4, ?5, ?6)");
 573
 574     findNavsByFreq = prepare("SELECT positioned.rowid FROM positioned, navaid WHERE "
 575                              "positioned.rowid=navaid.rowid "
 576                              "AND navaid.freq=?1 " AND_TYPED
 577                              " ORDER BY distanceCartSqr(cart_x, cart_y, cart_z, ?4, ?5, ?6)");
 578
 579     findNavsByFreqNoPos = prepare("SELECT positioned.rowid FROM positioned, navaid WHERE "
 580                                   "positioned.rowid=navaid.rowid AND freq=?1 " AND_TYPED);
 581
 582     findNavaidForRunway = prepare("SELECT positioned.rowid FROM positioned, navaid WHERE "
 583                                   "positioned.rowid=navaid.rowid AND runway=?1 AND type=?2");
 584
 585   // for an octree branch, return the child octree nodes which exist,
 586   // described as a bit-mask
 587     getOctreeChildren = prepare("SELECT children FROM octree WHERE rowid=?1");
 588
 589 #ifdef LAZY_OCTREE_UPDATES
 590     updateOctreeChildren = prepare("UPDATE octree SET children=?2 WHERE rowid=?1");
 591 #else
 592   // mask the new child value into the existing one
 593     updateOctreeChildren = prepare("UPDATE octree SET children=(?2 | children) WHERE rowid=?1");
 594 #endif
 595
 596   // define a new octree node (with no children)
 597     insertOctree = prepare("INSERT INTO octree (rowid, children) VALUES (?1, 0)");
 598
 599     getOctreeLeafChildren = prepare("SELECT rowid, type FROM positioned WHERE octree_node=?1");
 600
 601     searchAirports = prepare("SELECT ident, name FROM positioned WHERE (name LIKE ?1 OR ident LIKE ?1) " AND_TYPED);
 602     sqlite3_bind_int(searchAirports, 2, FGPositioned::AIRPORT);
 603     sqlite3_bind_int(searchAirports, 3, FGPositioned::SEAPORT);
 604
 605     getAirportItemByIdent = prepare("SELECT rowid FROM positioned WHERE airport=?1 AND ident=?2 AND type=?3");
 606
 607     findAirportRunway = prepare("SELECT airport, rowid FROM positioned WHERE ident=?2 AND type=?3 AND airport="
 608                                 "(SELECT rowid FROM positioned WHERE type=?4 AND ident=?1)");
 609     sqlite3_bind_int(findAirportRunway, 3, FGPositioned::RUNWAY);
 610     sqlite3_bind_int(findAirportRunway, 4, FGPositioned::AIRPORT);
 611
 612     // three-way join to get the navaid ident and runway ident in a single select.
 613     // we're joining positioned to itself by the navaid runway, with the complication
 614     // that we need to join the navaids table to get the runway ID.
 615     // we also need to filter by type to excluse glideslope (GS) matches
 616     findILS = prepare("SELECT nav.rowid FROM positioned AS nav, positioned AS rwy, navaid WHERE "
 617                       "nav.ident=?1 AND nav.airport=?2 AND rwy.ident=?3 "
 618                       "AND rwy.rowid = navaid.runway AND navaid.rowid=nav.rowid "
 619                       "AND (nav.type=?4 OR nav.type=?5)");
 620
 621     sqlite3_bind_int(findILS, 4, FGPositioned::ILS);
 622     sqlite3_bind_int(findILS, 5, FGPositioned::LOC);
 623
 624   // airways
 625     findAirway = prepare("SELECT rowid FROM airway WHERE network=?1 AND ident=?2");
 626     insertAirway = prepare("INSERT INTO airway (ident, network) "
 627                            "VALUES (?1, ?2)");
 628
 629     insertAirwayEdge = prepare("INSERT INTO airway_edge (network, airway, a, b) "
 630                                "VALUES (?1, ?2, ?3, ?4)");
 631
 632     isPosInAirway = prepare("SELECT rowid FROM airway_edge WHERE network=?1 AND a=?2");
 633
 634     airwayEdgesFrom = prepare("SELECT airway, b FROM airway_edge WHERE network=?1 AND a=?2");
 635
 636   // parking / taxi-node graph
 637     insertTaxiNode = prepare("INSERT INTO taxi_node (rowid, hold_type, on_runway, pushback) VALUES(?1, ?2, ?3, 0)");
 638     insertParkingPos = prepare("INSERT INTO parking (rowid, heading, radius, gate_type, airlines) "
 639                                "VALUES (?1, ?2, ?3, ?4, ?5)");
 640     setParkingPushBack = prepare("UPDATE parking SET pushback=?2 WHERE rowid=?1");
 641
 642     loadTaxiNodeStmt = prepare("SELECT hold_type, on_runway FROM taxi_node WHERE rowid=?1");
 643     loadParkingPos = prepare("SELECT heading, radius, gate_type, airlines, pushback FROM parking WHERE rowid=?1");
 644     taxiEdgesFrom = prepare("SELECT b FROM groundnet_edge WHERE a=?1");
 645     pushbackEdgesFrom = prepare("SELECT b FROM groundnet_edge, taxi_node WHERE "
 646                                 "a=?1 AND groundnet_edge.b = taxi_node.rowid AND pushback=1");
 647
 648     insertTaxiEdge = prepare("INSERT INTO groundnet_edge (airport, a,b) VALUES(?1, ?2, ?3)");
 649
 650     markTaxiNodeAsPushback = prepare("UPDATE taxi_node SET pushback=1 WHERE rowid=?1");
 651     airportTaxiNodes = prepare("SELECT rowid FROM positioned WHERE (type=?2 OR type=?3) AND airport=?1");
 652     sqlite3_bind_int(airportTaxiNodes, 2, FGPositioned::PARKING);
 653     sqlite3_bind_int(airportTaxiNodes, 3, FGPositioned::TAXI_NODE);
 654
 655     airportPushbackNodes = prepare("SELECT positioned.rowid FROM positioned, taxi_node WHERE "\
 656                                    "airport=?1 AND positioned.rowid=taxi_node.rowid AND pushback=1 "
 657                                    "AND (type=?2 OR type=?3)");
 658     sqlite3_bind_int(airportPushbackNodes, 2, FGPositioned::PARKING);
 659     sqlite3_bind_int(airportPushbackNodes, 3, FGPositioned::TAXI_NODE);
 660
 661     findNearestTaxiNode = prepare("SELECT positioned.rowid FROM positioned, taxi_node WHERE "
 662                                   "positioned.rowid = taxi_node.rowid AND airport=?1 "
 663                                   "ORDER BY distanceCartSqr(cart_x, cart_y, cart_z, ?2, ?3, ?4) "
 664                                   "LIMIT 1");
 665
 666     findNearestRunwayTaxiNode = prepare("SELECT positioned.rowid FROM positioned, taxi_node WHERE "
 667                                         "positioned.rowid = taxi_node.rowid AND airport=?1 "
 668                                         "AND on_runway=1 "
 669                                         "ORDER BY distanceCartSqr(cart_x, cart_y, cart_z, ?2, ?3, ?4) ");
 670
 671     findAirportParking = prepare("SELECT positioned.rowid FROM positioned, parking WHERE "
 672                                  "airport=?1 AND type=?4 AND "
 673                                  "radius >= ?2 AND gate_type = ?3 AND "
 674                                  "parking.rowid=positioned.rowid");
 675     sqlite3_bind_int(findAirportParking, 4, FGPositioned::PARKING);
 676   }
 677
 678   void writeIntProperty(const string& key, int value)
 679   {
 680     sqlite_bind_stdstring(clearProperty, 1, key);
 681     execUpdate(clearProperty);
 682
 683     sqlite_bind_stdstring(writePropertyQuery, 1, key);
 684     sqlite3_bind_int(writePropertyQuery, 2, value);
 685     execUpdate(writePropertyQuery);
 686   }
 687
 688
 689   FGPositioned* loadById(sqlite_int64 rowId);
 690
 691   FGAirport* loadAirport(sqlite_int64 rowId,
 692                          FGPositioned::Type ty,
 693                          const string& id, const string& name, const SGGeod& pos)
 694   {
 695     sqlite3_bind_int64(loadAirportStmt, 1, rowId);
 696     execSelect1(loadAirportStmt);
 697     bool hasMetar = (sqlite3_column_int(loadAirportStmt, 0) > 0);
 698     reset(loadAirportStmt);
 699
 700     return new FGAirport(rowId, id, pos, name, hasMetar, ty);
 701   }
 702
 703   FGRunwayBase* loadRunway(sqlite3_int64 rowId, FGPositioned::Type ty,
 704                            const string& id, const SGGeod& pos, PositionedID apt)
 705   {
 706     sqlite3_bind_int(loadRunwayStmt, 1, rowId);
 707     execSelect1(loadRunwayStmt);
 708
 709     double heading = sqlite3_column_double(loadRunwayStmt, 0);
 710     double lengthM = sqlite3_column_int(loadRunwayStmt, 1);
 711     double widthM = sqlite3_column_double(loadRunwayStmt, 2);
 712     int surface = sqlite3_column_int(loadRunwayStmt, 3);
 713
 714     if (ty == FGPositioned::TAXIWAY) {
 715       reset(loadRunwayStmt);
 716       return new FGTaxiway(rowId, id, pos, heading, lengthM, widthM, surface);
 717     } else {
 718       double displacedThreshold = sqlite3_column_double(loadRunwayStmt, 4);
 719       double stopway = sqlite3_column_double(loadRunwayStmt, 5);
 720       PositionedID reciprocal = sqlite3_column_int64(loadRunwayStmt, 6);
 721       PositionedID ils = sqlite3_column_int64(loadRunwayStmt, 7);
 722       FGRunway* r = new FGRunway(rowId, apt, id, pos, heading, lengthM, widthM,
 723                           displacedThreshold, stopway, surface, false);
 724
 725       if (reciprocal > 0) {
 726         r->setReciprocalRunway(reciprocal);
 727       }
 728
 729       if (ils > 0) {
 730         r->setILS(ils);
 731       }
 732
 733       reset(loadRunwayStmt);
 734       return r;
 735     }
 736   }
 737
 738   CommStation* loadComm(sqlite3_int64 rowId, FGPositioned::Type ty,
 739                         const string& id, const string& name,
 740                         const SGGeod& pos,
 741                         PositionedID airport)
 742   {
 743     sqlite3_bind_int64(loadCommStation, 1, rowId);
 744     execSelect1(loadCommStation);
 745
 746     int range = sqlite3_column_int(loadCommStation, 0);
 747     int freqKhz = sqlite3_column_int(loadCommStation, 1);
 748     reset(loadCommStation);
 749
 750     CommStation* c = new CommStation(rowId, name, ty, pos, freqKhz, range);
 751     c->setAirport(airport);
 752     return c;
 753   }
 754
 755   FGPositioned* loadNav(sqlite3_int64 rowId,
 756                        FGPositioned::Type ty, const string& id,
 757                        const string& name, const SGGeod& pos)
 758   {
 759     sqlite3_bind_int64(loadNavaid, 1, rowId);
 760     execSelect1(loadNavaid);
 761
 762     PositionedID runway = sqlite3_column_int64(loadNavaid, 3);
 763     // marker beacons are light-weight
 764     if ((ty == FGPositioned::OM) || (ty == FGPositioned::IM) ||
 765         (ty == FGPositioned::MM))
 766     {
 767       reset(loadNavaid);
 768       return new FGMarkerBeaconRecord(rowId, ty, runway, pos);
 769     }
 770
 771     int rangeNm = sqlite3_column_int(loadNavaid, 0),
 772       freq = sqlite3_column_int(loadNavaid, 1);
 773     double mulituse = sqlite3_column_double(loadNavaid, 2);
 774     //sqlite3_int64 colocated = sqlite3_column_int64(loadNavaid, 4);
 775     reset(loadNavaid);
 776
 777     return new FGNavRecord(rowId, ty, id, name, pos, freq, rangeNm, mulituse, runway);
 778   }
 779
 780   FGPositioned* loadParking(sqlite3_int64 rowId,
 781                             const string& name, const SGGeod& pos,
 782                             PositionedID airport)
 783   {
 784     sqlite3_bind_int64(loadParkingPos, 1, rowId);
 785     execSelect1(loadParkingPos);
 786
 787     double heading = sqlite3_column_double(loadParkingPos, 0);
 788     int radius = sqlite3_column_int(loadParkingPos, 1);
 789     string aircraftType((char*) sqlite3_column_text(loadParkingPos, 2));
 790     string airlines((char*) sqlite3_column_text(loadParkingPos, 3));
 791     PositionedID pushBack = sqlite3_column_int64(loadParkingPos, 4);
 792     reset(loadParkingPos);
 793
 794     return new FGParking(rowId, pos, heading, radius, name, aircraftType, airlines, pushBack);
 795   }
 796
 797   FGPositioned* loadTaxiNode(sqlite3_int64 rowId, const SGGeod& pos,
 798                              PositionedID airport)
 799   {
 800     sqlite3_bind_int64(loadTaxiNodeStmt, 1, rowId);
 801     execSelect1(loadTaxiNodeStmt);
 802
 803     int hold_type = sqlite3_column_int(loadTaxiNodeStmt, 0);
 804     bool onRunway = sqlite3_column_int(loadTaxiNodeStmt, 1);
 805     reset(loadTaxiNodeStmt);
 806
 807     return new FGTaxiNode(rowId, pos, onRunway, hold_type);
 808   }
 809
 810   PositionedID insertPositioned(FGPositioned::Type ty, const string& ident,
 811                                 const string& name, const SGGeod& pos, PositionedID apt,
 812                                 bool spatialIndex)
 813   {
 814     SGVec3d cartPos(SGVec3d::fromGeod(pos));
 815
 816     sqlite3_bind_int(insertPositionedQuery, 1, ty);
 817     sqlite_bind_stdstring(insertPositionedQuery, 2, ident);
 818     sqlite_bind_stdstring(insertPositionedQuery, 3, name);
 819     sqlite3_bind_int64(insertPositionedQuery, 4, apt);
 820     sqlite3_bind_double(insertPositionedQuery, 5, pos.getLongitudeDeg());
 821     sqlite3_bind_double(insertPositionedQuery, 6, pos.getLatitudeDeg());
 822     sqlite3_bind_double(insertPositionedQuery, 7, pos.getElevationM());
 823
 824     if (spatialIndex) {
 825       Octree::Leaf* octreeLeaf = Octree::global_spatialOctree->findLeafForPos(cartPos);
 826       assert(intersects(octreeLeaf->bbox(), cartPos));
 827       sqlite3_bind_int64(insertPositionedQuery, 8, octreeLeaf->guid());
 828     } else {
 829       sqlite3_bind_null(insertPositionedQuery, 8);
 830     }
 831
 832     sqlite3_bind_double(insertPositionedQuery, 9, cartPos.x());
 833     sqlite3_bind_double(insertPositionedQuery, 10, cartPos.y());
 834     sqlite3_bind_double(insertPositionedQuery, 11, cartPos.z());
 835
 836     PositionedID r = execInsert(insertPositionedQuery);
 837     return r;
 838   }
 839
 840   FGPositioned::List findAllByString(const string& s, const string& column,
 841                                      FGPositioned::Filter* filter, bool exact)
 842   {
 843     string query = s;
 844     if (!exact) query += "%";
 845
 846   // build up SQL query text
 847     string matchTerm = exact ? "=?1" : " LIKE ?1";
 848     string sql = "SELECT rowid FROM positioned WHERE " + column + matchTerm;
 849     if (filter) {
 850       sql += " " AND_TYPED;
 851     }
 852
 853   // find or prepare a suitable statement frrm the SQL
 854     sqlite3_stmt_ptr stmt = findByStringDict[sql];
 855     if (!stmt) {
 856       stmt = prepare(sql);
 857       findByStringDict[sql] = stmt;
 858     }
 859
 860     sqlite_bind_stdstring(stmt, 1, query);
 861     if (filter) {
 862       sqlite3_bind_int(stmt, 2, filter->minType());
 863       sqlite3_bind_int(stmt, 3, filter->maxType());
 864     }
 865
 866     FGPositioned::List result;
 867   // run the prepared SQL
 868     while (stepSelect(stmt))
 869     {
 870       FGPositioned* pos = outer->loadById(sqlite3_column_int64(stmt, 0));
 871       if (filter && !filter->pass(pos)) {
 872         continue;
 873       }
 874
 875       result.push_back(pos);
 876     }
 877
 878     reset(stmt);
 879     return result;
 880   }
 881
 882   PositionedIDVec selectIds(sqlite3_stmt_ptr query)
 883   {
 884     PositionedIDVec result;
 885     while (stepSelect(query)) {
 886       result.push_back(sqlite3_column_int64(query, 0));
 887     }
 888     reset(query);
 889     return result;
 890   }
 891
 892   double runwayLengthFt(PositionedID rwy)
 893   {
 894     sqlite3_bind_int64(runwayLengthFtQuery, 1, rwy);
 895     execSelect1(runwayLengthFtQuery);
 896     double length = sqlite3_column_double(runwayLengthFtQuery, 0);
 897     reset(runwayLengthFtQuery);
 898     return length;
 899   }
 900
 901   void flushDeferredOctreeUpdates()
 902   {
 903     BOOST_FOREACH(Octree::Branch* nd, deferredOctreeUpdates) {
 904       sqlite3_bind_int64(updateOctreeChildren, 1, nd->guid());
 905       sqlite3_bind_int(updateOctreeChildren, 2, nd->childMask());
 906       execUpdate(updateOctreeChildren);
 907     }
 908
 909     deferredOctreeUpdates.clear();
 910   }
 911
 912   NavDataCache* outer;
 913   sqlite3* db;
 914   SGPath path;
 915
 916   /// the actual cache of ID -> instances. This holds an owning reference,
 917   /// so once items are in the cache they will never be deleted until
 918   /// the cache drops its reference
 919   PositionedCache cache;
 920   unsigned int cacheHits, cacheMisses;
 921
 922   /**
 923    * record the levels of open transaction objects we have
 924    */
 925   unsigned int transactionLevel;
 926   bool transactionAborted;
 927   sqlite3_stmt_ptr beginTransactionStmt, commitTransactionStmt, rollbackTransactionStmt;
 928
 929   SGPath aptDatPath, metarDatPath, navDatPath, fixDatPath,
 930   carrierDatPath, airwayDatPath;
 931
 932   sqlite3_stmt_ptr readPropertyQuery, writePropertyQuery,
 933     stampFileCache, statCacheCheck,
 934     loadAirportStmt, loadCommStation, loadPositioned, loadNavaid,
 935     loadRunwayStmt;
 936   sqlite3_stmt_ptr writePropertyMulti, clearProperty;
 937
 938   sqlite3_stmt_ptr insertPositionedQuery, insertAirport, insertTower, insertRunway,
 939   insertCommStation, insertNavaid;
 940   sqlite3_stmt_ptr setAirportMetar, setRunwayReciprocal, setRunwayILS,
 941     setAirportPos, updateRunwayThreshold, updateILS;
 942
 943   sqlite3_stmt_ptr findClosestWithIdent;
 944 // octree (spatial index) related queries
 945   sqlite3_stmt_ptr getOctreeChildren, insertOctree, updateOctreeChildren,
 946     getOctreeLeafChildren;
 947
 948   sqlite3_stmt_ptr searchAirports;
 949   sqlite3_stmt_ptr findCommByFreq, findNavsByFreq,
 950   findNavsByFreqNoPos, findNavaidForRunway;
 951   sqlite3_stmt_ptr getAirportItems, getAirportItemByIdent;
 952   sqlite3_stmt_ptr findAirportRunway,
 953     findILS;
 954
 955   sqlite3_stmt_ptr runwayLengthFtQuery;
 956
 957 // airways
 958   sqlite3_stmt_ptr findAirway, insertAirwayEdge, isPosInAirway, airwayEdgesFrom,
 959   insertAirway;
 960
 961 // groundnet (parking, taxi node graph)
 962   sqlite3_stmt_ptr loadTaxiNodeStmt, loadParkingPos, insertTaxiNode, insertParkingPos;
 963   sqlite3_stmt_ptr taxiEdgesFrom, pushbackEdgesFrom, insertTaxiEdge, markTaxiNodeAsPushback,
 964     airportTaxiNodes, airportPushbackNodes, findNearestTaxiNode, findAirportParking,
 965     setParkingPushBack, findNearestRunwayTaxiNode;
 966
 967 // since there's many permutations of ident/name queries, we create
 968 // them programtically, but cache the exact query by its raw SQL once
 969 // used.
 970   std::map<string, sqlite3_stmt_ptr> findByStringDict;
 971
 972   typedef std::vector<sqlite3_stmt_ptr> StmtVec;
 973   StmtVec prepared;
 974
 975   std::set<Octree::Branch*> deferredOctreeUpdates;
 976
 977   // if we're performing a rebuild, the thread that is doing the work.
 978   // otherwise, NULL
 979   std::auto_ptr<RebuildThread> rebuilder;
 980 };
 981
 982   //////////////////////////////////////////////////////////////////////
 983
 984 FGPositioned* NavDataCache::NavDataCachePrivate::loadById(sqlite3_int64 rowid)
 985 {
 986
 987   sqlite3_bind_int64(loadPositioned, 1, rowid);
 988   execSelect1(loadPositioned);
 989
 990   assert(rowid == sqlite3_column_int64(loadPositioned, 0));
 991   FGPositioned::Type ty = (FGPositioned::Type) sqlite3_column_int(loadPositioned, 1);
 992
 993   string ident = (char*) sqlite3_column_text(loadPositioned, 2);
 994   string name = (char*) sqlite3_column_text(loadPositioned, 3);
 995   sqlite3_int64 aptId = sqlite3_column_int64(loadPositioned, 4);
 996   double lon = sqlite3_column_double(loadPositioned, 5);
 997   double lat = sqlite3_column_double(loadPositioned, 6);
 998   double elev = sqlite3_column_double(loadPositioned, 7);
 999   SGGeod pos = SGGeod::fromDegM(lon, lat, elev);
1000
1001   reset(loadPositioned);
1002
1003   switch (ty) {
1004     case FGPositioned::AIRPORT:
1005     case FGPositioned::SEAPORT:
1006     case FGPositioned::HELIPORT:
1007       return loadAirport(rowid, ty, ident, name, pos);
1008
1009     case FGPositioned::TOWER:
1010       return new AirportTower(rowid, aptId, ident, pos);
1011
1012     case FGPositioned::RUNWAY:
1013     case FGPositioned::TAXIWAY:
1014       return loadRunway(rowid, ty, ident, pos, aptId);
1015
1016     case FGPositioned::LOC:
1017     case FGPositioned::VOR:
1018     case FGPositioned::GS:
1019     case FGPositioned::ILS:
1020     case FGPositioned::NDB:
1021     case FGPositioned::OM:
1022     case FGPositioned::MM:
1023     case FGPositioned::IM:
1024     case FGPositioned::DME:
1025     case FGPositioned::TACAN:
1026     case FGPositioned::MOBILE_TACAN:
1027     {
1028       if (aptId > 0) {
1029         FGAirport* apt = (FGAirport*) outer->loadById(aptId);
1030         if (apt->validateILSData()) {
1031           SG_LOG(SG_NAVCACHE, SG_INFO, "re-loaded ILS data for " << apt->ident());
1032           // queried data above is probably invalid, force us to go around again
1033           // (the next time through, validateILSData will return false)
1034           return outer->loadById(rowid);
1035         }
1036       }
1037
1038       return loadNav(rowid, ty, ident, name, pos);
1039     }
1040
1041     case FGPositioned::FIX:
1042       return new FGFix(rowid, ident, pos);
1043
1044     case FGPositioned::WAYPOINT:
1045     {
1046       FGPositioned* wpt = new FGPositioned(rowid, FGPositioned::WAYPOINT, ident, pos);
1047       return wpt;
1048     }
1049
1050     case FGPositioned::FREQ_GROUND:
1051     case FGPositioned::FREQ_TOWER:
1052     case FGPositioned::FREQ_ATIS:
1053     case FGPositioned::FREQ_AWOS:
1054     case FGPositioned::FREQ_APP_DEP:
1055     case FGPositioned::FREQ_ENROUTE:
1056     case FGPositioned::FREQ_CLEARANCE:
1057     case FGPositioned::FREQ_UNICOM:
1058       return loadComm(rowid, ty, ident, name, pos, aptId);
1059
1060     case FGPositioned::TAXI_NODE:
1061       return loadTaxiNode(rowid, pos, aptId);
1062
1063     case FGPositioned::PARKING:
1064       return loadParking(rowid, ident, pos, aptId);
1065
1066     default:
1067       return NULL;
1068   }
1069 }
1070
1071
1072 static NavDataCache* static_instance = NULL;
1073
1074 NavDataCache::NavDataCache()
1075 {
1076   const int MAX_TRIES = 3;
1077   SGPath homePath(globals->get_fg_home());
1078   homePath.append("navdata.cache");
1079
1080   for (int t=0; t < MAX_TRIES; ++t) {
1081     try {
1082       d.reset(new NavDataCachePrivate(homePath, this));
1083       d->init();
1084       //d->checkCacheFile();
1085     // reached this point with no exception, success
1086       break;
1087     } catch (sg_exception& e) {
1088       SG_LOG(SG_NAVCACHE, t == 0 ? SG_WARN : SG_ALERT, "NavCache: init failed:" << e.what()
1089              << " (attempt " << t << ")");
1090       d.reset();
1091       homePath.remove();
1092     }
1093   } // of retry loop
1094
1095   double RADIUS_EARTH_M = 7000 * 1000.0; // 7000km is plenty
1096   SGVec3d earthExtent(RADIUS_EARTH_M, RADIUS_EARTH_M, RADIUS_EARTH_M);
1097   Octree::global_spatialOctree =
1098     new Octree::Branch(SGBox<double>(-earthExtent, earthExtent), 1);
1099
1100   d->aptDatPath = SGPath(globals->get_fg_root());
1101   d->aptDatPath.append("Airports/apt.dat.gz");
1102
1103   d->metarDatPath = SGPath(globals->get_fg_root());
1104   d->metarDatPath.append("Airports/metar.dat.gz");
1105
1106   d->navDatPath = SGPath(globals->get_fg_root());
1107   d->navDatPath.append("Navaids/nav.dat.gz");
1108
1109   d->fixDatPath = SGPath(globals->get_fg_root());
1110   d->fixDatPath.append("Navaids/fix.dat.gz");
1111
1112   d->carrierDatPath = SGPath(globals->get_fg_root());
1113   d->carrierDatPath.append("Navaids/carrier_nav.dat.gz");
1114
1115   d->airwayDatPath = SGPath(globals->get_fg_root());
1116   d->airwayDatPath.append("Navaids/awy.dat.gz");
1117 }
1118
1119 NavDataCache::~NavDataCache()
1120 {
1121   assert(static_instance == this);
1122   static_instance = NULL;
1123   SG_LOG(SG_NAVCACHE, SG_INFO, "closing the navcache");
1124   d.reset();
1125 }
1126
1127 NavDataCache* NavDataCache::instance()
1128 {
1129   if (!static_instance) {
1130     static_instance = new NavDataCache;
1131   }
1132
1133   return static_instance;
1134 }
1135
1136 bool NavDataCache::isRebuildRequired()
1137 {
1138   if (isCachedFileModified(d->aptDatPath) ||
1139       isCachedFileModified(d->metarDatPath) ||
1140       isCachedFileModified(d->navDatPath) ||
1141       isCachedFileModified(d->fixDatPath) ||
1142       isCachedFileModified(d->airwayDatPath))
1143   {
1144     SG_LOG(SG_NAVCACHE, SG_INFO, "NavCache: main cache rebuild required");
1145     return true;
1146   }
1147
1148   string sceneryPaths = simgear::strutils::join(globals->get_fg_scenery(), ";");
1149   if (readStringProperty("scenery_paths") != sceneryPaths) {
1150     SG_LOG(SG_NAVCACHE, SG_INFO, "NavCache: scenery paths changed, main cache rebuild required");
1151     return true;
1152   }
1153
1154   SG_LOG(SG_NAVCACHE, SG_INFO, "NavCache: no main cache rebuild required");
1155   return false;
1156 }
1157
1158 bool NavDataCache::rebuild()
1159 {
1160   if (!d->rebuilder.get()) {
1161     d->rebuilder.reset(new RebuildThread(this));
1162     d->rebuilder->start();
1163   }
1164
1165 // poll the rebuild thread
1166   bool fin = d->rebuilder->isFinished();
1167   if (fin) {
1168     d->rebuilder.reset(); // all done!
1169   }
1170   return fin;
1171 }
1172
1173 void NavDataCache::doRebuild()
1174 {
1175   try {
1176     Transaction txn(this);
1177     d->runSQL("DELETE FROM positioned");
1178     d->runSQL("DELETE FROM airport");
1179     d->runSQL("DELETE FROM runway");
1180     d->runSQL("DELETE FROM navaid");
1181     d->runSQL("DELETE FROM comm");
1182     d->runSQL("DELETE FROM octree");
1183     d->runSQL("DELETE FROM airway");
1184     d->runSQL("DELETE FROM airway_edge");
1185     d->runSQL("DELETE FROM taxi_node");
1186     d->runSQL("DELETE FROM parking");
1187     d->runSQL("DELETE FROM groundnet_edge");
1188     d->runSQL("DELETE FROM stat_cache");
1189
1190   // initialise the root octree node
1191     d->runSQL("INSERT INTO octree (rowid, children) VALUES (1, 0)");
1192
1193     SGTimeStamp st;
1194     st.stamp();
1195
1196     airportDBLoad(d->aptDatPath);
1197     SG_LOG(SG_NAVCACHE, SG_INFO, "apt.dat load took:" << st.elapsedMSec());
1198
1199     metarDataLoad(d->metarDatPath);
1200     stampCacheFile(d->aptDatPath);
1201     stampCacheFile(d->metarDatPath);
1202
1203     st.stamp();
1204     loadFixes(d->fixDatPath);
1205     stampCacheFile(d->fixDatPath);
1206     SG_LOG(SG_NAVCACHE, SG_INFO, "fix.dat load took:" << st.elapsedMSec());
1207
1208     st.stamp();
1209     navDBInit(d->navDatPath);
1210     stampCacheFile(d->navDatPath);
1211     SG_LOG(SG_NAVCACHE, SG_INFO, "nav.dat load took:" << st.elapsedMSec());
1212
1213     loadCarrierNav(d->carrierDatPath);
1214     stampCacheFile(d->carrierDatPath);
1215
1216     st.stamp();
1217     Airway::load(d->airwayDatPath);
1218     stampCacheFile(d->airwayDatPath);
1219     SG_LOG(SG_NAVCACHE, SG_INFO, "awy.dat load took:" << st.elapsedMSec());
1220
1221     d->flushDeferredOctreeUpdates();
1222
1223     string sceneryPaths = simgear::strutils::join(globals->get_fg_scenery(), ";");
1224     writeStringProperty("scenery_paths", sceneryPaths);
1225
1226     txn.commit();
1227   } catch (sg_exception& e) {
1228     SG_LOG(SG_NAVCACHE, SG_ALERT, "caught exception rebuilding navCache:" << e.what());
1229   }
1230 }
1231
1232 int NavDataCache::readIntProperty(const string& key)
1233 {
1234   sqlite_bind_stdstring(d->readPropertyQuery, 1, key);
1235   int result = 0;
1236
1237   if (d->execSelect(d->readPropertyQuery)) {
1238     result = sqlite3_column_int(d->readPropertyQuery, 0);
1239   } else {
1240     SG_LOG(SG_NAVCACHE, SG_WARN, "readIntProperty: unknown:" << key);
1241   }
1242
1243   d->reset(d->readPropertyQuery);
1244   return result;
1245 }
1246
1247 double NavDataCache::readDoubleProperty(const string& key)
1248 {
1249   sqlite_bind_stdstring(d->readPropertyQuery, 1, key);
1250   double result = 0.0;
1251   if (d->execSelect(d->readPropertyQuery)) {
1252     result = sqlite3_column_double(d->readPropertyQuery, 0);
1253   } else {
1254     SG_LOG(SG_NAVCACHE, SG_WARN, "readDoubleProperty: unknown:" << key);
1255   }
1256
1257   d->reset(d->readPropertyQuery);
1258   return result;
1259 }
1260
1261 string NavDataCache::readStringProperty(const string& key)
1262 {
1263   sqlite_bind_stdstring(d->readPropertyQuery, 1, key);
1264   string result;
1265   if (d->execSelect(d->readPropertyQuery)) {
1266     result = (char*) sqlite3_column_text(d->readPropertyQuery, 0);
1267   } else {
1268     SG_LOG(SG_NAVCACHE, SG_WARN, "readStringProperty: unknown:" << key);
1269   }
1270
1271   d->reset(d->readPropertyQuery);
1272   return result;
1273 }
1274
1275 void NavDataCache::writeIntProperty(const string& key, int value)
1276 {
1277   d->writeIntProperty(key, value);
1278 }
1279
1280 void NavDataCache::writeStringProperty(const string& key, const string& value)
1281 {
1282   sqlite_bind_stdstring(d->clearProperty, 1, key);
1283   d->execUpdate(d->clearProperty);
1284
1285   sqlite_bind_stdstring(d->writePropertyQuery, 1, key);
1286   sqlite_bind_stdstring(d->writePropertyQuery, 2, value);
1287   d->execUpdate(d->writePropertyQuery);
1288 }
1289
1290 void NavDataCache::writeDoubleProperty(const string& key, const double& value)
1291 {
1292   sqlite_bind_stdstring(d->clearProperty, 1, key);
1293   d->execUpdate(d->clearProperty);
1294
1295   sqlite_bind_stdstring(d->writePropertyQuery, 1, key);
1296   sqlite3_bind_double(d->writePropertyQuery, 2, value);
1297   d->execUpdate(d->writePropertyQuery);
1298 }
1299
1300 string_list NavDataCache::readStringListProperty(const string& key)
1301 {
1302   sqlite_bind_stdstring(d->readPropertyQuery, 1, key);
1303   string_list result;
1304   while (d->stepSelect(d->readPropertyQuery)) {
1305     result.push_back((char*) sqlite3_column_text(d->readPropertyQuery, 0));
1306   }
1307   d->reset(d->readPropertyQuery);
1308
1309   return result;
1310 }
1311
1312 void NavDataCache::writeStringListProperty(const string& key, const string_list& values)
1313 {
1314   sqlite_bind_stdstring(d->clearProperty, 1, key);
1315   d->execUpdate(d->clearProperty);
1316
1317   BOOST_FOREACH(string value, values) {
1318     sqlite_bind_stdstring(d->writePropertyMulti, 1, key);
1319     sqlite_bind_stdstring(d->writePropertyMulti, 2, value);
1320     d->execInsert(d->writePropertyMulti);
1321   }
1322 }
1323
1324 bool NavDataCache::isCachedFileModified(const SGPath& path) const
1325 {
1326   if (!path.exists()) {
1327     throw sg_io_exception("isCachedFileModified: Missing file:" + path.str());
1328   }
1329
1330   sqlite_bind_temp_stdstring(d->statCacheCheck, 1, path.str());
1331   bool isModified = true;
1332
1333   if (d->execSelect(d->statCacheCheck)) {
1334     time_t modtime = sqlite3_column_int64(d->statCacheCheck, 0);
1335     time_t delta = std::labs(modtime - path.modTime());
1336     if (delta != 0)
1337     {
1338       SG_LOG(SG_NAVCACHE, SG_DEBUG, "NavCache: rebuild required for " << path << ". Timestamps: " << modtime << " != " << path.modTime());
1339       if (delta < 30)
1340       {
1341           // File system time stamp has slightly changed. It's unlikely that the user has managed to change a file, start fgfs,
1342           // and then changed file again within x seconds - so it's suspicious...
1343           SG_LOG(SG_NAVCACHE, SG_ALERT, "NavCache: suspicious file timestamp change. Please report this to FlightGear. "
1344                   << "Delta: " << delta << ", Timestamps: " << modtime << ", " << path.modTime() << ", path: " << path);
1345       }
1346     }
1347     else
1348     {
1349       SG_LOG(SG_NAVCACHE, SG_DEBUG, "NavCache: no rebuild required for " << path);
1350     }
1351
1352     isModified = (delta != 0);
1353   } else {
1354     SG_LOG(SG_NAVCACHE, SG_DEBUG, "NavCache: initial build required for " << path);
1355   }
1356
1357   d->reset(d->statCacheCheck);
1358   return isModified;
1359 }
1360
1361 void NavDataCache::stampCacheFile(const SGPath& path)
1362 {
1363   sqlite_bind_temp_stdstring(d->stampFileCache, 1, path.str());
1364   sqlite3_bind_int64(d->stampFileCache, 2, path.modTime());
1365   d->execInsert(d->stampFileCache);
1366 }
1367
1368 void NavDataCache::beginTransaction()
1369 {
1370   if (d->transactionLevel == 0) {
1371     d->transactionAborted = false;
1372     d->stepSelect(d->beginTransactionStmt);
1373     sqlite3_reset(d->beginTransactionStmt);
1374   }
1375
1376   ++d->transactionLevel;
1377 }
1378
1379 void NavDataCache::commitTransaction()
1380 {
1381   assert(d->transactionLevel > 0);
1382   if (--d->transactionLevel == 0) {
1383     // if a nested transaction aborted, we might end up here, but must
1384     // still abort the entire transaction. That's bad, but safer than
1385     // committing.
1386     sqlite3_stmt_ptr q = d->transactionAborted ? d->rollbackTransactionStmt : d->commitTransactionStmt;
1387
1388     int retries = 0;
1389     int result;
1390     while (retries < MAX_RETRIES) {
1391       result = sqlite3_step(q);
1392       if (result == SQLITE_DONE) {
1393         break;
1394       }
1395
1396       // see http://www.sqlite.org/c3ref/get_autocommit.html for a hint
1397       // what's going on here: autocommit in inactive inside BEGIN, so if
1398       // it's active, the DB was rolled-back
1399       if (sqlite3_get_autocommit(d->db)) {
1400         SG_LOG(SG_NAVCACHE, SG_ALERT, "commit: was rolled back!" << retries);
1401         d->transactionAborted = true;
1402         break;
1403       }
1404
1405       if (result != SQLITE_BUSY) {
1406         break;
1407       }
1408
1409       SGTimeStamp::sleepForMSec(++retries * 10);
1410       SG_LOG(SG_NAVCACHE, SG_ALERT, "NavCache contention on commit, will retry:" << retries);
1411     } // of retry loop for DB busy
1412
1413     string errMsg;
1414     if (result != SQLITE_DONE) {
1415       errMsg = sqlite3_errmsg(d->db);
1416       SG_LOG(SG_NAVCACHE, SG_ALERT, "Sqlite error:" << errMsg << " for  " << result
1417              << " while running:\n\t" << sqlite3_sql(q));
1418     }
1419
1420     sqlite3_reset(q);
1421   }
1422 }
1423
1424 void NavDataCache::abortTransaction()
1425 {
1426   SG_LOG(SG_NAVCACHE, SG_WARN, "NavCache: aborting transaction");
1427
1428   assert(d->transactionLevel > 0);
1429   if (--d->transactionLevel == 0) {
1430     d->stepSelect(d->rollbackTransactionStmt);
1431     sqlite3_reset(d->rollbackTransactionStmt);
1432   }
1433
1434   d->transactionAborted = true;
1435 }
1436
1437 FGPositioned* NavDataCache::loadById(PositionedID rowid)
1438 {
1439   if (rowid == 0) {
1440     return NULL;
1441   }
1442
1443   PositionedCache::iterator it = d->cache.find(rowid);
1444   if (it != d->cache.end()) {
1445     d->cacheHits++;
1446     return it->second; // cache it
1447   }
1448
1449   FGPositioned* pos = d->loadById(rowid);
1450   d->cache.insert(it, PositionedCache::value_type(rowid, pos));
1451   d->cacheMisses++;
1452   return pos;
1453 }
1454
1455 PositionedID NavDataCache::insertAirport(FGPositioned::Type ty, const string& ident,
1456                                          const string& name)
1457 {
1458   // airports have their pos computed based on the avergae runway centres
1459   // so the pos isn't available immediately. Pass a dummy pos and avoid
1460   // doing spatial indexing until later
1461   sqlite3_int64 rowId = d->insertPositioned(ty, ident, name, SGGeod(),
1462                                             0 /* airport */,
1463                                             false /* spatial index */);
1464
1465   sqlite3_bind_int64(d->insertAirport, 1, rowId);
1466   d->execInsert(d->insertAirport);
1467
1468   return rowId;
1469 }
1470
1471 void NavDataCache::updatePosition(PositionedID item, const SGGeod &pos)
1472 {
1473   if (d->cache.find(item) != d->cache.end()) {
1474     SG_LOG(SG_NAVCACHE, SG_DEBUG, "updating position of an item in the cache");
1475     d->cache[item]->modifyPosition(pos);
1476   }
1477
1478   SGVec3d cartPos(SGVec3d::fromGeod(pos));
1479
1480   sqlite3_bind_int(d->setAirportPos, 1, item);
1481   sqlite3_bind_double(d->setAirportPos, 2, pos.getLongitudeDeg());
1482   sqlite3_bind_double(d->setAirportPos, 3, pos.getLatitudeDeg());
1483   sqlite3_bind_double(d->setAirportPos, 4, pos.getElevationM());
1484
1485 // bug 905; the octree leaf may change here, but the leaf may already be
1486 // loaded, and caching its children. (Either the old or new leaf!). Worse,
1487 // we may be called here as a result of loading one of those leaf's children.
1488 // instead of dealing with all those possibilites, such as modifying
1489 // the in-memory leaf's STL child container, we simply leave the runtime
1490 // structures alone. This is fine providing items do no move very far, since
1491 // all the spatial searches ultimately use the items' real cartesian position,
1492 // which was updated above.
1493   Octree::Leaf* octreeLeaf = Octree::global_spatialOctree->findLeafForPos(cartPos);
1494   sqlite3_bind_int64(d->setAirportPos, 5, octreeLeaf->guid());
1495
1496   sqlite3_bind_double(d->setAirportPos, 6, cartPos.x());
1497   sqlite3_bind_double(d->setAirportPos, 7, cartPos.y());
1498   sqlite3_bind_double(d->setAirportPos, 8, cartPos.z());
1499
1500
1501   d->execUpdate(d->setAirportPos);
1502 }
1503
1504 void NavDataCache::insertTower(PositionedID airportId, const SGGeod& pos)
1505 {
1506   d->insertPositioned(FGPositioned::TOWER, string(), string(),
1507                       pos, airportId, true /* spatial index */);
1508 }
1509
1510 PositionedID
1511 NavDataCache::insertRunway(FGPositioned::Type ty, const string& ident,
1512                            const SGGeod& pos, PositionedID apt,
1513                            double heading, double length, double width, double displacedThreshold,
1514                            double stopway, int surfaceCode)
1515 {
1516   // only runways are spatially indexed; don't bother indexing taxiways
1517   // or pavements
1518   bool spatialIndex = (ty == FGPositioned::RUNWAY);
1519
1520   sqlite3_int64 rowId = d->insertPositioned(ty, cleanRunwayNo(ident), "", pos, apt,
1521                                             spatialIndex);
1522   sqlite3_bind_int64(d->insertRunway, 1, rowId);
1523   sqlite3_bind_double(d->insertRunway, 2, heading);
1524   sqlite3_bind_double(d->insertRunway, 3, length);
1525   sqlite3_bind_double(d->insertRunway, 4, width);
1526   sqlite3_bind_int(d->insertRunway, 5, surfaceCode);
1527   sqlite3_bind_double(d->insertRunway, 6, displacedThreshold);
1528   sqlite3_bind_double(d->insertRunway, 7, stopway);
1529
1530   return d->execInsert(d->insertRunway);
1531 }
1532
1533 void NavDataCache::setRunwayReciprocal(PositionedID runway, PositionedID recip)
1534 {
1535   sqlite3_bind_int64(d->setRunwayReciprocal, 1, runway);
1536   sqlite3_bind_int64(d->setRunwayReciprocal, 2, recip);
1537   d->execUpdate(d->setRunwayReciprocal);
1538
1539 // and the opposite direction too!
1540   sqlite3_bind_int64(d->setRunwayReciprocal, 2, runway);
1541   sqlite3_bind_int64(d->setRunwayReciprocal, 1, recip);
1542   d->execUpdate(d->setRunwayReciprocal);
1543 }
1544
1545 void NavDataCache::setRunwayILS(PositionedID runway, PositionedID ils)
1546 {
1547   sqlite3_bind_int64(d->setRunwayILS, 1, runway);
1548   sqlite3_bind_int64(d->setRunwayILS, 2, ils);
1549   d->execUpdate(d->setRunwayILS);
1550 }
1551
1552 void NavDataCache::updateRunwayThreshold(PositionedID runwayID, const SGGeod &aThreshold,
1553                                   double aHeading, double aDisplacedThreshold,
1554                                   double aStopway)
1555 {
1556 // update the runway information
1557   sqlite3_bind_int64(d->updateRunwayThreshold, 1, runwayID);
1558   sqlite3_bind_double(d->updateRunwayThreshold, 2, aHeading);
1559   sqlite3_bind_double(d->updateRunwayThreshold, 3, aDisplacedThreshold);
1560   sqlite3_bind_double(d->updateRunwayThreshold, 4, aStopway);
1561   d->execUpdate(d->updateRunwayThreshold);
1562
1563 // compute the new runway center, based on the threshold lat/lon and length,
1564   double offsetFt = (0.5 * d->runwayLengthFt(runwayID));
1565   SGGeod newCenter;
1566   double dummy;
1567   SGGeodesy::direct(aThreshold, aHeading, offsetFt * SG_FEET_TO_METER, newCenter, dummy);
1568
1569 // now update the positional data
1570   updatePosition(runwayID, newCenter);
1571 }
1572
1573 PositionedID
1574 NavDataCache::insertNavaid(FGPositioned::Type ty, const string& ident,
1575                           const string& name, const SGGeod& pos,
1576                            int freq, int range, double multiuse,
1577                            PositionedID apt, PositionedID runway)
1578 {
1579   bool spatialIndex = true;
1580   if (ty == FGPositioned::MOBILE_TACAN) {
1581     spatialIndex = false;
1582   }
1583
1584   sqlite3_int64 rowId = d->insertPositioned(ty, ident, name, pos, apt,
1585                                             spatialIndex);
1586   sqlite3_bind_int64(d->insertNavaid, 1, rowId);
1587   sqlite3_bind_int(d->insertNavaid, 2, freq);
1588   sqlite3_bind_int(d->insertNavaid, 3, range);
1589   sqlite3_bind_double(d->insertNavaid, 4, multiuse);
1590   sqlite3_bind_int64(d->insertNavaid, 5, runway);
1591   return d->execInsert(d->insertNavaid);
1592 }
1593
1594 void NavDataCache::updateILS(PositionedID ils, const SGGeod& newPos, double aHdg)
1595 {
1596   sqlite3_bind_int64(d->updateILS, 1, ils);
1597   sqlite3_bind_double(d->updateILS, 2, aHdg);
1598   d->execUpdate(d->updateILS);
1599   updatePosition(ils, newPos);
1600 }
1601
1602 PositionedID NavDataCache::insertCommStation(FGPositioned::Type ty,
1603                                              const string& name, const SGGeod& pos, int freq, int range,
1604                                              PositionedID apt)
1605 {
1606   sqlite3_int64 rowId = d->insertPositioned(ty, "", name, pos, apt, true);
1607   sqlite3_bind_int64(d->insertCommStation, 1, rowId);
1608   sqlite3_bind_int(d->insertCommStation, 2, freq);
1609   sqlite3_bind_int(d->insertCommStation, 3, range);
1610   return d->execInsert(d->insertCommStation);
1611 }
1612
1613 PositionedID NavDataCache::insertFix(const std::string& ident, const SGGeod& aPos)
1614 {
1615   return d->insertPositioned(FGPositioned::FIX, ident, string(), aPos, 0, true);
1616 }
1617
1618 PositionedID NavDataCache::createUserWaypoint(const std::string& ident, const SGGeod& aPos)
1619 {
1620   return d->insertPositioned(FGPositioned::WAYPOINT, ident, string(), aPos, 0,
1621                              true /* spatial index */);
1622 }
1623
1624 void NavDataCache::setAirportMetar(const string& icao, bool hasMetar)
1625 {
1626   sqlite_bind_stdstring(d->setAirportMetar, 1, icao);
1627   sqlite3_bind_int(d->setAirportMetar, 2, hasMetar);
1628   d->execUpdate(d->setAirportMetar);
1629 }
1630
1631 FGPositioned::List NavDataCache::findAllWithIdent(const string& s,
1632                                                   FGPositioned::Filter* filter, bool exact)
1633 {
1634   return d->findAllByString(s, "ident", filter, exact);
1635 }
1636
1637 FGPositioned::List NavDataCache::findAllWithName(const string& s,
1638                                                   FGPositioned::Filter* filter, bool exact)
1639 {
1640   return d->findAllByString(s, "name", filter, exact);
1641 }
1642
1643 FGPositionedRef NavDataCache::findClosestWithIdent(const string& aIdent,
1644                                                    const SGGeod& aPos, FGPositioned::Filter* aFilter)
1645 {
1646   sqlite_bind_stdstring(d->findClosestWithIdent, 1, aIdent);
1647   if (aFilter) {
1648     sqlite3_bind_int(d->findClosestWithIdent, 2, aFilter->minType());
1649     sqlite3_bind_int(d->findClosestWithIdent, 3, aFilter->maxType());
1650   } else { // full type range
1651     sqlite3_bind_int(d->findClosestWithIdent, 2, FGPositioned::INVALID);
1652     sqlite3_bind_int(d->findClosestWithIdent, 3, FGPositioned::LAST_TYPE);
1653   }
1654
1655   SGVec3d cartPos(SGVec3d::fromGeod(aPos));
1656   sqlite3_bind_double(d->findClosestWithIdent, 4, cartPos.x());
1657   sqlite3_bind_double(d->findClosestWithIdent, 5, cartPos.y());
1658   sqlite3_bind_double(d->findClosestWithIdent, 6, cartPos.z());
1659
1660   FGPositionedRef result;
1661
1662   while (d->stepSelect(d->findClosestWithIdent)) {
1663     FGPositioned* pos = loadById(sqlite3_column_int64(d->findClosestWithIdent, 0));
1664     if (aFilter && !aFilter->pass(pos)) {
1665       continue;
1666     }
1667
1668     result = pos;
1669     break;
1670   }
1671
1672   d->reset(d->findClosestWithIdent);
1673   return result;
1674 }
1675
1676
1677 int NavDataCache::getOctreeBranchChildren(int64_t octreeNodeId)
1678 {
1679   sqlite3_bind_int64(d->getOctreeChildren, 1, octreeNodeId);
1680   d->execSelect1(d->getOctreeChildren);
1681   int children = sqlite3_column_int(d->getOctreeChildren, 0);
1682   d->reset(d->getOctreeChildren);
1683   return children;
1684 }
1685
1686 void NavDataCache::defineOctreeNode(Octree::Branch* pr, Octree::Node* nd)
1687 {
1688   sqlite3_bind_int64(d->insertOctree, 1, nd->guid());
1689   d->execInsert(d->insertOctree);
1690
1691 #ifdef LAZY_OCTREE_UPDATES
1692   d->deferredOctreeUpdates.insert(pr);
1693 #else
1694   // lowest three bits of node ID are 0..7 index of the child in the parent
1695   int childIndex = nd->guid() & 0x07;
1696
1697   sqlite3_bind_int64(d->updateOctreeChildren, 1, pr->guid());
1698 // mask has bit N set where child N exists
1699   int childMask = 1 << childIndex;
1700   sqlite3_bind_int(d->updateOctreeChildren, 2, childMask);
1701   d->execUpdate(d->updateOctreeChildren);
1702 #endif
1703 }
1704
1705 TypedPositionedVec
1706 NavDataCache::getOctreeLeafChildren(int64_t octreeNodeId)
1707 {
1708   sqlite3_bind_int64(d->getOctreeLeafChildren, 1, octreeNodeId);
1709
1710   TypedPositionedVec r;
1711   while (d->stepSelect(d->getOctreeLeafChildren)) {
1712     FGPositioned::Type ty = static_cast<FGPositioned::Type>
1713       (sqlite3_column_int(d->getOctreeLeafChildren, 1));
1714     r.push_back(std::make_pair(ty,
1715                 sqlite3_column_int64(d->getOctreeLeafChildren, 0)));
1716   }
1717
1718   d->reset(d->getOctreeLeafChildren);
1719   return r;
1720 }
1721
1722
1723 /**
1724  * A special purpose helper (used by FGAirport::searchNamesAndIdents) to
1725  * implement the AirportList dialog. It's unfortunate that it needs to reside
1726  * here, but for now it's least ugly solution.
1727  */
1728 char** NavDataCache::searchAirportNamesAndIdents(const std::string& aFilter)
1729 {
1730   string s = "%" + aFilter + "%";
1731   sqlite_bind_stdstring(d->searchAirports, 1, s);
1732
1733   unsigned int numMatches = 0, numAllocated = 16;
1734   char** result = (char**) malloc(sizeof(char*) * numAllocated);
1735
1736   while (d->stepSelect(d->searchAirports)) {
1737     if ((numMatches + 1) >= numAllocated) {
1738       numAllocated <<= 1; // double in size!
1739     // reallocate results array
1740       char** nresult = (char**) malloc(sizeof(char*) * numAllocated);
1741       memcpy(nresult, result, sizeof(char*) * numMatches);
1742       free(result);
1743       result = nresult;
1744     }
1745
1746     // nasty code to avoid excessive string copying and allocations.
1747     // We format results as follows (note whitespace!):
1748     //   ' name-of-airport-chars   (ident)'
1749     // so the total length is:
1750     //    1 + strlen(name) + 4 + strlen(icao) + 1 + 1 (for the null)
1751     // which gives a grand total of 7 + name-length + icao-length.
1752     // note the ident can be three letters (non-ICAO local strip), four
1753     // (default ICAO) or more (extended format ICAO)
1754     int nameLength = sqlite3_column_bytes(d->searchAirports, 1);
1755     int icaoLength = sqlite3_column_bytes(d->searchAirports, 0);
1756     char* entry = (char*) malloc(7 + nameLength + icaoLength);
1757     char* dst = entry;
1758     *dst++ = ' ';
1759     memcpy(dst, sqlite3_column_text(d->searchAirports, 1), nameLength);
1760     dst += nameLength;
1761     *dst++ = ' ';
1762     *dst++ = ' ';
1763     *dst++ = ' ';
1764     *dst++ = '(';
1765     memcpy(dst, sqlite3_column_text(d->searchAirports, 0), icaoLength);
1766     dst += icaoLength;
1767     *dst++ = ')';
1768     *dst++ = 0;
1769
1770     result[numMatches++] = entry;
1771   }
1772
1773   result[numMatches] = NULL; // end of list marker
1774   d->reset(d->searchAirports);
1775   return result;
1776 }
1777
1778 FGPositionedRef
1779 NavDataCache::findCommByFreq(int freqKhz, const SGGeod& aPos, FGPositioned::Filter* aFilter)
1780 {
1781   sqlite3_bind_int(d->findCommByFreq, 1, freqKhz);
1782   if (aFilter) {
1783     sqlite3_bind_int(d->findCommByFreq, 2, aFilter->minType());
1784     sqlite3_bind_int(d->findCommByFreq, 3, aFilter->maxType());
1785   } else { // full type range
1786     sqlite3_bind_int(d->findCommByFreq, 2, FGPositioned::FREQ_GROUND);
1787     sqlite3_bind_int(d->findCommByFreq, 3, FGPositioned::FREQ_UNICOM);
1788   }
1789
1790   SGVec3d cartPos(SGVec3d::fromGeod(aPos));
1791   sqlite3_bind_double(d->findCommByFreq, 4, cartPos.x());
1792   sqlite3_bind_double(d->findCommByFreq, 5, cartPos.y());
1793   sqlite3_bind_double(d->findCommByFreq, 6, cartPos.z());
1794   FGPositionedRef result;
1795
1796   while (d->execSelect(d->findCommByFreq)) {
1797     FGPositioned* p = loadById(sqlite3_column_int64(d->findCommByFreq, 0));
1798     if (aFilter && !aFilter->pass(p)) {
1799       continue;
1800     }
1801
1802     result = p;
1803     break;
1804   }
1805
1806   d->reset(d->findCommByFreq);
1807   return result;
1808 }
1809
1810 PositionedIDVec
1811 NavDataCache::findNavaidsByFreq(int freqKhz, const SGGeod& aPos, FGPositioned::Filter* aFilter)
1812 {
1813   sqlite3_bind_int(d->findNavsByFreq, 1, freqKhz);
1814   if (aFilter) {
1815     sqlite3_bind_int(d->findNavsByFreq, 2, aFilter->minType());
1816     sqlite3_bind_int(d->findNavsByFreq, 3, aFilter->maxType());
1817   } else { // full type range
1818     sqlite3_bind_int(d->findNavsByFreq, 2, FGPositioned::NDB);
1819     sqlite3_bind_int(d->findNavsByFreq, 3, FGPositioned::GS);
1820   }
1821
1822   SGVec3d cartPos(SGVec3d::fromGeod(aPos));
1823   sqlite3_bind_double(d->findNavsByFreq, 4, cartPos.x());
1824   sqlite3_bind_double(d->findNavsByFreq, 5, cartPos.y());
1825   sqlite3_bind_double(d->findNavsByFreq, 6, cartPos.z());
1826
1827   return d->selectIds(d->findNavsByFreq);
1828 }
1829
1830 PositionedIDVec
1831 NavDataCache::findNavaidsByFreq(int freqKhz, FGPositioned::Filter* aFilter)
1832 {
1833   sqlite3_bind_int(d->findNavsByFreqNoPos, 1, freqKhz);
1834   if (aFilter) {
1835     sqlite3_bind_int(d->findNavsByFreqNoPos, 2, aFilter->minType());
1836     sqlite3_bind_int(d->findNavsByFreqNoPos, 3, aFilter->maxType());
1837   } else { // full type range
1838     sqlite3_bind_int(d->findNavsByFreqNoPos, 2, FGPositioned::NDB);
1839     sqlite3_bind_int(d->findNavsByFreqNoPos, 3, FGPositioned::GS);
1840   }
1841
1842   return d->selectIds(d->findNavsByFreqNoPos);
1843 }
1844
1845 PositionedIDVec
1846 NavDataCache::airportItemsOfType(PositionedID apt,FGPositioned::Type ty,
1847                                  FGPositioned::Type maxTy)
1848 {
1849   if (maxTy == FGPositioned::INVALID) {
1850     maxTy = ty; // single-type range
1851   }
1852
1853   sqlite3_bind_int64(d->getAirportItems, 1, apt);
1854   sqlite3_bind_int(d->getAirportItems, 2, ty);
1855   sqlite3_bind_int(d->getAirportItems, 3, maxTy);
1856
1857   return d->selectIds(d->getAirportItems);
1858 }
1859
1860 PositionedID
1861 NavDataCache::airportItemWithIdent(PositionedID apt, FGPositioned::Type ty,
1862                                    const std::string& ident)
1863 {
1864   sqlite3_bind_int64(d->getAirportItemByIdent, 1, apt);
1865   sqlite_bind_stdstring(d->getAirportItemByIdent, 2, ident);
1866   sqlite3_bind_int(d->getAirportItemByIdent, 3, ty);
1867   PositionedID result = 0;
1868
1869   if (d->execSelect(d->getAirportItemByIdent)) {
1870     result = sqlite3_column_int64(d->getAirportItemByIdent, 0);
1871   }
1872
1873   d->reset(d->getAirportItemByIdent);
1874   return result;
1875 }
1876
1877 AirportRunwayPair
1878 NavDataCache::findAirportRunway(const std::string& aName)
1879 {
1880   if (aName.empty()) {
1881     return AirportRunwayPair();
1882   }
1883
1884   string_list parts = simgear::strutils::split(aName);
1885   if (parts.size() < 2) {
1886     SG_LOG(SG_NAVCACHE, SG_WARN, "findAirportRunway: malformed name:" << aName);
1887     return AirportRunwayPair();
1888   }
1889
1890   AirportRunwayPair result;
1891   sqlite_bind_stdstring(d->findAirportRunway, 1, parts[0]);
1892   sqlite_bind_stdstring(d->findAirportRunway, 2, parts[1]);
1893
1894   if (d->execSelect(d->findAirportRunway)) {
1895     result = AirportRunwayPair(sqlite3_column_int64(d->findAirportRunway, 0),
1896                       sqlite3_column_int64(d->findAirportRunway, 1));
1897
1898   } else {
1899     SG_LOG(SG_NAVCACHE, SG_WARN, "findAirportRunway: unknown airport/runway:" << aName);
1900   }
1901
1902   d->reset(d->findAirportRunway);
1903   return result;
1904 }
1905
1906 PositionedID
1907 NavDataCache::findILS(PositionedID airport, const string& runway, const string& navIdent)
1908 {
1909   sqlite_bind_stdstring(d->findILS, 1, navIdent);
1910   sqlite3_bind_int64(d->findILS, 2, airport);
1911   sqlite_bind_stdstring(d->findILS, 3, runway);
1912   PositionedID result = 0;
1913   if (d->execSelect(d->findILS)) {
1914     result = sqlite3_column_int64(d->findILS, 0);
1915   }
1916
1917   d->reset(d->findILS);
1918   return result;
1919 }
1920
1921 int NavDataCache::findAirway(int network, const string& aName)
1922 {
1923   sqlite3_bind_int(d->findAirway, 1, network);
1924   sqlite_bind_stdstring(d->findAirway, 2, aName);
1925
1926   int airway = 0;
1927   if (d->execSelect(d->findAirway)) {
1928     // already exists
1929     airway = sqlite3_column_int(d->findAirway, 0);
1930   } else {
1931     sqlite_bind_stdstring(d->insertAirway, 1, aName);
1932     sqlite3_bind_int(d->insertAirway, 2, network);
1933     airway = d->execInsert(d->insertAirway);
1934   }
1935
1936   d->reset(d->findAirway);
1937   return airway;
1938 }
1939
1940 void NavDataCache::insertEdge(int network, int airwayID, PositionedID from, PositionedID to)
1941 {
1942   // assume all edges are bidirectional for the moment
1943   for (int i=0; i<2; ++i) {
1944     sqlite3_bind_int(d->insertAirwayEdge, 1, network);
1945     sqlite3_bind_int(d->insertAirwayEdge, 2, airwayID);
1946     sqlite3_bind_int64(d->insertAirwayEdge, 3, from);
1947     sqlite3_bind_int64(d->insertAirwayEdge, 4, to);
1948     d->execInsert(d->insertAirwayEdge);
1949
1950     std::swap(from, to);
1951   }
1952 }
1953
1954 bool NavDataCache::isInAirwayNetwork(int network, PositionedID pos)
1955 {
1956   sqlite3_bind_int(d->isPosInAirway, 1, network);
1957   sqlite3_bind_int64(d->isPosInAirway, 2, pos);
1958   bool ok = d->execSelect(d->isPosInAirway);
1959   d->reset(d->isPosInAirway);
1960
1961   return ok;
1962 }
1963
1964 AirwayEdgeVec NavDataCache::airwayEdgesFrom(int network, PositionedID pos)
1965 {
1966   sqlite3_bind_int(d->airwayEdgesFrom, 1, network);
1967   sqlite3_bind_int64(d->airwayEdgesFrom, 2, pos);
1968
1969   AirwayEdgeVec result;
1970   while (d->stepSelect(d->airwayEdgesFrom)) {
1971     result.push_back(AirwayEdge(
1972                      sqlite3_column_int(d->airwayEdgesFrom, 0),
1973                      sqlite3_column_int64(d->airwayEdgesFrom, 1)
1974                      ));
1975   }
1976
1977   d->reset(d->airwayEdgesFrom);
1978   return result;
1979 }
1980
1981 PositionedID NavDataCache::findNavaidForRunway(PositionedID runway, FGPositioned::Type ty)
1982 {
1983   sqlite3_bind_int64(d->findNavaidForRunway, 1, runway);
1984   sqlite3_bind_int(d->findNavaidForRunway, 2, ty);
1985
1986   PositionedID result = 0;
1987   if (d->execSelect(d->findNavaidForRunway)) {
1988     result = sqlite3_column_int64(d->findNavaidForRunway, 0);
1989   }
1990
1991   d->reset(d->findNavaidForRunway);
1992   return result;
1993 }
1994
1995 PositionedID
1996 NavDataCache::insertParking(const std::string& name, const SGGeod& aPos,
1997                             PositionedID aAirport,
1998                            double aHeading, int aRadius, const std::string& aAircraftType,
1999                            const std::string& aAirlines)
2000 {
2001   sqlite3_int64 rowId = d->insertPositioned(FGPositioned::PARKING, name, "", aPos, aAirport, false);
2002
2003 // we need to insert a row into the taxi_node table, otherwise we can't maintain
2004 // the appropriate pushback flag.
2005   sqlite3_bind_int64(d->insertTaxiNode, 1, rowId);
2006   sqlite3_bind_int(d->insertTaxiNode, 2, 0);
2007   sqlite3_bind_int(d->insertTaxiNode, 3, 0);
2008   d->execInsert(d->insertTaxiNode);
2009
2010   sqlite3_bind_int64(d->insertParkingPos, 1, rowId);
2011   sqlite3_bind_double(d->insertParkingPos, 2, aHeading);
2012   sqlite3_bind_int(d->insertParkingPos, 3, aRadius);
2013   sqlite_bind_stdstring(d->insertParkingPos, 4, aAircraftType);
2014   sqlite_bind_stdstring(d->insertParkingPos, 5, aAirlines);
2015   return d->execInsert(d->insertParkingPos);
2016 }
2017
2018 void NavDataCache::setParkingPushBackRoute(PositionedID parking, PositionedID pushBackNode)
2019 {
2020   sqlite3_bind_int64(d->setParkingPushBack, 1, parking);
2021   sqlite3_bind_int64(d->setParkingPushBack, 2, pushBackNode);
2022   d->execUpdate(d->setParkingPushBack);
2023 }
2024
2025 PositionedID
2026 NavDataCache::insertTaxiNode(const SGGeod& aPos, PositionedID aAirport, int aHoldType, bool aOnRunway)
2027 {
2028   sqlite3_int64 rowId = d->insertPositioned(FGPositioned::TAXI_NODE, string(), string(), aPos, aAirport, false);
2029   sqlite3_bind_int64(d->insertTaxiNode, 1, rowId);
2030   sqlite3_bind_int(d->insertTaxiNode, 2, aHoldType);
2031   sqlite3_bind_int(d->insertTaxiNode, 3, aOnRunway);
2032   return d->execInsert(d->insertTaxiNode);
2033 }
2034
2035 void NavDataCache::insertGroundnetEdge(PositionedID aAirport, PositionedID from, PositionedID to)
2036 {
2037   sqlite3_bind_int64(d->insertTaxiEdge, 1, aAirport);
2038   sqlite3_bind_int64(d->insertTaxiEdge, 2, from);
2039   sqlite3_bind_int64(d->insertTaxiEdge, 3, to);
2040   d->execInsert(d->insertTaxiEdge);
2041 }
2042
2043 PositionedIDVec NavDataCache::groundNetNodes(PositionedID aAirport, bool onlyPushback)
2044 {
2045   sqlite3_stmt_ptr q = onlyPushback ? d->airportPushbackNodes : d->airportTaxiNodes;
2046   sqlite3_bind_int64(q, 1, aAirport);
2047   return d->selectIds(q);
2048 }
2049
2050 void NavDataCache::markGroundnetAsPushback(PositionedID nodeId)
2051 {
2052   sqlite3_bind_int64(d->markTaxiNodeAsPushback, 1, nodeId);
2053   d->execUpdate(d->markTaxiNodeAsPushback);
2054 }
2055
2056 static double headingDifferenceDeg(double crs1, double crs2)
2057 {
2058   double diff =  crs2 - crs1;
2059   SG_NORMALIZE_RANGE(diff, -180.0, 180.0);
2060   return diff;
2061 }
2062
2063 PositionedID NavDataCache::findGroundNetNode(PositionedID airport, const SGGeod& aPos,
2064                                              bool onRunway, FGRunway* aRunway)
2065 {
2066   sqlite3_stmt_ptr q = onRunway ? d->findNearestRunwayTaxiNode : d->findNearestTaxiNode;
2067   sqlite3_bind_int64(q, 1, airport);
2068
2069   SGVec3d cartPos(SGVec3d::fromGeod(aPos));
2070   sqlite3_bind_double(q, 2, cartPos.x());
2071   sqlite3_bind_double(q, 3, cartPos.y());
2072   sqlite3_bind_double(q, 4, cartPos.z());
2073
2074   PositionedID result = 0;
2075   while (d->execSelect(q)) {
2076     PositionedID id = sqlite3_column_int64(q, 0);
2077     if (!aRunway) {
2078       result = id;
2079       break;
2080     }
2081
2082   // ensure found node lies on the runway
2083     FGPositionedRef node = loadById(id);
2084     double course = SGGeodesy::courseDeg(node->geod(), aRunway->end());
2085     if (fabs(headingDifferenceDeg(course, aRunway->headingDeg())) < 3.0 ) {
2086       result = id;
2087       break;
2088     }
2089   }
2090
2091   d->reset(q);
2092   return result;
2093 }
2094
2095 PositionedIDVec NavDataCache::groundNetEdgesFrom(PositionedID pos, bool onlyPushback)
2096 {
2097   sqlite3_stmt_ptr q = onlyPushback ? d->pushbackEdgesFrom : d->taxiEdgesFrom;
2098   sqlite3_bind_int64(q, 1, pos);
2099   return d->selectIds(q);
2100 }
2101
2102 PositionedIDVec NavDataCache::findAirportParking(PositionedID airport, const std::string& flightType,
2103                                    int radius)
2104 {
2105   sqlite3_bind_int64(d->findAirportParking, 1, airport);
2106   sqlite3_bind_int(d->findAirportParking, 2, radius);
2107   sqlite_bind_stdstring(d->findAirportParking, 3, flightType);
2108
2109   return d->selectIds(d->findAirportParking);
2110 }
2111
2112 void NavDataCache::dropGroundnetFor(PositionedID aAirport)
2113 {
2114   sqlite3_stmt_ptr q = d->prepare("DELETE FROM parking WHERE rowid IN (SELECT rowid FROM positioned WHERE type=?1 AND airport=?2)");
2115   sqlite3_bind_int(q, 1, FGPositioned::PARKING);
2116   sqlite3_bind_int64(q, 2, aAirport);
2117   d->execUpdate(q);
2118
2119   q = d->prepare("DELETE FROM taxi_node WHERE rowid IN (SELECT rowid FROM positioned WHERE type=?1 AND airport=?2)");
2120   sqlite3_bind_int(q, 1, FGPositioned::TAXI_NODE);
2121   sqlite3_bind_int64(q, 2, aAirport);
2122   d->execUpdate(q);
2123
2124   q = d->prepare("DELETE FROM positioned WHERE (type=?1 OR type=?2) AND airport=?3");
2125   sqlite3_bind_int(q, 1, FGPositioned::TAXI_NODE);
2126   sqlite3_bind_int(q, 2, FGPositioned::PARKING);
2127   sqlite3_bind_int64(q, 3, aAirport);
2128   d->execUpdate(q);
2129
2130   q = d->prepare("DELETE FROM groundnet_edge WHERE airport=?1");
2131   sqlite3_bind_int64(q, 1, aAirport);
2132   d->execUpdate(q);
2133 }
2134
2135 /////////////////////////////////////////////////////////////////////////////////////////
2136 // Transaction RAII object
2137
2138 NavDataCache::Transaction::Transaction(NavDataCache* cache) :
2139     _instance(cache),
2140     _committed(false)
2141 {
2142     assert(cache);
2143     _instance->beginTransaction();
2144 }
2145
2146 NavDataCache::Transaction::~Transaction()
2147 {
2148     if (!_committed) {
2149         SG_LOG(SG_NAVCACHE, SG_INFO, "aborting cache transaction!");
2150         _instance->abortTransaction();
2151     }
2152 }
2153
2154 void NavDataCache::Transaction::commit()
2155 {
2156     assert(!_committed);
2157     _committed = true;
2158     _instance->commitTransaction();
2159 }
2160
2161 } // of namespace flightgear
2162