src/Navaids/NavDataCache.cxx

   1 // NavDataCache.cxx - defines a unified binary cache for navigation
   2 // data, parsed from various text / XML sources.
   3
   4 // Written by James Turner, started 2012.
   5 //
   6 // Copyright (C) 2012  James Turner
   7 //
   8 // This program is free software; you can redistribute it and/or
   9 // modify it under the terms of the GNU General Public License as
  10 // published by the Free Software Foundation; either version 2 of the
  11 // License, or (at your option) any later version.
  12 //
  13 // This program is distributed in the hope that it will be useful, but
  14 // WITHOUT ANY WARRANTY; without even the implied warranty of
  15 // MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
  16 // General Public License for more details.
  17 //
  18 // You should have received a copy of the GNU General Public License
  19 // along with this program; if not, write to the Free Software
  20 // Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA  02110-1301, USA.
  21
  22 #ifdef HAVE_CONFIG_H
  23 # include "config.h"
  24 #endif
  25
  26 #include "NavDataCache.hxx"
  27
  28 // std
  29 #include <map>
  30 #include <cassert>
  31 #include <stdint.h> // for int64_t
  32 // boost
  33 #include <boost/foreach.hpp>
  34
  35 // to ensure compatability between sqlite3_int64 and PositionedID,
  36 // force the type used by sqlite to match PositionedID explicitly
  37 #define SQLITE_INT64_TYPE int64_t
  38 #define SQLITE_UINT64_TYPE uint64_t
  39
  40 #ifdef SYSTEM_SQLITE
  41   #include "sqlite3.h"
  42 #else
  43   #include "fg_sqlite3.h"
  44 #endif
  45
  46 // SimGear
  47 #include <simgear/sg_inlines.h>
  48 #include <simgear/structure/exception.hxx>
  49 #include <simgear/debug/logstream.hxx>
  50 #include <simgear/bucket/newbucket.hxx>
  51 #include <simgear/misc/sg_path.hxx>
  52 #include <simgear/misc/strutils.hxx>
  53 #include <simgear/threads/SGThread.hxx>
  54 #include <simgear/threads/SGGuard.hxx>
  55
  56 #include <Main/globals.hxx>
  57 #include "markerbeacon.hxx"
  58 #include "navrecord.hxx"
  59 #include <Airports/airport.hxx>
  60 #include <Airports/runways.hxx>
  61 #include <ATC/CommStation.hxx>
  62 #include "fix.hxx"
  63 #include <Navaids/fixlist.hxx>
  64 #include <Navaids/navdb.hxx>
  65 #include "PositionedOctree.hxx"
  66 #include <Airports/apt_loader.hxx>
  67 #include <Navaids/airways.hxx>
  68 #include "poidb.hxx"
  69 #include <Airports/parking.hxx>
  70 #include <Airports/gnnode.hxx>
  71
  72 using std::string;
  73
  74 #define SG_NAVCACHE SG_NAVAID
  75 //#define LAZY_OCTREE_UPDATES 1
  76
  77 namespace {
  78
  79 const int MAX_RETRIES = 10;
  80 const int SCHEMA_VERSION = 8;
  81 const int CACHE_SIZE_KBYTES= 32 * 1024;
  82
  83 // bind a std::string to a sqlite statement. The std::string must live the
  84 // entire duration of the statement execution - do not pass a temporary
  85 // std::string, or the compiler may delete it, freeing the C-string storage,
  86 // and causing subtle memory corruption bugs!
  87 void sqlite_bind_stdstring(sqlite3_stmt* stmt, int value, const std::string& s)
  88 {
  89   sqlite3_bind_text(stmt, value, s.c_str(), s.length(), SQLITE_STATIC);
  90 }
  91
  92 // variant of the above, which does not care about the lifetime of the
  93 // passed std::string
  94 void sqlite_bind_temp_stdstring(sqlite3_stmt* stmt, int value, const std::string& s)
  95 {
  96   sqlite3_bind_text(stmt, value, s.c_str(), s.length(), SQLITE_TRANSIENT);
  97 }
  98
  99 typedef sqlite3_stmt* sqlite3_stmt_ptr;
 100
 101 void f_distanceCartSqrFunction(sqlite3_context* ctx, int argc, sqlite3_value* argv[])
 102 {
 103   if (argc != 6) {
 104     return;
 105   }
 106
 107   SGVec3d posA(sqlite3_value_double(argv[0]),
 108                sqlite3_value_double(argv[1]),
 109                sqlite3_value_double(argv[2]));
 110
 111   SGVec3d posB(sqlite3_value_double(argv[3]),
 112                sqlite3_value_double(argv[4]),
 113                sqlite3_value_double(argv[5]));
 114   sqlite3_result_double(ctx, distSqr(posA, posB));
 115 }
 116
 117
 118 static string cleanRunwayNo(const string& aRwyNo)
 119 {
 120   if (aRwyNo[0] == 'x') {
 121     return string(); // no ident for taxiways
 122   }
 123
 124   string result(aRwyNo);
 125   // canonicalise runway ident
 126   if ((aRwyNo.size() == 1) || !isdigit(aRwyNo[1])) {
 127     result = "0" + aRwyNo;
 128   }
 129
 130   // trim off trailing garbage
 131   if (result.size() > 2) {
 132     char suffix = toupper(result[2]);
 133     if (suffix == 'X') {
 134       result = result.substr(0, 2);
 135     }
 136   }
 137
 138   return result;
 139 }
 140
 141 } // anonymous namespace
 142
 143 namespace flightgear
 144 {
 145
 146 /**
 147  * Thread encapsulating a cache rebuild. This is not used to parallelise
 148  * the rebuild - we must still wait until completion before doing other
 149  * startup, since many things rely on a complete cache. The thread is used
 150  * so we don't block the main event loop for an unacceptable duration,
 151  * which causes 'not responding' / spinning beachballs on Windows & Mac
 152  */
 153 class RebuildThread : public SGThread
 154 {
 155 public:
 156   RebuildThread(NavDataCache* cache) :
 157   _cache(cache),
 158   _isFinished(false)
 159   {
 160
 161   }
 162
 163   bool isFinished() const
 164   {
 165     SGGuard<SGMutex> g(_lock);
 166     return _isFinished;
 167   }
 168
 169   virtual void run()
 170   {
 171     SGTimeStamp st;
 172     st.stamp();
 173     _cache->doRebuild();
 174     SG_LOG(SG_NAVCACHE, SG_INFO, "cache rebuild took:" << st.elapsedMSec() << "msec");
 175
 176     SGGuard<SGMutex> g(_lock);
 177     _isFinished = true;
 178   }
 179 private:
 180   NavDataCache* _cache;
 181   mutable SGMutex _lock;
 182   bool _isFinished;
 183 };
 184
 185 ////////////////////////////////////////////////////////////////////////////
 186
 187 typedef std::map<PositionedID, FGPositionedRef> PositionedCache;
 188
 189 class AirportTower : public FGPositioned
 190 {
 191 public:
 192   AirportTower(PositionedID& guid, PositionedID airport,
 193                const string& ident, const SGGeod& pos) :
 194     FGPositioned(guid, FGPositioned::TOWER, ident, pos)
 195   {
 196   }
 197 };
 198
 199 class NavDataCache::NavDataCachePrivate
 200 {
 201 public:
 202   NavDataCachePrivate(const SGPath& p, NavDataCache* o) :
 203     outer(o),
 204     db(NULL),
 205     path(p),
 206     cacheHits(0),
 207     cacheMisses(0),
 208     transactionLevel(0),
 209     transactionAborted(false)
 210   {
 211   }
 212
 213   ~NavDataCachePrivate()
 214   {
 215     close();
 216   }
 217
 218   void init()
 219   {
 220     SG_LOG(SG_NAVCACHE, SG_INFO, "NavCache at:" << path);
 221
 222         // see http://code.google.com/p/flightgear-bugs/issues/detail?id=1055
 223         // for the logic here. Sigh.
 224         std::string pathUtf8 = simgear::strutils::convertWindowsLocal8BitToUtf8(path.str());
 225     sqlite3_open_v2(pathUtf8.c_str(), &db,
 226                     SQLITE_OPEN_READWRITE | SQLITE_OPEN_CREATE, NULL);
 227
 228
 229     sqlite3_stmt_ptr checkTables =
 230       prepare("SELECT count(*) FROM sqlite_master WHERE name='properties'");
 231
 232     sqlite3_create_function(db, "distanceCartSqr", 6, SQLITE_ANY, NULL,
 233                             f_distanceCartSqrFunction, NULL, NULL);
 234
 235     execSelect(checkTables);
 236     bool didCreate = false;
 237     if (sqlite3_column_int(checkTables, 0) == 0) {
 238       SG_LOG(SG_NAVCACHE, SG_INFO, "will create tables");
 239       initTables();
 240       didCreate = true;
 241     }
 242
 243     readPropertyQuery = prepare("SELECT value FROM properties WHERE key=?");
 244     writePropertyQuery = prepare("INSERT INTO properties (key, value) VALUES (?,?)");
 245     clearProperty = prepare("DELETE FROM properties WHERE key=?1");
 246
 247     if (didCreate) {
 248       writeIntProperty("schema-version", SCHEMA_VERSION);
 249     } else {
 250       int schemaVersion = outer->readIntProperty("schema-version");
 251       if (schemaVersion != SCHEMA_VERSION) {
 252         SG_LOG(SG_NAVCACHE, SG_INFO, "Navcache schema mismatch, will rebuild");
 253         throw sg_exception("Navcache schema has changed");
 254       }
 255     }
 256
 257     // see http://www.sqlite.org/pragma.html#pragma_cache_size
 258     // for the details, small cache would cause thrashing.
 259     std::ostringstream q;
 260     q << "PRAGMA cache_size=-" << CACHE_SIZE_KBYTES << ";";
 261     runSQL(q.str());
 262     prepareQueries();
 263   }
 264
 265   void close()
 266   {
 267     BOOST_FOREACH(sqlite3_stmt_ptr stmt, prepared) {
 268       sqlite3_finalize(stmt);
 269     }
 270     prepared.clear();
 271     sqlite3_close(db);
 272   }
 273
 274   void checkCacheFile()
 275   {
 276     SG_LOG(SG_NAVCACHE, SG_INFO, "running DB integrity check");
 277     SGTimeStamp st;
 278     st.stamp();
 279
 280     sqlite3_stmt_ptr stmt = prepare("PRAGMA quick_check(1)");
 281     if (!execSelect(stmt)) {
 282       throw sg_exception("DB integrity check failed to run");
 283     }
 284
 285     string v = (char*) sqlite3_column_text(stmt, 0);
 286     if (v != "ok") {
 287       throw sg_exception("DB integrity check returned:" + v);
 288     }
 289
 290     SG_LOG(SG_NAVCACHE, SG_INFO, "NavDataCache integrity check took:" << st.elapsedMSec());
 291     finalize(stmt);
 292   }
 293
 294   void callSqlite(int result, const string& sql)
 295   {
 296     if (result == SQLITE_OK)
 297       return; // all good
 298
 299     string errMsg;
 300     if (result == SQLITE_MISUSE) {
 301       errMsg = "Sqlite API abuse";
 302       SG_LOG(SG_NAVCACHE, SG_ALERT, "Sqlite API abuse");
 303     } else {
 304       errMsg = sqlite3_errmsg(db);
 305       SG_LOG(SG_NAVCACHE, SG_ALERT, "Sqlite error:" << errMsg << " running:\n\t" << sql);
 306     }
 307
 308     throw sg_exception("Sqlite error:" + errMsg, sql);
 309   }
 310
 311   void runSQL(const string& sql)
 312   {
 313     sqlite3_stmt_ptr stmt;
 314     callSqlite(sqlite3_prepare_v2(db, sql.c_str(), sql.length(), &stmt, NULL), sql);
 315
 316     try {
 317       execSelect(stmt);
 318     } catch (sg_exception&) {
 319       sqlite3_finalize(stmt);
 320       throw; // re-throw
 321     }
 322
 323     sqlite3_finalize(stmt);
 324   }
 325
 326   sqlite3_stmt_ptr prepare(const string& sql)
 327   {
 328     sqlite3_stmt_ptr stmt;
 329     callSqlite(sqlite3_prepare_v2(db, sql.c_str(), sql.length(), &stmt, NULL), sql);
 330     prepared.push_back(stmt);
 331     return stmt;
 332   }
 333
 334   void finalize(sqlite3_stmt_ptr s)
 335   {
 336     StmtVec::iterator it = std::find(prepared.begin(), prepared.end(), s);
 337     if (it == prepared.end()) {
 338       throw sg_exception("Finalising statement that was not prepared");
 339     }
 340
 341     prepared.erase(it);
 342     sqlite3_finalize(s);
 343   }
 344
 345   void reset(sqlite3_stmt_ptr stmt)
 346   {
 347     assert(stmt);
 348     if (sqlite3_reset(stmt) != SQLITE_OK) {
 349       string errMsg = sqlite3_errmsg(db);
 350       SG_LOG(SG_NAVCACHE, SG_ALERT, "Sqlite error resetting:" << errMsg);
 351       throw sg_exception("Sqlite error resetting:" + errMsg, sqlite3_sql(stmt));
 352     }
 353   }
 354
 355   bool execSelect(sqlite3_stmt_ptr stmt)
 356   {
 357     return stepSelect(stmt);
 358   }
 359
 360   bool stepSelect(sqlite3_stmt_ptr stmt)
 361   {
 362     int retries = 0;
 363     int result;
 364     while (retries < MAX_RETRIES) {
 365       result = sqlite3_step(stmt);
 366       if (result == SQLITE_ROW) {
 367         return true; // at least one result row
 368       }
 369
 370       if (result == SQLITE_DONE) {
 371         return false; // no result rows
 372       }
 373
 374       if (result != SQLITE_BUSY) {
 375         break;
 376       }
 377
 378       SG_LOG(SG_NAVCACHE, SG_ALERT, "NavCache contention on select, will retry:" << retries);
 379       SGTimeStamp::sleepForMSec(++retries * 10);
 380     } // of retry loop for DB locked
 381
 382     if (retries >= MAX_RETRIES) {
 383       SG_LOG(SG_NAVCACHE, SG_ALERT, "exceeded maximum number of SQLITE_BUSY retries");
 384       return false;
 385     }
 386
 387     string errMsg;
 388     if (result == SQLITE_MISUSE) {
 389       errMsg = "Sqlite API abuse";
 390       SG_LOG(SG_NAVCACHE, SG_ALERT, "Sqlite API abuse");
 391     } else {
 392       errMsg = sqlite3_errmsg(db);
 393       SG_LOG(SG_NAVCACHE, SG_ALERT, "Sqlite error:" << errMsg << " (" << result
 394              << ") while running:\n\t" << sqlite3_sql(stmt));
 395     }
 396
 397     throw sg_exception("Sqlite error:" + errMsg, sqlite3_sql(stmt));
 398   }
 399
 400   void execSelect1(sqlite3_stmt_ptr stmt)
 401   {
 402     if (!execSelect(stmt)) {
 403       SG_LOG(SG_NAVCACHE, SG_WARN, "empty SELECT running:\n\t" << sqlite3_sql(stmt));
 404       throw sg_exception("no results returned for select", sqlite3_sql(stmt));
 405     }
 406   }
 407
 408   sqlite3_int64 execInsert(sqlite3_stmt_ptr stmt)
 409   {
 410     execSelect(stmt);
 411     sqlite3_int64 rowid = sqlite3_last_insert_rowid(db);
 412     reset(stmt);
 413     return rowid;
 414   }
 415
 416   void execUpdate(sqlite3_stmt_ptr stmt)
 417   {
 418     execSelect(stmt);
 419     reset(stmt);
 420   }
 421
 422   void initTables()
 423   {
 424     runSQL("CREATE TABLE properties ("
 425            "key VARCHAR,"
 426            "value VARCHAR"
 427            ")");
 428
 429     runSQL("CREATE TABLE stat_cache ("
 430            "path VARCHAR unique,"
 431            "stamp INT"
 432            ")");
 433
 434     runSQL("CREATE TABLE positioned ("
 435            "type INT,"
 436            "ident VARCHAR collate nocase,"
 437            "name VARCHAR collate nocase,"
 438            "airport INT64,"
 439            "lon FLOAT,"
 440            "lat FLOAT,"
 441            "elev_m FLOAT,"
 442            "octree_node INT,"
 443            "cart_x FLOAT,"
 444            "cart_y FLOAT,"
 445            "cart_z FLOAT"
 446            ")");
 447
 448     runSQL("CREATE INDEX pos_octree ON positioned(octree_node)");
 449     runSQL("CREATE INDEX pos_ident ON positioned(ident collate nocase)");
 450     runSQL("CREATE INDEX pos_name ON positioned(name collate nocase)");
 451     // allow efficient querying of 'all ATIS at this airport' or
 452     // 'all towers at this airport'
 453     runSQL("CREATE INDEX pos_apt_type ON positioned(airport, type)");
 454
 455     runSQL("CREATE TABLE airport ("
 456            "has_metar BOOL"
 457            ")"
 458            );
 459
 460     runSQL("CREATE TABLE comm ("
 461            "freq_khz INT,"
 462            "range_nm INT"
 463            ")"
 464            );
 465
 466     runSQL("CREATE INDEX comm_freq ON comm(freq_khz)");
 467
 468     runSQL("CREATE TABLE runway ("
 469            "heading FLOAT,"
 470            "length_ft FLOAT,"
 471            "width_m FLOAT,"
 472            "surface INT,"
 473            "displaced_threshold FLOAT,"
 474            "stopway FLOAT,"
 475            "reciprocal INT64,"
 476            "ils INT64"
 477            ")"
 478            );
 479
 480     runSQL("CREATE TABLE navaid ("
 481            "freq INT,"
 482            "range_nm INT,"
 483            "multiuse FLOAT,"
 484            "runway INT64,"
 485            "colocated INT64"
 486            ")"
 487            );
 488
 489     runSQL("CREATE INDEX navaid_freq ON navaid(freq)");
 490
 491     runSQL("CREATE TABLE octree (children INT)");
 492
 493     runSQL("CREATE TABLE airway ("
 494            "ident VARCHAR collate nocase,"
 495            "network INT" // high-level or low-level
 496            ")");
 497
 498     runSQL("CREATE INDEX airway_ident ON airway(ident)");
 499
 500     runSQL("CREATE TABLE airway_edge ("
 501            "network INT,"
 502            "airway INT64,"
 503            "a INT64,"
 504            "b INT64"
 505            ")");
 506
 507     runSQL("CREATE INDEX airway_edge_from ON airway_edge(a)");
 508
 509     runSQL("CREATE TABLE taxi_node ("
 510            "hold_type INT,"
 511            "on_runway BOOL,"
 512            "pushback BOOL"
 513            ")");
 514
 515     runSQL("CREATE TABLE parking ("
 516            "heading FLOAT,"
 517            "radius INT,"
 518            "gate_type VARCHAR,"
 519            "airlines VARCHAR,"
 520            "pushback INT64"
 521            ")");
 522
 523     runSQL("CREATE TABLE groundnet_edge ("
 524            "airport INT64,"
 525            "a INT64,"
 526            "b INT64"
 527            ")");
 528
 529     runSQL("CREATE INDEX groundnet_edge_airport ON groundnet_edge(airport)");
 530     runSQL("CREATE INDEX groundnet_edge_from ON groundnet_edge(a)");
 531   }
 532
 533   void prepareQueries()
 534   {
 535     writePropertyMulti = prepare("INSERT INTO properties (key, value) VALUES(?1,?2)");
 536
 537     beginTransactionStmt = prepare("BEGIN");
 538     commitTransactionStmt = prepare("COMMIT");
 539     rollbackTransactionStmt = prepare("ROLLBACK");
 540
 541
 542 #define POSITIONED_COLS "rowid, type, ident, name, airport, lon, lat, elev_m, octree_node"
 543 #define AND_TYPED "AND type>=?2 AND type <=?3"
 544     statCacheCheck = prepare("SELECT stamp FROM stat_cache WHERE path=?");
 545     stampFileCache = prepare("INSERT OR REPLACE INTO stat_cache "
 546                              "(path, stamp) VALUES (?,?)");
 547
 548     loadPositioned = prepare("SELECT " POSITIONED_COLS " FROM positioned WHERE rowid=?");
 549     loadAirportStmt = prepare("SELECT has_metar FROM airport WHERE rowid=?");
 550     loadNavaid = prepare("SELECT range_nm, freq, multiuse, runway, colocated FROM navaid WHERE rowid=?");
 551     loadCommStation = prepare("SELECT freq_khz, range_nm FROM comm WHERE rowid=?");
 552     loadRunwayStmt = prepare("SELECT heading, length_ft, width_m, surface, displaced_threshold,"
 553                              "stopway, reciprocal, ils FROM runway WHERE rowid=?1");
 554
 555     getAirportItems = prepare("SELECT rowid FROM positioned WHERE airport=?1 " AND_TYPED);
 556
 557
 558     setAirportMetar = prepare("UPDATE airport SET has_metar=?2 WHERE rowid="
 559                               "(SELECT rowid FROM positioned WHERE ident=?1 AND type>=?3 AND type <=?4)");
 560     sqlite3_bind_int(setAirportMetar, 3, FGPositioned::AIRPORT);
 561     sqlite3_bind_int(setAirportMetar, 4, FGPositioned::SEAPORT);
 562
 563     setRunwayReciprocal = prepare("UPDATE runway SET reciprocal=?2 WHERE rowid=?1");
 564     setRunwayILS = prepare("UPDATE runway SET ils=?2 WHERE rowid=?1");
 565     setNavaidColocated = prepare("UPDATE navaid SET colocated=?2 WHERE rowid=?1");
 566     updateRunwayThreshold = prepare("UPDATE runway SET heading=?2, displaced_threshold=?3, stopway=?4 WHERE rowid=?1");
 567
 568     insertPositionedQuery = prepare("INSERT INTO positioned "
 569                                     "(type, ident, name, airport, lon, lat, elev_m, octree_node, "
 570                                     "cart_x, cart_y, cart_z)"
 571                                     " VALUES (?1, ?2, ?3, ?4, ?5, ?6, ?7, ?8, ?9, ?10, ?11)");
 572
 573     setAirportPos = prepare("UPDATE positioned SET lon=?2, lat=?3, elev_m=?4, octree_node=?5, "
 574                             "cart_x=?6, cart_y=?7, cart_z=?8 WHERE rowid=?1");
 575     insertAirport = prepare("INSERT INTO airport (rowid, has_metar) VALUES (?, ?)");
 576     insertNavaid = prepare("INSERT INTO navaid (rowid, freq, range_nm, multiuse, runway, colocated)"
 577                            " VALUES (?1, ?2, ?3, ?4, ?5, ?6)");
 578     updateILS = prepare("UPDATE navaid SET multiuse=?2 WHERE rowid=?1");
 579
 580     insertCommStation = prepare("INSERT INTO comm (rowid, freq_khz, range_nm)"
 581                                 " VALUES (?, ?, ?)");
 582     insertRunway = prepare("INSERT INTO runway "
 583                            "(rowid, heading, length_ft, width_m, surface, displaced_threshold, stopway, reciprocal)"
 584                            " VALUES (?1, ?2, ?3, ?4, ?5, ?6, ?7, ?8)");
 585     runwayLengthFtQuery = prepare("SELECT length_ft FROM runway WHERE rowid=?1");
 586
 587     removePOIQuery = prepare("DELETE FROM positioned WHERE type=?1 AND ident=?2");
 588
 589   // query statement
 590     findClosestWithIdent = prepare("SELECT rowid FROM positioned WHERE ident=?1 "
 591                                    AND_TYPED " ORDER BY distanceCartSqr(cart_x, cart_y, cart_z, ?4, ?5, ?6)");
 592
 593     findCommByFreq = prepare("SELECT positioned.rowid FROM positioned, comm WHERE "
 594                              "positioned.rowid=comm.rowid AND freq_khz=?1 "
 595                              AND_TYPED " ORDER BY distanceCartSqr(cart_x, cart_y, cart_z, ?4, ?5, ?6)");
 596
 597     findNavsByFreq = prepare("SELECT positioned.rowid FROM positioned, navaid WHERE "
 598                              "positioned.rowid=navaid.rowid "
 599                              "AND navaid.freq=?1 " AND_TYPED
 600                              " ORDER BY distanceCartSqr(cart_x, cart_y, cart_z, ?4, ?5, ?6)");
 601
 602     findNavsByFreqNoPos = prepare("SELECT positioned.rowid FROM positioned, navaid WHERE "
 603                                   "positioned.rowid=navaid.rowid AND freq=?1 " AND_TYPED);
 604
 605     findNavaidForRunway = prepare("SELECT positioned.rowid FROM positioned, navaid WHERE "
 606                                   "positioned.rowid=navaid.rowid AND runway=?1 AND type=?2");
 607
 608   // for an octree branch, return the child octree nodes which exist,
 609   // described as a bit-mask
 610     getOctreeChildren = prepare("SELECT children FROM octree WHERE rowid=?1");
 611
 612 #ifdef LAZY_OCTREE_UPDATES
 613     updateOctreeChildren = prepare("UPDATE octree SET children=?2 WHERE rowid=?1");
 614 #else
 615   // mask the new child value into the existing one
 616     updateOctreeChildren = prepare("UPDATE octree SET children=(?2 | children) WHERE rowid=?1");
 617 #endif
 618
 619   // define a new octree node (with no children)
 620     insertOctree = prepare("INSERT INTO octree (rowid, children) VALUES (?1, 0)");
 621
 622     getOctreeLeafChildren = prepare("SELECT rowid, type FROM positioned WHERE octree_node=?1");
 623
 624     searchAirports = prepare("SELECT ident, name FROM positioned WHERE (name LIKE ?1 OR ident LIKE ?1) " AND_TYPED);
 625     sqlite3_bind_int(searchAirports, 2, FGPositioned::AIRPORT);
 626     sqlite3_bind_int(searchAirports, 3, FGPositioned::SEAPORT);
 627
 628     getAirportItemByIdent = prepare("SELECT rowid FROM positioned WHERE airport=?1 AND ident=?2 AND type=?3");
 629
 630     findAirportRunway = prepare("SELECT airport, rowid FROM positioned WHERE ident=?2 AND type=?3 AND airport="
 631                                 "(SELECT rowid FROM positioned WHERE type=?4 AND ident=?1)");
 632     sqlite3_bind_int(findAirportRunway, 3, FGPositioned::RUNWAY);
 633     sqlite3_bind_int(findAirportRunway, 4, FGPositioned::AIRPORT);
 634
 635     // three-way join to get the navaid ident and runway ident in a single select.
 636     // we're joining positioned to itself by the navaid runway, with the complication
 637     // that we need to join the navaids table to get the runway ID.
 638     // we also need to filter by type to excluse glideslope (GS) matches
 639     findILS = prepare("SELECT nav.rowid FROM positioned AS nav, positioned AS rwy, navaid WHERE "
 640                       "nav.ident=?1 AND nav.airport=?2 AND rwy.ident=?3 "
 641                       "AND rwy.rowid = navaid.runway AND navaid.rowid=nav.rowid "
 642                       "AND (nav.type=?4 OR nav.type=?5)");
 643
 644     sqlite3_bind_int(findILS, 4, FGPositioned::ILS);
 645     sqlite3_bind_int(findILS, 5, FGPositioned::LOC);
 646
 647   // airways
 648     findAirway = prepare("SELECT rowid FROM airway WHERE network=?1 AND ident=?2");
 649     insertAirway = prepare("INSERT INTO airway (ident, network) "
 650                            "VALUES (?1, ?2)");
 651
 652     insertAirwayEdge = prepare("INSERT INTO airway_edge (network, airway, a, b) "
 653                                "VALUES (?1, ?2, ?3, ?4)");
 654
 655     isPosInAirway = prepare("SELECT rowid FROM airway_edge WHERE network=?1 AND a=?2");
 656
 657     airwayEdgesFrom = prepare("SELECT airway, b FROM airway_edge WHERE network=?1 AND a=?2");
 658
 659   // parking / taxi-node graph
 660     insertTaxiNode = prepare("INSERT INTO taxi_node (rowid, hold_type, on_runway, pushback) VALUES(?1, ?2, ?3, 0)");
 661     insertParkingPos = prepare("INSERT INTO parking (rowid, heading, radius, gate_type, airlines) "
 662                                "VALUES (?1, ?2, ?3, ?4, ?5)");
 663     setParkingPushBack = prepare("UPDATE parking SET pushback=?2 WHERE rowid=?1");
 664
 665     loadTaxiNodeStmt = prepare("SELECT hold_type, on_runway FROM taxi_node WHERE rowid=?1");
 666     loadParkingPos = prepare("SELECT heading, radius, gate_type, airlines, pushback FROM parking WHERE rowid=?1");
 667     taxiEdgesFrom = prepare("SELECT b FROM groundnet_edge WHERE a=?1");
 668     pushbackEdgesFrom = prepare("SELECT b FROM groundnet_edge, taxi_node WHERE "
 669                                 "a=?1 AND groundnet_edge.b = taxi_node.rowid AND pushback=1");
 670
 671     insertTaxiEdge = prepare("INSERT INTO groundnet_edge (airport, a,b) VALUES(?1, ?2, ?3)");
 672
 673     markTaxiNodeAsPushback = prepare("UPDATE taxi_node SET pushback=1 WHERE rowid=?1");
 674     airportTaxiNodes = prepare("SELECT rowid FROM positioned WHERE (type=?2 OR type=?3) AND airport=?1");
 675     sqlite3_bind_int(airportTaxiNodes, 2, FGPositioned::PARKING);
 676     sqlite3_bind_int(airportTaxiNodes, 3, FGPositioned::TAXI_NODE);
 677
 678     airportPushbackNodes = prepare("SELECT positioned.rowid FROM positioned, taxi_node WHERE "\
 679                                    "airport=?1 AND positioned.rowid=taxi_node.rowid AND pushback=1 "
 680                                    "AND (type=?2 OR type=?3)");
 681     sqlite3_bind_int(airportPushbackNodes, 2, FGPositioned::PARKING);
 682     sqlite3_bind_int(airportPushbackNodes, 3, FGPositioned::TAXI_NODE);
 683
 684     findNearestTaxiNode = prepare("SELECT positioned.rowid FROM positioned, taxi_node WHERE "
 685                                   "positioned.rowid = taxi_node.rowid AND airport=?1 "
 686                                   "ORDER BY distanceCartSqr(cart_x, cart_y, cart_z, ?2, ?3, ?4) "
 687                                   "LIMIT 1");
 688
 689     findNearestRunwayTaxiNode = prepare("SELECT positioned.rowid FROM positioned, taxi_node WHERE "
 690                                         "positioned.rowid = taxi_node.rowid AND airport=?1 "
 691                                         "AND on_runway=1 "
 692                                         "ORDER BY distanceCartSqr(cart_x, cart_y, cart_z, ?2, ?3, ?4) ");
 693
 694     findAirportParking = prepare("SELECT positioned.rowid FROM positioned, parking WHERE "
 695                                  "airport=?1 AND type=?4 AND "
 696                                  "radius >= ?2 AND gate_type = ?3 AND "
 697                                  "parking.rowid=positioned.rowid");
 698     sqlite3_bind_int(findAirportParking, 4, FGPositioned::PARKING);
 699   }
 700
 701   void writeIntProperty(const string& key, int value)
 702   {
 703     sqlite_bind_stdstring(clearProperty, 1, key);
 704     execUpdate(clearProperty);
 705
 706     sqlite_bind_stdstring(writePropertyQuery, 1, key);
 707     sqlite3_bind_int(writePropertyQuery, 2, value);
 708     execUpdate(writePropertyQuery);
 709   }
 710
 711
 712   FGPositioned* loadById(sqlite_int64 rowId);
 713
 714   FGAirport* loadAirport(sqlite_int64 rowId,
 715                          FGPositioned::Type ty,
 716                          const string& id, const string& name, const SGGeod& pos)
 717   {
 718     sqlite3_bind_int64(loadAirportStmt, 1, rowId);
 719     execSelect1(loadAirportStmt);
 720     bool hasMetar = (sqlite3_column_int(loadAirportStmt, 0) > 0);
 721     reset(loadAirportStmt);
 722
 723     return new FGAirport(rowId, id, pos, name, hasMetar, ty);
 724   }
 725
 726   FGRunwayBase* loadRunway(sqlite3_int64 rowId, FGPositioned::Type ty,
 727                            const string& id, const SGGeod& pos, PositionedID apt)
 728   {
 729     sqlite3_bind_int(loadRunwayStmt, 1, rowId);
 730     execSelect1(loadRunwayStmt);
 731
 732     double heading = sqlite3_column_double(loadRunwayStmt, 0);
 733     double lengthM = sqlite3_column_int(loadRunwayStmt, 1);
 734     double widthM = sqlite3_column_double(loadRunwayStmt, 2);
 735     int surface = sqlite3_column_int(loadRunwayStmt, 3);
 736
 737     if (ty == FGPositioned::TAXIWAY) {
 738       reset(loadRunwayStmt);
 739       return new FGTaxiway(rowId, id, pos, heading, lengthM, widthM, surface);
 740     } else if (ty == FGPositioned::HELIPAD) {
 741         reset(loadRunwayStmt);
 742         return new FGHelipad(rowId, apt, id, pos, heading, lengthM, widthM, surface);
 743     } else {
 744       double displacedThreshold = sqlite3_column_double(loadRunwayStmt, 4);
 745       double stopway = sqlite3_column_double(loadRunwayStmt, 5);
 746       PositionedID reciprocal = sqlite3_column_int64(loadRunwayStmt, 6);
 747       PositionedID ils = sqlite3_column_int64(loadRunwayStmt, 7);
 748       FGRunway* r = new FGRunway(rowId, apt, id, pos, heading, lengthM, widthM,
 749                           displacedThreshold, stopway, surface);
 750
 751       if (reciprocal > 0) {
 752         r->setReciprocalRunway(reciprocal);
 753       }
 754
 755       if (ils > 0) {
 756         r->setILS(ils);
 757       }
 758
 759       reset(loadRunwayStmt);
 760       return r;
 761     }
 762   }
 763
 764   CommStation* loadComm(sqlite3_int64 rowId, FGPositioned::Type ty,
 765                         const string& id, const string& name,
 766                         const SGGeod& pos,
 767                         PositionedID airport)
 768   {
 769     sqlite3_bind_int64(loadCommStation, 1, rowId);
 770     execSelect1(loadCommStation);
 771
 772     int range = sqlite3_column_int(loadCommStation, 0);
 773     int freqKhz = sqlite3_column_int(loadCommStation, 1);
 774     reset(loadCommStation);
 775
 776     CommStation* c = new CommStation(rowId, name, ty, pos, freqKhz, range);
 777     c->setAirport(airport);
 778     return c;
 779   }
 780
 781   FGPositioned* loadNav(sqlite3_int64 rowId,
 782                        FGPositioned::Type ty, const string& id,
 783                        const string& name, const SGGeod& pos)
 784   {
 785     sqlite3_bind_int64(loadNavaid, 1, rowId);
 786     execSelect1(loadNavaid);
 787
 788     PositionedID runway = sqlite3_column_int64(loadNavaid, 3);
 789     // marker beacons are light-weight
 790     if ((ty == FGPositioned::OM) || (ty == FGPositioned::IM) ||
 791         (ty == FGPositioned::MM))
 792     {
 793       reset(loadNavaid);
 794       return new FGMarkerBeaconRecord(rowId, ty, runway, pos);
 795     }
 796
 797     int rangeNm = sqlite3_column_int(loadNavaid, 0),
 798     freq = sqlite3_column_int(loadNavaid, 1);
 799     double mulituse = sqlite3_column_double(loadNavaid, 2);
 800     PositionedID colocated = sqlite3_column_int64(loadNavaid, 4);
 801     reset(loadNavaid);
 802
 803     FGNavRecord* n = new FGNavRecord(rowId, ty, id, name, pos, freq, rangeNm, mulituse, runway);
 804     if (colocated) {
 805         n->setColocatedDME(colocated);
 806     }
 807
 808     return n;
 809   }
 810
 811   FGPositioned* loadParking(sqlite3_int64 rowId,
 812                             const string& name, const SGGeod& pos,
 813                             PositionedID airport)
 814   {
 815     sqlite3_bind_int64(loadParkingPos, 1, rowId);
 816     execSelect1(loadParkingPos);
 817
 818     double heading = sqlite3_column_double(loadParkingPos, 0);
 819     int radius = sqlite3_column_int(loadParkingPos, 1);
 820     string aircraftType((char*) sqlite3_column_text(loadParkingPos, 2));
 821     string airlines((char*) sqlite3_column_text(loadParkingPos, 3));
 822     PositionedID pushBack = sqlite3_column_int64(loadParkingPos, 4);
 823     reset(loadParkingPos);
 824
 825     return new FGParking(rowId, pos, heading, radius, name, aircraftType, airlines, pushBack);
 826   }
 827
 828   FGPositioned* loadTaxiNode(sqlite3_int64 rowId, const SGGeod& pos,
 829                              PositionedID airport)
 830   {
 831     sqlite3_bind_int64(loadTaxiNodeStmt, 1, rowId);
 832     execSelect1(loadTaxiNodeStmt);
 833
 834     int hold_type = sqlite3_column_int(loadTaxiNodeStmt, 0);
 835     bool onRunway = sqlite3_column_int(loadTaxiNodeStmt, 1);
 836     reset(loadTaxiNodeStmt);
 837
 838     return new FGTaxiNode(rowId, pos, onRunway, hold_type);
 839   }
 840
 841   PositionedID insertPositioned(FGPositioned::Type ty, const string& ident,
 842                                 const string& name, const SGGeod& pos, PositionedID apt,
 843                                 bool spatialIndex)
 844   {
 845     SGVec3d cartPos(SGVec3d::fromGeod(pos));
 846
 847     sqlite3_bind_int(insertPositionedQuery, 1, ty);
 848     sqlite_bind_stdstring(insertPositionedQuery, 2, ident);
 849     sqlite_bind_stdstring(insertPositionedQuery, 3, name);
 850     sqlite3_bind_int64(insertPositionedQuery, 4, apt);
 851     sqlite3_bind_double(insertPositionedQuery, 5, pos.getLongitudeDeg());
 852     sqlite3_bind_double(insertPositionedQuery, 6, pos.getLatitudeDeg());
 853     sqlite3_bind_double(insertPositionedQuery, 7, pos.getElevationM());
 854
 855     if (spatialIndex) {
 856       Octree::Leaf* octreeLeaf = Octree::global_spatialOctree->findLeafForPos(cartPos);
 857       assert(intersects(octreeLeaf->bbox(), cartPos));
 858       sqlite3_bind_int64(insertPositionedQuery, 8, octreeLeaf->guid());
 859     } else {
 860       sqlite3_bind_null(insertPositionedQuery, 8);
 861     }
 862
 863     sqlite3_bind_double(insertPositionedQuery, 9, cartPos.x());
 864     sqlite3_bind_double(insertPositionedQuery, 10, cartPos.y());
 865     sqlite3_bind_double(insertPositionedQuery, 11, cartPos.z());
 866
 867     PositionedID r = execInsert(insertPositionedQuery);
 868     return r;
 869   }
 870
 871   FGPositionedList findAllByString(const string& s, const string& column,
 872                                      FGPositioned::Filter* filter, bool exact)
 873   {
 874     string query = s;
 875     if (!exact) query += "%";
 876
 877   // build up SQL query text
 878     string matchTerm = exact ? "=?1" : " LIKE ?1";
 879     string sql = "SELECT rowid FROM positioned WHERE " + column + matchTerm;
 880     if (filter) {
 881       sql += " " AND_TYPED;
 882     }
 883
 884   // find or prepare a suitable statement frrm the SQL
 885     sqlite3_stmt_ptr stmt = findByStringDict[sql];
 886     if (!stmt) {
 887       stmt = prepare(sql);
 888       findByStringDict[sql] = stmt;
 889     }
 890
 891     sqlite_bind_stdstring(stmt, 1, query);
 892     if (filter) {
 893       sqlite3_bind_int(stmt, 2, filter->minType());
 894       sqlite3_bind_int(stmt, 3, filter->maxType());
 895     }
 896
 897     FGPositionedList result;
 898   // run the prepared SQL
 899     while (stepSelect(stmt))
 900     {
 901       FGPositioned* pos = outer->loadById(sqlite3_column_int64(stmt, 0));
 902       if (filter && !filter->pass(pos)) {
 903         continue;
 904       }
 905
 906       result.push_back(pos);
 907     }
 908
 909     reset(stmt);
 910     return result;
 911   }
 912
 913   PositionedIDVec selectIds(sqlite3_stmt_ptr query)
 914   {
 915     PositionedIDVec result;
 916     while (stepSelect(query)) {
 917       result.push_back(sqlite3_column_int64(query, 0));
 918     }
 919     reset(query);
 920     return result;
 921   }
 922
 923   double runwayLengthFt(PositionedID rwy)
 924   {
 925     sqlite3_bind_int64(runwayLengthFtQuery, 1, rwy);
 926     execSelect1(runwayLengthFtQuery);
 927     double length = sqlite3_column_double(runwayLengthFtQuery, 0);
 928     reset(runwayLengthFtQuery);
 929     return length;
 930   }
 931
 932   void flushDeferredOctreeUpdates()
 933   {
 934     BOOST_FOREACH(Octree::Branch* nd, deferredOctreeUpdates) {
 935       sqlite3_bind_int64(updateOctreeChildren, 1, nd->guid());
 936       sqlite3_bind_int(updateOctreeChildren, 2, nd->childMask());
 937       execUpdate(updateOctreeChildren);
 938     }
 939
 940     deferredOctreeUpdates.clear();
 941   }
 942
 943   void removePositionedWithIdent(FGPositioned::Type ty, const std::string& aIdent)
 944   {
 945     sqlite3_bind_int(removePOIQuery, 1, ty);
 946     sqlite_bind_stdstring(removePOIQuery, 2, aIdent);
 947     execUpdate(removePOIQuery);
 948     reset(removePOIQuery);
 949   }
 950
 951   NavDataCache* outer;
 952   sqlite3* db;
 953   SGPath path;
 954
 955   /// the actual cache of ID -> instances. This holds an owning reference,
 956   /// so once items are in the cache they will never be deleted until
 957   /// the cache drops its reference
 958   PositionedCache cache;
 959   unsigned int cacheHits, cacheMisses;
 960
 961   /**
 962    * record the levels of open transaction objects we have
 963    */
 964   unsigned int transactionLevel;
 965   bool transactionAborted;
 966   sqlite3_stmt_ptr beginTransactionStmt, commitTransactionStmt, rollbackTransactionStmt;
 967
 968   SGPath aptDatPath, metarDatPath, navDatPath, fixDatPath, poiDatPath,
 969   carrierDatPath, airwayDatPath;
 970
 971   sqlite3_stmt_ptr readPropertyQuery, writePropertyQuery,
 972     stampFileCache, statCacheCheck,
 973     loadAirportStmt, loadCommStation, loadPositioned, loadNavaid,
 974     loadRunwayStmt;
 975   sqlite3_stmt_ptr writePropertyMulti, clearProperty;
 976
 977   sqlite3_stmt_ptr insertPositionedQuery, insertAirport, insertTower, insertRunway,
 978   insertCommStation, insertNavaid;
 979   sqlite3_stmt_ptr setAirportMetar, setRunwayReciprocal, setRunwayILS, setNavaidColocated,
 980     setAirportPos, updateRunwayThreshold, updateILS;
 981   sqlite3_stmt_ptr removePOIQuery;
 982
 983   sqlite3_stmt_ptr findClosestWithIdent;
 984 // octree (spatial index) related queries
 985   sqlite3_stmt_ptr getOctreeChildren, insertOctree, updateOctreeChildren,
 986     getOctreeLeafChildren;
 987
 988   sqlite3_stmt_ptr searchAirports;
 989   sqlite3_stmt_ptr findCommByFreq, findNavsByFreq,
 990   findNavsByFreqNoPos, findNavaidForRunway;
 991   sqlite3_stmt_ptr getAirportItems, getAirportItemByIdent;
 992   sqlite3_stmt_ptr findAirportRunway,
 993     findILS;
 994
 995   sqlite3_stmt_ptr runwayLengthFtQuery;
 996
 997 // airways
 998   sqlite3_stmt_ptr findAirway, insertAirwayEdge, isPosInAirway, airwayEdgesFrom,
 999   insertAirway;
1000
1001 // groundnet (parking, taxi node graph)
1002   sqlite3_stmt_ptr loadTaxiNodeStmt, loadParkingPos, insertTaxiNode, insertParkingPos;
1003   sqlite3_stmt_ptr taxiEdgesFrom, pushbackEdgesFrom, insertTaxiEdge, markTaxiNodeAsPushback,
1004     airportTaxiNodes, airportPushbackNodes, findNearestTaxiNode, findAirportParking,
1005     setParkingPushBack, findNearestRunwayTaxiNode;
1006
1007 // since there's many permutations of ident/name queries, we create
1008 // them programtically, but cache the exact query by its raw SQL once
1009 // used.
1010   std::map<string, sqlite3_stmt_ptr> findByStringDict;
1011
1012   typedef std::vector<sqlite3_stmt_ptr> StmtVec;
1013   StmtVec prepared;
1014
1015   std::set<Octree::Branch*> deferredOctreeUpdates;
1016
1017   // if we're performing a rebuild, the thread that is doing the work.
1018   // otherwise, NULL
1019   std::auto_ptr<RebuildThread> rebuilder;
1020 };
1021
1022   //////////////////////////////////////////////////////////////////////
1023
1024 FGPositioned* NavDataCache::NavDataCachePrivate::loadById(sqlite3_int64 rowid)
1025 {
1026
1027   sqlite3_bind_int64(loadPositioned, 1, rowid);
1028   execSelect1(loadPositioned);
1029
1030   assert(rowid == sqlite3_column_int64(loadPositioned, 0));
1031   FGPositioned::Type ty = (FGPositioned::Type) sqlite3_column_int(loadPositioned, 1);
1032
1033   string ident = (char*) sqlite3_column_text(loadPositioned, 2);
1034   string name = (char*) sqlite3_column_text(loadPositioned, 3);
1035   sqlite3_int64 aptId = sqlite3_column_int64(loadPositioned, 4);
1036   double lon = sqlite3_column_double(loadPositioned, 5);
1037   double lat = sqlite3_column_double(loadPositioned, 6);
1038   double elev = sqlite3_column_double(loadPositioned, 7);
1039   SGGeod pos = SGGeod::fromDegM(lon, lat, elev);
1040
1041   reset(loadPositioned);
1042
1043   switch (ty) {
1044     case FGPositioned::AIRPORT:
1045     case FGPositioned::SEAPORT:
1046     case FGPositioned::HELIPORT:
1047       return loadAirport(rowid, ty, ident, name, pos);
1048
1049     case FGPositioned::TOWER:
1050       return new AirportTower(rowid, aptId, ident, pos);
1051
1052     case FGPositioned::RUNWAY:
1053     case FGPositioned::HELIPAD:
1054     case FGPositioned::TAXIWAY:
1055       return loadRunway(rowid, ty, ident, pos, aptId);
1056
1057     case FGPositioned::LOC:
1058     case FGPositioned::VOR:
1059     case FGPositioned::GS:
1060     case FGPositioned::ILS:
1061     case FGPositioned::NDB:
1062     case FGPositioned::OM:
1063     case FGPositioned::MM:
1064     case FGPositioned::IM:
1065     case FGPositioned::DME:
1066     case FGPositioned::TACAN:
1067     case FGPositioned::MOBILE_TACAN:
1068     {
1069       if (aptId > 0) {
1070         FGAirport* apt = FGPositioned::loadById<FGAirport>(aptId);
1071         if (apt->validateILSData()) {
1072           // queried data above is probably invalid, force us to go around again
1073           // (the next time through, validateILSData will return false)
1074           return outer->loadById(rowid);
1075         }
1076       }
1077
1078       return loadNav(rowid, ty, ident, name, pos);
1079     }
1080
1081     case FGPositioned::FIX:
1082       return new FGFix(rowid, ident, pos);
1083
1084     case FGPositioned::WAYPOINT:
1085     case FGPositioned::COUNTRY:
1086     case FGPositioned::CITY:
1087     case FGPositioned::TOWN:
1088     case FGPositioned::VILLAGE:
1089     {
1090         FGPositioned* wpt = new FGPositioned(rowid, ty, ident, pos);
1091       return wpt;
1092     }
1093
1094     case FGPositioned::FREQ_GROUND:
1095     case FGPositioned::FREQ_TOWER:
1096     case FGPositioned::FREQ_ATIS:
1097     case FGPositioned::FREQ_AWOS:
1098     case FGPositioned::FREQ_APP_DEP:
1099     case FGPositioned::FREQ_ENROUTE:
1100     case FGPositioned::FREQ_CLEARANCE:
1101     case FGPositioned::FREQ_UNICOM:
1102       return loadComm(rowid, ty, ident, name, pos, aptId);
1103
1104     case FGPositioned::TAXI_NODE:
1105       return loadTaxiNode(rowid, pos, aptId);
1106
1107     case FGPositioned::PARKING:
1108       return loadParking(rowid, ident, pos, aptId);
1109
1110     default:
1111       return NULL;
1112   }
1113 }
1114
1115
1116 static NavDataCache* static_instance = NULL;
1117
1118 NavDataCache::NavDataCache()
1119 {
1120   const int MAX_TRIES = 3;
1121   SGPath homePath(globals->get_fg_home());
1122
1123   std::ostringstream os;
1124   string_list versionParts = simgear::strutils::split(VERSION, ".");
1125   if (versionParts.size() < 2) {
1126     os << "navdata.cache";
1127   } else {
1128     os << "navdata_" << versionParts[0] << "_" << versionParts[1] << ".cache";
1129   }
1130
1131   homePath.append(os.str());
1132
1133   for (int t=0; t < MAX_TRIES; ++t) {
1134     try {
1135       d.reset(new NavDataCachePrivate(homePath, this));
1136       d->init();
1137       //d->checkCacheFile();
1138     // reached this point with no exception, success
1139       break;
1140     } catch (sg_exception& e) {
1141       SG_LOG(SG_NAVCACHE, t == 0 ? SG_WARN : SG_ALERT, "NavCache: init failed:" << e.what()
1142              << " (attempt " << t << ")");
1143       d.reset();
1144       homePath.remove();
1145     }
1146   } // of retry loop
1147
1148   double RADIUS_EARTH_M = 7000 * 1000.0; // 7000km is plenty
1149   SGVec3d earthExtent(RADIUS_EARTH_M, RADIUS_EARTH_M, RADIUS_EARTH_M);
1150   Octree::global_spatialOctree =
1151     new Octree::Branch(SGBox<double>(-earthExtent, earthExtent), 1);
1152
1153   d->aptDatPath = SGPath(globals->get_fg_root());
1154   d->aptDatPath.append("Airports/apt.dat.gz");
1155
1156   d->metarDatPath = SGPath(globals->get_fg_root());
1157   d->metarDatPath.append("Airports/metar.dat.gz");
1158
1159   d->navDatPath = SGPath(globals->get_fg_root());
1160   d->navDatPath.append("Navaids/nav.dat.gz");
1161
1162   d->fixDatPath = SGPath(globals->get_fg_root());
1163   d->fixDatPath.append("Navaids/fix.dat.gz");
1164
1165   d->poiDatPath = SGPath(globals->get_fg_root());
1166   d->poiDatPath.append("Navaids/poi.dat.gz");
1167
1168   d->carrierDatPath = SGPath(globals->get_fg_root());
1169   d->carrierDatPath.append("Navaids/carrier_nav.dat.gz");
1170
1171   d->airwayDatPath = SGPath(globals->get_fg_root());
1172   d->airwayDatPath.append("Navaids/awy.dat.gz");
1173 }
1174
1175 NavDataCache::~NavDataCache()
1176 {
1177   assert(static_instance == this);
1178   static_instance = NULL;
1179   d.reset();
1180 }
1181
1182 NavDataCache* NavDataCache::instance()
1183 {
1184   if (!static_instance) {
1185     static_instance = new NavDataCache;
1186   }
1187
1188   return static_instance;
1189 }
1190
1191 bool NavDataCache::isRebuildRequired()
1192 {
1193   if (isCachedFileModified(d->aptDatPath) ||
1194       isCachedFileModified(d->metarDatPath) ||
1195       isCachedFileModified(d->navDatPath) ||
1196       isCachedFileModified(d->fixDatPath) ||
1197       isCachedFileModified(d->poiDatPath) ||
1198       isCachedFileModified(d->airwayDatPath))
1199   {
1200     SG_LOG(SG_NAVCACHE, SG_INFO, "NavCache: main cache rebuild required");
1201     return true;
1202   }
1203
1204   string sceneryPaths = simgear::strutils::join(globals->get_fg_scenery(), ";");
1205   if (readStringProperty("scenery_paths") != sceneryPaths) {
1206     SG_LOG(SG_NAVCACHE, SG_INFO, "NavCache: scenery paths changed, main cache rebuild required");
1207     return true;
1208   }
1209
1210   SG_LOG(SG_NAVCACHE, SG_INFO, "NavCache: no main cache rebuild required");
1211   return false;
1212 }
1213
1214 bool NavDataCache::rebuild()
1215 {
1216   if (!d->rebuilder.get()) {
1217     d->rebuilder.reset(new RebuildThread(this));
1218     d->rebuilder->start();
1219   }
1220
1221 // poll the rebuild thread
1222   bool fin = d->rebuilder->isFinished();
1223   if (fin) {
1224     d->rebuilder.reset(); // all done!
1225   }
1226   return fin;
1227 }
1228
1229 void NavDataCache::doRebuild()
1230 {
1231   try {
1232     d->close(); // completely close the sqlite object
1233     d->path.remove(); // remove the file on disk
1234     d->init(); // start again from scratch
1235
1236     // initialise the root octree node
1237     d->runSQL("INSERT INTO octree (rowid, children) VALUES (1, 0)");
1238
1239     SGTimeStamp st;
1240     {
1241         Transaction txn(this);
1242
1243         st.stamp();
1244         airportDBLoad(d->aptDatPath);
1245         SG_LOG(SG_NAVCACHE, SG_INFO, "apt.dat load took:" << st.elapsedMSec());
1246
1247         metarDataLoad(d->metarDatPath);
1248         stampCacheFile(d->aptDatPath);
1249         stampCacheFile(d->metarDatPath);
1250
1251         st.stamp();
1252         loadFixes(d->fixDatPath);
1253         stampCacheFile(d->fixDatPath);
1254         SG_LOG(SG_NAVCACHE, SG_INFO, "fix.dat load took:" << st.elapsedMSec());
1255
1256         st.stamp();
1257         navDBInit(d->navDatPath);
1258         stampCacheFile(d->navDatPath);
1259         SG_LOG(SG_NAVCACHE, SG_INFO, "nav.dat load took:" << st.elapsedMSec());
1260
1261         st.stamp();
1262         txn.commit();
1263         SG_LOG(SG_NAVCACHE, SG_INFO, "stage 1 commit took:" << st.elapsedMSec());
1264     }
1265
1266 #ifdef SG_WINDOWS
1267       SG_LOG(SG_NAVCACHE, SG_ALERT, "SKIPPING POI load on Windows");
1268 #else
1269       {
1270           Transaction txn(this);
1271
1272           st.stamp();
1273           poiDBInit(d->poiDatPath);
1274           stampCacheFile(d->poiDatPath);
1275           SG_LOG(SG_NAVCACHE, SG_INFO, "poi.dat load took:" << st.elapsedMSec());
1276
1277           st.stamp();
1278           txn.commit();
1279           SG_LOG(SG_NAVCACHE, SG_INFO, "POI commit took:" << st.elapsedMSec());
1280       }
1281 #endif
1282
1283       {
1284           Transaction txn(this);
1285           loadCarrierNav(d->carrierDatPath);
1286           stampCacheFile(d->carrierDatPath);
1287
1288           st.stamp();
1289           Airway::load(d->airwayDatPath);
1290           stampCacheFile(d->airwayDatPath);
1291           SG_LOG(SG_NAVCACHE, SG_INFO, "awy.dat load took:" << st.elapsedMSec());
1292
1293           d->flushDeferredOctreeUpdates();
1294
1295           string sceneryPaths = simgear::strutils::join(globals->get_fg_scenery(), ";");
1296           writeStringProperty("scenery_paths", sceneryPaths);
1297
1298           st.stamp();
1299           txn.commit();
1300           SG_LOG(SG_NAVCACHE, SG_INFO, "final commit took:" << st.elapsedMSec());
1301
1302       }
1303
1304   } catch (sg_exception& e) {
1305     SG_LOG(SG_NAVCACHE, SG_ALERT, "caught exception rebuilding navCache:" << e.what());
1306   }
1307 }
1308
1309 int NavDataCache::readIntProperty(const string& key)
1310 {
1311   sqlite_bind_stdstring(d->readPropertyQuery, 1, key);
1312   int result = 0;
1313
1314   if (d->execSelect(d->readPropertyQuery)) {
1315     result = sqlite3_column_int(d->readPropertyQuery, 0);
1316   } else {
1317     SG_LOG(SG_NAVCACHE, SG_WARN, "readIntProperty: unknown:" << key);
1318   }
1319
1320   d->reset(d->readPropertyQuery);
1321   return result;
1322 }
1323
1324 double NavDataCache::readDoubleProperty(const string& key)
1325 {
1326   sqlite_bind_stdstring(d->readPropertyQuery, 1, key);
1327   double result = 0.0;
1328   if (d->execSelect(d->readPropertyQuery)) {
1329     result = sqlite3_column_double(d->readPropertyQuery, 0);
1330   } else {
1331     SG_LOG(SG_NAVCACHE, SG_WARN, "readDoubleProperty: unknown:" << key);
1332   }
1333
1334   d->reset(d->readPropertyQuery);
1335   return result;
1336 }
1337
1338 string NavDataCache::readStringProperty(const string& key)
1339 {
1340   sqlite_bind_stdstring(d->readPropertyQuery, 1, key);
1341   string result;
1342   if (d->execSelect(d->readPropertyQuery)) {
1343     result = (char*) sqlite3_column_text(d->readPropertyQuery, 0);
1344   } else {
1345     SG_LOG(SG_NAVCACHE, SG_WARN, "readStringProperty: unknown:" << key);
1346   }
1347
1348   d->reset(d->readPropertyQuery);
1349   return result;
1350 }
1351
1352 void NavDataCache::writeIntProperty(const string& key, int value)
1353 {
1354   d->writeIntProperty(key, value);
1355 }
1356
1357 void NavDataCache::writeStringProperty(const string& key, const string& value)
1358 {
1359   sqlite_bind_stdstring(d->clearProperty, 1, key);
1360   d->execUpdate(d->clearProperty);
1361
1362   sqlite_bind_stdstring(d->writePropertyQuery, 1, key);
1363   sqlite_bind_stdstring(d->writePropertyQuery, 2, value);
1364   d->execUpdate(d->writePropertyQuery);
1365 }
1366
1367 void NavDataCache::writeDoubleProperty(const string& key, const double& value)
1368 {
1369   sqlite_bind_stdstring(d->clearProperty, 1, key);
1370   d->execUpdate(d->clearProperty);
1371
1372   sqlite_bind_stdstring(d->writePropertyQuery, 1, key);
1373   sqlite3_bind_double(d->writePropertyQuery, 2, value);
1374   d->execUpdate(d->writePropertyQuery);
1375 }
1376
1377 string_list NavDataCache::readStringListProperty(const string& key)
1378 {
1379   sqlite_bind_stdstring(d->readPropertyQuery, 1, key);
1380   string_list result;
1381   while (d->stepSelect(d->readPropertyQuery)) {
1382     result.push_back((char*) sqlite3_column_text(d->readPropertyQuery, 0));
1383   }
1384   d->reset(d->readPropertyQuery);
1385
1386   return result;
1387 }
1388
1389 void NavDataCache::writeStringListProperty(const string& key, const string_list& values)
1390 {
1391   sqlite_bind_stdstring(d->clearProperty, 1, key);
1392   d->execUpdate(d->clearProperty);
1393
1394   BOOST_FOREACH(string value, values) {
1395     sqlite_bind_stdstring(d->writePropertyMulti, 1, key);
1396     sqlite_bind_stdstring(d->writePropertyMulti, 2, value);
1397     d->execInsert(d->writePropertyMulti);
1398   }
1399 }
1400
1401 bool NavDataCache::isCachedFileModified(const SGPath& path) const
1402 {
1403   if (!path.exists()) {
1404     throw sg_io_exception("isCachedFileModified: Missing file:" + path.str());
1405   }
1406
1407   sqlite_bind_temp_stdstring(d->statCacheCheck, 1, path.str());
1408   bool isModified = true;
1409
1410   if (d->execSelect(d->statCacheCheck)) {
1411     time_t modtime = sqlite3_column_int64(d->statCacheCheck, 0);
1412     time_t delta = std::labs(modtime - path.modTime());
1413     if (delta != 0)
1414     {
1415       SG_LOG(SG_NAVCACHE, SG_DEBUG, "NavCache: rebuild required for " << path << ". Timestamps: " << modtime << " != " << path.modTime());
1416     }
1417     else
1418     {
1419       SG_LOG(SG_NAVCACHE, SG_DEBUG, "NavCache: no rebuild required for " << path);
1420     }
1421
1422     isModified = (delta != 0);
1423   } else {
1424     SG_LOG(SG_NAVCACHE, SG_DEBUG, "NavCache: initial build required for " << path);
1425   }
1426
1427   d->reset(d->statCacheCheck);
1428   return isModified;
1429 }
1430
1431 void NavDataCache::stampCacheFile(const SGPath& path)
1432 {
1433   sqlite_bind_temp_stdstring(d->stampFileCache, 1, path.str());
1434   sqlite3_bind_int64(d->stampFileCache, 2, path.modTime());
1435   d->execInsert(d->stampFileCache);
1436 }
1437
1438 void NavDataCache::beginTransaction()
1439 {
1440   if (d->transactionLevel == 0) {
1441     d->transactionAborted = false;
1442     d->stepSelect(d->beginTransactionStmt);
1443     sqlite3_reset(d->beginTransactionStmt);
1444   }
1445
1446   ++d->transactionLevel;
1447 }
1448
1449 void NavDataCache::commitTransaction()
1450 {
1451   assert(d->transactionLevel > 0);
1452   if (--d->transactionLevel == 0) {
1453     // if a nested transaction aborted, we might end up here, but must
1454     // still abort the entire transaction. That's bad, but safer than
1455     // committing.
1456     sqlite3_stmt_ptr q = d->transactionAborted ? d->rollbackTransactionStmt : d->commitTransactionStmt;
1457
1458     int retries = 0;
1459     int result;
1460     while (retries < MAX_RETRIES) {
1461       result = sqlite3_step(q);
1462       if (result == SQLITE_DONE) {
1463         break;
1464       }
1465
1466       // see http://www.sqlite.org/c3ref/get_autocommit.html for a hint
1467       // what's going on here: autocommit in inactive inside BEGIN, so if
1468       // it's active, the DB was rolled-back
1469       if (sqlite3_get_autocommit(d->db)) {
1470         SG_LOG(SG_NAVCACHE, SG_ALERT, "commit: was rolled back!" << retries);
1471         d->transactionAborted = true;
1472         break;
1473       }
1474
1475       if (result != SQLITE_BUSY) {
1476         break;
1477       }
1478
1479       SGTimeStamp::sleepForMSec(++retries * 10);
1480       SG_LOG(SG_NAVCACHE, SG_ALERT, "NavCache contention on commit, will retry:" << retries);
1481     } // of retry loop for DB busy
1482
1483     string errMsg;
1484     if (result != SQLITE_DONE) {
1485       errMsg = sqlite3_errmsg(d->db);
1486       SG_LOG(SG_NAVCACHE, SG_ALERT, "Sqlite error:" << errMsg << " for  " << result
1487              << " while running:\n\t" << sqlite3_sql(q));
1488     }
1489
1490     sqlite3_reset(q);
1491   }
1492 }
1493
1494 void NavDataCache::abortTransaction()
1495 {
1496   SG_LOG(SG_NAVCACHE, SG_WARN, "NavCache: aborting transaction");
1497
1498   assert(d->transactionLevel > 0);
1499   if (--d->transactionLevel == 0) {
1500     d->stepSelect(d->rollbackTransactionStmt);
1501     sqlite3_reset(d->rollbackTransactionStmt);
1502   }
1503
1504   d->transactionAborted = true;
1505 }
1506
1507 FGPositionedRef NavDataCache::loadById(PositionedID rowid)
1508 {
1509   if (rowid == 0) {
1510     return NULL;
1511   }
1512
1513   PositionedCache::iterator it = d->cache.find(rowid);
1514   if (it != d->cache.end()) {
1515     d->cacheHits++;
1516     return it->second; // cache it
1517   }
1518
1519   FGPositioned* pos = d->loadById(rowid);
1520   d->cache.insert(it, PositionedCache::value_type(rowid, pos));
1521   d->cacheMisses++;
1522   return pos;
1523 }
1524
1525 PositionedID NavDataCache::insertAirport(FGPositioned::Type ty, const string& ident,
1526                                          const string& name)
1527 {
1528   // airports have their pos computed based on the avergae runway centres
1529   // so the pos isn't available immediately. Pass a dummy pos and avoid
1530   // doing spatial indexing until later
1531   sqlite3_int64 rowId = d->insertPositioned(ty, ident, name, SGGeod(),
1532                                             0 /* airport */,
1533                                             false /* spatial index */);
1534
1535   sqlite3_bind_int64(d->insertAirport, 1, rowId);
1536   d->execInsert(d->insertAirport);
1537
1538   return rowId;
1539 }
1540
1541 void NavDataCache::updatePosition(PositionedID item, const SGGeod &pos)
1542 {
1543   if (d->cache.find(item) != d->cache.end()) {
1544     SG_LOG(SG_NAVCACHE, SG_DEBUG, "updating position of an item in the cache");
1545     d->cache[item]->modifyPosition(pos);
1546   }
1547
1548   SGVec3d cartPos(SGVec3d::fromGeod(pos));
1549
1550   sqlite3_bind_int(d->setAirportPos, 1, item);
1551   sqlite3_bind_double(d->setAirportPos, 2, pos.getLongitudeDeg());
1552   sqlite3_bind_double(d->setAirportPos, 3, pos.getLatitudeDeg());
1553   sqlite3_bind_double(d->setAirportPos, 4, pos.getElevationM());
1554
1555 // bug 905; the octree leaf may change here, but the leaf may already be
1556 // loaded, and caching its children. (Either the old or new leaf!). Worse,
1557 // we may be called here as a result of loading one of those leaf's children.
1558 // instead of dealing with all those possibilites, such as modifying
1559 // the in-memory leaf's STL child container, we simply leave the runtime
1560 // structures alone. This is fine providing items do no move very far, since
1561 // all the spatial searches ultimately use the items' real cartesian position,
1562 // which was updated above.
1563   Octree::Leaf* octreeLeaf = Octree::global_spatialOctree->findLeafForPos(cartPos);
1564   sqlite3_bind_int64(d->setAirportPos, 5, octreeLeaf->guid());
1565
1566   sqlite3_bind_double(d->setAirportPos, 6, cartPos.x());
1567   sqlite3_bind_double(d->setAirportPos, 7, cartPos.y());
1568   sqlite3_bind_double(d->setAirportPos, 8, cartPos.z());
1569
1570
1571   d->execUpdate(d->setAirportPos);
1572 }
1573
1574 void NavDataCache::insertTower(PositionedID airportId, const SGGeod& pos)
1575 {
1576   d->insertPositioned(FGPositioned::TOWER, string(), string(),
1577                       pos, airportId, true /* spatial index */);
1578 }
1579
1580 PositionedID
1581 NavDataCache::insertRunway(FGPositioned::Type ty, const string& ident,
1582                            const SGGeod& pos, PositionedID apt,
1583                            double heading, double length, double width, double displacedThreshold,
1584                            double stopway, int surfaceCode)
1585 {
1586   // only runways are spatially indexed; don't bother indexing taxiways
1587   // or pavements
1588   bool spatialIndex = ( ty == FGPositioned::RUNWAY || ty == FGPositioned::HELIPAD);
1589
1590   sqlite3_int64 rowId = d->insertPositioned(ty, cleanRunwayNo(ident), "", pos, apt,
1591                                             spatialIndex);
1592   sqlite3_bind_int64(d->insertRunway, 1, rowId);
1593   sqlite3_bind_double(d->insertRunway, 2, heading);
1594   sqlite3_bind_double(d->insertRunway, 3, length);
1595   sqlite3_bind_double(d->insertRunway, 4, width);
1596   sqlite3_bind_int(d->insertRunway, 5, surfaceCode);
1597   sqlite3_bind_double(d->insertRunway, 6, displacedThreshold);
1598   sqlite3_bind_double(d->insertRunway, 7, stopway);
1599
1600   return d->execInsert(d->insertRunway);
1601 }
1602
1603 void NavDataCache::setRunwayReciprocal(PositionedID runway, PositionedID recip)
1604 {
1605   sqlite3_bind_int64(d->setRunwayReciprocal, 1, runway);
1606   sqlite3_bind_int64(d->setRunwayReciprocal, 2, recip);
1607   d->execUpdate(d->setRunwayReciprocal);
1608
1609 // and the opposite direction too!
1610   sqlite3_bind_int64(d->setRunwayReciprocal, 2, runway);
1611   sqlite3_bind_int64(d->setRunwayReciprocal, 1, recip);
1612   d->execUpdate(d->setRunwayReciprocal);
1613 }
1614
1615 void NavDataCache::setRunwayILS(PositionedID runway, PositionedID ils)
1616 {
1617   sqlite3_bind_int64(d->setRunwayILS, 1, runway);
1618   sqlite3_bind_int64(d->setRunwayILS, 2, ils);
1619   d->execUpdate(d->setRunwayILS);
1620
1621   // and the in-memory one
1622   if (d->cache.find(runway) != d->cache.end()) {
1623     FGRunway* instance = (FGRunway*) d->cache[runway].ptr();
1624     instance->setILS(ils);
1625   }
1626 }
1627
1628 void NavDataCache::updateRunwayThreshold(PositionedID runwayID, const SGGeod &aThreshold,
1629                                   double aHeading, double aDisplacedThreshold,
1630                                   double aStopway)
1631 {
1632 // update the runway information
1633   sqlite3_bind_int64(d->updateRunwayThreshold, 1, runwayID);
1634   sqlite3_bind_double(d->updateRunwayThreshold, 2, aHeading);
1635   sqlite3_bind_double(d->updateRunwayThreshold, 3, aDisplacedThreshold);
1636   sqlite3_bind_double(d->updateRunwayThreshold, 4, aStopway);
1637   d->execUpdate(d->updateRunwayThreshold);
1638
1639   // now update the positional data
1640   updatePosition(runwayID, aThreshold);
1641 }
1642
1643 PositionedID
1644 NavDataCache::insertNavaid(FGPositioned::Type ty, const string& ident,
1645                           const string& name, const SGGeod& pos,
1646                            int freq, int range, double multiuse,
1647                            PositionedID apt, PositionedID runway)
1648 {
1649   bool spatialIndex = true;
1650   if (ty == FGPositioned::MOBILE_TACAN) {
1651     spatialIndex = false;
1652   }
1653
1654   sqlite3_int64 rowId = d->insertPositioned(ty, ident, name, pos, apt,
1655                                             spatialIndex);
1656   sqlite3_bind_int64(d->insertNavaid, 1, rowId);
1657   sqlite3_bind_int(d->insertNavaid, 2, freq);
1658   sqlite3_bind_int(d->insertNavaid, 3, range);
1659   sqlite3_bind_double(d->insertNavaid, 4, multiuse);
1660   sqlite3_bind_int64(d->insertNavaid, 5, runway);
1661   sqlite3_bind_int64(d->insertNavaid, 6, 0);
1662   return d->execInsert(d->insertNavaid);
1663 }
1664
1665 void NavDataCache::setNavaidColocated(PositionedID navaid, PositionedID colocatedDME)
1666 {
1667   // Update DB entries...
1668   sqlite3_bind_int64(d->setNavaidColocated, 1, navaid);
1669   sqlite3_bind_int64(d->setNavaidColocated, 2, colocatedDME);
1670   d->execUpdate(d->setNavaidColocated);
1671
1672   // ...and the in-memory copy of the navrecord
1673   if (d->cache.find(navaid) != d->cache.end()) {
1674     FGNavRecord* rec = (FGNavRecord*) d->cache[navaid].get();
1675     rec->setColocatedDME(colocatedDME);
1676   }
1677 }
1678
1679 void NavDataCache::updateILS(PositionedID ils, const SGGeod& newPos, double aHdg)
1680 {
1681   sqlite3_bind_int64(d->updateILS, 1, ils);
1682   sqlite3_bind_double(d->updateILS, 2, aHdg);
1683   d->execUpdate(d->updateILS);
1684   updatePosition(ils, newPos);
1685 }
1686
1687 PositionedID NavDataCache::insertCommStation(FGPositioned::Type ty,
1688                                              const string& name, const SGGeod& pos, int freq, int range,
1689                                              PositionedID apt)
1690 {
1691   sqlite3_int64 rowId = d->insertPositioned(ty, "", name, pos, apt, true);
1692   sqlite3_bind_int64(d->insertCommStation, 1, rowId);
1693   sqlite3_bind_int(d->insertCommStation, 2, freq);
1694   sqlite3_bind_int(d->insertCommStation, 3, range);
1695   return d->execInsert(d->insertCommStation);
1696 }
1697
1698 PositionedID NavDataCache::insertFix(const std::string& ident, const SGGeod& aPos)
1699 {
1700   return d->insertPositioned(FGPositioned::FIX, ident, string(), aPos, 0, true);
1701 }
1702
1703 PositionedID NavDataCache::createPOI(FGPositioned::Type ty, const std::string& ident, const SGGeod& aPos)
1704 {
1705   return d->insertPositioned(ty, ident, string(), aPos, 0,
1706                              true /* spatial index */);
1707 }
1708
1709 bool NavDataCache::removePOI(FGPositioned::Type ty, const std::string& aIdent)
1710 {
1711   d->removePositionedWithIdent(ty, aIdent);
1712   // should remove from the live cache too?
1713
1714     return true;
1715 }
1716
1717 void NavDataCache::setAirportMetar(const string& icao, bool hasMetar)
1718 {
1719   sqlite_bind_stdstring(d->setAirportMetar, 1, icao);
1720   sqlite3_bind_int(d->setAirportMetar, 2, hasMetar);
1721   d->execUpdate(d->setAirportMetar);
1722 }
1723
1724 //------------------------------------------------------------------------------
1725 FGPositionedList NavDataCache::findAllWithIdent( const string& s,
1726                                                  FGPositioned::Filter* filter,
1727                                                  bool exact )
1728 {
1729   return d->findAllByString(s, "ident", filter, exact);
1730 }
1731
1732 //------------------------------------------------------------------------------
1733 FGPositionedList NavDataCache::findAllWithName( const string& s,
1734                                                 FGPositioned::Filter* filter,
1735                                                 bool exact )
1736 {
1737   return d->findAllByString(s, "name", filter, exact);
1738 }
1739
1740 //------------------------------------------------------------------------------
1741 FGPositionedRef NavDataCache::findClosestWithIdent( const string& aIdent,
1742                                                     const SGGeod& aPos,
1743                                                     FGPositioned::Filter* aFilter )
1744 {
1745   sqlite_bind_stdstring(d->findClosestWithIdent, 1, aIdent);
1746   if (aFilter) {
1747     sqlite3_bind_int(d->findClosestWithIdent, 2, aFilter->minType());
1748     sqlite3_bind_int(d->findClosestWithIdent, 3, aFilter->maxType());
1749   } else { // full type range
1750     sqlite3_bind_int(d->findClosestWithIdent, 2, FGPositioned::INVALID);
1751     sqlite3_bind_int(d->findClosestWithIdent, 3, FGPositioned::LAST_TYPE);
1752   }
1753
1754   SGVec3d cartPos(SGVec3d::fromGeod(aPos));
1755   sqlite3_bind_double(d->findClosestWithIdent, 4, cartPos.x());
1756   sqlite3_bind_double(d->findClosestWithIdent, 5, cartPos.y());
1757   sqlite3_bind_double(d->findClosestWithIdent, 6, cartPos.z());
1758
1759   FGPositionedRef result;
1760
1761   while (d->stepSelect(d->findClosestWithIdent)) {
1762     FGPositioned* pos = loadById(sqlite3_column_int64(d->findClosestWithIdent, 0));
1763     if (aFilter && !aFilter->pass(pos)) {
1764       continue;
1765     }
1766
1767     result = pos;
1768     break;
1769   }
1770
1771   d->reset(d->findClosestWithIdent);
1772   return result;
1773 }
1774
1775
1776 int NavDataCache::getOctreeBranchChildren(int64_t octreeNodeId)
1777 {
1778   sqlite3_bind_int64(d->getOctreeChildren, 1, octreeNodeId);
1779   d->execSelect1(d->getOctreeChildren);
1780   int children = sqlite3_column_int(d->getOctreeChildren, 0);
1781   d->reset(d->getOctreeChildren);
1782   return children;
1783 }
1784
1785 void NavDataCache::defineOctreeNode(Octree::Branch* pr, Octree::Node* nd)
1786 {
1787   sqlite3_bind_int64(d->insertOctree, 1, nd->guid());
1788   d->execInsert(d->insertOctree);
1789
1790 #ifdef LAZY_OCTREE_UPDATES
1791   d->deferredOctreeUpdates.insert(pr);
1792 #else
1793   // lowest three bits of node ID are 0..7 index of the child in the parent
1794   int childIndex = nd->guid() & 0x07;
1795
1796   sqlite3_bind_int64(d->updateOctreeChildren, 1, pr->guid());
1797 // mask has bit N set where child N exists
1798   int childMask = 1 << childIndex;
1799   sqlite3_bind_int(d->updateOctreeChildren, 2, childMask);
1800   d->execUpdate(d->updateOctreeChildren);
1801 #endif
1802 }
1803
1804 TypedPositionedVec
1805 NavDataCache::getOctreeLeafChildren(int64_t octreeNodeId)
1806 {
1807   sqlite3_bind_int64(d->getOctreeLeafChildren, 1, octreeNodeId);
1808
1809   TypedPositionedVec r;
1810   while (d->stepSelect(d->getOctreeLeafChildren)) {
1811     FGPositioned::Type ty = static_cast<FGPositioned::Type>
1812       (sqlite3_column_int(d->getOctreeLeafChildren, 1));
1813     r.push_back(std::make_pair(ty,
1814                 sqlite3_column_int64(d->getOctreeLeafChildren, 0)));
1815   }
1816
1817   d->reset(d->getOctreeLeafChildren);
1818   return r;
1819 }
1820
1821
1822 /**
1823  * A special purpose helper (used by FGAirport::searchNamesAndIdents) to
1824  * implement the AirportList dialog. It's unfortunate that it needs to reside
1825  * here, but for now it's least ugly solution.
1826  */
1827 char** NavDataCache::searchAirportNamesAndIdents(const std::string& aFilter)
1828 {
1829   string s = "%" + aFilter + "%";
1830   sqlite_bind_stdstring(d->searchAirports, 1, s);
1831
1832   unsigned int numMatches = 0, numAllocated = 16;
1833   char** result = (char**) malloc(sizeof(char*) * numAllocated);
1834
1835   while (d->stepSelect(d->searchAirports)) {
1836     if ((numMatches + 1) >= numAllocated) {
1837       numAllocated <<= 1; // double in size!
1838     // reallocate results array
1839       char** nresult = (char**) malloc(sizeof(char*) * numAllocated);
1840       memcpy(nresult, result, sizeof(char*) * numMatches);
1841       free(result);
1842       result = nresult;
1843     }
1844
1845     // nasty code to avoid excessive string copying and allocations.
1846     // We format results as follows (note whitespace!):
1847     //   ' name-of-airport-chars   (ident)'
1848     // so the total length is:
1849     //    1 + strlen(name) + 4 + strlen(icao) + 1 + 1 (for the null)
1850     // which gives a grand total of 7 + name-length + icao-length.
1851     // note the ident can be three letters (non-ICAO local strip), four
1852     // (default ICAO) or more (extended format ICAO)
1853     int nameLength = sqlite3_column_bytes(d->searchAirports, 1);
1854     int icaoLength = sqlite3_column_bytes(d->searchAirports, 0);
1855     char* entry = (char*) malloc(7 + nameLength + icaoLength);
1856     char* dst = entry;
1857     *dst++ = ' ';
1858     memcpy(dst, sqlite3_column_text(d->searchAirports, 1), nameLength);
1859     dst += nameLength;
1860     *dst++ = ' ';
1861     *dst++ = ' ';
1862     *dst++ = ' ';
1863     *dst++ = '(';
1864     memcpy(dst, sqlite3_column_text(d->searchAirports, 0), icaoLength);
1865     dst += icaoLength;
1866     *dst++ = ')';
1867     *dst++ = 0;
1868
1869     result[numMatches++] = entry;
1870   }
1871
1872   result[numMatches] = NULL; // end of list marker
1873   d->reset(d->searchAirports);
1874   return result;
1875 }
1876
1877 FGPositionedRef
1878 NavDataCache::findCommByFreq(int freqKhz, const SGGeod& aPos, FGPositioned::Filter* aFilter)
1879 {
1880   sqlite3_bind_int(d->findCommByFreq, 1, freqKhz);
1881   if (aFilter) {
1882     sqlite3_bind_int(d->findCommByFreq, 2, aFilter->minType());
1883     sqlite3_bind_int(d->findCommByFreq, 3, aFilter->maxType());
1884   } else { // full type range
1885     sqlite3_bind_int(d->findCommByFreq, 2, FGPositioned::FREQ_GROUND);
1886     sqlite3_bind_int(d->findCommByFreq, 3, FGPositioned::FREQ_UNICOM);
1887   }
1888
1889   SGVec3d cartPos(SGVec3d::fromGeod(aPos));
1890   sqlite3_bind_double(d->findCommByFreq, 4, cartPos.x());
1891   sqlite3_bind_double(d->findCommByFreq, 5, cartPos.y());
1892   sqlite3_bind_double(d->findCommByFreq, 6, cartPos.z());
1893   FGPositionedRef result;
1894
1895   while (d->execSelect(d->findCommByFreq)) {
1896     FGPositioned* p = loadById(sqlite3_column_int64(d->findCommByFreq, 0));
1897     if (aFilter && !aFilter->pass(p)) {
1898       continue;
1899     }
1900
1901     result = p;
1902     break;
1903   }
1904
1905   d->reset(d->findCommByFreq);
1906   return result;
1907 }
1908
1909 PositionedIDVec
1910 NavDataCache::findNavaidsByFreq(int freqKhz, const SGGeod& aPos, FGPositioned::Filter* aFilter)
1911 {
1912   sqlite3_bind_int(d->findNavsByFreq, 1, freqKhz);
1913   if (aFilter) {
1914     sqlite3_bind_int(d->findNavsByFreq, 2, aFilter->minType());
1915     sqlite3_bind_int(d->findNavsByFreq, 3, aFilter->maxType());
1916   } else { // full type range
1917     sqlite3_bind_int(d->findNavsByFreq, 2, FGPositioned::NDB);
1918     sqlite3_bind_int(d->findNavsByFreq, 3, FGPositioned::GS);
1919   }
1920
1921   SGVec3d cartPos(SGVec3d::fromGeod(aPos));
1922   sqlite3_bind_double(d->findNavsByFreq, 4, cartPos.x());
1923   sqlite3_bind_double(d->findNavsByFreq, 5, cartPos.y());
1924   sqlite3_bind_double(d->findNavsByFreq, 6, cartPos.z());
1925
1926   return d->selectIds(d->findNavsByFreq);
1927 }
1928
1929 PositionedIDVec
1930 NavDataCache::findNavaidsByFreq(int freqKhz, FGPositioned::Filter* aFilter)
1931 {
1932   sqlite3_bind_int(d->findNavsByFreqNoPos, 1, freqKhz);
1933   if (aFilter) {
1934     sqlite3_bind_int(d->findNavsByFreqNoPos, 2, aFilter->minType());
1935     sqlite3_bind_int(d->findNavsByFreqNoPos, 3, aFilter->maxType());
1936   } else { // full type range
1937     sqlite3_bind_int(d->findNavsByFreqNoPos, 2, FGPositioned::NDB);
1938     sqlite3_bind_int(d->findNavsByFreqNoPos, 3, FGPositioned::GS);
1939   }
1940
1941   return d->selectIds(d->findNavsByFreqNoPos);
1942 }
1943
1944 PositionedIDVec
1945 NavDataCache::airportItemsOfType(PositionedID apt,FGPositioned::Type ty,
1946                                  FGPositioned::Type maxTy)
1947 {
1948   if (maxTy == FGPositioned::INVALID) {
1949     maxTy = ty; // single-type range
1950   }
1951
1952   sqlite3_bind_int64(d->getAirportItems, 1, apt);
1953   sqlite3_bind_int(d->getAirportItems, 2, ty);
1954   sqlite3_bind_int(d->getAirportItems, 3, maxTy);
1955
1956   return d->selectIds(d->getAirportItems);
1957 }
1958
1959 PositionedID
1960 NavDataCache::airportItemWithIdent(PositionedID apt, FGPositioned::Type ty,
1961                                    const std::string& ident)
1962 {
1963   sqlite3_bind_int64(d->getAirportItemByIdent, 1, apt);
1964   sqlite_bind_stdstring(d->getAirportItemByIdent, 2, ident);
1965   sqlite3_bind_int(d->getAirportItemByIdent, 3, ty);
1966   PositionedID result = 0;
1967
1968   if (d->execSelect(d->getAirportItemByIdent)) {
1969     result = sqlite3_column_int64(d->getAirportItemByIdent, 0);
1970   }
1971
1972   d->reset(d->getAirportItemByIdent);
1973   return result;
1974 }
1975
1976 AirportRunwayPair
1977 NavDataCache::findAirportRunway(const std::string& aName)
1978 {
1979   if (aName.empty()) {
1980     return AirportRunwayPair();
1981   }
1982
1983   string_list parts = simgear::strutils::split(aName);
1984   if (parts.size() < 2) {
1985     SG_LOG(SG_NAVCACHE, SG_WARN, "findAirportRunway: malformed name:" << aName);
1986     return AirportRunwayPair();
1987   }
1988
1989   AirportRunwayPair result;
1990   sqlite_bind_stdstring(d->findAirportRunway, 1, parts[0]);
1991   sqlite_bind_stdstring(d->findAirportRunway, 2, parts[1]);
1992
1993   if (d->execSelect(d->findAirportRunway)) {
1994     result = AirportRunwayPair(sqlite3_column_int64(d->findAirportRunway, 0),
1995                       sqlite3_column_int64(d->findAirportRunway, 1));
1996
1997   } else {
1998     SG_LOG(SG_NAVCACHE, SG_WARN, "findAirportRunway: unknown airport/runway:" << aName);
1999   }
2000
2001   d->reset(d->findAirportRunway);
2002   return result;
2003 }
2004
2005 PositionedID
2006 NavDataCache::findILS(PositionedID airport, const string& runway, const string& navIdent)
2007 {
2008   sqlite_bind_stdstring(d->findILS, 1, navIdent);
2009   sqlite3_bind_int64(d->findILS, 2, airport);
2010   sqlite_bind_stdstring(d->findILS, 3, runway);
2011   PositionedID result = 0;
2012   if (d->execSelect(d->findILS)) {
2013     result = sqlite3_column_int64(d->findILS, 0);
2014   }
2015
2016   d->reset(d->findILS);
2017   return result;
2018 }
2019
2020 int NavDataCache::findAirway(int network, const string& aName)
2021 {
2022   sqlite3_bind_int(d->findAirway, 1, network);
2023   sqlite_bind_stdstring(d->findAirway, 2, aName);
2024
2025   int airway = 0;
2026   if (d->execSelect(d->findAirway)) {
2027     // already exists
2028     airway = sqlite3_column_int(d->findAirway, 0);
2029   } else {
2030     sqlite_bind_stdstring(d->insertAirway, 1, aName);
2031     sqlite3_bind_int(d->insertAirway, 2, network);
2032     airway = d->execInsert(d->insertAirway);
2033   }
2034
2035   d->reset(d->findAirway);
2036   return airway;
2037 }
2038
2039 void NavDataCache::insertEdge(int network, int airwayID, PositionedID from, PositionedID to)
2040 {
2041   // assume all edges are bidirectional for the moment
2042   for (int i=0; i<2; ++i) {
2043     sqlite3_bind_int(d->insertAirwayEdge, 1, network);
2044     sqlite3_bind_int(d->insertAirwayEdge, 2, airwayID);
2045     sqlite3_bind_int64(d->insertAirwayEdge, 3, from);
2046     sqlite3_bind_int64(d->insertAirwayEdge, 4, to);
2047     d->execInsert(d->insertAirwayEdge);
2048
2049     std::swap(from, to);
2050   }
2051 }
2052
2053 bool NavDataCache::isInAirwayNetwork(int network, PositionedID pos)
2054 {
2055   sqlite3_bind_int(d->isPosInAirway, 1, network);
2056   sqlite3_bind_int64(d->isPosInAirway, 2, pos);
2057   bool ok = d->execSelect(d->isPosInAirway);
2058   d->reset(d->isPosInAirway);
2059
2060   return ok;
2061 }
2062
2063 AirwayEdgeVec NavDataCache::airwayEdgesFrom(int network, PositionedID pos)
2064 {
2065   sqlite3_bind_int(d->airwayEdgesFrom, 1, network);
2066   sqlite3_bind_int64(d->airwayEdgesFrom, 2, pos);
2067
2068   AirwayEdgeVec result;
2069   while (d->stepSelect(d->airwayEdgesFrom)) {
2070     result.push_back(AirwayEdge(
2071                      sqlite3_column_int(d->airwayEdgesFrom, 0),
2072                      sqlite3_column_int64(d->airwayEdgesFrom, 1)
2073                      ));
2074   }
2075
2076   d->reset(d->airwayEdgesFrom);
2077   return result;
2078 }
2079
2080 PositionedID NavDataCache::findNavaidForRunway(PositionedID runway, FGPositioned::Type ty)
2081 {
2082   sqlite3_bind_int64(d->findNavaidForRunway, 1, runway);
2083   sqlite3_bind_int(d->findNavaidForRunway, 2, ty);
2084
2085   PositionedID result = 0;
2086   if (d->execSelect(d->findNavaidForRunway)) {
2087     result = sqlite3_column_int64(d->findNavaidForRunway, 0);
2088   }
2089
2090   d->reset(d->findNavaidForRunway);
2091   return result;
2092 }
2093
2094 PositionedID
2095 NavDataCache::insertParking(const std::string& name, const SGGeod& aPos,
2096                             PositionedID aAirport,
2097                            double aHeading, int aRadius, const std::string& aAircraftType,
2098                            const std::string& aAirlines)
2099 {
2100   sqlite3_int64 rowId = d->insertPositioned(FGPositioned::PARKING, name, "", aPos, aAirport, false);
2101
2102 // we need to insert a row into the taxi_node table, otherwise we can't maintain
2103 // the appropriate pushback flag.
2104   sqlite3_bind_int64(d->insertTaxiNode, 1, rowId);
2105   sqlite3_bind_int(d->insertTaxiNode, 2, 0);
2106   sqlite3_bind_int(d->insertTaxiNode, 3, 0);
2107   d->execInsert(d->insertTaxiNode);
2108
2109   sqlite3_bind_int64(d->insertParkingPos, 1, rowId);
2110   sqlite3_bind_double(d->insertParkingPos, 2, aHeading);
2111   sqlite3_bind_int(d->insertParkingPos, 3, aRadius);
2112   sqlite_bind_stdstring(d->insertParkingPos, 4, aAircraftType);
2113   sqlite_bind_stdstring(d->insertParkingPos, 5, aAirlines);
2114   return d->execInsert(d->insertParkingPos);
2115 }
2116
2117 void NavDataCache::setParkingPushBackRoute(PositionedID parking, PositionedID pushBackNode)
2118 {
2119   sqlite3_bind_int64(d->setParkingPushBack, 1, parking);
2120   sqlite3_bind_int64(d->setParkingPushBack, 2, pushBackNode);
2121   d->execUpdate(d->setParkingPushBack);
2122 }
2123
2124 PositionedID
2125 NavDataCache::insertTaxiNode(const SGGeod& aPos, PositionedID aAirport, int aHoldType, bool aOnRunway)
2126 {
2127   sqlite3_int64 rowId = d->insertPositioned(FGPositioned::TAXI_NODE, string(), string(), aPos, aAirport, false);
2128   sqlite3_bind_int64(d->insertTaxiNode, 1, rowId);
2129   sqlite3_bind_int(d->insertTaxiNode, 2, aHoldType);
2130   sqlite3_bind_int(d->insertTaxiNode, 3, aOnRunway);
2131   return d->execInsert(d->insertTaxiNode);
2132 }
2133
2134 void NavDataCache::insertGroundnetEdge(PositionedID aAirport, PositionedID from, PositionedID to)
2135 {
2136   sqlite3_bind_int64(d->insertTaxiEdge, 1, aAirport);
2137   sqlite3_bind_int64(d->insertTaxiEdge, 2, from);
2138   sqlite3_bind_int64(d->insertTaxiEdge, 3, to);
2139   d->execInsert(d->insertTaxiEdge);
2140 }
2141
2142 PositionedIDVec NavDataCache::groundNetNodes(PositionedID aAirport, bool onlyPushback)
2143 {
2144   sqlite3_stmt_ptr q = onlyPushback ? d->airportPushbackNodes : d->airportTaxiNodes;
2145   sqlite3_bind_int64(q, 1, aAirport);
2146   return d->selectIds(q);
2147 }
2148
2149 void NavDataCache::markGroundnetAsPushback(PositionedID nodeId)
2150 {
2151   sqlite3_bind_int64(d->markTaxiNodeAsPushback, 1, nodeId);
2152   d->execUpdate(d->markTaxiNodeAsPushback);
2153 }
2154
2155 static double headingDifferenceDeg(double crs1, double crs2)
2156 {
2157   double diff =  crs2 - crs1;
2158   SG_NORMALIZE_RANGE(diff, -180.0, 180.0);
2159   return diff;
2160 }
2161
2162 PositionedID NavDataCache::findGroundNetNode(PositionedID airport, const SGGeod& aPos,
2163                                              bool onRunway, FGRunway* aRunway)
2164 {
2165   sqlite3_stmt_ptr q = onRunway ? d->findNearestRunwayTaxiNode : d->findNearestTaxiNode;
2166   sqlite3_bind_int64(q, 1, airport);
2167
2168   SGVec3d cartPos(SGVec3d::fromGeod(aPos));
2169   sqlite3_bind_double(q, 2, cartPos.x());
2170   sqlite3_bind_double(q, 3, cartPos.y());
2171   sqlite3_bind_double(q, 4, cartPos.z());
2172
2173   PositionedID result = 0;
2174   while (d->execSelect(q)) {
2175     PositionedID id = sqlite3_column_int64(q, 0);
2176     if (!aRunway) {
2177       result = id;
2178       break;
2179     }
2180
2181   // ensure found node lies on the runway
2182     FGPositionedRef node = loadById(id);
2183     double course = SGGeodesy::courseDeg(node->geod(), aRunway->end());
2184     if (fabs(headingDifferenceDeg(course, aRunway->headingDeg())) < 3.0 ) {
2185       result = id;
2186       break;
2187     }
2188   }
2189
2190   d->reset(q);
2191   return result;
2192 }
2193
2194 PositionedIDVec NavDataCache::groundNetEdgesFrom(PositionedID pos, bool onlyPushback)
2195 {
2196   sqlite3_stmt_ptr q = onlyPushback ? d->pushbackEdgesFrom : d->taxiEdgesFrom;
2197   sqlite3_bind_int64(q, 1, pos);
2198   return d->selectIds(q);
2199 }
2200
2201 PositionedIDVec NavDataCache::findAirportParking(PositionedID airport, const std::string& flightType,
2202                                    int radius)
2203 {
2204   sqlite3_bind_int64(d->findAirportParking, 1, airport);
2205   sqlite3_bind_int(d->findAirportParking, 2, radius);
2206   sqlite_bind_stdstring(d->findAirportParking, 3, flightType);
2207
2208   return d->selectIds(d->findAirportParking);
2209 }
2210
2211 void NavDataCache::dropGroundnetFor(PositionedID aAirport)
2212 {
2213   sqlite3_stmt_ptr q = d->prepare("DELETE FROM parking WHERE rowid IN (SELECT rowid FROM positioned WHERE type=?1 AND airport=?2)");
2214   sqlite3_bind_int(q, 1, FGPositioned::PARKING);
2215   sqlite3_bind_int64(q, 2, aAirport);
2216   d->execUpdate(q);
2217
2218   q = d->prepare("DELETE FROM taxi_node WHERE rowid IN (SELECT rowid FROM positioned WHERE (type=?1 OR type=?2) AND airport=?3)");
2219   sqlite3_bind_int(q, 1, FGPositioned::TAXI_NODE);
2220   sqlite3_bind_int(q, 2, FGPositioned::PARKING);
2221   sqlite3_bind_int64(q, 3, aAirport);
2222   d->execUpdate(q);
2223
2224   q = d->prepare("DELETE FROM positioned WHERE (type=?1 OR type=?2) AND airport=?3");
2225   sqlite3_bind_int(q, 1, FGPositioned::TAXI_NODE);
2226   sqlite3_bind_int(q, 2, FGPositioned::PARKING);
2227   sqlite3_bind_int64(q, 3, aAirport);
2228   d->execUpdate(q);
2229
2230   q = d->prepare("DELETE FROM groundnet_edge WHERE airport=?1");
2231   sqlite3_bind_int64(q, 1, aAirport);
2232   d->execUpdate(q);
2233 }
2234
2235 /////////////////////////////////////////////////////////////////////////////////////////
2236 // Transaction RAII object
2237
2238 NavDataCache::Transaction::Transaction(NavDataCache* cache) :
2239     _instance(cache),
2240     _committed(false)
2241 {
2242     assert(cache);
2243     _instance->beginTransaction();
2244 }
2245
2246 NavDataCache::Transaction::~Transaction()
2247 {
2248     if (!_committed) {
2249         SG_LOG(SG_NAVCACHE, SG_INFO, "aborting cache transaction!");
2250         _instance->abortTransaction();
2251     }
2252 }
2253
2254 void NavDataCache::Transaction::commit()
2255 {
2256     assert(!_committed);
2257     _committed = true;
2258     _instance->commitTransaction();
2259 }
2260
2261 } // of namespace flightgear
2262