src/Navaids/NavDataCache.cxx

   1 // NavDataCache.cxx - defines a unified binary cache for navigation
   2 // data, parsed from various text / XML sources.
   3
   4 // Written by James Turner, started 2012.
   5 //
   6 // Copyright (C) 2012  James Turner
   7 //
   8 // This program is free software; you can redistribute it and/or
   9 // modify it under the terms of the GNU General Public License as
  10 // published by the Free Software Foundation; either version 2 of the
  11 // License, or (at your option) any later version.
  12 //
  13 // This program is distributed in the hope that it will be useful, but
  14 // WITHOUT ANY WARRANTY; without even the implied warranty of
  15 // MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
  16 // General Public License for more details.
  17 //
  18 // You should have received a copy of the GNU General Public License
  19 // along with this program; if not, write to the Free Software
  20 // Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA  02110-1301, USA.
  21
  22 #ifdef HAVE_CONFIG_H
  23 # include "config.h"
  24 #endif
  25
  26 // to ensure compatability between sqlite3_int64 and PositionedID,
  27 // force the type used by sqlite to match PositionedID explicitly
  28 #define SQLITE_INT64_TYPE int64_t
  29 #define SQLITE_UINT64_TYPE uint64_t
  30
  31 #include "NavDataCache.hxx"
  32
  33 // std
  34 #include <map>
  35 #include <cassert>
  36 #include <stdint.h> // for int64_t
  37 // boost
  38 #include <boost/foreach.hpp>
  39
  40 #include "sqlite3.h"
  41
  42 // SimGear
  43 #include <simgear/sg_inlines.h>
  44 #include <simgear/structure/exception.hxx>
  45 #include <simgear/debug/logstream.hxx>
  46 #include <simgear/bucket/newbucket.hxx>
  47 #include <simgear/misc/sg_path.hxx>
  48 #include <simgear/misc/strutils.hxx>
  49 #include <simgear/threads/SGThread.hxx>
  50 #include <simgear/threads/SGGuard.hxx>
  51
  52 #include <Main/globals.hxx>
  53 #include "markerbeacon.hxx"
  54 #include "navrecord.hxx"
  55 #include <Airports/airport.hxx>
  56 #include <Airports/runways.hxx>
  57 #include <ATC/CommStation.hxx>
  58 #include "fix.hxx"
  59 #include <Navaids/fixlist.hxx>
  60 #include <Navaids/navdb.hxx>
  61 #include "PositionedOctree.hxx"
  62 #include <Airports/apt_loader.hxx>
  63 #include <Navaids/airways.hxx>
  64 #include "poidb.hxx"
  65 #include <Airports/parking.hxx>
  66 #include <Airports/gnnode.hxx>
  67
  68 using std::string;
  69
  70 #define SG_NAVCACHE SG_NAVAID
  71 //#define LAZY_OCTREE_UPDATES 1
  72
  73 namespace {
  74
  75 const int MAX_RETRIES = 10;
  76 const int SCHEMA_VERSION = 8;
  77 const int CACHE_SIZE_KBYTES= 32 * 1024;
  78
  79 // bind a std::string to a sqlite statement. The std::string must live the
  80 // entire duration of the statement execution - do not pass a temporary
  81 // std::string, or the compiler may delete it, freeing the C-string storage,
  82 // and causing subtle memory corruption bugs!
  83 void sqlite_bind_stdstring(sqlite3_stmt* stmt, int value, const std::string& s)
  84 {
  85   sqlite3_bind_text(stmt, value, s.c_str(), s.length(), SQLITE_STATIC);
  86 }
  87
  88 // variant of the above, which does not care about the lifetime of the
  89 // passed std::string
  90 void sqlite_bind_temp_stdstring(sqlite3_stmt* stmt, int value, const std::string& s)
  91 {
  92   sqlite3_bind_text(stmt, value, s.c_str(), s.length(), SQLITE_TRANSIENT);
  93 }
  94
  95 typedef sqlite3_stmt* sqlite3_stmt_ptr;
  96
  97 void f_distanceCartSqrFunction(sqlite3_context* ctx, int argc, sqlite3_value* argv[])
  98 {
  99   if (argc != 6) {
 100     return;
 101   }
 102
 103   SGVec3d posA(sqlite3_value_double(argv[0]),
 104                sqlite3_value_double(argv[1]),
 105                sqlite3_value_double(argv[2]));
 106
 107   SGVec3d posB(sqlite3_value_double(argv[3]),
 108                sqlite3_value_double(argv[4]),
 109                sqlite3_value_double(argv[5]));
 110   sqlite3_result_double(ctx, distSqr(posA, posB));
 111 }
 112
 113
 114 static string cleanRunwayNo(const string& aRwyNo)
 115 {
 116   if (aRwyNo[0] == 'x') {
 117     return string(); // no ident for taxiways
 118   }
 119
 120   string result(aRwyNo);
 121   // canonicalise runway ident
 122   if ((aRwyNo.size() == 1) || !isdigit(aRwyNo[1])) {
 123     result = "0" + aRwyNo;
 124   }
 125
 126   // trim off trailing garbage
 127   if (result.size() > 2) {
 128     char suffix = toupper(result[2]);
 129     if (suffix == 'X') {
 130       result = result.substr(0, 2);
 131     }
 132   }
 133
 134   return result;
 135 }
 136
 137 } // anonymous namespace
 138
 139 namespace flightgear
 140 {
 141
 142 /**
 143  * Thread encapsulating a cache rebuild. This is not used to parallelise
 144  * the rebuild - we must still wait until completion before doing other
 145  * startup, since many things rely on a complete cache. The thread is used
 146  * so we don't block the main event loop for an unacceptable duration,
 147  * which causes 'not responding' / spinning beachballs on Windows & Mac
 148  */
 149 class RebuildThread : public SGThread
 150 {
 151 public:
 152   RebuildThread(NavDataCache* cache) :
 153   _cache(cache),
 154   _isFinished(false)
 155   {
 156
 157   }
 158
 159   bool isFinished() const
 160   {
 161     SGGuard<SGMutex> g(_lock);
 162     return _isFinished;
 163   }
 164
 165   virtual void run()
 166   {
 167     SGTimeStamp st;
 168     st.stamp();
 169     _cache->doRebuild();
 170     SG_LOG(SG_NAVCACHE, SG_INFO, "cache rebuild took:" << st.elapsedMSec() << "msec");
 171
 172     SGGuard<SGMutex> g(_lock);
 173     _isFinished = true;
 174   }
 175 private:
 176   NavDataCache* _cache;
 177   mutable SGMutex _lock;
 178   bool _isFinished;
 179 };
 180
 181 ////////////////////////////////////////////////////////////////////////////
 182
 183 typedef std::map<PositionedID, FGPositionedRef> PositionedCache;
 184
 185 class AirportTower : public FGPositioned
 186 {
 187 public:
 188   AirportTower(PositionedID& guid, PositionedID airport,
 189                const string& ident, const SGGeod& pos) :
 190     FGPositioned(guid, FGPositioned::TOWER, ident, pos)
 191   {
 192   }
 193 };
 194
 195 class NavDataCache::NavDataCachePrivate
 196 {
 197 public:
 198   NavDataCachePrivate(const SGPath& p, NavDataCache* o) :
 199     outer(o),
 200     db(NULL),
 201     path(p),
 202     cacheHits(0),
 203     cacheMisses(0),
 204     transactionLevel(0),
 205     transactionAborted(false)
 206   {
 207   }
 208
 209   ~NavDataCachePrivate()
 210   {
 211     close();
 212   }
 213
 214   void init()
 215   {
 216     SG_LOG(SG_NAVCACHE, SG_INFO, "NavCache at:" << path);
 217
 218         // see http://code.google.com/p/flightgear-bugs/issues/detail?id=1055
 219         // for the logic here. Sigh.
 220         std::string pathUtf8 = simgear::strutils::convertWindowsLocal8BitToUtf8(path.str());
 221     sqlite3_open_v2(pathUtf8.c_str(), &db,
 222                     SQLITE_OPEN_READWRITE | SQLITE_OPEN_CREATE, NULL);
 223
 224
 225     sqlite3_stmt_ptr checkTables =
 226       prepare("SELECT count(*) FROM sqlite_master WHERE name='properties'");
 227
 228     sqlite3_create_function(db, "distanceCartSqr", 6, SQLITE_ANY, NULL,
 229                             f_distanceCartSqrFunction, NULL, NULL);
 230
 231     execSelect(checkTables);
 232     bool didCreate = false;
 233     if (sqlite3_column_int(checkTables, 0) == 0) {
 234       SG_LOG(SG_NAVCACHE, SG_INFO, "will create tables");
 235       initTables();
 236       didCreate = true;
 237     }
 238
 239     readPropertyQuery = prepare("SELECT value FROM properties WHERE key=?");
 240     writePropertyQuery = prepare("INSERT INTO properties (key, value) VALUES (?,?)");
 241     clearProperty = prepare("DELETE FROM properties WHERE key=?1");
 242
 243     if (didCreate) {
 244       writeIntProperty("schema-version", SCHEMA_VERSION);
 245     } else {
 246       int schemaVersion = outer->readIntProperty("schema-version");
 247       if (schemaVersion != SCHEMA_VERSION) {
 248         SG_LOG(SG_NAVCACHE, SG_INFO, "Navcache schema mismatch, will rebuild");
 249         throw sg_exception("Navcache schema has changed");
 250       }
 251     }
 252
 253     // see http://www.sqlite.org/pragma.html#pragma_cache_size
 254     // for the details, small cache would cause thrashing.
 255     std::ostringstream q;
 256     q << "PRAGMA cache_size=-" << CACHE_SIZE_KBYTES << ";";
 257     runSQL(q.str());
 258     prepareQueries();
 259   }
 260
 261   void close()
 262   {
 263     BOOST_FOREACH(sqlite3_stmt_ptr stmt, prepared) {
 264       sqlite3_finalize(stmt);
 265     }
 266     prepared.clear();
 267     sqlite3_close(db);
 268   }
 269
 270   void checkCacheFile()
 271   {
 272     SG_LOG(SG_NAVCACHE, SG_INFO, "running DB integrity check");
 273     SGTimeStamp st;
 274     st.stamp();
 275
 276     sqlite3_stmt_ptr stmt = prepare("PRAGMA quick_check(1)");
 277     if (!execSelect(stmt)) {
 278       throw sg_exception("DB integrity check failed to run");
 279     }
 280
 281     string v = (char*) sqlite3_column_text(stmt, 0);
 282     if (v != "ok") {
 283       throw sg_exception("DB integrity check returned:" + v);
 284     }
 285
 286     SG_LOG(SG_NAVCACHE, SG_INFO, "NavDataCache integrity check took:" << st.elapsedMSec());
 287     finalize(stmt);
 288   }
 289
 290   void callSqlite(int result, const string& sql)
 291   {
 292     if (result == SQLITE_OK)
 293       return; // all good
 294
 295     string errMsg;
 296     if (result == SQLITE_MISUSE) {
 297       errMsg = "Sqlite API abuse";
 298       SG_LOG(SG_NAVCACHE, SG_ALERT, "Sqlite API abuse");
 299     } else {
 300       errMsg = sqlite3_errmsg(db);
 301       SG_LOG(SG_NAVCACHE, SG_ALERT, "Sqlite error:" << errMsg << " running:\n\t" << sql);
 302     }
 303
 304     throw sg_exception("Sqlite error:" + errMsg, sql);
 305   }
 306
 307   void runSQL(const string& sql)
 308   {
 309     sqlite3_stmt_ptr stmt;
 310     callSqlite(sqlite3_prepare_v2(db, sql.c_str(), sql.length(), &stmt, NULL), sql);
 311
 312     try {
 313       execSelect(stmt);
 314     } catch (sg_exception&) {
 315       sqlite3_finalize(stmt);
 316       throw; // re-throw
 317     }
 318
 319     sqlite3_finalize(stmt);
 320   }
 321
 322   sqlite3_stmt_ptr prepare(const string& sql)
 323   {
 324     sqlite3_stmt_ptr stmt;
 325     callSqlite(sqlite3_prepare_v2(db, sql.c_str(), sql.length(), &stmt, NULL), sql);
 326     prepared.push_back(stmt);
 327     return stmt;
 328   }
 329
 330   void finalize(sqlite3_stmt_ptr s)
 331   {
 332     StmtVec::iterator it = std::find(prepared.begin(), prepared.end(), s);
 333     if (it == prepared.end()) {
 334       throw sg_exception("Finalising statement that was not prepared");
 335     }
 336
 337     prepared.erase(it);
 338     sqlite3_finalize(s);
 339   }
 340
 341   void reset(sqlite3_stmt_ptr stmt)
 342   {
 343     assert(stmt);
 344     if (sqlite3_reset(stmt) != SQLITE_OK) {
 345       string errMsg = sqlite3_errmsg(db);
 346       SG_LOG(SG_NAVCACHE, SG_ALERT, "Sqlite error resetting:" << errMsg);
 347       throw sg_exception("Sqlite error resetting:" + errMsg, sqlite3_sql(stmt));
 348     }
 349   }
 350
 351   bool execSelect(sqlite3_stmt_ptr stmt)
 352   {
 353     return stepSelect(stmt);
 354   }
 355
 356   bool stepSelect(sqlite3_stmt_ptr stmt)
 357   {
 358     int retries = 0;
 359     int result;
 360     while (retries < MAX_RETRIES) {
 361       result = sqlite3_step(stmt);
 362       if (result == SQLITE_ROW) {
 363         return true; // at least one result row
 364       }
 365
 366       if (result == SQLITE_DONE) {
 367         return false; // no result rows
 368       }
 369
 370       if (result != SQLITE_BUSY) {
 371         break;
 372       }
 373
 374       SG_LOG(SG_NAVCACHE, SG_ALERT, "NavCache contention on select, will retry:" << retries);
 375       SGTimeStamp::sleepForMSec(++retries * 10);
 376     } // of retry loop for DB locked
 377
 378     if (retries >= MAX_RETRIES) {
 379       SG_LOG(SG_NAVCACHE, SG_ALERT, "exceeded maximum number of SQLITE_BUSY retries");
 380       return false;
 381     }
 382
 383     string errMsg;
 384     if (result == SQLITE_MISUSE) {
 385       errMsg = "Sqlite API abuse";
 386       SG_LOG(SG_NAVCACHE, SG_ALERT, "Sqlite API abuse");
 387     } else {
 388       errMsg = sqlite3_errmsg(db);
 389       SG_LOG(SG_NAVCACHE, SG_ALERT, "Sqlite error:" << errMsg << " (" << result
 390              << ") while running:\n\t" << sqlite3_sql(stmt));
 391     }
 392
 393     throw sg_exception("Sqlite error:" + errMsg, sqlite3_sql(stmt));
 394   }
 395
 396   void execSelect1(sqlite3_stmt_ptr stmt)
 397   {
 398     if (!execSelect(stmt)) {
 399       SG_LOG(SG_NAVCACHE, SG_WARN, "empty SELECT running:\n\t" << sqlite3_sql(stmt));
 400       throw sg_exception("no results returned for select", sqlite3_sql(stmt));
 401     }
 402   }
 403
 404   sqlite3_int64 execInsert(sqlite3_stmt_ptr stmt)
 405   {
 406     execSelect(stmt);
 407     sqlite3_int64 rowid = sqlite3_last_insert_rowid(db);
 408     reset(stmt);
 409     return rowid;
 410   }
 411
 412   void execUpdate(sqlite3_stmt_ptr stmt)
 413   {
 414     execSelect(stmt);
 415     reset(stmt);
 416   }
 417
 418   void initTables()
 419   {
 420     runSQL("CREATE TABLE properties ("
 421            "key VARCHAR,"
 422            "value VARCHAR"
 423            ")");
 424
 425     runSQL("CREATE TABLE stat_cache ("
 426            "path VARCHAR unique,"
 427            "stamp INT"
 428            ")");
 429
 430     runSQL("CREATE TABLE positioned ("
 431            "type INT,"
 432            "ident VARCHAR collate nocase,"
 433            "name VARCHAR collate nocase,"
 434            "airport INT64,"
 435            "lon FLOAT,"
 436            "lat FLOAT,"
 437            "elev_m FLOAT,"
 438            "octree_node INT,"
 439            "cart_x FLOAT,"
 440            "cart_y FLOAT,"
 441            "cart_z FLOAT"
 442            ")");
 443
 444     runSQL("CREATE INDEX pos_octree ON positioned(octree_node)");
 445     runSQL("CREATE INDEX pos_ident ON positioned(ident collate nocase)");
 446     runSQL("CREATE INDEX pos_name ON positioned(name collate nocase)");
 447     // allow efficient querying of 'all ATIS at this airport' or
 448     // 'all towers at this airport'
 449     runSQL("CREATE INDEX pos_apt_type ON positioned(airport, type)");
 450
 451     runSQL("CREATE TABLE airport ("
 452            "has_metar BOOL"
 453            ")"
 454            );
 455
 456     runSQL("CREATE TABLE comm ("
 457            "freq_khz INT,"
 458            "range_nm INT"
 459            ")"
 460            );
 461
 462     runSQL("CREATE INDEX comm_freq ON comm(freq_khz)");
 463
 464     runSQL("CREATE TABLE runway ("
 465            "heading FLOAT,"
 466            "length_ft FLOAT,"
 467            "width_m FLOAT,"
 468            "surface INT,"
 469            "displaced_threshold FLOAT,"
 470            "stopway FLOAT,"
 471            "reciprocal INT64,"
 472            "ils INT64"
 473            ")"
 474            );
 475
 476     runSQL("CREATE TABLE navaid ("
 477            "freq INT,"
 478            "range_nm INT,"
 479            "multiuse FLOAT,"
 480            "runway INT64,"
 481            "colocated INT64"
 482            ")"
 483            );
 484
 485     runSQL("CREATE INDEX navaid_freq ON navaid(freq)");
 486
 487     runSQL("CREATE TABLE octree (children INT)");
 488
 489     runSQL("CREATE TABLE airway ("
 490            "ident VARCHAR collate nocase,"
 491            "network INT" // high-level or low-level
 492            ")");
 493
 494     runSQL("CREATE INDEX airway_ident ON airway(ident)");
 495
 496     runSQL("CREATE TABLE airway_edge ("
 497            "network INT,"
 498            "airway INT64,"
 499            "a INT64,"
 500            "b INT64"
 501            ")");
 502
 503     runSQL("CREATE INDEX airway_edge_from ON airway_edge(a)");
 504
 505     runSQL("CREATE TABLE taxi_node ("
 506            "hold_type INT,"
 507            "on_runway BOOL,"
 508            "pushback BOOL"
 509            ")");
 510
 511     runSQL("CREATE TABLE parking ("
 512            "heading FLOAT,"
 513            "radius INT,"
 514            "gate_type VARCHAR,"
 515            "airlines VARCHAR,"
 516            "pushback INT64"
 517            ")");
 518
 519     runSQL("CREATE TABLE groundnet_edge ("
 520            "airport INT64,"
 521            "a INT64,"
 522            "b INT64"
 523            ")");
 524
 525     runSQL("CREATE INDEX groundnet_edge_airport ON groundnet_edge(airport)");
 526     runSQL("CREATE INDEX groundnet_edge_from ON groundnet_edge(a)");
 527   }
 528
 529   void prepareQueries()
 530   {
 531     writePropertyMulti = prepare("INSERT INTO properties (key, value) VALUES(?1,?2)");
 532
 533     beginTransactionStmt = prepare("BEGIN");
 534     commitTransactionStmt = prepare("COMMIT");
 535     rollbackTransactionStmt = prepare("ROLLBACK");
 536
 537
 538 #define POSITIONED_COLS "rowid, type, ident, name, airport, lon, lat, elev_m, octree_node"
 539 #define AND_TYPED "AND type>=?2 AND type <=?3"
 540     statCacheCheck = prepare("SELECT stamp FROM stat_cache WHERE path=?");
 541     stampFileCache = prepare("INSERT OR REPLACE INTO stat_cache "
 542                              "(path, stamp) VALUES (?,?)");
 543
 544     loadPositioned = prepare("SELECT " POSITIONED_COLS " FROM positioned WHERE rowid=?");
 545     loadAirportStmt = prepare("SELECT has_metar FROM airport WHERE rowid=?");
 546     loadNavaid = prepare("SELECT range_nm, freq, multiuse, runway, colocated FROM navaid WHERE rowid=?");
 547     loadCommStation = prepare("SELECT freq_khz, range_nm FROM comm WHERE rowid=?");
 548     loadRunwayStmt = prepare("SELECT heading, length_ft, width_m, surface, displaced_threshold,"
 549                              "stopway, reciprocal, ils FROM runway WHERE rowid=?1");
 550
 551     getAirportItems = prepare("SELECT rowid FROM positioned WHERE airport=?1 " AND_TYPED);
 552
 553
 554     setAirportMetar = prepare("UPDATE airport SET has_metar=?2 WHERE rowid="
 555                               "(SELECT rowid FROM positioned WHERE ident=?1 AND type>=?3 AND type <=?4)");
 556     sqlite3_bind_int(setAirportMetar, 3, FGPositioned::AIRPORT);
 557     sqlite3_bind_int(setAirportMetar, 4, FGPositioned::SEAPORT);
 558
 559     setRunwayReciprocal = prepare("UPDATE runway SET reciprocal=?2 WHERE rowid=?1");
 560     setRunwayILS = prepare("UPDATE runway SET ils=?2 WHERE rowid=?1");
 561     setNavaidColocated = prepare("UPDATE navaid SET colocated=?2 WHERE rowid=?1");
 562     updateRunwayThreshold = prepare("UPDATE runway SET heading=?2, displaced_threshold=?3, stopway=?4 WHERE rowid=?1");
 563
 564     insertPositionedQuery = prepare("INSERT INTO positioned "
 565                                     "(type, ident, name, airport, lon, lat, elev_m, octree_node, "
 566                                     "cart_x, cart_y, cart_z)"
 567                                     " VALUES (?1, ?2, ?3, ?4, ?5, ?6, ?7, ?8, ?9, ?10, ?11)");
 568
 569     setAirportPos = prepare("UPDATE positioned SET lon=?2, lat=?3, elev_m=?4, octree_node=?5, "
 570                             "cart_x=?6, cart_y=?7, cart_z=?8 WHERE rowid=?1");
 571     insertAirport = prepare("INSERT INTO airport (rowid, has_metar) VALUES (?, ?)");
 572     insertNavaid = prepare("INSERT INTO navaid (rowid, freq, range_nm, multiuse, runway, colocated)"
 573                            " VALUES (?1, ?2, ?3, ?4, ?5, ?6)");
 574     updateILS = prepare("UPDATE navaid SET multiuse=?2 WHERE rowid=?1");
 575
 576     insertCommStation = prepare("INSERT INTO comm (rowid, freq_khz, range_nm)"
 577                                 " VALUES (?, ?, ?)");
 578     insertRunway = prepare("INSERT INTO runway "
 579                            "(rowid, heading, length_ft, width_m, surface, displaced_threshold, stopway, reciprocal)"
 580                            " VALUES (?1, ?2, ?3, ?4, ?5, ?6, ?7, ?8)");
 581     runwayLengthFtQuery = prepare("SELECT length_ft FROM runway WHERE rowid=?1");
 582
 583     removePOIQuery = prepare("DELETE FROM positioned WHERE type=?1 AND ident=?2");
 584
 585   // query statement
 586     findClosestWithIdent = prepare("SELECT rowid FROM positioned WHERE ident=?1 "
 587                                    AND_TYPED " ORDER BY distanceCartSqr(cart_x, cart_y, cart_z, ?4, ?5, ?6)");
 588
 589     findCommByFreq = prepare("SELECT positioned.rowid FROM positioned, comm WHERE "
 590                              "positioned.rowid=comm.rowid AND freq_khz=?1 "
 591                              AND_TYPED " ORDER BY distanceCartSqr(cart_x, cart_y, cart_z, ?4, ?5, ?6)");
 592
 593     findNavsByFreq = prepare("SELECT positioned.rowid FROM positioned, navaid WHERE "
 594                              "positioned.rowid=navaid.rowid "
 595                              "AND navaid.freq=?1 " AND_TYPED
 596                              " ORDER BY distanceCartSqr(cart_x, cart_y, cart_z, ?4, ?5, ?6)");
 597
 598     findNavsByFreqNoPos = prepare("SELECT positioned.rowid FROM positioned, navaid WHERE "
 599                                   "positioned.rowid=navaid.rowid AND freq=?1 " AND_TYPED);
 600
 601     findNavaidForRunway = prepare("SELECT positioned.rowid FROM positioned, navaid WHERE "
 602                                   "positioned.rowid=navaid.rowid AND runway=?1 AND type=?2");
 603
 604   // for an octree branch, return the child octree nodes which exist,
 605   // described as a bit-mask
 606     getOctreeChildren = prepare("SELECT children FROM octree WHERE rowid=?1");
 607
 608 #ifdef LAZY_OCTREE_UPDATES
 609     updateOctreeChildren = prepare("UPDATE octree SET children=?2 WHERE rowid=?1");
 610 #else
 611   // mask the new child value into the existing one
 612     updateOctreeChildren = prepare("UPDATE octree SET children=(?2 | children) WHERE rowid=?1");
 613 #endif
 614
 615   // define a new octree node (with no children)
 616     insertOctree = prepare("INSERT INTO octree (rowid, children) VALUES (?1, 0)");
 617
 618     getOctreeLeafChildren = prepare("SELECT rowid, type FROM positioned WHERE octree_node=?1");
 619
 620     searchAirports = prepare("SELECT ident, name FROM positioned WHERE (name LIKE ?1 OR ident LIKE ?1) " AND_TYPED);
 621     sqlite3_bind_int(searchAirports, 2, FGPositioned::AIRPORT);
 622     sqlite3_bind_int(searchAirports, 3, FGPositioned::SEAPORT);
 623
 624     getAirportItemByIdent = prepare("SELECT rowid FROM positioned WHERE airport=?1 AND ident=?2 AND type=?3");
 625
 626     findAirportRunway = prepare("SELECT airport, rowid FROM positioned WHERE ident=?2 AND type=?3 AND airport="
 627                                 "(SELECT rowid FROM positioned WHERE type=?4 AND ident=?1)");
 628     sqlite3_bind_int(findAirportRunway, 3, FGPositioned::RUNWAY);
 629     sqlite3_bind_int(findAirportRunway, 4, FGPositioned::AIRPORT);
 630
 631     // three-way join to get the navaid ident and runway ident in a single select.
 632     // we're joining positioned to itself by the navaid runway, with the complication
 633     // that we need to join the navaids table to get the runway ID.
 634     // we also need to filter by type to excluse glideslope (GS) matches
 635     findILS = prepare("SELECT nav.rowid FROM positioned AS nav, positioned AS rwy, navaid WHERE "
 636                       "nav.ident=?1 AND nav.airport=?2 AND rwy.ident=?3 "
 637                       "AND rwy.rowid = navaid.runway AND navaid.rowid=nav.rowid "
 638                       "AND (nav.type=?4 OR nav.type=?5)");
 639
 640     sqlite3_bind_int(findILS, 4, FGPositioned::ILS);
 641     sqlite3_bind_int(findILS, 5, FGPositioned::LOC);
 642
 643   // airways
 644     findAirway = prepare("SELECT rowid FROM airway WHERE network=?1 AND ident=?2");
 645     insertAirway = prepare("INSERT INTO airway (ident, network) "
 646                            "VALUES (?1, ?2)");
 647
 648     insertAirwayEdge = prepare("INSERT INTO airway_edge (network, airway, a, b) "
 649                                "VALUES (?1, ?2, ?3, ?4)");
 650
 651     isPosInAirway = prepare("SELECT rowid FROM airway_edge WHERE network=?1 AND a=?2");
 652
 653     airwayEdgesFrom = prepare("SELECT airway, b FROM airway_edge WHERE network=?1 AND a=?2");
 654
 655   // parking / taxi-node graph
 656     insertTaxiNode = prepare("INSERT INTO taxi_node (rowid, hold_type, on_runway, pushback) VALUES(?1, ?2, ?3, 0)");
 657     insertParkingPos = prepare("INSERT INTO parking (rowid, heading, radius, gate_type, airlines) "
 658                                "VALUES (?1, ?2, ?3, ?4, ?5)");
 659     setParkingPushBack = prepare("UPDATE parking SET pushback=?2 WHERE rowid=?1");
 660
 661     loadTaxiNodeStmt = prepare("SELECT hold_type, on_runway FROM taxi_node WHERE rowid=?1");
 662     loadParkingPos = prepare("SELECT heading, radius, gate_type, airlines, pushback FROM parking WHERE rowid=?1");
 663     taxiEdgesFrom = prepare("SELECT b FROM groundnet_edge WHERE a=?1");
 664     pushbackEdgesFrom = prepare("SELECT b FROM groundnet_edge, taxi_node WHERE "
 665                                 "a=?1 AND groundnet_edge.b = taxi_node.rowid AND pushback=1");
 666
 667     insertTaxiEdge = prepare("INSERT INTO groundnet_edge (airport, a,b) VALUES(?1, ?2, ?3)");
 668
 669     markTaxiNodeAsPushback = prepare("UPDATE taxi_node SET pushback=1 WHERE rowid=?1");
 670     airportTaxiNodes = prepare("SELECT rowid FROM positioned WHERE (type=?2 OR type=?3) AND airport=?1");
 671     sqlite3_bind_int(airportTaxiNodes, 2, FGPositioned::PARKING);
 672     sqlite3_bind_int(airportTaxiNodes, 3, FGPositioned::TAXI_NODE);
 673
 674     airportPushbackNodes = prepare("SELECT positioned.rowid FROM positioned, taxi_node WHERE "\
 675                                    "airport=?1 AND positioned.rowid=taxi_node.rowid AND pushback=1 "
 676                                    "AND (type=?2 OR type=?3)");
 677     sqlite3_bind_int(airportPushbackNodes, 2, FGPositioned::PARKING);
 678     sqlite3_bind_int(airportPushbackNodes, 3, FGPositioned::TAXI_NODE);
 679
 680     findNearestTaxiNode = prepare("SELECT positioned.rowid FROM positioned, taxi_node WHERE "
 681                                   "positioned.rowid = taxi_node.rowid AND airport=?1 "
 682                                   "ORDER BY distanceCartSqr(cart_x, cart_y, cart_z, ?2, ?3, ?4) "
 683                                   "LIMIT 1");
 684
 685     findNearestRunwayTaxiNode = prepare("SELECT positioned.rowid FROM positioned, taxi_node WHERE "
 686                                         "positioned.rowid = taxi_node.rowid AND airport=?1 "
 687                                         "AND on_runway=1 "
 688                                         "ORDER BY distanceCartSqr(cart_x, cart_y, cart_z, ?2, ?3, ?4) ");
 689
 690     findAirportParking = prepare("SELECT positioned.rowid FROM positioned, parking WHERE "
 691                                  "airport=?1 AND type=?4 AND "
 692                                  "radius >= ?2 AND gate_type = ?3 AND "
 693                                  "parking.rowid=positioned.rowid");
 694     sqlite3_bind_int(findAirportParking, 4, FGPositioned::PARKING);
 695   }
 696
 697   void writeIntProperty(const string& key, int value)
 698   {
 699     sqlite_bind_stdstring(clearProperty, 1, key);
 700     execUpdate(clearProperty);
 701
 702     sqlite_bind_stdstring(writePropertyQuery, 1, key);
 703     sqlite3_bind_int(writePropertyQuery, 2, value);
 704     execUpdate(writePropertyQuery);
 705   }
 706
 707
 708   FGPositioned* loadById(sqlite_int64 rowId);
 709
 710   FGAirport* loadAirport(sqlite_int64 rowId,
 711                          FGPositioned::Type ty,
 712                          const string& id, const string& name, const SGGeod& pos)
 713   {
 714     sqlite3_bind_int64(loadAirportStmt, 1, rowId);
 715     execSelect1(loadAirportStmt);
 716     bool hasMetar = (sqlite3_column_int(loadAirportStmt, 0) > 0);
 717     reset(loadAirportStmt);
 718
 719     return new FGAirport(rowId, id, pos, name, hasMetar, ty);
 720   }
 721
 722   FGRunwayBase* loadRunway(sqlite3_int64 rowId, FGPositioned::Type ty,
 723                            const string& id, const SGGeod& pos, PositionedID apt)
 724   {
 725     sqlite3_bind_int(loadRunwayStmt, 1, rowId);
 726     execSelect1(loadRunwayStmt);
 727
 728     double heading = sqlite3_column_double(loadRunwayStmt, 0);
 729     double lengthM = sqlite3_column_int(loadRunwayStmt, 1);
 730     double widthM = sqlite3_column_double(loadRunwayStmt, 2);
 731     int surface = sqlite3_column_int(loadRunwayStmt, 3);
 732
 733     if (ty == FGPositioned::TAXIWAY) {
 734       reset(loadRunwayStmt);
 735       return new FGTaxiway(rowId, id, pos, heading, lengthM, widthM, surface);
 736     } else if (ty == FGPositioned::HELIPAD) {
 737         reset(loadRunwayStmt);
 738         return new FGHelipad(rowId, apt, id, pos, heading, lengthM, widthM, surface);
 739     } else {
 740       double displacedThreshold = sqlite3_column_double(loadRunwayStmt, 4);
 741       double stopway = sqlite3_column_double(loadRunwayStmt, 5);
 742       PositionedID reciprocal = sqlite3_column_int64(loadRunwayStmt, 6);
 743       PositionedID ils = sqlite3_column_int64(loadRunwayStmt, 7);
 744       FGRunway* r = new FGRunway(rowId, apt, id, pos, heading, lengthM, widthM,
 745                           displacedThreshold, stopway, surface);
 746
 747       if (reciprocal > 0) {
 748         r->setReciprocalRunway(reciprocal);
 749       }
 750
 751       if (ils > 0) {
 752         r->setILS(ils);
 753       }
 754
 755       reset(loadRunwayStmt);
 756       return r;
 757     }
 758   }
 759
 760   CommStation* loadComm(sqlite3_int64 rowId, FGPositioned::Type ty,
 761                         const string& id, const string& name,
 762                         const SGGeod& pos,
 763                         PositionedID airport)
 764   {
 765     sqlite3_bind_int64(loadCommStation, 1, rowId);
 766     execSelect1(loadCommStation);
 767
 768     int range = sqlite3_column_int(loadCommStation, 0);
 769     int freqKhz = sqlite3_column_int(loadCommStation, 1);
 770     reset(loadCommStation);
 771
 772     CommStation* c = new CommStation(rowId, name, ty, pos, freqKhz, range);
 773     c->setAirport(airport);
 774     return c;
 775   }
 776
 777   FGPositioned* loadNav(sqlite3_int64 rowId,
 778                        FGPositioned::Type ty, const string& id,
 779                        const string& name, const SGGeod& pos)
 780   {
 781     sqlite3_bind_int64(loadNavaid, 1, rowId);
 782     execSelect1(loadNavaid);
 783
 784     PositionedID runway = sqlite3_column_int64(loadNavaid, 3);
 785     // marker beacons are light-weight
 786     if ((ty == FGPositioned::OM) || (ty == FGPositioned::IM) ||
 787         (ty == FGPositioned::MM))
 788     {
 789       reset(loadNavaid);
 790       return new FGMarkerBeaconRecord(rowId, ty, runway, pos);
 791     }
 792
 793     int rangeNm = sqlite3_column_int(loadNavaid, 0),
 794     freq = sqlite3_column_int(loadNavaid, 1);
 795     double mulituse = sqlite3_column_double(loadNavaid, 2);
 796     PositionedID colocated = sqlite3_column_int64(loadNavaid, 4);
 797     reset(loadNavaid);
 798
 799     FGNavRecord* n = new FGNavRecord(rowId, ty, id, name, pos, freq, rangeNm, mulituse, runway);
 800     if (colocated) {
 801         n->setColocatedDME(colocated);
 802     }
 803
 804     return n;
 805   }
 806
 807   FGPositioned* loadParking(sqlite3_int64 rowId,
 808                             const string& name, const SGGeod& pos,
 809                             PositionedID airport)
 810   {
 811     sqlite3_bind_int64(loadParkingPos, 1, rowId);
 812     execSelect1(loadParkingPos);
 813
 814     double heading = sqlite3_column_double(loadParkingPos, 0);
 815     int radius = sqlite3_column_int(loadParkingPos, 1);
 816     string aircraftType((char*) sqlite3_column_text(loadParkingPos, 2));
 817     string airlines((char*) sqlite3_column_text(loadParkingPos, 3));
 818     PositionedID pushBack = sqlite3_column_int64(loadParkingPos, 4);
 819     reset(loadParkingPos);
 820
 821     return new FGParking(rowId, pos, heading, radius, name, aircraftType, airlines, pushBack);
 822   }
 823
 824   FGPositioned* loadTaxiNode(sqlite3_int64 rowId, const SGGeod& pos,
 825                              PositionedID airport)
 826   {
 827     sqlite3_bind_int64(loadTaxiNodeStmt, 1, rowId);
 828     execSelect1(loadTaxiNodeStmt);
 829
 830     int hold_type = sqlite3_column_int(loadTaxiNodeStmt, 0);
 831     bool onRunway = sqlite3_column_int(loadTaxiNodeStmt, 1);
 832     reset(loadTaxiNodeStmt);
 833
 834     return new FGTaxiNode(rowId, pos, onRunway, hold_type);
 835   }
 836
 837   PositionedID insertPositioned(FGPositioned::Type ty, const string& ident,
 838                                 const string& name, const SGGeod& pos, PositionedID apt,
 839                                 bool spatialIndex)
 840   {
 841     SGVec3d cartPos(SGVec3d::fromGeod(pos));
 842
 843     sqlite3_bind_int(insertPositionedQuery, 1, ty);
 844     sqlite_bind_stdstring(insertPositionedQuery, 2, ident);
 845     sqlite_bind_stdstring(insertPositionedQuery, 3, name);
 846     sqlite3_bind_int64(insertPositionedQuery, 4, apt);
 847     sqlite3_bind_double(insertPositionedQuery, 5, pos.getLongitudeDeg());
 848     sqlite3_bind_double(insertPositionedQuery, 6, pos.getLatitudeDeg());
 849     sqlite3_bind_double(insertPositionedQuery, 7, pos.getElevationM());
 850
 851     if (spatialIndex) {
 852       Octree::Leaf* octreeLeaf = Octree::global_spatialOctree->findLeafForPos(cartPos);
 853       assert(intersects(octreeLeaf->bbox(), cartPos));
 854       sqlite3_bind_int64(insertPositionedQuery, 8, octreeLeaf->guid());
 855     } else {
 856       sqlite3_bind_null(insertPositionedQuery, 8);
 857     }
 858
 859     sqlite3_bind_double(insertPositionedQuery, 9, cartPos.x());
 860     sqlite3_bind_double(insertPositionedQuery, 10, cartPos.y());
 861     sqlite3_bind_double(insertPositionedQuery, 11, cartPos.z());
 862
 863     PositionedID r = execInsert(insertPositionedQuery);
 864     return r;
 865   }
 866
 867   FGPositionedList findAllByString(const string& s, const string& column,
 868                                      FGPositioned::Filter* filter, bool exact)
 869   {
 870     string query = s;
 871     if (!exact) query += "%";
 872
 873   // build up SQL query text
 874     string matchTerm = exact ? "=?1" : " LIKE ?1";
 875     string sql = "SELECT rowid FROM positioned WHERE " + column + matchTerm;
 876     if (filter) {
 877       sql += " " AND_TYPED;
 878     }
 879
 880   // find or prepare a suitable statement frrm the SQL
 881     sqlite3_stmt_ptr stmt = findByStringDict[sql];
 882     if (!stmt) {
 883       stmt = prepare(sql);
 884       findByStringDict[sql] = stmt;
 885     }
 886
 887     sqlite_bind_stdstring(stmt, 1, query);
 888     if (filter) {
 889       sqlite3_bind_int(stmt, 2, filter->minType());
 890       sqlite3_bind_int(stmt, 3, filter->maxType());
 891     }
 892
 893     FGPositionedList result;
 894   // run the prepared SQL
 895     while (stepSelect(stmt))
 896     {
 897       FGPositioned* pos = outer->loadById(sqlite3_column_int64(stmt, 0));
 898       if (filter && !filter->pass(pos)) {
 899         continue;
 900       }
 901
 902       result.push_back(pos);
 903     }
 904
 905     reset(stmt);
 906     return result;
 907   }
 908
 909   PositionedIDVec selectIds(sqlite3_stmt_ptr query)
 910   {
 911     PositionedIDVec result;
 912     while (stepSelect(query)) {
 913       result.push_back(sqlite3_column_int64(query, 0));
 914     }
 915     reset(query);
 916     return result;
 917   }
 918
 919   double runwayLengthFt(PositionedID rwy)
 920   {
 921     sqlite3_bind_int64(runwayLengthFtQuery, 1, rwy);
 922     execSelect1(runwayLengthFtQuery);
 923     double length = sqlite3_column_double(runwayLengthFtQuery, 0);
 924     reset(runwayLengthFtQuery);
 925     return length;
 926   }
 927
 928   void flushDeferredOctreeUpdates()
 929   {
 930     BOOST_FOREACH(Octree::Branch* nd, deferredOctreeUpdates) {
 931       sqlite3_bind_int64(updateOctreeChildren, 1, nd->guid());
 932       sqlite3_bind_int(updateOctreeChildren, 2, nd->childMask());
 933       execUpdate(updateOctreeChildren);
 934     }
 935
 936     deferredOctreeUpdates.clear();
 937   }
 938
 939   void removePositionedWithIdent(FGPositioned::Type ty, const std::string& aIdent)
 940   {
 941     sqlite3_bind_int(removePOIQuery, 1, ty);
 942     sqlite_bind_stdstring(removePOIQuery, 2, aIdent);
 943     execUpdate(removePOIQuery);
 944     reset(removePOIQuery);
 945   }
 946
 947   NavDataCache* outer;
 948   sqlite3* db;
 949   SGPath path;
 950
 951   /// the actual cache of ID -> instances. This holds an owning reference,
 952   /// so once items are in the cache they will never be deleted until
 953   /// the cache drops its reference
 954   PositionedCache cache;
 955   unsigned int cacheHits, cacheMisses;
 956
 957   /**
 958    * record the levels of open transaction objects we have
 959    */
 960   unsigned int transactionLevel;
 961   bool transactionAborted;
 962   sqlite3_stmt_ptr beginTransactionStmt, commitTransactionStmt, rollbackTransactionStmt;
 963
 964   SGPath aptDatPath, metarDatPath, navDatPath, fixDatPath, poiDatPath,
 965   carrierDatPath, airwayDatPath;
 966
 967   sqlite3_stmt_ptr readPropertyQuery, writePropertyQuery,
 968     stampFileCache, statCacheCheck,
 969     loadAirportStmt, loadCommStation, loadPositioned, loadNavaid,
 970     loadRunwayStmt;
 971   sqlite3_stmt_ptr writePropertyMulti, clearProperty;
 972
 973   sqlite3_stmt_ptr insertPositionedQuery, insertAirport, insertTower, insertRunway,
 974   insertCommStation, insertNavaid;
 975   sqlite3_stmt_ptr setAirportMetar, setRunwayReciprocal, setRunwayILS, setNavaidColocated,
 976     setAirportPos, updateRunwayThreshold, updateILS;
 977   sqlite3_stmt_ptr removePOIQuery;
 978
 979   sqlite3_stmt_ptr findClosestWithIdent;
 980 // octree (spatial index) related queries
 981   sqlite3_stmt_ptr getOctreeChildren, insertOctree, updateOctreeChildren,
 982     getOctreeLeafChildren;
 983
 984   sqlite3_stmt_ptr searchAirports;
 985   sqlite3_stmt_ptr findCommByFreq, findNavsByFreq,
 986   findNavsByFreqNoPos, findNavaidForRunway;
 987   sqlite3_stmt_ptr getAirportItems, getAirportItemByIdent;
 988   sqlite3_stmt_ptr findAirportRunway,
 989     findILS;
 990
 991   sqlite3_stmt_ptr runwayLengthFtQuery;
 992
 993 // airways
 994   sqlite3_stmt_ptr findAirway, insertAirwayEdge, isPosInAirway, airwayEdgesFrom,
 995   insertAirway;
 996
 997 // groundnet (parking, taxi node graph)
 998   sqlite3_stmt_ptr loadTaxiNodeStmt, loadParkingPos, insertTaxiNode, insertParkingPos;
 999   sqlite3_stmt_ptr taxiEdgesFrom, pushbackEdgesFrom, insertTaxiEdge, markTaxiNodeAsPushback,
1000     airportTaxiNodes, airportPushbackNodes, findNearestTaxiNode, findAirportParking,
1001     setParkingPushBack, findNearestRunwayTaxiNode;
1002
1003 // since there's many permutations of ident/name queries, we create
1004 // them programtically, but cache the exact query by its raw SQL once
1005 // used.
1006   std::map<string, sqlite3_stmt_ptr> findByStringDict;
1007
1008   typedef std::vector<sqlite3_stmt_ptr> StmtVec;
1009   StmtVec prepared;
1010
1011   std::set<Octree::Branch*> deferredOctreeUpdates;
1012
1013   // if we're performing a rebuild, the thread that is doing the work.
1014   // otherwise, NULL
1015   std::auto_ptr<RebuildThread> rebuilder;
1016 };
1017
1018   //////////////////////////////////////////////////////////////////////
1019
1020 FGPositioned* NavDataCache::NavDataCachePrivate::loadById(sqlite3_int64 rowid)
1021 {
1022
1023   sqlite3_bind_int64(loadPositioned, 1, rowid);
1024   execSelect1(loadPositioned);
1025
1026   assert(rowid == sqlite3_column_int64(loadPositioned, 0));
1027   FGPositioned::Type ty = (FGPositioned::Type) sqlite3_column_int(loadPositioned, 1);
1028
1029   string ident = (char*) sqlite3_column_text(loadPositioned, 2);
1030   string name = (char*) sqlite3_column_text(loadPositioned, 3);
1031   sqlite3_int64 aptId = sqlite3_column_int64(loadPositioned, 4);
1032   double lon = sqlite3_column_double(loadPositioned, 5);
1033   double lat = sqlite3_column_double(loadPositioned, 6);
1034   double elev = sqlite3_column_double(loadPositioned, 7);
1035   SGGeod pos = SGGeod::fromDegM(lon, lat, elev);
1036
1037   reset(loadPositioned);
1038
1039   switch (ty) {
1040     case FGPositioned::AIRPORT:
1041     case FGPositioned::SEAPORT:
1042     case FGPositioned::HELIPORT:
1043       return loadAirport(rowid, ty, ident, name, pos);
1044
1045     case FGPositioned::TOWER:
1046       return new AirportTower(rowid, aptId, ident, pos);
1047
1048     case FGPositioned::RUNWAY:
1049     case FGPositioned::HELIPAD:
1050     case FGPositioned::TAXIWAY:
1051       return loadRunway(rowid, ty, ident, pos, aptId);
1052
1053     case FGPositioned::LOC:
1054     case FGPositioned::VOR:
1055     case FGPositioned::GS:
1056     case FGPositioned::ILS:
1057     case FGPositioned::NDB:
1058     case FGPositioned::OM:
1059     case FGPositioned::MM:
1060     case FGPositioned::IM:
1061     case FGPositioned::DME:
1062     case FGPositioned::TACAN:
1063     case FGPositioned::MOBILE_TACAN:
1064     {
1065       if (aptId > 0) {
1066         FGAirport* apt = FGPositioned::loadById<FGAirport>(aptId);
1067         if (apt->validateILSData()) {
1068           // queried data above is probably invalid, force us to go around again
1069           // (the next time through, validateILSData will return false)
1070           return outer->loadById(rowid);
1071         }
1072       }
1073
1074       return loadNav(rowid, ty, ident, name, pos);
1075     }
1076
1077     case FGPositioned::FIX:
1078       return new FGFix(rowid, ident, pos);
1079
1080     case FGPositioned::WAYPOINT:
1081     case FGPositioned::COUNTRY:
1082     case FGPositioned::CITY:
1083     case FGPositioned::TOWN:
1084     case FGPositioned::VILLAGE:
1085     {
1086         FGPositioned* wpt = new FGPositioned(rowid, ty, ident, pos);
1087       return wpt;
1088     }
1089
1090     case FGPositioned::FREQ_GROUND:
1091     case FGPositioned::FREQ_TOWER:
1092     case FGPositioned::FREQ_ATIS:
1093     case FGPositioned::FREQ_AWOS:
1094     case FGPositioned::FREQ_APP_DEP:
1095     case FGPositioned::FREQ_ENROUTE:
1096     case FGPositioned::FREQ_CLEARANCE:
1097     case FGPositioned::FREQ_UNICOM:
1098       return loadComm(rowid, ty, ident, name, pos, aptId);
1099
1100     case FGPositioned::TAXI_NODE:
1101       return loadTaxiNode(rowid, pos, aptId);
1102
1103     case FGPositioned::PARKING:
1104       return loadParking(rowid, ident, pos, aptId);
1105
1106     default:
1107       return NULL;
1108   }
1109 }
1110
1111
1112 static NavDataCache* static_instance = NULL;
1113
1114 NavDataCache::NavDataCache()
1115 {
1116   const int MAX_TRIES = 3;
1117   SGPath homePath(globals->get_fg_home());
1118
1119   std::ostringstream os;
1120   string_list versionParts = simgear::strutils::split(VERSION, ".");
1121   if (versionParts.size() < 2) {
1122     os << "navdata.cache";
1123   } else {
1124     os << "navdata_" << versionParts[0] << "_" << versionParts[1] << ".cache";
1125   }
1126
1127   homePath.append(os.str());
1128
1129   for (int t=0; t < MAX_TRIES; ++t) {
1130     try {
1131       d.reset(new NavDataCachePrivate(homePath, this));
1132       d->init();
1133       //d->checkCacheFile();
1134     // reached this point with no exception, success
1135       break;
1136     } catch (sg_exception& e) {
1137       SG_LOG(SG_NAVCACHE, t == 0 ? SG_WARN : SG_ALERT, "NavCache: init failed:" << e.what()
1138              << " (attempt " << t << ")");
1139       d.reset();
1140       homePath.remove();
1141     }
1142   } // of retry loop
1143
1144   double RADIUS_EARTH_M = 7000 * 1000.0; // 7000km is plenty
1145   SGVec3d earthExtent(RADIUS_EARTH_M, RADIUS_EARTH_M, RADIUS_EARTH_M);
1146   Octree::global_spatialOctree =
1147     new Octree::Branch(SGBox<double>(-earthExtent, earthExtent), 1);
1148
1149   d->aptDatPath = SGPath(globals->get_fg_root());
1150   d->aptDatPath.append("Airports/apt.dat.gz");
1151
1152   d->metarDatPath = SGPath(globals->get_fg_root());
1153   d->metarDatPath.append("Airports/metar.dat.gz");
1154
1155   d->navDatPath = SGPath(globals->get_fg_root());
1156   d->navDatPath.append("Navaids/nav.dat.gz");
1157
1158   d->fixDatPath = SGPath(globals->get_fg_root());
1159   d->fixDatPath.append("Navaids/fix.dat.gz");
1160
1161   d->poiDatPath = SGPath(globals->get_fg_root());
1162   d->poiDatPath.append("Navaids/poi.dat.gz");
1163
1164   d->carrierDatPath = SGPath(globals->get_fg_root());
1165   d->carrierDatPath.append("Navaids/carrier_nav.dat.gz");
1166
1167   d->airwayDatPath = SGPath(globals->get_fg_root());
1168   d->airwayDatPath.append("Navaids/awy.dat.gz");
1169 }
1170
1171 NavDataCache::~NavDataCache()
1172 {
1173   assert(static_instance == this);
1174   static_instance = NULL;
1175   d.reset();
1176 }
1177
1178 NavDataCache* NavDataCache::instance()
1179 {
1180   if (!static_instance) {
1181     static_instance = new NavDataCache;
1182   }
1183
1184   return static_instance;
1185 }
1186
1187 bool NavDataCache::isRebuildRequired()
1188 {
1189   if (isCachedFileModified(d->aptDatPath) ||
1190       isCachedFileModified(d->metarDatPath) ||
1191       isCachedFileModified(d->navDatPath) ||
1192       isCachedFileModified(d->fixDatPath) ||
1193       isCachedFileModified(d->poiDatPath) ||
1194       isCachedFileModified(d->airwayDatPath))
1195   {
1196     SG_LOG(SG_NAVCACHE, SG_INFO, "NavCache: main cache rebuild required");
1197     return true;
1198   }
1199
1200   string sceneryPaths = simgear::strutils::join(globals->get_fg_scenery(), ";");
1201   if (readStringProperty("scenery_paths") != sceneryPaths) {
1202     SG_LOG(SG_NAVCACHE, SG_INFO, "NavCache: scenery paths changed, main cache rebuild required");
1203     return true;
1204   }
1205
1206   SG_LOG(SG_NAVCACHE, SG_INFO, "NavCache: no main cache rebuild required");
1207   return false;
1208 }
1209
1210 bool NavDataCache::rebuild()
1211 {
1212   if (!d->rebuilder.get()) {
1213     d->rebuilder.reset(new RebuildThread(this));
1214     d->rebuilder->start();
1215   }
1216
1217 // poll the rebuild thread
1218   bool fin = d->rebuilder->isFinished();
1219   if (fin) {
1220     d->rebuilder.reset(); // all done!
1221   }
1222   return fin;
1223 }
1224
1225 void NavDataCache::doRebuild()
1226 {
1227   try {
1228     d->close(); // completely close the sqlite object
1229     d->path.remove(); // remove the file on disk
1230     d->init(); // start again from scratch
1231
1232     // initialise the root octree node
1233     d->runSQL("INSERT INTO octree (rowid, children) VALUES (1, 0)");
1234
1235     SGTimeStamp st;
1236     {
1237         Transaction txn(this);
1238
1239         st.stamp();
1240         airportDBLoad(d->aptDatPath);
1241         SG_LOG(SG_NAVCACHE, SG_INFO, "apt.dat load took:" << st.elapsedMSec());
1242
1243         metarDataLoad(d->metarDatPath);
1244         stampCacheFile(d->aptDatPath);
1245         stampCacheFile(d->metarDatPath);
1246
1247         st.stamp();
1248         loadFixes(d->fixDatPath);
1249         stampCacheFile(d->fixDatPath);
1250         SG_LOG(SG_NAVCACHE, SG_INFO, "fix.dat load took:" << st.elapsedMSec());
1251
1252         st.stamp();
1253         navDBInit(d->navDatPath);
1254         stampCacheFile(d->navDatPath);
1255         SG_LOG(SG_NAVCACHE, SG_INFO, "nav.dat load took:" << st.elapsedMSec());
1256
1257         st.stamp();
1258         txn.commit();
1259         SG_LOG(SG_NAVCACHE, SG_INFO, "stage 1 commit took:" << st.elapsedMSec());
1260     }
1261
1262 #ifdef SG_WINDOWS
1263       SG_LOG(SG_NAVCACHE, SG_ALERT, "SKIPPING POI load on Windows");
1264 #else
1265       {
1266           Transaction txn(this);
1267
1268           st.stamp();
1269           poiDBInit(d->poiDatPath);
1270           stampCacheFile(d->poiDatPath);
1271           SG_LOG(SG_NAVCACHE, SG_INFO, "poi.dat load took:" << st.elapsedMSec());
1272
1273           st.stamp();
1274           txn.commit();
1275           SG_LOG(SG_NAVCACHE, SG_INFO, "POI commit took:" << st.elapsedMSec());
1276       }
1277 #endif
1278
1279       {
1280           Transaction txn(this);
1281           loadCarrierNav(d->carrierDatPath);
1282           stampCacheFile(d->carrierDatPath);
1283
1284           st.stamp();
1285           Airway::load(d->airwayDatPath);
1286           stampCacheFile(d->airwayDatPath);
1287           SG_LOG(SG_NAVCACHE, SG_INFO, "awy.dat load took:" << st.elapsedMSec());
1288
1289           d->flushDeferredOctreeUpdates();
1290
1291           string sceneryPaths = simgear::strutils::join(globals->get_fg_scenery(), ";");
1292           writeStringProperty("scenery_paths", sceneryPaths);
1293
1294           st.stamp();
1295           txn.commit();
1296           SG_LOG(SG_NAVCACHE, SG_INFO, "final commit took:" << st.elapsedMSec());
1297
1298       }
1299
1300   } catch (sg_exception& e) {
1301     SG_LOG(SG_NAVCACHE, SG_ALERT, "caught exception rebuilding navCache:" << e.what());
1302   }
1303 }
1304
1305 int NavDataCache::readIntProperty(const string& key)
1306 {
1307   sqlite_bind_stdstring(d->readPropertyQuery, 1, key);
1308   int result = 0;
1309
1310   if (d->execSelect(d->readPropertyQuery)) {
1311     result = sqlite3_column_int(d->readPropertyQuery, 0);
1312   } else {
1313     SG_LOG(SG_NAVCACHE, SG_WARN, "readIntProperty: unknown:" << key);
1314   }
1315
1316   d->reset(d->readPropertyQuery);
1317   return result;
1318 }
1319
1320 double NavDataCache::readDoubleProperty(const string& key)
1321 {
1322   sqlite_bind_stdstring(d->readPropertyQuery, 1, key);
1323   double result = 0.0;
1324   if (d->execSelect(d->readPropertyQuery)) {
1325     result = sqlite3_column_double(d->readPropertyQuery, 0);
1326   } else {
1327     SG_LOG(SG_NAVCACHE, SG_WARN, "readDoubleProperty: unknown:" << key);
1328   }
1329
1330   d->reset(d->readPropertyQuery);
1331   return result;
1332 }
1333
1334 string NavDataCache::readStringProperty(const string& key)
1335 {
1336   sqlite_bind_stdstring(d->readPropertyQuery, 1, key);
1337   string result;
1338   if (d->execSelect(d->readPropertyQuery)) {
1339     result = (char*) sqlite3_column_text(d->readPropertyQuery, 0);
1340   } else {
1341     SG_LOG(SG_NAVCACHE, SG_WARN, "readStringProperty: unknown:" << key);
1342   }
1343
1344   d->reset(d->readPropertyQuery);
1345   return result;
1346 }
1347
1348 void NavDataCache::writeIntProperty(const string& key, int value)
1349 {
1350   d->writeIntProperty(key, value);
1351 }
1352
1353 void NavDataCache::writeStringProperty(const string& key, const string& value)
1354 {
1355   sqlite_bind_stdstring(d->clearProperty, 1, key);
1356   d->execUpdate(d->clearProperty);
1357
1358   sqlite_bind_stdstring(d->writePropertyQuery, 1, key);
1359   sqlite_bind_stdstring(d->writePropertyQuery, 2, value);
1360   d->execUpdate(d->writePropertyQuery);
1361 }
1362
1363 void NavDataCache::writeDoubleProperty(const string& key, const double& value)
1364 {
1365   sqlite_bind_stdstring(d->clearProperty, 1, key);
1366   d->execUpdate(d->clearProperty);
1367
1368   sqlite_bind_stdstring(d->writePropertyQuery, 1, key);
1369   sqlite3_bind_double(d->writePropertyQuery, 2, value);
1370   d->execUpdate(d->writePropertyQuery);
1371 }
1372
1373 string_list NavDataCache::readStringListProperty(const string& key)
1374 {
1375   sqlite_bind_stdstring(d->readPropertyQuery, 1, key);
1376   string_list result;
1377   while (d->stepSelect(d->readPropertyQuery)) {
1378     result.push_back((char*) sqlite3_column_text(d->readPropertyQuery, 0));
1379   }
1380   d->reset(d->readPropertyQuery);
1381
1382   return result;
1383 }
1384
1385 void NavDataCache::writeStringListProperty(const string& key, const string_list& values)
1386 {
1387   sqlite_bind_stdstring(d->clearProperty, 1, key);
1388   d->execUpdate(d->clearProperty);
1389
1390   BOOST_FOREACH(string value, values) {
1391     sqlite_bind_stdstring(d->writePropertyMulti, 1, key);
1392     sqlite_bind_stdstring(d->writePropertyMulti, 2, value);
1393     d->execInsert(d->writePropertyMulti);
1394   }
1395 }
1396
1397 bool NavDataCache::isCachedFileModified(const SGPath& path) const
1398 {
1399   if (!path.exists()) {
1400     throw sg_io_exception("isCachedFileModified: Missing file:" + path.str());
1401   }
1402
1403   sqlite_bind_temp_stdstring(d->statCacheCheck, 1, path.str());
1404   bool isModified = true;
1405
1406   if (d->execSelect(d->statCacheCheck)) {
1407     time_t modtime = sqlite3_column_int64(d->statCacheCheck, 0);
1408     time_t delta = std::labs(modtime - path.modTime());
1409     if (delta != 0)
1410     {
1411       SG_LOG(SG_NAVCACHE, SG_DEBUG, "NavCache: rebuild required for " << path << ". Timestamps: " << modtime << " != " << path.modTime());
1412     }
1413     else
1414     {
1415       SG_LOG(SG_NAVCACHE, SG_DEBUG, "NavCache: no rebuild required for " << path);
1416     }
1417
1418     isModified = (delta != 0);
1419   } else {
1420     SG_LOG(SG_NAVCACHE, SG_DEBUG, "NavCache: initial build required for " << path);
1421   }
1422
1423   d->reset(d->statCacheCheck);
1424   return isModified;
1425 }
1426
1427 void NavDataCache::stampCacheFile(const SGPath& path)
1428 {
1429   sqlite_bind_temp_stdstring(d->stampFileCache, 1, path.str());
1430   sqlite3_bind_int64(d->stampFileCache, 2, path.modTime());
1431   d->execInsert(d->stampFileCache);
1432 }
1433
1434 void NavDataCache::beginTransaction()
1435 {
1436   if (d->transactionLevel == 0) {
1437     d->transactionAborted = false;
1438     d->stepSelect(d->beginTransactionStmt);
1439     sqlite3_reset(d->beginTransactionStmt);
1440   }
1441
1442   ++d->transactionLevel;
1443 }
1444
1445 void NavDataCache::commitTransaction()
1446 {
1447   assert(d->transactionLevel > 0);
1448   if (--d->transactionLevel == 0) {
1449     // if a nested transaction aborted, we might end up here, but must
1450     // still abort the entire transaction. That's bad, but safer than
1451     // committing.
1452     sqlite3_stmt_ptr q = d->transactionAborted ? d->rollbackTransactionStmt : d->commitTransactionStmt;
1453
1454     int retries = 0;
1455     int result;
1456     while (retries < MAX_RETRIES) {
1457       result = sqlite3_step(q);
1458       if (result == SQLITE_DONE) {
1459         break;
1460       }
1461
1462       // see http://www.sqlite.org/c3ref/get_autocommit.html for a hint
1463       // what's going on here: autocommit in inactive inside BEGIN, so if
1464       // it's active, the DB was rolled-back
1465       if (sqlite3_get_autocommit(d->db)) {
1466         SG_LOG(SG_NAVCACHE, SG_ALERT, "commit: was rolled back!" << retries);
1467         d->transactionAborted = true;
1468         break;
1469       }
1470
1471       if (result != SQLITE_BUSY) {
1472         break;
1473       }
1474
1475       SGTimeStamp::sleepForMSec(++retries * 10);
1476       SG_LOG(SG_NAVCACHE, SG_ALERT, "NavCache contention on commit, will retry:" << retries);
1477     } // of retry loop for DB busy
1478
1479     string errMsg;
1480     if (result != SQLITE_DONE) {
1481       errMsg = sqlite3_errmsg(d->db);
1482       SG_LOG(SG_NAVCACHE, SG_ALERT, "Sqlite error:" << errMsg << " for  " << result
1483              << " while running:\n\t" << sqlite3_sql(q));
1484     }
1485
1486     sqlite3_reset(q);
1487   }
1488 }
1489
1490 void NavDataCache::abortTransaction()
1491 {
1492   SG_LOG(SG_NAVCACHE, SG_WARN, "NavCache: aborting transaction");
1493
1494   assert(d->transactionLevel > 0);
1495   if (--d->transactionLevel == 0) {
1496     d->stepSelect(d->rollbackTransactionStmt);
1497     sqlite3_reset(d->rollbackTransactionStmt);
1498   }
1499
1500   d->transactionAborted = true;
1501 }
1502
1503 FGPositionedRef NavDataCache::loadById(PositionedID rowid)
1504 {
1505   if (rowid == 0) {
1506     return NULL;
1507   }
1508
1509   PositionedCache::iterator it = d->cache.find(rowid);
1510   if (it != d->cache.end()) {
1511     d->cacheHits++;
1512     return it->second; // cache it
1513   }
1514
1515   FGPositioned* pos = d->loadById(rowid);
1516   d->cache.insert(it, PositionedCache::value_type(rowid, pos));
1517   d->cacheMisses++;
1518   return pos;
1519 }
1520
1521 PositionedID NavDataCache::insertAirport(FGPositioned::Type ty, const string& ident,
1522                                          const string& name)
1523 {
1524   // airports have their pos computed based on the avergae runway centres
1525   // so the pos isn't available immediately. Pass a dummy pos and avoid
1526   // doing spatial indexing until later
1527   sqlite3_int64 rowId = d->insertPositioned(ty, ident, name, SGGeod(),
1528                                             0 /* airport */,
1529                                             false /* spatial index */);
1530
1531   sqlite3_bind_int64(d->insertAirport, 1, rowId);
1532   d->execInsert(d->insertAirport);
1533
1534   return rowId;
1535 }
1536
1537 void NavDataCache::updatePosition(PositionedID item, const SGGeod &pos)
1538 {
1539   if (d->cache.find(item) != d->cache.end()) {
1540     SG_LOG(SG_NAVCACHE, SG_DEBUG, "updating position of an item in the cache");
1541     d->cache[item]->modifyPosition(pos);
1542   }
1543
1544   SGVec3d cartPos(SGVec3d::fromGeod(pos));
1545
1546   sqlite3_bind_int(d->setAirportPos, 1, item);
1547   sqlite3_bind_double(d->setAirportPos, 2, pos.getLongitudeDeg());
1548   sqlite3_bind_double(d->setAirportPos, 3, pos.getLatitudeDeg());
1549   sqlite3_bind_double(d->setAirportPos, 4, pos.getElevationM());
1550
1551 // bug 905; the octree leaf may change here, but the leaf may already be
1552 // loaded, and caching its children. (Either the old or new leaf!). Worse,
1553 // we may be called here as a result of loading one of those leaf's children.
1554 // instead of dealing with all those possibilites, such as modifying
1555 // the in-memory leaf's STL child container, we simply leave the runtime
1556 // structures alone. This is fine providing items do no move very far, since
1557 // all the spatial searches ultimately use the items' real cartesian position,
1558 // which was updated above.
1559   Octree::Leaf* octreeLeaf = Octree::global_spatialOctree->findLeafForPos(cartPos);
1560   sqlite3_bind_int64(d->setAirportPos, 5, octreeLeaf->guid());
1561
1562   sqlite3_bind_double(d->setAirportPos, 6, cartPos.x());
1563   sqlite3_bind_double(d->setAirportPos, 7, cartPos.y());
1564   sqlite3_bind_double(d->setAirportPos, 8, cartPos.z());
1565
1566
1567   d->execUpdate(d->setAirportPos);
1568 }
1569
1570 void NavDataCache::insertTower(PositionedID airportId, const SGGeod& pos)
1571 {
1572   d->insertPositioned(FGPositioned::TOWER, string(), string(),
1573                       pos, airportId, true /* spatial index */);
1574 }
1575
1576 PositionedID
1577 NavDataCache::insertRunway(FGPositioned::Type ty, const string& ident,
1578                            const SGGeod& pos, PositionedID apt,
1579                            double heading, double length, double width, double displacedThreshold,
1580                            double stopway, int surfaceCode)
1581 {
1582   // only runways are spatially indexed; don't bother indexing taxiways
1583   // or pavements
1584   bool spatialIndex = ( ty == FGPositioned::RUNWAY || ty == FGPositioned::HELIPAD);
1585
1586   sqlite3_int64 rowId = d->insertPositioned(ty, cleanRunwayNo(ident), "", pos, apt,
1587                                             spatialIndex);
1588   sqlite3_bind_int64(d->insertRunway, 1, rowId);
1589   sqlite3_bind_double(d->insertRunway, 2, heading);
1590   sqlite3_bind_double(d->insertRunway, 3, length);
1591   sqlite3_bind_double(d->insertRunway, 4, width);
1592   sqlite3_bind_int(d->insertRunway, 5, surfaceCode);
1593   sqlite3_bind_double(d->insertRunway, 6, displacedThreshold);
1594   sqlite3_bind_double(d->insertRunway, 7, stopway);
1595
1596   return d->execInsert(d->insertRunway);
1597 }
1598
1599 void NavDataCache::setRunwayReciprocal(PositionedID runway, PositionedID recip)
1600 {
1601   sqlite3_bind_int64(d->setRunwayReciprocal, 1, runway);
1602   sqlite3_bind_int64(d->setRunwayReciprocal, 2, recip);
1603   d->execUpdate(d->setRunwayReciprocal);
1604
1605 // and the opposite direction too!
1606   sqlite3_bind_int64(d->setRunwayReciprocal, 2, runway);
1607   sqlite3_bind_int64(d->setRunwayReciprocal, 1, recip);
1608   d->execUpdate(d->setRunwayReciprocal);
1609 }
1610
1611 void NavDataCache::setRunwayILS(PositionedID runway, PositionedID ils)
1612 {
1613   sqlite3_bind_int64(d->setRunwayILS, 1, runway);
1614   sqlite3_bind_int64(d->setRunwayILS, 2, ils);
1615   d->execUpdate(d->setRunwayILS);
1616
1617   // and the in-memory one
1618   if (d->cache.find(runway) != d->cache.end()) {
1619     FGRunway* instance = (FGRunway*) d->cache[runway].ptr();
1620     instance->setILS(ils);
1621   }
1622 }
1623
1624 void NavDataCache::updateRunwayThreshold(PositionedID runwayID, const SGGeod &aThreshold,
1625                                   double aHeading, double aDisplacedThreshold,
1626                                   double aStopway)
1627 {
1628 // update the runway information
1629   sqlite3_bind_int64(d->updateRunwayThreshold, 1, runwayID);
1630   sqlite3_bind_double(d->updateRunwayThreshold, 2, aHeading);
1631   sqlite3_bind_double(d->updateRunwayThreshold, 3, aDisplacedThreshold);
1632   sqlite3_bind_double(d->updateRunwayThreshold, 4, aStopway);
1633   d->execUpdate(d->updateRunwayThreshold);
1634
1635   // now update the positional data
1636   updatePosition(runwayID, aThreshold);
1637 }
1638
1639 PositionedID
1640 NavDataCache::insertNavaid(FGPositioned::Type ty, const string& ident,
1641                           const string& name, const SGGeod& pos,
1642                            int freq, int range, double multiuse,
1643                            PositionedID apt, PositionedID runway)
1644 {
1645   bool spatialIndex = true;
1646   if (ty == FGPositioned::MOBILE_TACAN) {
1647     spatialIndex = false;
1648   }
1649
1650   sqlite3_int64 rowId = d->insertPositioned(ty, ident, name, pos, apt,
1651                                             spatialIndex);
1652   sqlite3_bind_int64(d->insertNavaid, 1, rowId);
1653   sqlite3_bind_int(d->insertNavaid, 2, freq);
1654   sqlite3_bind_int(d->insertNavaid, 3, range);
1655   sqlite3_bind_double(d->insertNavaid, 4, multiuse);
1656   sqlite3_bind_int64(d->insertNavaid, 5, runway);
1657   sqlite3_bind_int64(d->insertNavaid, 6, 0);
1658   return d->execInsert(d->insertNavaid);
1659 }
1660
1661 void NavDataCache::setNavaidColocated(PositionedID navaid, PositionedID colocatedDME)
1662 {
1663   // Update DB entries...
1664   sqlite3_bind_int64(d->setNavaidColocated, 1, navaid);
1665   sqlite3_bind_int64(d->setNavaidColocated, 2, colocatedDME);
1666   d->execUpdate(d->setNavaidColocated);
1667
1668   // ...and the in-memory copy of the navrecord
1669   if (d->cache.find(navaid) != d->cache.end()) {
1670     FGNavRecord* rec = (FGNavRecord*) d->cache[navaid].get();
1671     rec->setColocatedDME(colocatedDME);
1672   }
1673 }
1674
1675 void NavDataCache::updateILS(PositionedID ils, const SGGeod& newPos, double aHdg)
1676 {
1677   sqlite3_bind_int64(d->updateILS, 1, ils);
1678   sqlite3_bind_double(d->updateILS, 2, aHdg);
1679   d->execUpdate(d->updateILS);
1680   updatePosition(ils, newPos);
1681 }
1682
1683 PositionedID NavDataCache::insertCommStation(FGPositioned::Type ty,
1684                                              const string& name, const SGGeod& pos, int freq, int range,
1685                                              PositionedID apt)
1686 {
1687   sqlite3_int64 rowId = d->insertPositioned(ty, "", name, pos, apt, true);
1688   sqlite3_bind_int64(d->insertCommStation, 1, rowId);
1689   sqlite3_bind_int(d->insertCommStation, 2, freq);
1690   sqlite3_bind_int(d->insertCommStation, 3, range);
1691   return d->execInsert(d->insertCommStation);
1692 }
1693
1694 PositionedID NavDataCache::insertFix(const std::string& ident, const SGGeod& aPos)
1695 {
1696   return d->insertPositioned(FGPositioned::FIX, ident, string(), aPos, 0, true);
1697 }
1698
1699 PositionedID NavDataCache::createPOI(FGPositioned::Type ty, const std::string& ident, const SGGeod& aPos)
1700 {
1701   return d->insertPositioned(ty, ident, string(), aPos, 0,
1702                              true /* spatial index */);
1703 }
1704
1705 bool NavDataCache::removePOI(FGPositioned::Type ty, const std::string& aIdent)
1706 {
1707   d->removePositionedWithIdent(ty, aIdent);
1708   // should remove from the live cache too?
1709
1710     return true;
1711 }
1712
1713 void NavDataCache::setAirportMetar(const string& icao, bool hasMetar)
1714 {
1715   sqlite_bind_stdstring(d->setAirportMetar, 1, icao);
1716   sqlite3_bind_int(d->setAirportMetar, 2, hasMetar);
1717   d->execUpdate(d->setAirportMetar);
1718 }
1719
1720 //------------------------------------------------------------------------------
1721 FGPositionedList NavDataCache::findAllWithIdent( const string& s,
1722                                                  FGPositioned::Filter* filter,
1723                                                  bool exact )
1724 {
1725   return d->findAllByString(s, "ident", filter, exact);
1726 }
1727
1728 //------------------------------------------------------------------------------
1729 FGPositionedList NavDataCache::findAllWithName( const string& s,
1730                                                 FGPositioned::Filter* filter,
1731                                                 bool exact )
1732 {
1733   return d->findAllByString(s, "name", filter, exact);
1734 }
1735
1736 //------------------------------------------------------------------------------
1737 FGPositionedRef NavDataCache::findClosestWithIdent( const string& aIdent,
1738                                                     const SGGeod& aPos,
1739                                                     FGPositioned::Filter* aFilter )
1740 {
1741   sqlite_bind_stdstring(d->findClosestWithIdent, 1, aIdent);
1742   if (aFilter) {
1743     sqlite3_bind_int(d->findClosestWithIdent, 2, aFilter->minType());
1744     sqlite3_bind_int(d->findClosestWithIdent, 3, aFilter->maxType());
1745   } else { // full type range
1746     sqlite3_bind_int(d->findClosestWithIdent, 2, FGPositioned::INVALID);
1747     sqlite3_bind_int(d->findClosestWithIdent, 3, FGPositioned::LAST_TYPE);
1748   }
1749
1750   SGVec3d cartPos(SGVec3d::fromGeod(aPos));
1751   sqlite3_bind_double(d->findClosestWithIdent, 4, cartPos.x());
1752   sqlite3_bind_double(d->findClosestWithIdent, 5, cartPos.y());
1753   sqlite3_bind_double(d->findClosestWithIdent, 6, cartPos.z());
1754
1755   FGPositionedRef result;
1756
1757   while (d->stepSelect(d->findClosestWithIdent)) {
1758     FGPositioned* pos = loadById(sqlite3_column_int64(d->findClosestWithIdent, 0));
1759     if (aFilter && !aFilter->pass(pos)) {
1760       continue;
1761     }
1762
1763     result = pos;
1764     break;
1765   }
1766
1767   d->reset(d->findClosestWithIdent);
1768   return result;
1769 }
1770
1771
1772 int NavDataCache::getOctreeBranchChildren(int64_t octreeNodeId)
1773 {
1774   sqlite3_bind_int64(d->getOctreeChildren, 1, octreeNodeId);
1775   d->execSelect1(d->getOctreeChildren);
1776   int children = sqlite3_column_int(d->getOctreeChildren, 0);
1777   d->reset(d->getOctreeChildren);
1778   return children;
1779 }
1780
1781 void NavDataCache::defineOctreeNode(Octree::Branch* pr, Octree::Node* nd)
1782 {
1783   sqlite3_bind_int64(d->insertOctree, 1, nd->guid());
1784   d->execInsert(d->insertOctree);
1785
1786 #ifdef LAZY_OCTREE_UPDATES
1787   d->deferredOctreeUpdates.insert(pr);
1788 #else
1789   // lowest three bits of node ID are 0..7 index of the child in the parent
1790   int childIndex = nd->guid() & 0x07;
1791
1792   sqlite3_bind_int64(d->updateOctreeChildren, 1, pr->guid());
1793 // mask has bit N set where child N exists
1794   int childMask = 1 << childIndex;
1795   sqlite3_bind_int(d->updateOctreeChildren, 2, childMask);
1796   d->execUpdate(d->updateOctreeChildren);
1797 #endif
1798 }
1799
1800 TypedPositionedVec
1801 NavDataCache::getOctreeLeafChildren(int64_t octreeNodeId)
1802 {
1803   sqlite3_bind_int64(d->getOctreeLeafChildren, 1, octreeNodeId);
1804
1805   TypedPositionedVec r;
1806   while (d->stepSelect(d->getOctreeLeafChildren)) {
1807     FGPositioned::Type ty = static_cast<FGPositioned::Type>
1808       (sqlite3_column_int(d->getOctreeLeafChildren, 1));
1809     r.push_back(std::make_pair(ty,
1810                 sqlite3_column_int64(d->getOctreeLeafChildren, 0)));
1811   }
1812
1813   d->reset(d->getOctreeLeafChildren);
1814   return r;
1815 }
1816
1817
1818 /**
1819  * A special purpose helper (used by FGAirport::searchNamesAndIdents) to
1820  * implement the AirportList dialog. It's unfortunate that it needs to reside
1821  * here, but for now it's least ugly solution.
1822  */
1823 char** NavDataCache::searchAirportNamesAndIdents(const std::string& aFilter)
1824 {
1825   string s = "%" + aFilter + "%";
1826   sqlite_bind_stdstring(d->searchAirports, 1, s);
1827
1828   unsigned int numMatches = 0, numAllocated = 16;
1829   char** result = (char**) malloc(sizeof(char*) * numAllocated);
1830
1831   while (d->stepSelect(d->searchAirports)) {
1832     if ((numMatches + 1) >= numAllocated) {
1833       numAllocated <<= 1; // double in size!
1834     // reallocate results array
1835       char** nresult = (char**) malloc(sizeof(char*) * numAllocated);
1836       memcpy(nresult, result, sizeof(char*) * numMatches);
1837       free(result);
1838       result = nresult;
1839     }
1840
1841     // nasty code to avoid excessive string copying and allocations.
1842     // We format results as follows (note whitespace!):
1843     //   ' name-of-airport-chars   (ident)'
1844     // so the total length is:
1845     //    1 + strlen(name) + 4 + strlen(icao) + 1 + 1 (for the null)
1846     // which gives a grand total of 7 + name-length + icao-length.
1847     // note the ident can be three letters (non-ICAO local strip), four
1848     // (default ICAO) or more (extended format ICAO)
1849     int nameLength = sqlite3_column_bytes(d->searchAirports, 1);
1850     int icaoLength = sqlite3_column_bytes(d->searchAirports, 0);
1851     char* entry = (char*) malloc(7 + nameLength + icaoLength);
1852     char* dst = entry;
1853     *dst++ = ' ';
1854     memcpy(dst, sqlite3_column_text(d->searchAirports, 1), nameLength);
1855     dst += nameLength;
1856     *dst++ = ' ';
1857     *dst++ = ' ';
1858     *dst++ = ' ';
1859     *dst++ = '(';
1860     memcpy(dst, sqlite3_column_text(d->searchAirports, 0), icaoLength);
1861     dst += icaoLength;
1862     *dst++ = ')';
1863     *dst++ = 0;
1864
1865     result[numMatches++] = entry;
1866   }
1867
1868   result[numMatches] = NULL; // end of list marker
1869   d->reset(d->searchAirports);
1870   return result;
1871 }
1872
1873 FGPositionedRef
1874 NavDataCache::findCommByFreq(int freqKhz, const SGGeod& aPos, FGPositioned::Filter* aFilter)
1875 {
1876   sqlite3_bind_int(d->findCommByFreq, 1, freqKhz);
1877   if (aFilter) {
1878     sqlite3_bind_int(d->findCommByFreq, 2, aFilter->minType());
1879     sqlite3_bind_int(d->findCommByFreq, 3, aFilter->maxType());
1880   } else { // full type range
1881     sqlite3_bind_int(d->findCommByFreq, 2, FGPositioned::FREQ_GROUND);
1882     sqlite3_bind_int(d->findCommByFreq, 3, FGPositioned::FREQ_UNICOM);
1883   }
1884
1885   SGVec3d cartPos(SGVec3d::fromGeod(aPos));
1886   sqlite3_bind_double(d->findCommByFreq, 4, cartPos.x());
1887   sqlite3_bind_double(d->findCommByFreq, 5, cartPos.y());
1888   sqlite3_bind_double(d->findCommByFreq, 6, cartPos.z());
1889   FGPositionedRef result;
1890
1891   while (d->execSelect(d->findCommByFreq)) {
1892     FGPositioned* p = loadById(sqlite3_column_int64(d->findCommByFreq, 0));
1893     if (aFilter && !aFilter->pass(p)) {
1894       continue;
1895     }
1896
1897     result = p;
1898     break;
1899   }
1900
1901   d->reset(d->findCommByFreq);
1902   return result;
1903 }
1904
1905 PositionedIDVec
1906 NavDataCache::findNavaidsByFreq(int freqKhz, const SGGeod& aPos, FGPositioned::Filter* aFilter)
1907 {
1908   sqlite3_bind_int(d->findNavsByFreq, 1, freqKhz);
1909   if (aFilter) {
1910     sqlite3_bind_int(d->findNavsByFreq, 2, aFilter->minType());
1911     sqlite3_bind_int(d->findNavsByFreq, 3, aFilter->maxType());
1912   } else { // full type range
1913     sqlite3_bind_int(d->findNavsByFreq, 2, FGPositioned::NDB);
1914     sqlite3_bind_int(d->findNavsByFreq, 3, FGPositioned::GS);
1915   }
1916
1917   SGVec3d cartPos(SGVec3d::fromGeod(aPos));
1918   sqlite3_bind_double(d->findNavsByFreq, 4, cartPos.x());
1919   sqlite3_bind_double(d->findNavsByFreq, 5, cartPos.y());
1920   sqlite3_bind_double(d->findNavsByFreq, 6, cartPos.z());
1921
1922   return d->selectIds(d->findNavsByFreq);
1923 }
1924
1925 PositionedIDVec
1926 NavDataCache::findNavaidsByFreq(int freqKhz, FGPositioned::Filter* aFilter)
1927 {
1928   sqlite3_bind_int(d->findNavsByFreqNoPos, 1, freqKhz);
1929   if (aFilter) {
1930     sqlite3_bind_int(d->findNavsByFreqNoPos, 2, aFilter->minType());
1931     sqlite3_bind_int(d->findNavsByFreqNoPos, 3, aFilter->maxType());
1932   } else { // full type range
1933     sqlite3_bind_int(d->findNavsByFreqNoPos, 2, FGPositioned::NDB);
1934     sqlite3_bind_int(d->findNavsByFreqNoPos, 3, FGPositioned::GS);
1935   }
1936
1937   return d->selectIds(d->findNavsByFreqNoPos);
1938 }
1939
1940 PositionedIDVec
1941 NavDataCache::airportItemsOfType(PositionedID apt,FGPositioned::Type ty,
1942                                  FGPositioned::Type maxTy)
1943 {
1944   if (maxTy == FGPositioned::INVALID) {
1945     maxTy = ty; // single-type range
1946   }
1947
1948   sqlite3_bind_int64(d->getAirportItems, 1, apt);
1949   sqlite3_bind_int(d->getAirportItems, 2, ty);
1950   sqlite3_bind_int(d->getAirportItems, 3, maxTy);
1951
1952   return d->selectIds(d->getAirportItems);
1953 }
1954
1955 PositionedID
1956 NavDataCache::airportItemWithIdent(PositionedID apt, FGPositioned::Type ty,
1957                                    const std::string& ident)
1958 {
1959   sqlite3_bind_int64(d->getAirportItemByIdent, 1, apt);
1960   sqlite_bind_stdstring(d->getAirportItemByIdent, 2, ident);
1961   sqlite3_bind_int(d->getAirportItemByIdent, 3, ty);
1962   PositionedID result = 0;
1963
1964   if (d->execSelect(d->getAirportItemByIdent)) {
1965     result = sqlite3_column_int64(d->getAirportItemByIdent, 0);
1966   }
1967
1968   d->reset(d->getAirportItemByIdent);
1969   return result;
1970 }
1971
1972 AirportRunwayPair
1973 NavDataCache::findAirportRunway(const std::string& aName)
1974 {
1975   if (aName.empty()) {
1976     return AirportRunwayPair();
1977   }
1978
1979   string_list parts = simgear::strutils::split(aName);
1980   if (parts.size() < 2) {
1981     SG_LOG(SG_NAVCACHE, SG_WARN, "findAirportRunway: malformed name:" << aName);
1982     return AirportRunwayPair();
1983   }
1984
1985   AirportRunwayPair result;
1986   sqlite_bind_stdstring(d->findAirportRunway, 1, parts[0]);
1987   sqlite_bind_stdstring(d->findAirportRunway, 2, parts[1]);
1988
1989   if (d->execSelect(d->findAirportRunway)) {
1990     result = AirportRunwayPair(sqlite3_column_int64(d->findAirportRunway, 0),
1991                       sqlite3_column_int64(d->findAirportRunway, 1));
1992
1993   } else {
1994     SG_LOG(SG_NAVCACHE, SG_WARN, "findAirportRunway: unknown airport/runway:" << aName);
1995   }
1996
1997   d->reset(d->findAirportRunway);
1998   return result;
1999 }
2000
2001 PositionedID
2002 NavDataCache::findILS(PositionedID airport, const string& runway, const string& navIdent)
2003 {
2004   sqlite_bind_stdstring(d->findILS, 1, navIdent);
2005   sqlite3_bind_int64(d->findILS, 2, airport);
2006   sqlite_bind_stdstring(d->findILS, 3, runway);
2007   PositionedID result = 0;
2008   if (d->execSelect(d->findILS)) {
2009     result = sqlite3_column_int64(d->findILS, 0);
2010   }
2011
2012   d->reset(d->findILS);
2013   return result;
2014 }
2015
2016 int NavDataCache::findAirway(int network, const string& aName)
2017 {
2018   sqlite3_bind_int(d->findAirway, 1, network);
2019   sqlite_bind_stdstring(d->findAirway, 2, aName);
2020
2021   int airway = 0;
2022   if (d->execSelect(d->findAirway)) {
2023     // already exists
2024     airway = sqlite3_column_int(d->findAirway, 0);
2025   } else {
2026     sqlite_bind_stdstring(d->insertAirway, 1, aName);
2027     sqlite3_bind_int(d->insertAirway, 2, network);
2028     airway = d->execInsert(d->insertAirway);
2029   }
2030
2031   d->reset(d->findAirway);
2032   return airway;
2033 }
2034
2035 void NavDataCache::insertEdge(int network, int airwayID, PositionedID from, PositionedID to)
2036 {
2037   // assume all edges are bidirectional for the moment
2038   for (int i=0; i<2; ++i) {
2039     sqlite3_bind_int(d->insertAirwayEdge, 1, network);
2040     sqlite3_bind_int(d->insertAirwayEdge, 2, airwayID);
2041     sqlite3_bind_int64(d->insertAirwayEdge, 3, from);
2042     sqlite3_bind_int64(d->insertAirwayEdge, 4, to);
2043     d->execInsert(d->insertAirwayEdge);
2044
2045     std::swap(from, to);
2046   }
2047 }
2048
2049 bool NavDataCache::isInAirwayNetwork(int network, PositionedID pos)
2050 {
2051   sqlite3_bind_int(d->isPosInAirway, 1, network);
2052   sqlite3_bind_int64(d->isPosInAirway, 2, pos);
2053   bool ok = d->execSelect(d->isPosInAirway);
2054   d->reset(d->isPosInAirway);
2055
2056   return ok;
2057 }
2058
2059 AirwayEdgeVec NavDataCache::airwayEdgesFrom(int network, PositionedID pos)
2060 {
2061   sqlite3_bind_int(d->airwayEdgesFrom, 1, network);
2062   sqlite3_bind_int64(d->airwayEdgesFrom, 2, pos);
2063
2064   AirwayEdgeVec result;
2065   while (d->stepSelect(d->airwayEdgesFrom)) {
2066     result.push_back(AirwayEdge(
2067                      sqlite3_column_int(d->airwayEdgesFrom, 0),
2068                      sqlite3_column_int64(d->airwayEdgesFrom, 1)
2069                      ));
2070   }
2071
2072   d->reset(d->airwayEdgesFrom);
2073   return result;
2074 }
2075
2076 PositionedID NavDataCache::findNavaidForRunway(PositionedID runway, FGPositioned::Type ty)
2077 {
2078   sqlite3_bind_int64(d->findNavaidForRunway, 1, runway);
2079   sqlite3_bind_int(d->findNavaidForRunway, 2, ty);
2080
2081   PositionedID result = 0;
2082   if (d->execSelect(d->findNavaidForRunway)) {
2083     result = sqlite3_column_int64(d->findNavaidForRunway, 0);
2084   }
2085
2086   d->reset(d->findNavaidForRunway);
2087   return result;
2088 }
2089
2090 PositionedID
2091 NavDataCache::insertParking(const std::string& name, const SGGeod& aPos,
2092                             PositionedID aAirport,
2093                            double aHeading, int aRadius, const std::string& aAircraftType,
2094                            const std::string& aAirlines)
2095 {
2096   sqlite3_int64 rowId = d->insertPositioned(FGPositioned::PARKING, name, "", aPos, aAirport, false);
2097
2098 // we need to insert a row into the taxi_node table, otherwise we can't maintain
2099 // the appropriate pushback flag.
2100   sqlite3_bind_int64(d->insertTaxiNode, 1, rowId);
2101   sqlite3_bind_int(d->insertTaxiNode, 2, 0);
2102   sqlite3_bind_int(d->insertTaxiNode, 3, 0);
2103   d->execInsert(d->insertTaxiNode);
2104
2105   sqlite3_bind_int64(d->insertParkingPos, 1, rowId);
2106   sqlite3_bind_double(d->insertParkingPos, 2, aHeading);
2107   sqlite3_bind_int(d->insertParkingPos, 3, aRadius);
2108   sqlite_bind_stdstring(d->insertParkingPos, 4, aAircraftType);
2109   sqlite_bind_stdstring(d->insertParkingPos, 5, aAirlines);
2110   return d->execInsert(d->insertParkingPos);
2111 }
2112
2113 void NavDataCache::setParkingPushBackRoute(PositionedID parking, PositionedID pushBackNode)
2114 {
2115   sqlite3_bind_int64(d->setParkingPushBack, 1, parking);
2116   sqlite3_bind_int64(d->setParkingPushBack, 2, pushBackNode);
2117   d->execUpdate(d->setParkingPushBack);
2118 }
2119
2120 PositionedID
2121 NavDataCache::insertTaxiNode(const SGGeod& aPos, PositionedID aAirport, int aHoldType, bool aOnRunway)
2122 {
2123   sqlite3_int64 rowId = d->insertPositioned(FGPositioned::TAXI_NODE, string(), string(), aPos, aAirport, false);
2124   sqlite3_bind_int64(d->insertTaxiNode, 1, rowId);
2125   sqlite3_bind_int(d->insertTaxiNode, 2, aHoldType);
2126   sqlite3_bind_int(d->insertTaxiNode, 3, aOnRunway);
2127   return d->execInsert(d->insertTaxiNode);
2128 }
2129
2130 void NavDataCache::insertGroundnetEdge(PositionedID aAirport, PositionedID from, PositionedID to)
2131 {
2132   sqlite3_bind_int64(d->insertTaxiEdge, 1, aAirport);
2133   sqlite3_bind_int64(d->insertTaxiEdge, 2, from);
2134   sqlite3_bind_int64(d->insertTaxiEdge, 3, to);
2135   d->execInsert(d->insertTaxiEdge);
2136 }
2137
2138 PositionedIDVec NavDataCache::groundNetNodes(PositionedID aAirport, bool onlyPushback)
2139 {
2140   sqlite3_stmt_ptr q = onlyPushback ? d->airportPushbackNodes : d->airportTaxiNodes;
2141   sqlite3_bind_int64(q, 1, aAirport);
2142   return d->selectIds(q);
2143 }
2144
2145 void NavDataCache::markGroundnetAsPushback(PositionedID nodeId)
2146 {
2147   sqlite3_bind_int64(d->markTaxiNodeAsPushback, 1, nodeId);
2148   d->execUpdate(d->markTaxiNodeAsPushback);
2149 }
2150
2151 static double headingDifferenceDeg(double crs1, double crs2)
2152 {
2153   double diff =  crs2 - crs1;
2154   SG_NORMALIZE_RANGE(diff, -180.0, 180.0);
2155   return diff;
2156 }
2157
2158 PositionedID NavDataCache::findGroundNetNode(PositionedID airport, const SGGeod& aPos,
2159                                              bool onRunway, FGRunway* aRunway)
2160 {
2161   sqlite3_stmt_ptr q = onRunway ? d->findNearestRunwayTaxiNode : d->findNearestTaxiNode;
2162   sqlite3_bind_int64(q, 1, airport);
2163
2164   SGVec3d cartPos(SGVec3d::fromGeod(aPos));
2165   sqlite3_bind_double(q, 2, cartPos.x());
2166   sqlite3_bind_double(q, 3, cartPos.y());
2167   sqlite3_bind_double(q, 4, cartPos.z());
2168
2169   PositionedID result = 0;
2170   while (d->execSelect(q)) {
2171     PositionedID id = sqlite3_column_int64(q, 0);
2172     if (!aRunway) {
2173       result = id;
2174       break;
2175     }
2176
2177   // ensure found node lies on the runway
2178     FGPositionedRef node = loadById(id);
2179     double course = SGGeodesy::courseDeg(node->geod(), aRunway->end());
2180     if (fabs(headingDifferenceDeg(course, aRunway->headingDeg())) < 3.0 ) {
2181       result = id;
2182       break;
2183     }
2184   }
2185
2186   d->reset(q);
2187   return result;
2188 }
2189
2190 PositionedIDVec NavDataCache::groundNetEdgesFrom(PositionedID pos, bool onlyPushback)
2191 {
2192   sqlite3_stmt_ptr q = onlyPushback ? d->pushbackEdgesFrom : d->taxiEdgesFrom;
2193   sqlite3_bind_int64(q, 1, pos);
2194   return d->selectIds(q);
2195 }
2196
2197 PositionedIDVec NavDataCache::findAirportParking(PositionedID airport, const std::string& flightType,
2198                                    int radius)
2199 {
2200   sqlite3_bind_int64(d->findAirportParking, 1, airport);
2201   sqlite3_bind_int(d->findAirportParking, 2, radius);
2202   sqlite_bind_stdstring(d->findAirportParking, 3, flightType);
2203
2204   return d->selectIds(d->findAirportParking);
2205 }
2206
2207 void NavDataCache::dropGroundnetFor(PositionedID aAirport)
2208 {
2209   sqlite3_stmt_ptr q = d->prepare("DELETE FROM parking WHERE rowid IN (SELECT rowid FROM positioned WHERE type=?1 AND airport=?2)");
2210   sqlite3_bind_int(q, 1, FGPositioned::PARKING);
2211   sqlite3_bind_int64(q, 2, aAirport);
2212   d->execUpdate(q);
2213
2214   q = d->prepare("DELETE FROM taxi_node WHERE rowid IN (SELECT rowid FROM positioned WHERE (type=?1 OR type=?2) AND airport=?3)");
2215   sqlite3_bind_int(q, 1, FGPositioned::TAXI_NODE);
2216   sqlite3_bind_int(q, 2, FGPositioned::PARKING);
2217   sqlite3_bind_int64(q, 3, aAirport);
2218   d->execUpdate(q);
2219
2220   q = d->prepare("DELETE FROM positioned WHERE (type=?1 OR type=?2) AND airport=?3");
2221   sqlite3_bind_int(q, 1, FGPositioned::TAXI_NODE);
2222   sqlite3_bind_int(q, 2, FGPositioned::PARKING);
2223   sqlite3_bind_int64(q, 3, aAirport);
2224   d->execUpdate(q);
2225
2226   q = d->prepare("DELETE FROM groundnet_edge WHERE airport=?1");
2227   sqlite3_bind_int64(q, 1, aAirport);
2228   d->execUpdate(q);
2229 }
2230
2231 /////////////////////////////////////////////////////////////////////////////////////////
2232 // Transaction RAII object
2233
2234 NavDataCache::Transaction::Transaction(NavDataCache* cache) :
2235     _instance(cache),
2236     _committed(false)
2237 {
2238     assert(cache);
2239     _instance->beginTransaction();
2240 }
2241
2242 NavDataCache::Transaction::~Transaction()
2243 {
2244     if (!_committed) {
2245         SG_LOG(SG_NAVCACHE, SG_INFO, "aborting cache transaction!");
2246         _instance->abortTransaction();
2247     }
2248 }
2249
2250 void NavDataCache::Transaction::commit()
2251 {
2252     assert(!_committed);
2253     _committed = true;
2254     _instance->commitTransaction();
2255 }
2256
2257 } // of namespace flightgear
2258