src/Navaids/NavDataCache.cxx

   1 // NavDataCache.cxx - defines a unified binary cache for navigation
   2 // data, parsed from various text / XML sources.
   3
   4 // Written by James Turner, started 2012.
   5 //
   6 // Copyright (C) 2012  James Turner
   7 //
   8 // This program is free software; you can redistribute it and/or
   9 // modify it under the terms of the GNU General Public License as
  10 // published by the Free Software Foundation; either version 2 of the
  11 // License, or (at your option) any later version.
  12 //
  13 // This program is distributed in the hope that it will be useful, but
  14 // WITHOUT ANY WARRANTY; without even the implied warranty of
  15 // MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
  16 // General Public License for more details.
  17 //
  18 // You should have received a copy of the GNU General Public License
  19 // along with this program; if not, write to the Free Software
  20 // Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA  02110-1301, USA.
  21
  22 #ifdef HAVE_CONFIG_H
  23 # include "config.h"
  24 #endif
  25
  26 #include "NavDataCache.hxx"
  27
  28 // std
  29 #include <map>
  30 #include <cassert>
  31 #include <stdint.h> // for int64_t
  32 // boost
  33 #include <boost/foreach.hpp>
  34
  35
  36 #ifdef SYSTEM_SQLITE
  37 // the standard sqlite3.h doesn't give a way to set SQLITE_UINT64_TYPE,
  38 // so we have to hope sizeof(int64_t) matches sizeof(sqlite3_int64).
  39 // otherwise things will go bad quickly.
  40   #include "sqlite3.h"
  41 #else
  42 // to ensure compatability between sqlite3_int64 and PositionedID,
  43 // force the type used by sqlite to match PositionedID explicitly
  44 #define SQLITE_INT64_TYPE int64_t
  45 #define SQLITE_UINT64_TYPE uint64_t
  46
  47   #include "fg_sqlite3.h"
  48 #endif
  49
  50 // SimGear
  51 #include <simgear/sg_inlines.h>
  52 #include <simgear/structure/exception.hxx>
  53 #include <simgear/debug/logstream.hxx>
  54 #include <simgear/bucket/newbucket.hxx>
  55 #include <simgear/misc/sg_path.hxx>
  56 #include <simgear/misc/strutils.hxx>
  57 #include <simgear/threads/SGThread.hxx>
  58 #include <simgear/threads/SGGuard.hxx>
  59
  60 #include <Main/globals.hxx>
  61 #include <Main/fg_props.hxx>
  62 #include <Main/options.hxx>
  63 #include "markerbeacon.hxx"
  64 #include "navrecord.hxx"
  65 #include <Airports/airport.hxx>
  66 #include <Airports/runways.hxx>
  67 #include <ATC/CommStation.hxx>
  68 #include "fix.hxx"
  69 #include <Navaids/fixlist.hxx>
  70 #include <Navaids/navdb.hxx>
  71 #include "PositionedOctree.hxx"
  72 #include <Airports/apt_loader.hxx>
  73 #include <Navaids/airways.hxx>
  74 #include "poidb.hxx"
  75 #include <Airports/parking.hxx>
  76 #include <Airports/gnnode.hxx>
  77 #include "CacheSchema.h"
  78
  79 using std::string;
  80
  81 #define SG_NAVCACHE SG_NAVAID
  82 //#define LAZY_OCTREE_UPDATES 1
  83
  84 namespace {
  85
  86 const int MAX_RETRIES = 10;
  87
  88 const int CACHE_SIZE_KBYTES= 32 * 1024;
  89
  90 // bind a std::string to a sqlite statement. The std::string must live the
  91 // entire duration of the statement execution - do not pass a temporary
  92 // std::string, or the compiler may delete it, freeing the C-string storage,
  93 // and causing subtle memory corruption bugs!
  94 void sqlite_bind_stdstring(sqlite3_stmt* stmt, int value, const std::string& s)
  95 {
  96   sqlite3_bind_text(stmt, value, s.c_str(), s.length(), SQLITE_STATIC);
  97 }
  98
  99 // variant of the above, which does not care about the lifetime of the
 100 // passed std::string
 101 void sqlite_bind_temp_stdstring(sqlite3_stmt* stmt, int value, const std::string& s)
 102 {
 103   sqlite3_bind_text(stmt, value, s.c_str(), s.length(), SQLITE_TRANSIENT);
 104 }
 105
 106 typedef sqlite3_stmt* sqlite3_stmt_ptr;
 107
 108 void f_distanceCartSqrFunction(sqlite3_context* ctx, int argc, sqlite3_value* argv[])
 109 {
 110   if (argc != 6) {
 111     return;
 112   }
 113
 114   SGVec3d posA(sqlite3_value_double(argv[0]),
 115                sqlite3_value_double(argv[1]),
 116                sqlite3_value_double(argv[2]));
 117
 118   SGVec3d posB(sqlite3_value_double(argv[3]),
 119                sqlite3_value_double(argv[4]),
 120                sqlite3_value_double(argv[5]));
 121   sqlite3_result_double(ctx, distSqr(posA, posB));
 122 }
 123
 124
 125 static string cleanRunwayNo(const string& aRwyNo)
 126 {
 127   if (aRwyNo[0] == 'x') {
 128     return string(); // no ident for taxiways
 129   }
 130
 131   string result(aRwyNo);
 132   // canonicalise runway ident
 133   if ((aRwyNo.size() == 1) || !isdigit(aRwyNo[1])) {
 134     result = "0" + aRwyNo;
 135   }
 136
 137   // trim off trailing garbage
 138   if (result.size() > 2) {
 139     char suffix = toupper(result[2]);
 140     if (suffix == 'X') {
 141       result = result.substr(0, 2);
 142     }
 143   }
 144
 145   return result;
 146 }
 147
 148 } // anonymous namespace
 149
 150 namespace flightgear
 151 {
 152
 153 /**
 154  * Thread encapsulating a cache rebuild. This is not used to parallelise
 155  * the rebuild - we must still wait until completion before doing other
 156  * startup, since many things rely on a complete cache. The thread is used
 157  * so we don't block the main event loop for an unacceptable duration,
 158  * which causes 'not responding' / spinning beachballs on Windows & Mac
 159  */
 160 class RebuildThread : public SGThread
 161 {
 162 public:
 163   RebuildThread(NavDataCache* cache) :
 164   _cache(cache),
 165     _phase(NavDataCache::REBUILD_UNKNOWN),
 166     _completionPercent(0),
 167   _isFinished(false)
 168   {
 169
 170   }
 171
 172   bool isFinished() const
 173   {
 174     SGGuard<SGMutex> g(_lock);
 175     return _isFinished;
 176   }
 177
 178   virtual void run()
 179   {
 180     SGTimeStamp st;
 181     st.stamp();
 182     _cache->doRebuild();
 183     SG_LOG(SG_NAVCACHE, SG_INFO, "cache rebuild took:" << st.elapsedMSec() << "msec");
 184
 185     SGGuard<SGMutex> g(_lock);
 186     _isFinished = true;
 187     _phase = NavDataCache::REBUILD_DONE;
 188   }
 189
 190     NavDataCache::RebuildPhase currentPhase() const
 191     {
 192         NavDataCache::RebuildPhase ph;
 193         SGGuard<SGMutex> g(_lock);
 194         ph = _phase;
 195         return ph;
 196     }
 197
 198     unsigned int completionPercent() const
 199     {
 200         unsigned int perc = 0;
 201         SGGuard<SGMutex> g(_lock);
 202         perc = _completionPercent;
 203         return perc;
 204     }
 205
 206     void setProgress(NavDataCache::RebuildPhase ph, unsigned int percent)
 207     {
 208         SGGuard<SGMutex> g(_lock);
 209         _phase = ph;
 210         _completionPercent = percent;
 211     }
 212
 213 private:
 214   NavDataCache* _cache;
 215     NavDataCache::RebuildPhase _phase;
 216     unsigned int _completionPercent;
 217   mutable SGMutex _lock;
 218   bool _isFinished;
 219 };
 220
 221 ////////////////////////////////////////////////////////////////////////////
 222
 223 typedef std::map<PositionedID, FGPositionedRef> PositionedCache;
 224
 225 class AirportTower : public FGPositioned
 226 {
 227 public:
 228   AirportTower(PositionedID& guid, PositionedID airport,
 229                const string& ident, const SGGeod& pos) :
 230     FGPositioned(guid, FGPositioned::TOWER, ident, pos)
 231   {
 232   }
 233 };
 234
 235 class NavDataCache::NavDataCachePrivate
 236 {
 237 public:
 238   NavDataCachePrivate(const SGPath& p, NavDataCache* o) :
 239     outer(o),
 240     db(NULL),
 241     path(p),
 242     readOnly(false),
 243     cacheHits(0),
 244     cacheMisses(0),
 245     transactionLevel(0),
 246     transactionAborted(false)
 247   {
 248   }
 249
 250   ~NavDataCachePrivate()
 251   {
 252     close();
 253   }
 254
 255   void init()
 256   {
 257     SG_LOG(SG_NAVCACHE, SG_INFO, "NavCache at:" << path);
 258
 259       readOnly = fgGetBool("/sim/fghome-readonly", false);
 260
 261       int openFlags = readOnly ? SQLITE_OPEN_READONLY :
 262         SQLITE_OPEN_READWRITE | SQLITE_OPEN_CREATE;
 263       // see http://code.google.com/p/flightgear-bugs/issues/detail?id=1055
 264       // for the UTF8 / path logic here
 265         std::string pathUtf8 = simgear::strutils::convertWindowsLocal8BitToUtf8(path.str());
 266     sqlite3_open_v2(pathUtf8.c_str(), &db, openFlags, NULL);
 267
 268     sqlite3_stmt_ptr checkTables =
 269       prepare("SELECT count(*) FROM sqlite_master WHERE name='properties'");
 270
 271     sqlite3_create_function(db, "distanceCartSqr", 6, SQLITE_ANY, NULL,
 272                             f_distanceCartSqrFunction, NULL, NULL);
 273
 274     execSelect(checkTables);
 275     bool didCreate = false;
 276     if (!readOnly && (sqlite3_column_int(checkTables, 0) == 0)) {
 277       SG_LOG(SG_NAVCACHE, SG_INFO, "will create tables");
 278       initTables();
 279       didCreate = true;
 280     }
 281
 282     readPropertyQuery = prepare("SELECT value FROM properties WHERE key=?");
 283     writePropertyQuery = prepare("INSERT INTO properties (key, value) VALUES (?,?)");
 284     clearProperty = prepare("DELETE FROM properties WHERE key=?1");
 285
 286     if (didCreate) {
 287       writeIntProperty("schema-version", SCHEMA_VERSION);
 288     } else {
 289       int schemaVersion = outer->readIntProperty("schema-version");
 290       if (schemaVersion != SCHEMA_VERSION) {
 291         SG_LOG(SG_NAVCACHE, SG_INFO, "Navcache schema mismatch, will rebuild");
 292         throw sg_exception("Navcache schema has changed");
 293       }
 294     }
 295
 296     // see http://www.sqlite.org/pragma.html#pragma_cache_size
 297     // for the details, small cache would cause thrashing.
 298     std::ostringstream q;
 299     q << "PRAGMA cache_size=-" << CACHE_SIZE_KBYTES << ";";
 300     runSQL(q.str());
 301     prepareQueries();
 302   }
 303
 304   void close()
 305   {
 306     BOOST_FOREACH(sqlite3_stmt_ptr stmt, prepared) {
 307       sqlite3_finalize(stmt);
 308     }
 309     prepared.clear();
 310     sqlite3_close(db);
 311   }
 312
 313   void checkCacheFile()
 314   {
 315     SG_LOG(SG_NAVCACHE, SG_INFO, "running DB integrity check");
 316     SGTimeStamp st;
 317     st.stamp();
 318
 319     sqlite3_stmt_ptr stmt = prepare("PRAGMA quick_check(1)");
 320     if (!execSelect(stmt)) {
 321       throw sg_exception("DB integrity check failed to run");
 322     }
 323
 324     string v = (char*) sqlite3_column_text(stmt, 0);
 325     if (v != "ok") {
 326       throw sg_exception("DB integrity check returned:" + v);
 327     }
 328
 329     SG_LOG(SG_NAVCACHE, SG_INFO, "NavDataCache integrity check took:" << st.elapsedMSec());
 330     finalize(stmt);
 331   }
 332
 333   bool isCachedFileModified(const SGPath& path, bool verbose);
 334
 335   void callSqlite(int result, const string& sql)
 336   {
 337     if (result == SQLITE_OK)
 338       return; // all good
 339
 340     string errMsg;
 341     if (result == SQLITE_MISUSE) {
 342       errMsg = "Sqlite API abuse";
 343       SG_LOG(SG_NAVCACHE, SG_ALERT, "Sqlite API abuse");
 344     } else {
 345       errMsg = sqlite3_errmsg(db);
 346       SG_LOG(SG_NAVCACHE, SG_ALERT, "Sqlite error:" << errMsg << " running:\n\t" << sql);
 347     }
 348
 349     throw sg_exception("Sqlite error:" + errMsg, sql);
 350   }
 351
 352   void runSQL(const string& sql)
 353   {
 354     sqlite3_stmt_ptr stmt;
 355     callSqlite(sqlite3_prepare_v2(db, sql.c_str(), sql.length(), &stmt, NULL), sql);
 356
 357     try {
 358       execSelect(stmt);
 359     } catch (sg_exception&) {
 360       sqlite3_finalize(stmt);
 361       throw; // re-throw
 362     }
 363
 364     sqlite3_finalize(stmt);
 365   }
 366
 367   sqlite3_stmt_ptr prepare(const string& sql)
 368   {
 369     sqlite3_stmt_ptr stmt;
 370     callSqlite(sqlite3_prepare_v2(db, sql.c_str(), sql.length(), &stmt, NULL), sql);
 371     prepared.push_back(stmt);
 372     return stmt;
 373   }
 374
 375   void finalize(sqlite3_stmt_ptr s)
 376   {
 377     StmtVec::iterator it = std::find(prepared.begin(), prepared.end(), s);
 378     if (it == prepared.end()) {
 379       throw sg_exception("Finalising statement that was not prepared");
 380     }
 381
 382     prepared.erase(it);
 383     sqlite3_finalize(s);
 384   }
 385
 386   void reset(sqlite3_stmt_ptr stmt)
 387   {
 388     assert(stmt);
 389     if (sqlite3_reset(stmt) != SQLITE_OK) {
 390       string errMsg = sqlite3_errmsg(db);
 391       SG_LOG(SG_NAVCACHE, SG_ALERT, "Sqlite error resetting:" << errMsg);
 392       throw sg_exception("Sqlite error resetting:" + errMsg, sqlite3_sql(stmt));
 393     }
 394   }
 395
 396   bool execSelect(sqlite3_stmt_ptr stmt)
 397   {
 398     return stepSelect(stmt);
 399   }
 400
 401   bool stepSelect(sqlite3_stmt_ptr stmt)
 402   {
 403     int retries = 0;
 404     int result;
 405     while (retries < MAX_RETRIES) {
 406       result = sqlite3_step(stmt);
 407       if (result == SQLITE_ROW) {
 408         return true; // at least one result row
 409       }
 410
 411       if (result == SQLITE_DONE) {
 412         return false; // no result rows
 413       }
 414
 415       if (result != SQLITE_BUSY) {
 416         break;
 417       }
 418
 419       SG_LOG(SG_NAVCACHE, SG_ALERT, "NavCache contention on select, will retry:" << retries);
 420       SGTimeStamp::sleepForMSec(++retries * 10);
 421     } // of retry loop for DB locked
 422
 423     if (retries >= MAX_RETRIES) {
 424       SG_LOG(SG_NAVCACHE, SG_ALERT, "exceeded maximum number of SQLITE_BUSY retries");
 425       return false;
 426     }
 427
 428     string errMsg;
 429     if (result == SQLITE_MISUSE) {
 430       errMsg = "Sqlite API abuse";
 431       SG_LOG(SG_NAVCACHE, SG_ALERT, "Sqlite API abuse");
 432     } else {
 433       errMsg = sqlite3_errmsg(db);
 434       SG_LOG(SG_NAVCACHE, SG_ALERT, "Sqlite error:" << errMsg << " (" << result
 435              << ") while running:\n\t" << sqlite3_sql(stmt));
 436     }
 437
 438     throw sg_exception("Sqlite error:" + errMsg, sqlite3_sql(stmt));
 439   }
 440
 441   void execSelect1(sqlite3_stmt_ptr stmt)
 442   {
 443     if (!execSelect(stmt)) {
 444       SG_LOG(SG_NAVCACHE, SG_WARN, "empty SELECT running:\n\t" << sqlite3_sql(stmt));
 445       throw sg_exception("no results returned for select", sqlite3_sql(stmt));
 446     }
 447   }
 448
 449   sqlite3_int64 execInsert(sqlite3_stmt_ptr stmt)
 450   {
 451     execSelect(stmt);
 452     sqlite3_int64 rowid = sqlite3_last_insert_rowid(db);
 453     reset(stmt);
 454     return rowid;
 455   }
 456
 457   void execUpdate(sqlite3_stmt_ptr stmt)
 458   {
 459     execSelect(stmt);
 460     reset(stmt);
 461   }
 462
 463   void initTables()
 464   {
 465       string_list commands = simgear::strutils::split(SCHEMA_SQL, ";");
 466       BOOST_FOREACH(std::string sql, commands) {
 467           if (sql.empty()) {
 468               continue;
 469           }
 470
 471           runSQL(sql);
 472       } // of commands in scheme loop
 473   }
 474
 475   void prepareQueries()
 476   {
 477     writePropertyMulti = prepare("INSERT INTO properties (key, value) VALUES(?1,?2)");
 478
 479     beginTransactionStmt = prepare("BEGIN");
 480     commitTransactionStmt = prepare("COMMIT");
 481     rollbackTransactionStmt = prepare("ROLLBACK");
 482
 483
 484 #define POSITIONED_COLS "rowid, type, ident, name, airport, lon, lat, elev_m, octree_node"
 485 #define AND_TYPED "AND type>=?2 AND type <=?3"
 486     statCacheCheck = prepare("SELECT stamp FROM stat_cache WHERE path=?");
 487     stampFileCache = prepare("INSERT OR REPLACE INTO stat_cache "
 488                              "(path, stamp) VALUES (?,?)");
 489
 490     loadPositioned = prepare("SELECT " POSITIONED_COLS " FROM positioned WHERE rowid=?");
 491     loadAirportStmt = prepare("SELECT has_metar FROM airport WHERE rowid=?");
 492     loadNavaid = prepare("SELECT range_nm, freq, multiuse, runway, colocated FROM navaid WHERE rowid=?");
 493     loadCommStation = prepare("SELECT freq_khz, range_nm FROM comm WHERE rowid=?");
 494     loadRunwayStmt = prepare("SELECT heading, length_ft, width_m, surface, displaced_threshold,"
 495                              "stopway, reciprocal, ils FROM runway WHERE rowid=?1");
 496
 497     getAirportItems = prepare("SELECT rowid FROM positioned WHERE airport=?1 " AND_TYPED);
 498
 499
 500     setAirportMetar = prepare("UPDATE airport SET has_metar=?2 WHERE rowid="
 501                               "(SELECT rowid FROM positioned WHERE ident=?1 AND type>=?3 AND type <=?4)");
 502     sqlite3_bind_int(setAirportMetar, 3, FGPositioned::AIRPORT);
 503     sqlite3_bind_int(setAirportMetar, 4, FGPositioned::SEAPORT);
 504
 505     setRunwayReciprocal = prepare("UPDATE runway SET reciprocal=?2 WHERE rowid=?1");
 506     setRunwayILS = prepare("UPDATE runway SET ils=?2 WHERE rowid=?1");
 507     setNavaidColocated = prepare("UPDATE navaid SET colocated=?2 WHERE rowid=?1");
 508
 509     insertPositionedQuery = prepare("INSERT INTO positioned "
 510                                     "(type, ident, name, airport, lon, lat, elev_m, octree_node, "
 511                                     "cart_x, cart_y, cart_z)"
 512                                     " VALUES (?1, ?2, ?3, ?4, ?5, ?6, ?7, ?8, ?9, ?10, ?11)");
 513
 514     setAirportPos = prepare("UPDATE positioned SET lon=?2, lat=?3, elev_m=?4, octree_node=?5, "
 515                             "cart_x=?6, cart_y=?7, cart_z=?8 WHERE rowid=?1");
 516     insertAirport = prepare("INSERT INTO airport (rowid, has_metar) VALUES (?, ?)");
 517     insertNavaid = prepare("INSERT INTO navaid (rowid, freq, range_nm, multiuse, runway, colocated)"
 518                            " VALUES (?1, ?2, ?3, ?4, ?5, ?6)");
 519
 520     insertCommStation = prepare("INSERT INTO comm (rowid, freq_khz, range_nm)"
 521                                 " VALUES (?, ?, ?)");
 522     insertRunway = prepare("INSERT INTO runway "
 523                            "(rowid, heading, length_ft, width_m, surface, displaced_threshold, stopway, reciprocal)"
 524                            " VALUES (?1, ?2, ?3, ?4, ?5, ?6, ?7, ?8)");
 525     runwayLengthFtQuery = prepare("SELECT length_ft FROM runway WHERE rowid=?1");
 526
 527     removePOIQuery = prepare("DELETE FROM positioned WHERE type=?1 AND ident=?2");
 528
 529   // query statement
 530     findClosestWithIdent = prepare("SELECT rowid FROM positioned WHERE ident=?1 "
 531                                    AND_TYPED " ORDER BY distanceCartSqr(cart_x, cart_y, cart_z, ?4, ?5, ?6)");
 532
 533     findCommByFreq = prepare("SELECT positioned.rowid FROM positioned, comm WHERE "
 534                              "positioned.rowid=comm.rowid AND freq_khz=?1 "
 535                              AND_TYPED " ORDER BY distanceCartSqr(cart_x, cart_y, cart_z, ?4, ?5, ?6)");
 536
 537     findNavsByFreq = prepare("SELECT positioned.rowid FROM positioned, navaid WHERE "
 538                              "positioned.rowid=navaid.rowid "
 539                              "AND navaid.freq=?1 " AND_TYPED
 540                              " ORDER BY distanceCartSqr(cart_x, cart_y, cart_z, ?4, ?5, ?6)");
 541
 542     findNavsByFreqNoPos = prepare("SELECT positioned.rowid FROM positioned, navaid WHERE "
 543                                   "positioned.rowid=navaid.rowid AND freq=?1 " AND_TYPED);
 544
 545     findNavaidForRunway = prepare("SELECT positioned.rowid FROM positioned, navaid WHERE "
 546                                   "positioned.rowid=navaid.rowid AND runway=?1 AND type=?2");
 547
 548   // for an octree branch, return the child octree nodes which exist,
 549   // described as a bit-mask
 550     getOctreeChildren = prepare("SELECT children FROM octree WHERE rowid=?1");
 551
 552 #ifdef LAZY_OCTREE_UPDATES
 553     updateOctreeChildren = prepare("UPDATE octree SET children=?2 WHERE rowid=?1");
 554 #else
 555   // mask the new child value into the existing one
 556     updateOctreeChildren = prepare("UPDATE octree SET children=(?2 | children) WHERE rowid=?1");
 557 #endif
 558
 559   // define a new octree node (with no children)
 560     insertOctree = prepare("INSERT INTO octree (rowid, children) VALUES (?1, 0)");
 561
 562     getOctreeLeafChildren = prepare("SELECT rowid, type FROM positioned WHERE octree_node=?1");
 563
 564     searchAirports = prepare("SELECT ident, name FROM positioned WHERE (name LIKE ?1 OR ident LIKE ?1) " AND_TYPED);
 565     sqlite3_bind_int(searchAirports, 2, FGPositioned::AIRPORT);
 566     sqlite3_bind_int(searchAirports, 3, FGPositioned::SEAPORT);
 567
 568     getAllAirports = prepare("SELECT ident, name FROM positioned WHERE type>=?1 AND type <=?2");
 569     sqlite3_bind_int(getAllAirports, 1, FGPositioned::AIRPORT);
 570     sqlite3_bind_int(getAllAirports, 2, FGPositioned::SEAPORT);
 571
 572
 573     getAirportItemByIdent = prepare("SELECT rowid FROM positioned WHERE airport=?1 AND ident=?2 AND type=?3");
 574
 575     findAirportRunway = prepare("SELECT airport, rowid FROM positioned WHERE ident=?2 AND type=?3 AND airport="
 576                                 "(SELECT rowid FROM positioned WHERE type=?4 AND ident=?1)");
 577     sqlite3_bind_int(findAirportRunway, 3, FGPositioned::RUNWAY);
 578     sqlite3_bind_int(findAirportRunway, 4, FGPositioned::AIRPORT);
 579
 580     // three-way join to get the navaid ident and runway ident in a single select.
 581     // we're joining positioned to itself by the navaid runway, with the complication
 582     // that we need to join the navaids table to get the runway ID.
 583     // we also need to filter by type to excluse glideslope (GS) matches
 584     findILS = prepare("SELECT nav.rowid FROM positioned AS nav, positioned AS rwy, navaid WHERE "
 585                       "nav.ident=?1 AND nav.airport=?2 AND rwy.ident=?3 "
 586                       "AND rwy.rowid = navaid.runway AND navaid.rowid=nav.rowid "
 587                       "AND (nav.type=?4 OR nav.type=?5)");
 588
 589     sqlite3_bind_int(findILS, 4, FGPositioned::ILS);
 590     sqlite3_bind_int(findILS, 5, FGPositioned::LOC);
 591
 592   // airways
 593     findAirway = prepare("SELECT rowid FROM airway WHERE network=?1 AND ident=?2");
 594     insertAirway = prepare("INSERT INTO airway (ident, network) "
 595                            "VALUES (?1, ?2)");
 596
 597     insertAirwayEdge = prepare("INSERT INTO airway_edge (network, airway, a, b) "
 598                                "VALUES (?1, ?2, ?3, ?4)");
 599
 600     isPosInAirway = prepare("SELECT rowid FROM airway_edge WHERE network=?1 AND a=?2");
 601
 602     airwayEdgesFrom = prepare("SELECT airway, b FROM airway_edge WHERE network=?1 AND a=?2");
 603
 604   // parking / taxi-node graph
 605     insertTaxiNode = prepare("INSERT INTO taxi_node (rowid, hold_type, on_runway, pushback) VALUES(?1, ?2, ?3, 0)");
 606     insertParkingPos = prepare("INSERT INTO parking (rowid, heading, radius, gate_type, airlines) "
 607                                "VALUES (?1, ?2, ?3, ?4, ?5)");
 608     setParkingPushBack = prepare("UPDATE parking SET pushback=?2 WHERE rowid=?1");
 609
 610     loadTaxiNodeStmt = prepare("SELECT hold_type, on_runway FROM taxi_node WHERE rowid=?1");
 611     loadParkingPos = prepare("SELECT heading, radius, gate_type, airlines, pushback FROM parking WHERE rowid=?1");
 612     taxiEdgesFrom = prepare("SELECT b FROM groundnet_edge WHERE a=?1");
 613     pushbackEdgesFrom = prepare("SELECT b FROM groundnet_edge, taxi_node WHERE "
 614                                 "a=?1 AND groundnet_edge.b = taxi_node.rowid AND pushback=1");
 615
 616     insertTaxiEdge = prepare("INSERT INTO groundnet_edge (airport, a,b) VALUES(?1, ?2, ?3)");
 617
 618     markTaxiNodeAsPushback = prepare("UPDATE taxi_node SET pushback=1 WHERE rowid=?1");
 619     airportTaxiNodes = prepare("SELECT rowid FROM positioned WHERE (type=?2 OR type=?3) AND airport=?1");
 620     sqlite3_bind_int(airportTaxiNodes, 2, FGPositioned::PARKING);
 621     sqlite3_bind_int(airportTaxiNodes, 3, FGPositioned::TAXI_NODE);
 622
 623     airportPushbackNodes = prepare("SELECT positioned.rowid FROM positioned, taxi_node WHERE "\
 624                                    "airport=?1 AND positioned.rowid=taxi_node.rowid AND pushback=1 "
 625                                    "AND (type=?2 OR type=?3)");
 626     sqlite3_bind_int(airportPushbackNodes, 2, FGPositioned::PARKING);
 627     sqlite3_bind_int(airportPushbackNodes, 3, FGPositioned::TAXI_NODE);
 628
 629     findNearestTaxiNode = prepare("SELECT positioned.rowid FROM positioned, taxi_node WHERE "
 630                                   "positioned.rowid = taxi_node.rowid AND airport=?1 "
 631                                   "ORDER BY distanceCartSqr(cart_x, cart_y, cart_z, ?2, ?3, ?4) "
 632                                   "LIMIT 1");
 633
 634     findNearestRunwayTaxiNode = prepare("SELECT positioned.rowid FROM positioned, taxi_node WHERE "
 635                                         "positioned.rowid = taxi_node.rowid AND airport=?1 "
 636                                         "AND on_runway=1 "
 637                                         "ORDER BY distanceCartSqr(cart_x, cart_y, cart_z, ?2, ?3, ?4) ");
 638
 639     findAirportParking = prepare("SELECT positioned.rowid FROM positioned, parking WHERE "
 640                                  "airport=?1 AND type=?4 AND "
 641                                  "radius >= ?2 AND gate_type = ?3 AND "
 642                                  "parking.rowid=positioned.rowid");
 643     sqlite3_bind_int(findAirportParking, 4, FGPositioned::PARKING);
 644   }
 645
 646   void writeIntProperty(const string& key, int value)
 647   {
 648     sqlite_bind_stdstring(clearProperty, 1, key);
 649     execUpdate(clearProperty);
 650
 651     sqlite_bind_stdstring(writePropertyQuery, 1, key);
 652     sqlite3_bind_int(writePropertyQuery, 2, value);
 653     execUpdate(writePropertyQuery);
 654   }
 655
 656
 657   FGPositioned* loadById(sqlite_int64 rowId, sqlite3_int64& aptId);
 658
 659   FGAirport* loadAirport(sqlite_int64 rowId,
 660                          FGPositioned::Type ty,
 661                          const string& id, const string& name, const SGGeod& pos)
 662   {
 663     sqlite3_bind_int64(loadAirportStmt, 1, rowId);
 664     execSelect1(loadAirportStmt);
 665     bool hasMetar = (sqlite3_column_int(loadAirportStmt, 0) > 0);
 666     reset(loadAirportStmt);
 667
 668     return new FGAirport(rowId, id, pos, name, hasMetar, ty);
 669   }
 670
 671   FGRunwayBase* loadRunway(sqlite3_int64 rowId, FGPositioned::Type ty,
 672                            const string& id, const SGGeod& pos, PositionedID apt)
 673   {
 674     sqlite3_bind_int(loadRunwayStmt, 1, rowId);
 675     execSelect1(loadRunwayStmt);
 676
 677     double heading = sqlite3_column_double(loadRunwayStmt, 0);
 678     double lengthM = sqlite3_column_int(loadRunwayStmt, 1);
 679     double widthM = sqlite3_column_double(loadRunwayStmt, 2);
 680     int surface = sqlite3_column_int(loadRunwayStmt, 3);
 681
 682     if (ty == FGPositioned::TAXIWAY) {
 683       reset(loadRunwayStmt);
 684       return new FGTaxiway(rowId, id, pos, heading, lengthM, widthM, surface);
 685     } else if (ty == FGPositioned::HELIPAD) {
 686         reset(loadRunwayStmt);
 687         return new FGHelipad(rowId, apt, id, pos, heading, lengthM, widthM, surface);
 688     } else {
 689       double displacedThreshold = sqlite3_column_double(loadRunwayStmt, 4);
 690       double stopway = sqlite3_column_double(loadRunwayStmt, 5);
 691       PositionedID reciprocal = sqlite3_column_int64(loadRunwayStmt, 6);
 692       PositionedID ils = sqlite3_column_int64(loadRunwayStmt, 7);
 693       FGRunway* r = new FGRunway(rowId, apt, id, pos, heading, lengthM, widthM,
 694                           displacedThreshold, stopway, surface);
 695
 696       if (reciprocal > 0) {
 697         r->setReciprocalRunway(reciprocal);
 698       }
 699
 700       if (ils > 0) {
 701         r->setILS(ils);
 702       }
 703
 704       reset(loadRunwayStmt);
 705       return r;
 706     }
 707   }
 708
 709   CommStation* loadComm(sqlite3_int64 rowId, FGPositioned::Type ty,
 710                         const string& id, const string& name,
 711                         const SGGeod& pos,
 712                         PositionedID airport)
 713   {
 714     sqlite3_bind_int64(loadCommStation, 1, rowId);
 715     execSelect1(loadCommStation);
 716
 717     int range = sqlite3_column_int(loadCommStation, 0);
 718     int freqKhz = sqlite3_column_int(loadCommStation, 1);
 719     reset(loadCommStation);
 720
 721     CommStation* c = new CommStation(rowId, name, ty, pos, freqKhz, range);
 722     c->setAirport(airport);
 723     return c;
 724   }
 725
 726   FGPositioned* loadNav(sqlite3_int64 rowId,
 727                        FGPositioned::Type ty, const string& id,
 728                        const string& name, const SGGeod& pos)
 729   {
 730     sqlite3_bind_int64(loadNavaid, 1, rowId);
 731     execSelect1(loadNavaid);
 732
 733     PositionedID runway = sqlite3_column_int64(loadNavaid, 3);
 734     // marker beacons are light-weight
 735     if ((ty == FGPositioned::OM) || (ty == FGPositioned::IM) ||
 736         (ty == FGPositioned::MM))
 737     {
 738       reset(loadNavaid);
 739       return new FGMarkerBeaconRecord(rowId, ty, runway, pos);
 740     }
 741
 742     int rangeNm = sqlite3_column_int(loadNavaid, 0),
 743     freq = sqlite3_column_int(loadNavaid, 1);
 744     double mulituse = sqlite3_column_double(loadNavaid, 2);
 745     PositionedID colocated = sqlite3_column_int64(loadNavaid, 4);
 746     reset(loadNavaid);
 747
 748     FGNavRecord* n =
 749       (ty == FGPositioned::MOBILE_TACAN)
 750       ? new FGMobileNavRecord
 751             (rowId, ty, id, name, pos, freq, rangeNm, mulituse, runway)
 752       : new FGNavRecord
 753             (rowId, ty, id, name, pos, freq, rangeNm, mulituse, runway);
 754
 755     if (colocated)
 756       n->setColocatedDME(colocated);
 757
 758     return n;
 759   }
 760
 761   FGPositioned* loadParking(sqlite3_int64 rowId,
 762                             const string& name, const SGGeod& pos,
 763                             PositionedID airport)
 764   {
 765     sqlite3_bind_int64(loadParkingPos, 1, rowId);
 766     execSelect1(loadParkingPos);
 767
 768     double heading = sqlite3_column_double(loadParkingPos, 0);
 769     int radius = sqlite3_column_int(loadParkingPos, 1);
 770     string aircraftType((char*) sqlite3_column_text(loadParkingPos, 2));
 771     string airlines((char*) sqlite3_column_text(loadParkingPos, 3));
 772     PositionedID pushBack = sqlite3_column_int64(loadParkingPos, 4);
 773     reset(loadParkingPos);
 774
 775     return new FGParking(rowId, pos, heading, radius, name, aircraftType, airlines, pushBack);
 776   }
 777
 778   FGPositioned* loadTaxiNode(sqlite3_int64 rowId, const SGGeod& pos,
 779                              PositionedID airport)
 780   {
 781     sqlite3_bind_int64(loadTaxiNodeStmt, 1, rowId);
 782     execSelect1(loadTaxiNodeStmt);
 783
 784     int hold_type = sqlite3_column_int(loadTaxiNodeStmt, 0);
 785     bool onRunway = sqlite3_column_int(loadTaxiNodeStmt, 1);
 786     reset(loadTaxiNodeStmt);
 787
 788     return new FGTaxiNode(rowId, pos, onRunway, hold_type);
 789   }
 790
 791   PositionedID insertPositioned(FGPositioned::Type ty, const string& ident,
 792                                 const string& name, const SGGeod& pos, PositionedID apt,
 793                                 bool spatialIndex)
 794   {
 795     SGVec3d cartPos(SGVec3d::fromGeod(pos));
 796
 797     sqlite3_bind_int(insertPositionedQuery, 1, ty);
 798     sqlite_bind_stdstring(insertPositionedQuery, 2, ident);
 799     sqlite_bind_stdstring(insertPositionedQuery, 3, name);
 800     sqlite3_bind_int64(insertPositionedQuery, 4, apt);
 801     sqlite3_bind_double(insertPositionedQuery, 5, pos.getLongitudeDeg());
 802     sqlite3_bind_double(insertPositionedQuery, 6, pos.getLatitudeDeg());
 803     sqlite3_bind_double(insertPositionedQuery, 7, pos.getElevationM());
 804
 805     if (spatialIndex) {
 806       Octree::Leaf* octreeLeaf = Octree::global_spatialOctree->findLeafForPos(cartPos);
 807       assert(intersects(octreeLeaf->bbox(), cartPos));
 808       sqlite3_bind_int64(insertPositionedQuery, 8, octreeLeaf->guid());
 809     } else {
 810       sqlite3_bind_null(insertPositionedQuery, 8);
 811     }
 812
 813     sqlite3_bind_double(insertPositionedQuery, 9, cartPos.x());
 814     sqlite3_bind_double(insertPositionedQuery, 10, cartPos.y());
 815     sqlite3_bind_double(insertPositionedQuery, 11, cartPos.z());
 816
 817     PositionedID r = execInsert(insertPositionedQuery);
 818     return r;
 819   }
 820
 821   FGPositionedList findAllByString(const string& s, const string& column,
 822                                      FGPositioned::Filter* filter, bool exact)
 823   {
 824     string query = s;
 825     if (!exact) query += "%";
 826
 827   // build up SQL query text
 828     string matchTerm = exact ? "=?1" : " LIKE ?1";
 829     string sql = "SELECT rowid FROM positioned WHERE " + column + matchTerm;
 830     if (filter) {
 831       sql += " " AND_TYPED;
 832     }
 833
 834   // find or prepare a suitable statement frrm the SQL
 835     sqlite3_stmt_ptr stmt = findByStringDict[sql];
 836     if (!stmt) {
 837       stmt = prepare(sql);
 838       findByStringDict[sql] = stmt;
 839     }
 840
 841     sqlite_bind_stdstring(stmt, 1, query);
 842     if (filter) {
 843       sqlite3_bind_int(stmt, 2, filter->minType());
 844       sqlite3_bind_int(stmt, 3, filter->maxType());
 845     }
 846
 847     FGPositionedList result;
 848   // run the prepared SQL
 849     while (stepSelect(stmt))
 850     {
 851       FGPositioned* pos = outer->loadById(sqlite3_column_int64(stmt, 0));
 852       if (filter && !filter->pass(pos)) {
 853         continue;
 854       }
 855
 856       result.push_back(pos);
 857     }
 858
 859     reset(stmt);
 860     return result;
 861   }
 862
 863   PositionedIDVec selectIds(sqlite3_stmt_ptr query)
 864   {
 865     PositionedIDVec result;
 866     while (stepSelect(query)) {
 867       result.push_back(sqlite3_column_int64(query, 0));
 868     }
 869     reset(query);
 870     return result;
 871   }
 872
 873   double runwayLengthFt(PositionedID rwy)
 874   {
 875     sqlite3_bind_int64(runwayLengthFtQuery, 1, rwy);
 876     execSelect1(runwayLengthFtQuery);
 877     double length = sqlite3_column_double(runwayLengthFtQuery, 0);
 878     reset(runwayLengthFtQuery);
 879     return length;
 880   }
 881
 882   void flushDeferredOctreeUpdates()
 883   {
 884     BOOST_FOREACH(Octree::Branch* nd, deferredOctreeUpdates) {
 885       sqlite3_bind_int64(updateOctreeChildren, 1, nd->guid());
 886       sqlite3_bind_int(updateOctreeChildren, 2, nd->childMask());
 887       execUpdate(updateOctreeChildren);
 888     }
 889
 890     deferredOctreeUpdates.clear();
 891   }
 892
 893   void removePositionedWithIdent(FGPositioned::Type ty, const std::string& aIdent)
 894   {
 895     sqlite3_bind_int(removePOIQuery, 1, ty);
 896     sqlite_bind_stdstring(removePOIQuery, 2, aIdent);
 897     execUpdate(removePOIQuery);
 898     reset(removePOIQuery);
 899   }
 900
 901   NavDataCache* outer;
 902   sqlite3* db;
 903   SGPath path;
 904     bool readOnly;
 905
 906   /// the actual cache of ID -> instances. This holds an owning reference,
 907   /// so once items are in the cache they will never be deleted until
 908   /// the cache drops its reference
 909   PositionedCache cache;
 910   unsigned int cacheHits, cacheMisses;
 911
 912   /**
 913    * record the levels of open transaction objects we have
 914    */
 915   unsigned int transactionLevel;
 916   bool transactionAborted;
 917   sqlite3_stmt_ptr beginTransactionStmt, commitTransactionStmt, rollbackTransactionStmt;
 918
 919   SGPath aptDatPath, metarDatPath, navDatPath, fixDatPath, poiDatPath,
 920   carrierDatPath, airwayDatPath;
 921
 922   sqlite3_stmt_ptr readPropertyQuery, writePropertyQuery,
 923     stampFileCache, statCacheCheck,
 924     loadAirportStmt, loadCommStation, loadPositioned, loadNavaid,
 925     loadRunwayStmt;
 926   sqlite3_stmt_ptr writePropertyMulti, clearProperty;
 927
 928   sqlite3_stmt_ptr insertPositionedQuery, insertAirport, insertTower, insertRunway,
 929   insertCommStation, insertNavaid;
 930   sqlite3_stmt_ptr setAirportMetar, setRunwayReciprocal, setRunwayILS, setNavaidColocated,
 931     setAirportPos;
 932   sqlite3_stmt_ptr removePOIQuery;
 933
 934   sqlite3_stmt_ptr findClosestWithIdent;
 935 // octree (spatial index) related queries
 936   sqlite3_stmt_ptr getOctreeChildren, insertOctree, updateOctreeChildren,
 937     getOctreeLeafChildren;
 938
 939   sqlite3_stmt_ptr searchAirports, getAllAirports;
 940   sqlite3_stmt_ptr findCommByFreq, findNavsByFreq,
 941   findNavsByFreqNoPos, findNavaidForRunway;
 942   sqlite3_stmt_ptr getAirportItems, getAirportItemByIdent;
 943   sqlite3_stmt_ptr findAirportRunway,
 944     findILS;
 945
 946   sqlite3_stmt_ptr runwayLengthFtQuery;
 947
 948 // airways
 949   sqlite3_stmt_ptr findAirway, insertAirwayEdge, isPosInAirway, airwayEdgesFrom,
 950   insertAirway;
 951
 952 // groundnet (parking, taxi node graph)
 953   sqlite3_stmt_ptr loadTaxiNodeStmt, loadParkingPos, insertTaxiNode, insertParkingPos;
 954   sqlite3_stmt_ptr taxiEdgesFrom, pushbackEdgesFrom, insertTaxiEdge, markTaxiNodeAsPushback,
 955     airportTaxiNodes, airportPushbackNodes, findNearestTaxiNode, findAirportParking,
 956     setParkingPushBack, findNearestRunwayTaxiNode;
 957
 958 // since there's many permutations of ident/name queries, we create
 959 // them programtically, but cache the exact query by its raw SQL once
 960 // used.
 961   std::map<string, sqlite3_stmt_ptr> findByStringDict;
 962
 963   typedef std::vector<sqlite3_stmt_ptr> StmtVec;
 964   StmtVec prepared;
 965
 966   std::set<Octree::Branch*> deferredOctreeUpdates;
 967
 968   // if we're performing a rebuild, the thread that is doing the work.
 969   // otherwise, NULL
 970   std::auto_ptr<RebuildThread> rebuilder;
 971 };
 972
 973 //////////////////////////////////////////////////////////////////////
 974
 975 FGPositioned* NavDataCache::NavDataCachePrivate::loadById(sqlite3_int64 rowid,
 976                                                           sqlite3_int64& aptId)
 977 {
 978
 979   sqlite3_bind_int64(loadPositioned, 1, rowid);
 980   execSelect1(loadPositioned);
 981
 982   assert(rowid == sqlite3_column_int64(loadPositioned, 0));
 983   FGPositioned::Type ty = (FGPositioned::Type) sqlite3_column_int(loadPositioned, 1);
 984
 985   PositionedID prowid = static_cast<PositionedID>(rowid);
 986   string ident = (char*) sqlite3_column_text(loadPositioned, 2);
 987   string name = (char*) sqlite3_column_text(loadPositioned, 3);
 988   aptId = sqlite3_column_int64(loadPositioned, 4);
 989   double lon = sqlite3_column_double(loadPositioned, 5);
 990   double lat = sqlite3_column_double(loadPositioned, 6);
 991   double elev = sqlite3_column_double(loadPositioned, 7);
 992   SGGeod pos = SGGeod::fromDegM(lon, lat, elev);
 993
 994   reset(loadPositioned);
 995
 996   switch (ty) {
 997     case FGPositioned::AIRPORT:
 998     case FGPositioned::SEAPORT:
 999     case FGPositioned::HELIPORT:
1000       return loadAirport(rowid, ty, ident, name, pos);
1001
1002     case FGPositioned::TOWER:
1003       return new AirportTower(prowid, aptId, ident, pos);
1004
1005     case FGPositioned::RUNWAY:
1006     case FGPositioned::HELIPAD:
1007     case FGPositioned::TAXIWAY:
1008       return loadRunway(rowid, ty, ident, pos, aptId);
1009
1010     case FGPositioned::LOC:
1011     case FGPositioned::VOR:
1012     case FGPositioned::GS:
1013     case FGPositioned::ILS:
1014     case FGPositioned::NDB:
1015     case FGPositioned::OM:
1016     case FGPositioned::MM:
1017     case FGPositioned::IM:
1018     case FGPositioned::DME:
1019     case FGPositioned::TACAN:
1020     case FGPositioned::MOBILE_TACAN:
1021       return loadNav(rowid, ty, ident, name, pos);
1022
1023     case FGPositioned::FIX:
1024       return new FGFix(rowid, ident, pos);
1025
1026     case FGPositioned::WAYPOINT:
1027     case FGPositioned::COUNTRY:
1028     case FGPositioned::CITY:
1029     case FGPositioned::TOWN:
1030     case FGPositioned::VILLAGE:
1031     {
1032         FGPositioned* wpt = new FGPositioned(rowid, ty, ident, pos);
1033       return wpt;
1034     }
1035
1036     case FGPositioned::FREQ_GROUND:
1037     case FGPositioned::FREQ_TOWER:
1038     case FGPositioned::FREQ_ATIS:
1039     case FGPositioned::FREQ_AWOS:
1040     case FGPositioned::FREQ_APP_DEP:
1041     case FGPositioned::FREQ_ENROUTE:
1042     case FGPositioned::FREQ_CLEARANCE:
1043     case FGPositioned::FREQ_UNICOM:
1044       return loadComm(rowid, ty, ident, name, pos, aptId);
1045
1046     case FGPositioned::TAXI_NODE:
1047       return loadTaxiNode(rowid, pos, aptId);
1048
1049     case FGPositioned::PARKING:
1050       return loadParking(rowid, ident, pos, aptId);
1051
1052     default:
1053       return NULL;
1054   }
1055 }
1056
1057 bool NavDataCache::NavDataCachePrivate::isCachedFileModified(const SGPath& path, bool verbose)
1058 {
1059   if (!path.exists()) {
1060     throw sg_io_exception("isCachedFileModified: Missing file:" + path.str());
1061   }
1062
1063   sqlite_bind_temp_stdstring(statCacheCheck, 1, path.str());
1064   bool isModified = true;
1065   sgDebugPriority logLevel = verbose ? SG_WARN : SG_DEBUG;
1066   if (execSelect(statCacheCheck)) {
1067     time_t modtime = sqlite3_column_int64(statCacheCheck, 0);
1068     time_t delta = std::labs(modtime - path.modTime());
1069     if (delta != 0)
1070     {
1071       SG_LOG(SG_NAVCACHE, logLevel, "NavCache: rebuild required for " << path <<
1072              ". Timestamps: " << modtime << " != " << path.modTime());
1073     }
1074     else
1075     {
1076       SG_LOG(SG_NAVCACHE, SG_DEBUG, "NavCache: no rebuild required for " << path);
1077     }
1078
1079     isModified = (delta != 0);
1080   } else {
1081     SG_LOG(SG_NAVCACHE, logLevel, "NavCache: initial build required for " << path);
1082   }
1083
1084   reset(statCacheCheck);
1085   return isModified;
1086 }
1087
1088 static NavDataCache* static_instance = NULL;
1089
1090 NavDataCache::NavDataCache()
1091 {
1092   const int MAX_TRIES = 3;
1093   SGPath homePath(globals->get_fg_home());
1094
1095   std::ostringstream os;
1096   string_list versionParts = simgear::strutils::split(VERSION, ".");
1097   if (versionParts.size() < 2) {
1098     os << "navdata.cache";
1099   } else {
1100     os << "navdata_" << versionParts[0] << "_" << versionParts[1] << ".cache";
1101   }
1102
1103   homePath.append(os.str());
1104
1105     // permit additional DB connections from the same process
1106     sqlite3_config(SQLITE_CONFIG_MULTITHREAD);
1107
1108   for (int t=0; t < MAX_TRIES; ++t) {
1109     try {
1110       d.reset(new NavDataCachePrivate(homePath, this));
1111       d->init();
1112       //d->checkCacheFile();
1113     // reached this point with no exception, success
1114       break;
1115     } catch (sg_exception& e) {
1116       SG_LOG(SG_NAVCACHE, t == 0 ? SG_WARN : SG_ALERT, "NavCache: init failed:" << e.what()
1117              << " (attempt " << t << ")");
1118       d.reset();
1119
1120         // only wipe the existing if not readonly
1121         if (!fgGetBool("/sim/fghome-readonly", false)) {
1122             homePath.remove();
1123         }
1124     }
1125   } // of retry loop
1126
1127   double RADIUS_EARTH_M = 7000 * 1000.0; // 7000km is plenty
1128   SGVec3d earthExtent(RADIUS_EARTH_M, RADIUS_EARTH_M, RADIUS_EARTH_M);
1129   Octree::global_spatialOctree =
1130     new Octree::Branch(SGBox<double>(-earthExtent, earthExtent), 1);
1131
1132   d->aptDatPath = SGPath(globals->get_fg_root());
1133   d->aptDatPath.append("Airports/apt.dat.gz");
1134
1135   d->metarDatPath = SGPath(globals->get_fg_root());
1136   d->metarDatPath.append("Airports/metar.dat.gz");
1137
1138   d->navDatPath = SGPath(globals->get_fg_root());
1139   d->navDatPath.append("Navaids/nav.dat.gz");
1140
1141   d->fixDatPath = SGPath(globals->get_fg_root());
1142   d->fixDatPath.append("Navaids/fix.dat.gz");
1143
1144   d->poiDatPath = SGPath(globals->get_fg_root());
1145   d->poiDatPath.append("Navaids/poi.dat.gz");
1146
1147   d->carrierDatPath = SGPath(globals->get_fg_root());
1148   d->carrierDatPath.append("Navaids/carrier_nav.dat.gz");
1149
1150   d->airwayDatPath = SGPath(globals->get_fg_root());
1151   d->airwayDatPath.append("Navaids/awy.dat.gz");
1152 }
1153
1154 NavDataCache::~NavDataCache()
1155 {
1156   assert(static_instance == this);
1157   static_instance = NULL;
1158   d.reset();
1159 }
1160
1161 NavDataCache* NavDataCache::createInstance()
1162 {
1163     static_instance = new NavDataCache;
1164     return static_instance;
1165 }
1166
1167 NavDataCache* NavDataCache::instance()
1168 {
1169   return static_instance;
1170 }
1171
1172 bool NavDataCache::isRebuildRequired()
1173 {
1174     if (d->readOnly) {
1175         return false;
1176     }
1177
1178     if (flightgear::Options::sharedInstance()->isOptionSet("restore-defaults")) {
1179         SG_LOG(SG_NAVCACHE, SG_INFO, "NavCache: restore-defaults requested, will rebuild cache");
1180         return true;
1181     }
1182
1183   if (d->isCachedFileModified(d->aptDatPath, true) ||
1184       d->isCachedFileModified(d->metarDatPath, true) ||
1185       d->isCachedFileModified(d->navDatPath, true) ||
1186       d->isCachedFileModified(d->fixDatPath, true) ||
1187       d->isCachedFileModified(d->carrierDatPath, true) ||
1188 // since POI loading is disabled on Windows, don't check for it
1189 // this caused: https://code.google.com/p/flightgear-bugs/issues/detail?id=1227
1190 #ifndef SG_WINDOWS
1191       d->isCachedFileModified(d->poiDatPath, true) ||
1192 #endif
1193       d->isCachedFileModified(d->airwayDatPath, true))
1194   {
1195     SG_LOG(SG_NAVCACHE, SG_INFO, "NavCache: main cache rebuild required");
1196     return true;
1197   }
1198
1199   SG_LOG(SG_NAVCACHE, SG_INFO, "NavCache: no main cache rebuild required");
1200   return false;
1201 }
1202
1203 bool NavDataCache::dropGroundnetsIfRequired()
1204 {
1205     string sceneryPaths = simgear::strutils::join(globals->get_fg_scenery(), ";");
1206     if (readStringProperty("scenery_paths") != sceneryPaths) {
1207         SG_LOG(SG_NAVCACHE, SG_INFO, "NavCache: scenery paths changed, dropping ground nets");
1208         dropAllGroundnets();
1209         writeStringProperty("scenery_paths", sceneryPaths);
1210         return true;
1211     }
1212
1213     return false;
1214 }
1215
1216 NavDataCache::RebuildPhase NavDataCache::rebuild()
1217 {
1218     if (!d->rebuilder.get()) {
1219         d->rebuilder.reset(new RebuildThread(this));
1220         d->rebuilder->start();
1221     }
1222
1223     // poll the rebuild thread
1224     RebuildPhase phase = d->rebuilder->currentPhase();
1225     if (phase == REBUILD_DONE) {
1226         d->rebuilder.reset(); // all done!
1227     }
1228     return phase;
1229 }
1230
1231 unsigned int NavDataCache::rebuildPhaseCompletionPercentage() const
1232 {
1233     if (!d->rebuilder.get()) {
1234         return 0;
1235     }
1236
1237     return d->rebuilder->completionPercent();
1238 }
1239
1240 void NavDataCache::setRebuildPhaseProgress(RebuildPhase ph, unsigned int percent)
1241 {
1242     if (!d->rebuilder.get()) {
1243         return;
1244     }
1245
1246     d->rebuilder->setProgress(ph, percent);
1247 }
1248
1249 void NavDataCache::doRebuild()
1250 {
1251   try {
1252     d->close(); // completely close the sqlite object
1253     d->path.remove(); // remove the file on disk
1254     d->init(); // start again from scratch
1255
1256     // initialise the root octree node
1257     d->runSQL("INSERT INTO octree (rowid, children) VALUES (1, 0)");
1258
1259     SGTimeStamp st;
1260     {
1261         Transaction txn(this);
1262
1263         st.stamp();
1264         airportDBLoad(d->aptDatPath);
1265         SG_LOG(SG_NAVCACHE, SG_INFO, "apt.dat load took:" << st.elapsedMSec());
1266
1267         setRebuildPhaseProgress(REBUILD_UNKNOWN);
1268         metarDataLoad(d->metarDatPath);
1269         stampCacheFile(d->aptDatPath);
1270         stampCacheFile(d->metarDatPath);
1271
1272         st.stamp();
1273         loadFixes(d->fixDatPath);
1274         stampCacheFile(d->fixDatPath);
1275         SG_LOG(SG_NAVCACHE, SG_INFO, "fix.dat load took:" << st.elapsedMSec());
1276
1277         st.stamp();
1278         navDBInit(d->navDatPath);
1279         stampCacheFile(d->navDatPath);
1280         SG_LOG(SG_NAVCACHE, SG_INFO, "nav.dat load took:" << st.elapsedMSec());
1281
1282         setRebuildPhaseProgress(REBUILD_UNKNOWN);
1283         st.stamp();
1284         txn.commit();
1285         SG_LOG(SG_NAVCACHE, SG_INFO, "stage 1 commit took:" << st.elapsedMSec());
1286     }
1287
1288 #ifdef SG_WINDOWS
1289       SG_LOG(SG_NAVCACHE, SG_ALERT, "SKIPPING POI load on Windows");
1290 #else
1291       {
1292           Transaction txn(this);
1293
1294           st.stamp();
1295           poiDBInit(d->poiDatPath);
1296           stampCacheFile(d->poiDatPath);
1297           SG_LOG(SG_NAVCACHE, SG_INFO, "poi.dat load took:" << st.elapsedMSec());
1298
1299           setRebuildPhaseProgress(REBUILD_UNKNOWN);
1300           st.stamp();
1301           txn.commit();
1302           SG_LOG(SG_NAVCACHE, SG_INFO, "POI commit took:" << st.elapsedMSec());
1303       }
1304 #endif
1305
1306       {
1307           Transaction txn(this);
1308           loadCarrierNav(d->carrierDatPath);
1309           stampCacheFile(d->carrierDatPath);
1310
1311           st.stamp();
1312           Airway::load(d->airwayDatPath);
1313           stampCacheFile(d->airwayDatPath);
1314           SG_LOG(SG_NAVCACHE, SG_INFO, "awy.dat load took:" << st.elapsedMSec());
1315
1316           d->flushDeferredOctreeUpdates();
1317
1318           string sceneryPaths = simgear::strutils::join(globals->get_fg_scenery(), ";");
1319           writeStringProperty("scenery_paths", sceneryPaths);
1320
1321           st.stamp();
1322           txn.commit();
1323           SG_LOG(SG_NAVCACHE, SG_INFO, "final commit took:" << st.elapsedMSec());
1324
1325       }
1326
1327   } catch (sg_exception& e) {
1328     SG_LOG(SG_NAVCACHE, SG_ALERT, "caught exception rebuilding navCache:" << e.what());
1329   }
1330 }
1331
1332 int NavDataCache::readIntProperty(const string& key)
1333 {
1334   sqlite_bind_stdstring(d->readPropertyQuery, 1, key);
1335   int result = 0;
1336
1337   if (d->execSelect(d->readPropertyQuery)) {
1338     result = sqlite3_column_int(d->readPropertyQuery, 0);
1339   } else {
1340     SG_LOG(SG_NAVCACHE, SG_WARN, "readIntProperty: unknown:" << key);
1341   }
1342
1343   d->reset(d->readPropertyQuery);
1344   return result;
1345 }
1346
1347 double NavDataCache::readDoubleProperty(const string& key)
1348 {
1349   sqlite_bind_stdstring(d->readPropertyQuery, 1, key);
1350   double result = 0.0;
1351   if (d->execSelect(d->readPropertyQuery)) {
1352     result = sqlite3_column_double(d->readPropertyQuery, 0);
1353   } else {
1354     SG_LOG(SG_NAVCACHE, SG_WARN, "readDoubleProperty: unknown:" << key);
1355   }
1356
1357   d->reset(d->readPropertyQuery);
1358   return result;
1359 }
1360
1361 string NavDataCache::readStringProperty(const string& key)
1362 {
1363   sqlite_bind_stdstring(d->readPropertyQuery, 1, key);
1364   string result;
1365   if (d->execSelect(d->readPropertyQuery)) {
1366     result = (char*) sqlite3_column_text(d->readPropertyQuery, 0);
1367   } else {
1368     SG_LOG(SG_NAVCACHE, SG_WARN, "readStringProperty: unknown:" << key);
1369   }
1370
1371   d->reset(d->readPropertyQuery);
1372   return result;
1373 }
1374
1375 void NavDataCache::writeIntProperty(const string& key, int value)
1376 {
1377   d->writeIntProperty(key, value);
1378 }
1379
1380 void NavDataCache::writeStringProperty(const string& key, const string& value)
1381 {
1382   sqlite_bind_stdstring(d->clearProperty, 1, key);
1383   d->execUpdate(d->clearProperty);
1384
1385   sqlite_bind_stdstring(d->writePropertyQuery, 1, key);
1386   sqlite_bind_stdstring(d->writePropertyQuery, 2, value);
1387   d->execUpdate(d->writePropertyQuery);
1388 }
1389
1390 void NavDataCache::writeDoubleProperty(const string& key, const double& value)
1391 {
1392   sqlite_bind_stdstring(d->clearProperty, 1, key);
1393   d->execUpdate(d->clearProperty);
1394
1395   sqlite_bind_stdstring(d->writePropertyQuery, 1, key);
1396   sqlite3_bind_double(d->writePropertyQuery, 2, value);
1397   d->execUpdate(d->writePropertyQuery);
1398 }
1399
1400 string_list NavDataCache::readStringListProperty(const string& key)
1401 {
1402   sqlite_bind_stdstring(d->readPropertyQuery, 1, key);
1403   string_list result;
1404   while (d->stepSelect(d->readPropertyQuery)) {
1405     result.push_back((char*) sqlite3_column_text(d->readPropertyQuery, 0));
1406   }
1407   d->reset(d->readPropertyQuery);
1408
1409   return result;
1410 }
1411
1412 void NavDataCache::writeStringListProperty(const string& key, const string_list& values)
1413 {
1414   sqlite_bind_stdstring(d->clearProperty, 1, key);
1415   d->execUpdate(d->clearProperty);
1416
1417   BOOST_FOREACH(string value, values) {
1418     sqlite_bind_stdstring(d->writePropertyMulti, 1, key);
1419     sqlite_bind_stdstring(d->writePropertyMulti, 2, value);
1420     d->execInsert(d->writePropertyMulti);
1421   }
1422 }
1423
1424 bool NavDataCache::isCachedFileModified(const SGPath& path) const
1425 {
1426   return d->isCachedFileModified(path, false);
1427 }
1428
1429 void NavDataCache::stampCacheFile(const SGPath& path)
1430 {
1431   sqlite_bind_temp_stdstring(d->stampFileCache, 1, path.str());
1432   sqlite3_bind_int64(d->stampFileCache, 2, path.modTime());
1433   d->execInsert(d->stampFileCache);
1434 }
1435
1436 void NavDataCache::beginTransaction()
1437 {
1438   if (d->transactionLevel == 0) {
1439     d->transactionAborted = false;
1440     d->stepSelect(d->beginTransactionStmt);
1441     sqlite3_reset(d->beginTransactionStmt);
1442   }
1443
1444   ++d->transactionLevel;
1445 }
1446
1447 void NavDataCache::commitTransaction()
1448 {
1449   assert(d->transactionLevel > 0);
1450   if (--d->transactionLevel == 0) {
1451     // if a nested transaction aborted, we might end up here, but must
1452     // still abort the entire transaction. That's bad, but safer than
1453     // committing.
1454     sqlite3_stmt_ptr q = d->transactionAborted ? d->rollbackTransactionStmt : d->commitTransactionStmt;
1455
1456     int retries = 0;
1457     int result;
1458     while (retries < MAX_RETRIES) {
1459       result = sqlite3_step(q);
1460       if (result == SQLITE_DONE) {
1461         break;
1462       }
1463
1464       // see http://www.sqlite.org/c3ref/get_autocommit.html for a hint
1465       // what's going on here: autocommit in inactive inside BEGIN, so if
1466       // it's active, the DB was rolled-back
1467       if (sqlite3_get_autocommit(d->db)) {
1468         SG_LOG(SG_NAVCACHE, SG_ALERT, "commit: was rolled back!" << retries);
1469         d->transactionAborted = true;
1470         break;
1471       }
1472
1473       if (result != SQLITE_BUSY) {
1474         break;
1475       }
1476
1477       SGTimeStamp::sleepForMSec(++retries * 10);
1478       SG_LOG(SG_NAVCACHE, SG_ALERT, "NavCache contention on commit, will retry:" << retries);
1479     } // of retry loop for DB busy
1480
1481     string errMsg;
1482     if (result != SQLITE_DONE) {
1483       errMsg = sqlite3_errmsg(d->db);
1484       SG_LOG(SG_NAVCACHE, SG_ALERT, "Sqlite error:" << errMsg << " for  " << result
1485              << " while running:\n\t" << sqlite3_sql(q));
1486     }
1487
1488     sqlite3_reset(q);
1489   }
1490 }
1491
1492 void NavDataCache::abortTransaction()
1493 {
1494   SG_LOG(SG_NAVCACHE, SG_WARN, "NavCache: aborting transaction");
1495
1496   assert(d->transactionLevel > 0);
1497   if (--d->transactionLevel == 0) {
1498     d->stepSelect(d->rollbackTransactionStmt);
1499     sqlite3_reset(d->rollbackTransactionStmt);
1500   }
1501
1502   d->transactionAborted = true;
1503 }
1504
1505 FGPositionedRef NavDataCache::loadById(PositionedID rowid)
1506 {
1507   if (rowid == 0) {
1508     return NULL;
1509   }
1510
1511   PositionedCache::iterator it = d->cache.find(rowid);
1512   if (it != d->cache.end()) {
1513     d->cacheHits++;
1514     return it->second; // cache it
1515   }
1516
1517   sqlite3_int64 aptId;
1518   FGPositioned* pos = d->loadById(rowid, aptId);
1519   d->cache.insert(it, PositionedCache::value_type(rowid, pos));
1520   d->cacheMisses++;
1521
1522   // when we loaded an ILS, we must apply per-airport changes
1523   if ((pos->type() == FGPositioned::ILS) && (aptId > 0)) {
1524     FGAirport* apt = FGPositioned::loadById<FGAirport>(aptId);
1525     apt->validateILSData();
1526   }
1527
1528   return pos;
1529 }
1530
1531 PositionedID NavDataCache::insertAirport(FGPositioned::Type ty, const string& ident,
1532                                          const string& name)
1533 {
1534   // airports have their pos computed based on the avergae runway centres
1535   // so the pos isn't available immediately. Pass a dummy pos and avoid
1536   // doing spatial indexing until later
1537   sqlite3_int64 rowId = d->insertPositioned(ty, ident, name, SGGeod(),
1538                                             0 /* airport */,
1539                                             false /* spatial index */);
1540
1541   sqlite3_bind_int64(d->insertAirport, 1, rowId);
1542   d->execInsert(d->insertAirport);
1543
1544   return rowId;
1545 }
1546
1547 void NavDataCache::updatePosition(PositionedID item, const SGGeod &pos)
1548 {
1549   if (d->cache.find(item) != d->cache.end()) {
1550     SG_LOG(SG_NAVCACHE, SG_DEBUG, "updating position of an item in the cache");
1551     d->cache[item]->modifyPosition(pos);
1552   }
1553
1554   SGVec3d cartPos(SGVec3d::fromGeod(pos));
1555
1556   sqlite3_bind_int(d->setAirportPos, 1, item);
1557   sqlite3_bind_double(d->setAirportPos, 2, pos.getLongitudeDeg());
1558   sqlite3_bind_double(d->setAirportPos, 3, pos.getLatitudeDeg());
1559   sqlite3_bind_double(d->setAirportPos, 4, pos.getElevationM());
1560
1561 // bug 905; the octree leaf may change here, but the leaf may already be
1562 // loaded, and caching its children. (Either the old or new leaf!). Worse,
1563 // we may be called here as a result of loading one of those leaf's children.
1564 // instead of dealing with all those possibilites, such as modifying
1565 // the in-memory leaf's STL child container, we simply leave the runtime
1566 // structures alone. This is fine providing items do no move very far, since
1567 // all the spatial searches ultimately use the items' real cartesian position,
1568 // which was updated above.
1569   Octree::Leaf* octreeLeaf = Octree::global_spatialOctree->findLeafForPos(cartPos);
1570   sqlite3_bind_int64(d->setAirportPos, 5, octreeLeaf->guid());
1571
1572   sqlite3_bind_double(d->setAirportPos, 6, cartPos.x());
1573   sqlite3_bind_double(d->setAirportPos, 7, cartPos.y());
1574   sqlite3_bind_double(d->setAirportPos, 8, cartPos.z());
1575
1576
1577   d->execUpdate(d->setAirportPos);
1578 }
1579
1580 void NavDataCache::insertTower(PositionedID airportId, const SGGeod& pos)
1581 {
1582   d->insertPositioned(FGPositioned::TOWER, string(), string(),
1583                       pos, airportId, true /* spatial index */);
1584 }
1585
1586 PositionedID
1587 NavDataCache::insertRunway(FGPositioned::Type ty, const string& ident,
1588                            const SGGeod& pos, PositionedID apt,
1589                            double heading, double length, double width, double displacedThreshold,
1590                            double stopway, int surfaceCode)
1591 {
1592   // only runways are spatially indexed; don't bother indexing taxiways
1593   // or pavements
1594   bool spatialIndex = ( ty == FGPositioned::RUNWAY || ty == FGPositioned::HELIPAD);
1595
1596   sqlite3_int64 rowId = d->insertPositioned(ty, cleanRunwayNo(ident), "", pos, apt,
1597                                             spatialIndex);
1598   sqlite3_bind_int64(d->insertRunway, 1, rowId);
1599   sqlite3_bind_double(d->insertRunway, 2, heading);
1600   sqlite3_bind_double(d->insertRunway, 3, length);
1601   sqlite3_bind_double(d->insertRunway, 4, width);
1602   sqlite3_bind_int(d->insertRunway, 5, surfaceCode);
1603   sqlite3_bind_double(d->insertRunway, 6, displacedThreshold);
1604   sqlite3_bind_double(d->insertRunway, 7, stopway);
1605
1606   return d->execInsert(d->insertRunway);
1607 }
1608
1609 void NavDataCache::setRunwayReciprocal(PositionedID runway, PositionedID recip)
1610 {
1611   sqlite3_bind_int64(d->setRunwayReciprocal, 1, runway);
1612   sqlite3_bind_int64(d->setRunwayReciprocal, 2, recip);
1613   d->execUpdate(d->setRunwayReciprocal);
1614
1615 // and the opposite direction too!
1616   sqlite3_bind_int64(d->setRunwayReciprocal, 2, runway);
1617   sqlite3_bind_int64(d->setRunwayReciprocal, 1, recip);
1618   d->execUpdate(d->setRunwayReciprocal);
1619 }
1620
1621 void NavDataCache::setRunwayILS(PositionedID runway, PositionedID ils)
1622 {
1623   sqlite3_bind_int64(d->setRunwayILS, 1, runway);
1624   sqlite3_bind_int64(d->setRunwayILS, 2, ils);
1625   d->execUpdate(d->setRunwayILS);
1626
1627   // and the in-memory one
1628   if (d->cache.find(runway) != d->cache.end()) {
1629     FGRunway* instance = (FGRunway*) d->cache[runway].ptr();
1630     instance->setILS(ils);
1631   }
1632 }
1633
1634 PositionedID
1635 NavDataCache::insertNavaid(FGPositioned::Type ty, const string& ident,
1636                           const string& name, const SGGeod& pos,
1637                            int freq, int range, double multiuse,
1638                            PositionedID apt, PositionedID runway)
1639 {
1640   bool spatialIndex = true;
1641   if (ty == FGPositioned::MOBILE_TACAN) {
1642     spatialIndex = false;
1643   }
1644
1645   sqlite3_int64 rowId = d->insertPositioned(ty, ident, name, pos, apt,
1646                                             spatialIndex);
1647   sqlite3_bind_int64(d->insertNavaid, 1, rowId);
1648   sqlite3_bind_int(d->insertNavaid, 2, freq);
1649   sqlite3_bind_int(d->insertNavaid, 3, range);
1650   sqlite3_bind_double(d->insertNavaid, 4, multiuse);
1651   sqlite3_bind_int64(d->insertNavaid, 5, runway);
1652   sqlite3_bind_int64(d->insertNavaid, 6, 0);
1653   return d->execInsert(d->insertNavaid);
1654 }
1655
1656 void NavDataCache::setNavaidColocated(PositionedID navaid, PositionedID colocatedDME)
1657 {
1658   // Update DB entries...
1659   sqlite3_bind_int64(d->setNavaidColocated, 1, navaid);
1660   sqlite3_bind_int64(d->setNavaidColocated, 2, colocatedDME);
1661   d->execUpdate(d->setNavaidColocated);
1662
1663   // ...and the in-memory copy of the navrecord
1664   if (d->cache.find(navaid) != d->cache.end()) {
1665     FGNavRecord* rec = (FGNavRecord*) d->cache[navaid].get();
1666     rec->setColocatedDME(colocatedDME);
1667   }
1668 }
1669
1670 PositionedID NavDataCache::insertCommStation(FGPositioned::Type ty,
1671                                              const string& name, const SGGeod& pos, int freq, int range,
1672                                              PositionedID apt)
1673 {
1674   sqlite3_int64 rowId = d->insertPositioned(ty, "", name, pos, apt, true);
1675   sqlite3_bind_int64(d->insertCommStation, 1, rowId);
1676   sqlite3_bind_int(d->insertCommStation, 2, freq);
1677   sqlite3_bind_int(d->insertCommStation, 3, range);
1678   return d->execInsert(d->insertCommStation);
1679 }
1680
1681 PositionedID NavDataCache::insertFix(const std::string& ident, const SGGeod& aPos)
1682 {
1683   return d->insertPositioned(FGPositioned::FIX, ident, string(), aPos, 0, true);
1684 }
1685
1686 PositionedID NavDataCache::createPOI(FGPositioned::Type ty, const std::string& ident, const SGGeod& aPos)
1687 {
1688   return d->insertPositioned(ty, ident, string(), aPos, 0,
1689                              true /* spatial index */);
1690 }
1691
1692 bool NavDataCache::removePOI(FGPositioned::Type ty, const std::string& aIdent)
1693 {
1694   d->removePositionedWithIdent(ty, aIdent);
1695   // should remove from the live cache too?
1696
1697     return true;
1698 }
1699
1700 void NavDataCache::setAirportMetar(const string& icao, bool hasMetar)
1701 {
1702   sqlite_bind_stdstring(d->setAirportMetar, 1, icao);
1703   sqlite3_bind_int(d->setAirportMetar, 2, hasMetar);
1704   d->execUpdate(d->setAirportMetar);
1705 }
1706
1707 //------------------------------------------------------------------------------
1708 FGPositionedList NavDataCache::findAllWithIdent( const string& s,
1709                                                  FGPositioned::Filter* filter,
1710                                                  bool exact )
1711 {
1712   return d->findAllByString(s, "ident", filter, exact);
1713 }
1714
1715 //------------------------------------------------------------------------------
1716 FGPositionedList NavDataCache::findAllWithName( const string& s,
1717                                                 FGPositioned::Filter* filter,
1718                                                 bool exact )
1719 {
1720   return d->findAllByString(s, "name", filter, exact);
1721 }
1722
1723 //------------------------------------------------------------------------------
1724 FGPositionedRef NavDataCache::findClosestWithIdent( const string& aIdent,
1725                                                     const SGGeod& aPos,
1726                                                     FGPositioned::Filter* aFilter )
1727 {
1728   sqlite_bind_stdstring(d->findClosestWithIdent, 1, aIdent);
1729   if (aFilter) {
1730     sqlite3_bind_int(d->findClosestWithIdent, 2, aFilter->minType());
1731     sqlite3_bind_int(d->findClosestWithIdent, 3, aFilter->maxType());
1732   } else { // full type range
1733     sqlite3_bind_int(d->findClosestWithIdent, 2, FGPositioned::INVALID);
1734     sqlite3_bind_int(d->findClosestWithIdent, 3, FGPositioned::LAST_TYPE);
1735   }
1736
1737   SGVec3d cartPos(SGVec3d::fromGeod(aPos));
1738   sqlite3_bind_double(d->findClosestWithIdent, 4, cartPos.x());
1739   sqlite3_bind_double(d->findClosestWithIdent, 5, cartPos.y());
1740   sqlite3_bind_double(d->findClosestWithIdent, 6, cartPos.z());
1741
1742   FGPositionedRef result;
1743
1744   while (d->stepSelect(d->findClosestWithIdent)) {
1745     FGPositioned* pos = loadById(sqlite3_column_int64(d->findClosestWithIdent, 0));
1746     if (aFilter && !aFilter->pass(pos)) {
1747       continue;
1748     }
1749
1750     result = pos;
1751     break;
1752   }
1753
1754   d->reset(d->findClosestWithIdent);
1755   return result;
1756 }
1757
1758
1759 int NavDataCache::getOctreeBranchChildren(int64_t octreeNodeId)
1760 {
1761   sqlite3_bind_int64(d->getOctreeChildren, 1, octreeNodeId);
1762   d->execSelect1(d->getOctreeChildren);
1763   int children = sqlite3_column_int(d->getOctreeChildren, 0);
1764   d->reset(d->getOctreeChildren);
1765   return children;
1766 }
1767
1768 void NavDataCache::defineOctreeNode(Octree::Branch* pr, Octree::Node* nd)
1769 {
1770   sqlite3_bind_int64(d->insertOctree, 1, nd->guid());
1771   d->execInsert(d->insertOctree);
1772
1773 #ifdef LAZY_OCTREE_UPDATES
1774   d->deferredOctreeUpdates.insert(pr);
1775 #else
1776   // lowest three bits of node ID are 0..7 index of the child in the parent
1777   int childIndex = nd->guid() & 0x07;
1778
1779   sqlite3_bind_int64(d->updateOctreeChildren, 1, pr->guid());
1780 // mask has bit N set where child N exists
1781   int childMask = 1 << childIndex;
1782   sqlite3_bind_int(d->updateOctreeChildren, 2, childMask);
1783   d->execUpdate(d->updateOctreeChildren);
1784 #endif
1785 }
1786
1787 TypedPositionedVec
1788 NavDataCache::getOctreeLeafChildren(int64_t octreeNodeId)
1789 {
1790   sqlite3_bind_int64(d->getOctreeLeafChildren, 1, octreeNodeId);
1791
1792   TypedPositionedVec r;
1793   while (d->stepSelect(d->getOctreeLeafChildren)) {
1794     FGPositioned::Type ty = static_cast<FGPositioned::Type>
1795       (sqlite3_column_int(d->getOctreeLeafChildren, 1));
1796     r.push_back(std::make_pair(ty,
1797                 sqlite3_column_int64(d->getOctreeLeafChildren, 0)));
1798   }
1799
1800   d->reset(d->getOctreeLeafChildren);
1801   return r;
1802 }
1803
1804
1805 /**
1806  * A special purpose helper (used by FGAirport::searchNamesAndIdents) to
1807  * implement the AirportList dialog. It's unfortunate that it needs to reside
1808  * here, but for now it's least ugly solution.
1809  */
1810 char** NavDataCache::searchAirportNamesAndIdents(const std::string& aFilter)
1811 {
1812   sqlite3_stmt_ptr stmt;
1813   unsigned int numMatches = 0, numAllocated = 16;
1814   string searchTerm("%" + aFilter + "%");
1815   if (aFilter.empty()) {
1816     stmt = d->getAllAirports;
1817     numAllocated = 4096; // start much larger for all airports
1818   } else {
1819     stmt = d->searchAirports;
1820     sqlite_bind_stdstring(stmt, 1, searchTerm);
1821   }
1822
1823   char** result = (char**) malloc(sizeof(char*) * numAllocated);
1824   while (d->stepSelect(stmt)) {
1825     if ((numMatches + 1) >= numAllocated) {
1826       numAllocated <<= 1; // double in size!
1827     // reallocate results array
1828       char** nresult = (char**) malloc(sizeof(char*) * numAllocated);
1829       memcpy(nresult, result, sizeof(char*) * numMatches);
1830       free(result);
1831       result = nresult;
1832     }
1833
1834     // nasty code to avoid excessive string copying and allocations.
1835     // We format results as follows (note whitespace!):
1836     //   ' name-of-airport-chars   (ident)'
1837     // so the total length is:
1838     //    1 + strlen(name) + 4 + strlen(icao) + 1 + 1 (for the null)
1839     // which gives a grand total of 7 + name-length + icao-length.
1840     // note the ident can be three letters (non-ICAO local strip), four
1841     // (default ICAO) or more (extended format ICAO)
1842     int nameLength = sqlite3_column_bytes(stmt, 1);
1843     int icaoLength = sqlite3_column_bytes(stmt, 0);
1844     char* entry = (char*) malloc(7 + nameLength + icaoLength);
1845     char* dst = entry;
1846     *dst++ = ' ';
1847     memcpy(dst, sqlite3_column_text(stmt, 1), nameLength);
1848     dst += nameLength;
1849     *dst++ = ' ';
1850     *dst++ = ' ';
1851     *dst++ = ' ';
1852     *dst++ = '(';
1853     memcpy(dst, sqlite3_column_text(stmt, 0), icaoLength);
1854     dst += icaoLength;
1855     *dst++ = ')';
1856     *dst++ = 0;
1857
1858     result[numMatches++] = entry;
1859   }
1860
1861   result[numMatches] = NULL; // end of list marker
1862   d->reset(stmt);
1863   return result;
1864 }
1865
1866 FGPositionedRef
1867 NavDataCache::findCommByFreq(int freqKhz, const SGGeod& aPos, FGPositioned::Filter* aFilter)
1868 {
1869   sqlite3_bind_int(d->findCommByFreq, 1, freqKhz);
1870   if (aFilter) {
1871     sqlite3_bind_int(d->findCommByFreq, 2, aFilter->minType());
1872     sqlite3_bind_int(d->findCommByFreq, 3, aFilter->maxType());
1873   } else { // full type range
1874     sqlite3_bind_int(d->findCommByFreq, 2, FGPositioned::FREQ_GROUND);
1875     sqlite3_bind_int(d->findCommByFreq, 3, FGPositioned::FREQ_UNICOM);
1876   }
1877
1878   SGVec3d cartPos(SGVec3d::fromGeod(aPos));
1879   sqlite3_bind_double(d->findCommByFreq, 4, cartPos.x());
1880   sqlite3_bind_double(d->findCommByFreq, 5, cartPos.y());
1881   sqlite3_bind_double(d->findCommByFreq, 6, cartPos.z());
1882   FGPositionedRef result;
1883
1884   while (d->execSelect(d->findCommByFreq)) {
1885     FGPositioned* p = loadById(sqlite3_column_int64(d->findCommByFreq, 0));
1886     if (aFilter && !aFilter->pass(p)) {
1887       continue;
1888     }
1889
1890     result = p;
1891     break;
1892   }
1893
1894   d->reset(d->findCommByFreq);
1895   return result;
1896 }
1897
1898 PositionedIDVec
1899 NavDataCache::findNavaidsByFreq(int freqKhz, const SGGeod& aPos, FGPositioned::Filter* aFilter)
1900 {
1901   sqlite3_bind_int(d->findNavsByFreq, 1, freqKhz);
1902   if (aFilter) {
1903     sqlite3_bind_int(d->findNavsByFreq, 2, aFilter->minType());
1904     sqlite3_bind_int(d->findNavsByFreq, 3, aFilter->maxType());
1905   } else { // full type range
1906     sqlite3_bind_int(d->findNavsByFreq, 2, FGPositioned::NDB);
1907     sqlite3_bind_int(d->findNavsByFreq, 3, FGPositioned::GS);
1908   }
1909
1910   SGVec3d cartPos(SGVec3d::fromGeod(aPos));
1911   sqlite3_bind_double(d->findNavsByFreq, 4, cartPos.x());
1912   sqlite3_bind_double(d->findNavsByFreq, 5, cartPos.y());
1913   sqlite3_bind_double(d->findNavsByFreq, 6, cartPos.z());
1914
1915   return d->selectIds(d->findNavsByFreq);
1916 }
1917
1918 PositionedIDVec
1919 NavDataCache::findNavaidsByFreq(int freqKhz, FGPositioned::Filter* aFilter)
1920 {
1921   sqlite3_bind_int(d->findNavsByFreqNoPos, 1, freqKhz);
1922   if (aFilter) {
1923     sqlite3_bind_int(d->findNavsByFreqNoPos, 2, aFilter->minType());
1924     sqlite3_bind_int(d->findNavsByFreqNoPos, 3, aFilter->maxType());
1925   } else { // full type range
1926     sqlite3_bind_int(d->findNavsByFreqNoPos, 2, FGPositioned::NDB);
1927     sqlite3_bind_int(d->findNavsByFreqNoPos, 3, FGPositioned::GS);
1928   }
1929
1930   return d->selectIds(d->findNavsByFreqNoPos);
1931 }
1932
1933 PositionedIDVec
1934 NavDataCache::airportItemsOfType(PositionedID apt,FGPositioned::Type ty,
1935                                  FGPositioned::Type maxTy)
1936 {
1937   if (maxTy == FGPositioned::INVALID) {
1938     maxTy = ty; // single-type range
1939   }
1940
1941   sqlite3_bind_int64(d->getAirportItems, 1, apt);
1942   sqlite3_bind_int(d->getAirportItems, 2, ty);
1943   sqlite3_bind_int(d->getAirportItems, 3, maxTy);
1944
1945   return d->selectIds(d->getAirportItems);
1946 }
1947
1948 PositionedID
1949 NavDataCache::airportItemWithIdent(PositionedID apt, FGPositioned::Type ty,
1950                                    const std::string& ident)
1951 {
1952   sqlite3_bind_int64(d->getAirportItemByIdent, 1, apt);
1953   sqlite_bind_stdstring(d->getAirportItemByIdent, 2, ident);
1954   sqlite3_bind_int(d->getAirportItemByIdent, 3, ty);
1955   PositionedID result = 0;
1956
1957   if (d->execSelect(d->getAirportItemByIdent)) {
1958     result = sqlite3_column_int64(d->getAirportItemByIdent, 0);
1959   }
1960
1961   d->reset(d->getAirportItemByIdent);
1962   return result;
1963 }
1964
1965 AirportRunwayPair
1966 NavDataCache::findAirportRunway(const std::string& aName)
1967 {
1968   if (aName.empty()) {
1969     return AirportRunwayPair();
1970   }
1971
1972   string_list parts = simgear::strutils::split(aName);
1973   if (parts.size() < 2) {
1974     SG_LOG(SG_NAVCACHE, SG_WARN, "findAirportRunway: malformed name:" << aName);
1975     return AirportRunwayPair();
1976   }
1977
1978   AirportRunwayPair result;
1979   sqlite_bind_stdstring(d->findAirportRunway, 1, parts[0]);
1980   sqlite_bind_stdstring(d->findAirportRunway, 2, cleanRunwayNo(parts[1]));
1981
1982   if (d->execSelect(d->findAirportRunway)) {
1983     result = AirportRunwayPair(sqlite3_column_int64(d->findAirportRunway, 0),
1984                       sqlite3_column_int64(d->findAirportRunway, 1));
1985
1986   } else {
1987     SG_LOG(SG_NAVCACHE, SG_WARN, "findAirportRunway: unknown airport/runway:" << aName);
1988   }
1989
1990   d->reset(d->findAirportRunway);
1991   return result;
1992 }
1993
1994 PositionedID
1995 NavDataCache::findILS(PositionedID airport, const string& aRunway, const string& navIdent)
1996 {
1997   string runway(cleanRunwayNo(aRunway));
1998
1999   sqlite_bind_stdstring(d->findILS, 1, navIdent);
2000   sqlite3_bind_int64(d->findILS, 2, airport);
2001   sqlite_bind_stdstring(d->findILS, 3, runway);
2002   PositionedID result = 0;
2003   if (d->execSelect(d->findILS)) {
2004     result = sqlite3_column_int64(d->findILS, 0);
2005   }
2006
2007   d->reset(d->findILS);
2008   return result;
2009 }
2010
2011 int NavDataCache::findAirway(int network, const string& aName)
2012 {
2013   sqlite3_bind_int(d->findAirway, 1, network);
2014   sqlite_bind_stdstring(d->findAirway, 2, aName);
2015
2016   int airway = 0;
2017   if (d->execSelect(d->findAirway)) {
2018     // already exists
2019     airway = sqlite3_column_int(d->findAirway, 0);
2020   } else {
2021     sqlite_bind_stdstring(d->insertAirway, 1, aName);
2022     sqlite3_bind_int(d->insertAirway, 2, network);
2023     airway = d->execInsert(d->insertAirway);
2024   }
2025
2026   d->reset(d->findAirway);
2027   return airway;
2028 }
2029
2030 void NavDataCache::insertEdge(int network, int airwayID, PositionedID from, PositionedID to)
2031 {
2032   // assume all edges are bidirectional for the moment
2033   for (int i=0; i<2; ++i) {
2034     sqlite3_bind_int(d->insertAirwayEdge, 1, network);
2035     sqlite3_bind_int(d->insertAirwayEdge, 2, airwayID);
2036     sqlite3_bind_int64(d->insertAirwayEdge, 3, from);
2037     sqlite3_bind_int64(d->insertAirwayEdge, 4, to);
2038     d->execInsert(d->insertAirwayEdge);
2039
2040     std::swap(from, to);
2041   }
2042 }
2043
2044 bool NavDataCache::isInAirwayNetwork(int network, PositionedID pos)
2045 {
2046   sqlite3_bind_int(d->isPosInAirway, 1, network);
2047   sqlite3_bind_int64(d->isPosInAirway, 2, pos);
2048   bool ok = d->execSelect(d->isPosInAirway);
2049   d->reset(d->isPosInAirway);
2050
2051   return ok;
2052 }
2053
2054 AirwayEdgeVec NavDataCache::airwayEdgesFrom(int network, PositionedID pos)
2055 {
2056   sqlite3_bind_int(d->airwayEdgesFrom, 1, network);
2057   sqlite3_bind_int64(d->airwayEdgesFrom, 2, pos);
2058
2059   AirwayEdgeVec result;
2060   while (d->stepSelect(d->airwayEdgesFrom)) {
2061     result.push_back(AirwayEdge(
2062                      sqlite3_column_int(d->airwayEdgesFrom, 0),
2063                      sqlite3_column_int64(d->airwayEdgesFrom, 1)
2064                      ));
2065   }
2066
2067   d->reset(d->airwayEdgesFrom);
2068   return result;
2069 }
2070
2071 PositionedID NavDataCache::findNavaidForRunway(PositionedID runway, FGPositioned::Type ty)
2072 {
2073   sqlite3_bind_int64(d->findNavaidForRunway, 1, runway);
2074   sqlite3_bind_int(d->findNavaidForRunway, 2, ty);
2075
2076   PositionedID result = 0;
2077   if (d->execSelect(d->findNavaidForRunway)) {
2078     result = sqlite3_column_int64(d->findNavaidForRunway, 0);
2079   }
2080
2081   d->reset(d->findNavaidForRunway);
2082   return result;
2083 }
2084
2085 PositionedID
2086 NavDataCache::insertParking(const std::string& name, const SGGeod& aPos,
2087                             PositionedID aAirport,
2088                            double aHeading, int aRadius, const std::string& aAircraftType,
2089                            const std::string& aAirlines)
2090 {
2091   sqlite3_int64 rowId = d->insertPositioned(FGPositioned::PARKING, name, "", aPos, aAirport, false);
2092
2093 // we need to insert a row into the taxi_node table, otherwise we can't maintain
2094 // the appropriate pushback flag.
2095   sqlite3_bind_int64(d->insertTaxiNode, 1, rowId);
2096   sqlite3_bind_int(d->insertTaxiNode, 2, 0);
2097   sqlite3_bind_int(d->insertTaxiNode, 3, 0);
2098   d->execInsert(d->insertTaxiNode);
2099
2100   sqlite3_bind_int64(d->insertParkingPos, 1, rowId);
2101   sqlite3_bind_double(d->insertParkingPos, 2, aHeading);
2102   sqlite3_bind_int(d->insertParkingPos, 3, aRadius);
2103   sqlite_bind_stdstring(d->insertParkingPos, 4, aAircraftType);
2104   sqlite_bind_stdstring(d->insertParkingPos, 5, aAirlines);
2105   return d->execInsert(d->insertParkingPos);
2106 }
2107
2108 void NavDataCache::setParkingPushBackRoute(PositionedID parking, PositionedID pushBackNode)
2109 {
2110   sqlite3_bind_int64(d->setParkingPushBack, 1, parking);
2111   sqlite3_bind_int64(d->setParkingPushBack, 2, pushBackNode);
2112   d->execUpdate(d->setParkingPushBack);
2113 }
2114
2115 PositionedID
2116 NavDataCache::insertTaxiNode(const SGGeod& aPos, PositionedID aAirport, int aHoldType, bool aOnRunway)
2117 {
2118   sqlite3_int64 rowId = d->insertPositioned(FGPositioned::TAXI_NODE, string(), string(), aPos, aAirport, false);
2119   sqlite3_bind_int64(d->insertTaxiNode, 1, rowId);
2120   sqlite3_bind_int(d->insertTaxiNode, 2, aHoldType);
2121   sqlite3_bind_int(d->insertTaxiNode, 3, aOnRunway);
2122   return d->execInsert(d->insertTaxiNode);
2123 }
2124
2125 void NavDataCache::insertGroundnetEdge(PositionedID aAirport, PositionedID from, PositionedID to)
2126 {
2127   sqlite3_bind_int64(d->insertTaxiEdge, 1, aAirport);
2128   sqlite3_bind_int64(d->insertTaxiEdge, 2, from);
2129   sqlite3_bind_int64(d->insertTaxiEdge, 3, to);
2130   d->execInsert(d->insertTaxiEdge);
2131 }
2132
2133 PositionedIDVec NavDataCache::groundNetNodes(PositionedID aAirport, bool onlyPushback)
2134 {
2135   sqlite3_stmt_ptr q = onlyPushback ? d->airportPushbackNodes : d->airportTaxiNodes;
2136   sqlite3_bind_int64(q, 1, aAirport);
2137   return d->selectIds(q);
2138 }
2139
2140 void NavDataCache::markGroundnetAsPushback(PositionedID nodeId)
2141 {
2142   sqlite3_bind_int64(d->markTaxiNodeAsPushback, 1, nodeId);
2143   d->execUpdate(d->markTaxiNodeAsPushback);
2144 }
2145
2146 static double headingDifferenceDeg(double crs1, double crs2)
2147 {
2148   double diff =  crs2 - crs1;
2149   SG_NORMALIZE_RANGE(diff, -180.0, 180.0);
2150   return diff;
2151 }
2152
2153 PositionedID NavDataCache::findGroundNetNode(PositionedID airport, const SGGeod& aPos,
2154                                              bool onRunway, FGRunway* aRunway)
2155 {
2156   sqlite3_stmt_ptr q = onRunway ? d->findNearestRunwayTaxiNode : d->findNearestTaxiNode;
2157   sqlite3_bind_int64(q, 1, airport);
2158
2159   SGVec3d cartPos(SGVec3d::fromGeod(aPos));
2160   sqlite3_bind_double(q, 2, cartPos.x());
2161   sqlite3_bind_double(q, 3, cartPos.y());
2162   sqlite3_bind_double(q, 4, cartPos.z());
2163
2164   PositionedID result = 0;
2165   while (d->execSelect(q)) {
2166     PositionedID id = sqlite3_column_int64(q, 0);
2167     if (!aRunway) {
2168       result = id;
2169       break;
2170     }
2171
2172   // ensure found node lies on the runway
2173     FGPositionedRef node = loadById(id);
2174     double course = SGGeodesy::courseDeg(node->geod(), aRunway->end());
2175     if (fabs(headingDifferenceDeg(course, aRunway->headingDeg())) < 3.0 ) {
2176       result = id;
2177       break;
2178     }
2179   }
2180
2181   d->reset(q);
2182   return result;
2183 }
2184
2185 PositionedIDVec NavDataCache::groundNetEdgesFrom(PositionedID pos, bool onlyPushback)
2186 {
2187   sqlite3_stmt_ptr q = onlyPushback ? d->pushbackEdgesFrom : d->taxiEdgesFrom;
2188   sqlite3_bind_int64(q, 1, pos);
2189   return d->selectIds(q);
2190 }
2191
2192 PositionedIDVec NavDataCache::findAirportParking(PositionedID airport, const std::string& flightType,
2193                                    int radius)
2194 {
2195   sqlite3_bind_int64(d->findAirportParking, 1, airport);
2196   sqlite3_bind_int(d->findAirportParking, 2, radius);
2197   sqlite_bind_stdstring(d->findAirportParking, 3, flightType);
2198
2199   return d->selectIds(d->findAirportParking);
2200 }
2201
2202 void NavDataCache::dropGroundnetFor(PositionedID aAirport)
2203 {
2204   sqlite3_stmt_ptr q = d->prepare("DELETE FROM parking WHERE rowid IN (SELECT rowid FROM positioned WHERE type=?1 AND airport=?2)");
2205   sqlite3_bind_int(q, 1, FGPositioned::PARKING);
2206   sqlite3_bind_int64(q, 2, aAirport);
2207   d->execUpdate(q);
2208
2209   q = d->prepare("DELETE FROM taxi_node WHERE rowid IN (SELECT rowid FROM positioned WHERE (type=?1 OR type=?2) AND airport=?3)");
2210   sqlite3_bind_int(q, 1, FGPositioned::TAXI_NODE);
2211   sqlite3_bind_int(q, 2, FGPositioned::PARKING);
2212   sqlite3_bind_int64(q, 3, aAirport);
2213   d->execUpdate(q);
2214
2215   q = d->prepare("DELETE FROM positioned WHERE (type=?1 OR type=?2) AND airport=?3");
2216   sqlite3_bind_int(q, 1, FGPositioned::TAXI_NODE);
2217   sqlite3_bind_int(q, 2, FGPositioned::PARKING);
2218   sqlite3_bind_int64(q, 3, aAirport);
2219   d->execUpdate(q);
2220
2221   q = d->prepare("DELETE FROM groundnet_edge WHERE airport=?1");
2222   sqlite3_bind_int64(q, 1, aAirport);
2223   d->execUpdate(q);
2224 }
2225
2226 void NavDataCache::dropAllGroundnets()
2227 {
2228     SG_LOG(SG_NAVCACHE, SG_INFO, "dropping ground-net data");
2229   beginTransaction();
2230   d->runSQL("DELETE FROM groundnet_edge");
2231   d->runSQL("DELETE FROM parking");
2232   d->runSQL("DELETE FROM taxi_node");
2233
2234   sqlite3_stmt_ptr q = d->prepare("DELETE FROM positioned WHERE (type=?1 OR type=?2)");
2235   sqlite3_bind_int(q, 1, FGPositioned::TAXI_NODE);
2236   sqlite3_bind_int(q, 2, FGPositioned::PARKING);
2237   d->execUpdate(q);
2238   commitTransaction();
2239 }
2240
2241 bool NavDataCache::isReadOnly() const
2242 {
2243     return d->readOnly;
2244 }
2245
2246 SGPath NavDataCache::path() const
2247 {
2248     return d->path;
2249 }
2250
2251 /////////////////////////////////////////////////////////////////////////////////////////
2252 // Transaction RAII object
2253
2254 NavDataCache::Transaction::Transaction(NavDataCache* cache) :
2255     _instance(cache),
2256     _committed(false)
2257 {
2258     assert(cache);
2259     _instance->beginTransaction();
2260 }
2261
2262 NavDataCache::Transaction::~Transaction()
2263 {
2264     if (!_committed) {
2265         SG_LOG(SG_NAVCACHE, SG_INFO, "aborting cache transaction!");
2266         _instance->abortTransaction();
2267     }
2268 }
2269
2270 void NavDataCache::Transaction::commit()
2271 {
2272     assert(!_committed);
2273     _committed = true;
2274     _instance->commitTransaction();
2275 }
2276
2277 /////////////////////////////////////////////////////////////////////////////
2278
2279 class NavDataCache::ThreadedAirportSearch::ThreadedAirportSearchPrivate : public SGThread
2280 {
2281 public:
2282     ThreadedAirportSearchPrivate() :
2283         db(NULL),
2284         isComplete(false),
2285         quit(false)
2286     {}
2287
2288     virtual void run()
2289     {
2290         while (!quit) {
2291             int err = sqlite3_step(query);
2292             if (err == SQLITE_DONE) {
2293                 break;
2294             } else if (err == SQLITE_ROW) {
2295                 PositionedID r = sqlite3_column_int64(query, 0);
2296                 SGGuard<SGMutex> g(lock);
2297                 results.push_back(r);
2298             } else if (err == SQLITE_BUSY) {
2299                 // sleep a tiny amount
2300                 SGTimeStamp::sleepForMSec(1);
2301             } else {
2302                 std::string errMsg = sqlite3_errmsg(db);
2303                 SG_LOG(SG_NAVCACHE, SG_ALERT, "Sqlite error:" << errMsg << " running threaded airport query");
2304             }
2305         }
2306
2307         SGGuard<SGMutex> g(lock);
2308         isComplete = true;
2309     }
2310
2311     SGMutex lock;
2312     sqlite3* db;
2313     sqlite3_stmt_ptr query;
2314     PositionedIDVec results;
2315     bool isComplete;
2316     bool quit;
2317 };
2318
2319 NavDataCache::ThreadedAirportSearch::ThreadedAirportSearch(const std::string& term) :
2320     d(new ThreadedAirportSearchPrivate)
2321 {
2322     SGPath p = NavDataCache::instance()->path();
2323     int openFlags = SQLITE_OPEN_READONLY;
2324     std::string pathUtf8 = simgear::strutils::convertWindowsLocal8BitToUtf8(p.str());
2325     sqlite3_open_v2(pathUtf8.c_str(), &d->db, openFlags, NULL);
2326
2327     std::string sql = "SELECT rowid FROM positioned WHERE name LIKE '%" + term
2328         + "%' AND type >= 1 AND type <= 3";
2329     sqlite3_prepare_v2(d->db, sql.c_str(), sql.length(), &d->query, NULL);
2330
2331     d->start();
2332 }
2333
2334 NavDataCache::ThreadedAirportSearch::~ThreadedAirportSearch()
2335 {
2336     {
2337         SGGuard<SGMutex> g(d->lock);
2338         d->quit = true;
2339     }
2340
2341     d->join();
2342     sqlite3_finalize(d->query);
2343     sqlite3_close_v2(d->db);
2344 }
2345
2346 PositionedIDVec NavDataCache::ThreadedAirportSearch::results() const
2347 {
2348     PositionedIDVec r;
2349     {
2350         SGGuard<SGMutex> g(d->lock);
2351         r = d->results;
2352     }
2353     return r;
2354 }
2355
2356 bool NavDataCache::ThreadedAirportSearch::isComplete() const
2357 {
2358     SGGuard<SGMutex> g(d->lock);
2359     return d->isComplete;
2360 }
2361
2362 } // of namespace flightgear
2363