src/Navaids/NavDataCache.cxx

   1 // NavDataCache.cxx - defines a unified binary cache for navigation
   2 // data, parsed from various text / XML sources.
   3
   4 // Written by James Turner, started 2012.
   5 //
   6 // Copyright (C) 2012  James Turner
   7 //
   8 // This program is free software; you can redistribute it and/or
   9 // modify it under the terms of the GNU General Public License as
  10 // published by the Free Software Foundation; either version 2 of the
  11 // License, or (at your option) any later version.
  12 //
  13 // This program is distributed in the hope that it will be useful, but
  14 // WITHOUT ANY WARRANTY; without even the implied warranty of
  15 // MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
  16 // General Public License for more details.
  17 //
  18 // You should have received a copy of the GNU General Public License
  19 // along with this program; if not, write to the Free Software
  20 // Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA  02110-1301, USA.
  21
  22 #ifdef HAVE_CONFIG_H
  23 # include "config.h"
  24 #endif
  25
  26 // to ensure compatability between sqlite3_int64 and PositionedID,
  27 // force the type used by sqlite to match PositionedID explicitly
  28 #define SQLITE_INT64_TYPE int64_t
  29 #define SQLITE_UINT64_TYPE uint64_t
  30
  31 #include "NavDataCache.hxx"
  32
  33 // std
  34 #include <map>
  35 #include <cassert>
  36 #include <stdint.h> // for int64_t
  37 // boost
  38 #include <boost/foreach.hpp>
  39
  40 #include "sqlite3.h"
  41
  42 // SimGear
  43 #include <simgear/structure/exception.hxx>
  44 #include <simgear/debug/logstream.hxx>
  45 #include <simgear/bucket/newbucket.hxx>
  46 #include <simgear/misc/sg_path.hxx>
  47 #include <simgear/misc/strutils.hxx>
  48 #include <simgear/threads/SGThread.hxx>
  49 #include <simgear/threads/SGGuard.hxx>
  50
  51 #include <Main/globals.hxx>
  52 #include "markerbeacon.hxx"
  53 #include "navrecord.hxx"
  54 #include <Airports/airport.hxx>
  55 #include <Airports/runways.hxx>
  56 #include <ATC/CommStation.hxx>
  57 #include "fix.hxx"
  58 #include <Navaids/fixlist.hxx>
  59 #include <Navaids/navdb.hxx>
  60 #include "PositionedOctree.hxx"
  61 #include <Airports/apt_loader.hxx>
  62 #include <Navaids/airways.hxx>
  63 #include "poidb.hxx"
  64 #include <Airports/parking.hxx>
  65 #include <Airports/gnnode.hxx>
  66
  67 using std::string;
  68
  69 #define SG_NAVCACHE SG_NAVAID
  70 //#define LAZY_OCTREE_UPDATES 1
  71
  72 namespace {
  73
  74 const int MAX_RETRIES = 10;
  75 const int SCHEMA_VERSION = 8;
  76 const int CACHE_SIZE_KBYTES= 16000;
  77
  78 // bind a std::string to a sqlite statement. The std::string must live the
  79 // entire duration of the statement execution - do not pass a temporary
  80 // std::string, or the compiler may delete it, freeing the C-string storage,
  81 // and causing subtle memory corruption bugs!
  82 void sqlite_bind_stdstring(sqlite3_stmt* stmt, int value, const std::string& s)
  83 {
  84   sqlite3_bind_text(stmt, value, s.c_str(), s.length(), SQLITE_STATIC);
  85 }
  86
  87 // variant of the above, which does not care about the lifetime of the
  88 // passed std::string
  89 void sqlite_bind_temp_stdstring(sqlite3_stmt* stmt, int value, const std::string& s)
  90 {
  91   sqlite3_bind_text(stmt, value, s.c_str(), s.length(), SQLITE_TRANSIENT);
  92 }
  93
  94 typedef sqlite3_stmt* sqlite3_stmt_ptr;
  95
  96 void f_distanceCartSqrFunction(sqlite3_context* ctx, int argc, sqlite3_value* argv[])
  97 {
  98   if (argc != 6) {
  99     return;
 100   }
 101
 102   SGVec3d posA(sqlite3_value_double(argv[0]),
 103                sqlite3_value_double(argv[1]),
 104                sqlite3_value_double(argv[2]));
 105
 106   SGVec3d posB(sqlite3_value_double(argv[3]),
 107                sqlite3_value_double(argv[4]),
 108                sqlite3_value_double(argv[5]));
 109   sqlite3_result_double(ctx, distSqr(posA, posB));
 110 }
 111
 112
 113 static string cleanRunwayNo(const string& aRwyNo)
 114 {
 115   if (aRwyNo[0] == 'x') {
 116     return string(); // no ident for taxiways
 117   }
 118
 119   string result(aRwyNo);
 120   // canonicalise runway ident
 121   if ((aRwyNo.size() == 1) || !isdigit(aRwyNo[1])) {
 122     result = "0" + aRwyNo;
 123   }
 124
 125   // trim off trailing garbage
 126   if (result.size() > 2) {
 127     char suffix = toupper(result[2]);
 128     if (suffix == 'X') {
 129       result = result.substr(0, 2);
 130     }
 131   }
 132
 133   return result;
 134 }
 135
 136 } // anonymous namespace
 137
 138 namespace flightgear
 139 {
 140
 141 /**
 142  * Thread encapsulating a cache rebuild. This is not used to parallelise
 143  * the rebuild - we must still wait until completion before doing other
 144  * startup, since many things rely on a complete cache. The thread is used
 145  * so we don't block the main event loop for an unacceptable duration,
 146  * which causes 'not responding' / spinning beachballs on Windows & Mac
 147  */
 148 class RebuildThread : public SGThread
 149 {
 150 public:
 151   RebuildThread(NavDataCache* cache) :
 152   _cache(cache),
 153   _isFinished(false)
 154   {
 155
 156   }
 157
 158   bool isFinished() const
 159   {
 160     SGGuard<SGMutex> g(_lock);
 161     return _isFinished;
 162   }
 163
 164   virtual void run()
 165   {
 166     SGTimeStamp st;
 167     st.stamp();
 168     _cache->doRebuild();
 169     SG_LOG(SG_NAVCACHE, SG_INFO, "cache rebuild took:" << st.elapsedMSec() << "msec");
 170
 171     SGGuard<SGMutex> g(_lock);
 172     _isFinished = true;
 173   }
 174 private:
 175   NavDataCache* _cache;
 176   mutable SGMutex _lock;
 177   bool _isFinished;
 178 };
 179
 180 ////////////////////////////////////////////////////////////////////////////
 181
 182 typedef std::map<PositionedID, FGPositionedRef> PositionedCache;
 183
 184 class AirportTower : public FGPositioned
 185 {
 186 public:
 187   AirportTower(PositionedID& guid, PositionedID airport,
 188                const string& ident, const SGGeod& pos) :
 189     FGPositioned(guid, FGPositioned::TOWER, ident, pos)
 190   {
 191   }
 192 };
 193
 194 class NavDataCache::NavDataCachePrivate
 195 {
 196 public:
 197   NavDataCachePrivate(const SGPath& p, NavDataCache* o) :
 198     outer(o),
 199     db(NULL),
 200     path(p),
 201     cacheHits(0),
 202     cacheMisses(0),
 203     transactionLevel(0),
 204     transactionAborted(false)
 205   {
 206   }
 207
 208   ~NavDataCachePrivate()
 209   {
 210     close();
 211   }
 212
 213   void init()
 214   {
 215     SG_LOG(SG_NAVCACHE, SG_INFO, "NavCache at:" << path);
 216     sqlite3_open_v2(path.c_str(), &db,
 217                     SQLITE_OPEN_READWRITE | SQLITE_OPEN_CREATE, NULL);
 218
 219
 220     sqlite3_stmt_ptr checkTables =
 221       prepare("SELECT count(*) FROM sqlite_master WHERE name='properties'");
 222
 223     sqlite3_create_function(db, "distanceCartSqr", 6, SQLITE_ANY, NULL,
 224                             f_distanceCartSqrFunction, NULL, NULL);
 225
 226     execSelect(checkTables);
 227     bool didCreate = false;
 228     if (sqlite3_column_int(checkTables, 0) == 0) {
 229       SG_LOG(SG_NAVCACHE, SG_INFO, "will create tables");
 230       initTables();
 231       didCreate = true;
 232     }
 233
 234     readPropertyQuery = prepare("SELECT value FROM properties WHERE key=?");
 235     writePropertyQuery = prepare("INSERT INTO properties (key, value) VALUES (?,?)");
 236     clearProperty = prepare("DELETE FROM properties WHERE key=?1");
 237
 238     if (didCreate) {
 239       writeIntProperty("schema-version", SCHEMA_VERSION);
 240     } else {
 241       int schemaVersion = outer->readIntProperty("schema-version");
 242       if (schemaVersion != SCHEMA_VERSION) {
 243         SG_LOG(SG_NAVCACHE, SG_INFO, "Navcache schema mismatch, will rebuild");
 244         throw sg_exception("Navcache schema has changed");
 245       }
 246     }
 247
 248     // see http://www.sqlite.org/pragma.html#pragma_cache_size
 249     // for the details, small cache would cause thrashing.
 250     std::ostringstream q;
 251     q << "PRAGMA cache_size=-" << CACHE_SIZE_KBYTES << ";";
 252     runSQL(q.str());
 253     prepareQueries();
 254   }
 255
 256   void close()
 257   {
 258     BOOST_FOREACH(sqlite3_stmt_ptr stmt, prepared) {
 259       sqlite3_finalize(stmt);
 260     }
 261     prepared.clear();
 262     sqlite3_close(db);
 263   }
 264
 265   void checkCacheFile()
 266   {
 267     SG_LOG(SG_NAVCACHE, SG_INFO, "running DB integrity check");
 268     SGTimeStamp st;
 269     st.stamp();
 270
 271     sqlite3_stmt_ptr stmt = prepare("PRAGMA quick_check(1)");
 272     if (!execSelect(stmt)) {
 273       throw sg_exception("DB integrity check failed to run");
 274     }
 275
 276     string v = (char*) sqlite3_column_text(stmt, 0);
 277     if (v != "ok") {
 278       throw sg_exception("DB integrity check returned:" + v);
 279     }
 280
 281     SG_LOG(SG_NAVCACHE, SG_INFO, "NavDataCache integrity check took:" << st.elapsedMSec());
 282     finalize(stmt);
 283   }
 284
 285   void callSqlite(int result, const string& sql)
 286   {
 287     if (result == SQLITE_OK)
 288       return; // all good
 289
 290     string errMsg;
 291     if (result == SQLITE_MISUSE) {
 292       errMsg = "Sqlite API abuse";
 293       SG_LOG(SG_NAVCACHE, SG_ALERT, "Sqlite API abuse");
 294     } else {
 295       errMsg = sqlite3_errmsg(db);
 296       SG_LOG(SG_NAVCACHE, SG_ALERT, "Sqlite error:" << errMsg << " running:\n\t" << sql);
 297     }
 298
 299     throw sg_exception("Sqlite error:" + errMsg, sql);
 300   }
 301
 302   void runSQL(const string& sql)
 303   {
 304     sqlite3_stmt_ptr stmt;
 305     callSqlite(sqlite3_prepare_v2(db, sql.c_str(), sql.length(), &stmt, NULL), sql);
 306
 307     try {
 308       execSelect(stmt);
 309     } catch (sg_exception&) {
 310       sqlite3_finalize(stmt);
 311       throw; // re-throw
 312     }
 313
 314     sqlite3_finalize(stmt);
 315   }
 316
 317   sqlite3_stmt_ptr prepare(const string& sql)
 318   {
 319     sqlite3_stmt_ptr stmt;
 320     callSqlite(sqlite3_prepare_v2(db, sql.c_str(), sql.length(), &stmt, NULL), sql);
 321     prepared.push_back(stmt);
 322     return stmt;
 323   }
 324
 325   void finalize(sqlite3_stmt_ptr s)
 326   {
 327     StmtVec::iterator it = std::find(prepared.begin(), prepared.end(), s);
 328     if (it == prepared.end()) {
 329       throw sg_exception("Finalising statement that was not prepared");
 330     }
 331
 332     prepared.erase(it);
 333     sqlite3_finalize(s);
 334   }
 335
 336   void reset(sqlite3_stmt_ptr stmt)
 337   {
 338     assert(stmt);
 339     if (sqlite3_reset(stmt) != SQLITE_OK) {
 340       string errMsg = sqlite3_errmsg(db);
 341       SG_LOG(SG_NAVCACHE, SG_ALERT, "Sqlite error resetting:" << errMsg);
 342       throw sg_exception("Sqlite error resetting:" + errMsg, sqlite3_sql(stmt));
 343     }
 344   }
 345
 346   bool execSelect(sqlite3_stmt_ptr stmt)
 347   {
 348     return stepSelect(stmt);
 349   }
 350
 351   bool stepSelect(sqlite3_stmt_ptr stmt)
 352   {
 353     int retries = 0;
 354     int result;
 355     while (retries < MAX_RETRIES) {
 356       result = sqlite3_step(stmt);
 357       if (result == SQLITE_ROW) {
 358         return true; // at least one result row
 359       }
 360
 361       if (result == SQLITE_DONE) {
 362         return false; // no result rows
 363       }
 364
 365       if (result != SQLITE_BUSY) {
 366         break;
 367       }
 368
 369       SG_LOG(SG_NAVCACHE, SG_ALERT, "NavCache contention on select, will retry:" << retries);
 370       SGTimeStamp::sleepForMSec(++retries * 10);
 371     } // of retry loop for DB locked
 372
 373     if (retries >= MAX_RETRIES) {
 374       SG_LOG(SG_NAVCACHE, SG_ALERT, "exceeded maximum number of SQLITE_BUSY retries");
 375       return false;
 376     }
 377
 378     string errMsg;
 379     if (result == SQLITE_MISUSE) {
 380       errMsg = "Sqlite API abuse";
 381       SG_LOG(SG_NAVCACHE, SG_ALERT, "Sqlite API abuse");
 382     } else {
 383       errMsg = sqlite3_errmsg(db);
 384       SG_LOG(SG_NAVCACHE, SG_ALERT, "Sqlite error:" << errMsg << " (" << result
 385              << ") while running:\n\t" << sqlite3_sql(stmt));
 386     }
 387
 388     throw sg_exception("Sqlite error:" + errMsg, sqlite3_sql(stmt));
 389   }
 390
 391   void execSelect1(sqlite3_stmt_ptr stmt)
 392   {
 393     if (!execSelect(stmt)) {
 394       SG_LOG(SG_NAVCACHE, SG_WARN, "empty SELECT running:\n\t" << sqlite3_sql(stmt));
 395       throw sg_exception("no results returned for select", sqlite3_sql(stmt));
 396     }
 397   }
 398
 399   sqlite3_int64 execInsert(sqlite3_stmt_ptr stmt)
 400   {
 401     execSelect(stmt);
 402     sqlite3_int64 rowid = sqlite3_last_insert_rowid(db);
 403     reset(stmt);
 404     return rowid;
 405   }
 406
 407   void execUpdate(sqlite3_stmt_ptr stmt)
 408   {
 409     execSelect(stmt);
 410     reset(stmt);
 411   }
 412
 413   void initTables()
 414   {
 415     runSQL("CREATE TABLE properties ("
 416            "key VARCHAR,"
 417            "value VARCHAR"
 418            ")");
 419
 420     runSQL("CREATE TABLE stat_cache ("
 421            "path VARCHAR unique,"
 422            "stamp INT"
 423            ")");
 424
 425     runSQL("CREATE TABLE positioned ("
 426            "type INT,"
 427            "ident VARCHAR collate nocase,"
 428            "name VARCHAR collate nocase,"
 429            "airport INT64,"
 430            "lon FLOAT,"
 431            "lat FLOAT,"
 432            "elev_m FLOAT,"
 433            "octree_node INT,"
 434            "cart_x FLOAT,"
 435            "cart_y FLOAT,"
 436            "cart_z FLOAT"
 437            ")");
 438
 439     runSQL("CREATE INDEX pos_octree ON positioned(octree_node)");
 440     runSQL("CREATE INDEX pos_ident ON positioned(ident collate nocase)");
 441     runSQL("CREATE INDEX pos_name ON positioned(name collate nocase)");
 442     // allow efficient querying of 'all ATIS at this airport' or
 443     // 'all towers at this airport'
 444     runSQL("CREATE INDEX pos_apt_type ON positioned(airport, type)");
 445
 446     runSQL("CREATE TABLE airport ("
 447            "has_metar BOOL"
 448            ")"
 449            );
 450
 451     runSQL("CREATE TABLE comm ("
 452            "freq_khz INT,"
 453            "range_nm INT"
 454            ")"
 455            );
 456
 457     runSQL("CREATE INDEX comm_freq ON comm(freq_khz)");
 458
 459     runSQL("CREATE TABLE runway ("
 460            "heading FLOAT,"
 461            "length_ft FLOAT,"
 462            "width_m FLOAT,"
 463            "surface INT,"
 464            "displaced_threshold FLOAT,"
 465            "stopway FLOAT,"
 466            "reciprocal INT64,"
 467            "ils INT64"
 468            ")"
 469            );
 470
 471     runSQL("CREATE TABLE navaid ("
 472            "freq INT,"
 473            "range_nm INT,"
 474            "multiuse FLOAT,"
 475            "runway INT64,"
 476            "colocated INT64"
 477            ")"
 478            );
 479
 480     runSQL("CREATE INDEX navaid_freq ON navaid(freq)");
 481
 482     runSQL("CREATE TABLE octree (children INT)");
 483
 484     runSQL("CREATE TABLE airway ("
 485            "ident VARCHAR collate nocase,"
 486            "network INT" // high-level or low-level
 487            ")");
 488
 489     runSQL("CREATE INDEX airway_ident ON airway(ident)");
 490
 491     runSQL("CREATE TABLE airway_edge ("
 492            "network INT,"
 493            "airway INT64,"
 494            "a INT64,"
 495            "b INT64"
 496            ")");
 497
 498     runSQL("CREATE INDEX airway_edge_from ON airway_edge(a)");
 499
 500     runSQL("CREATE TABLE taxi_node ("
 501            "hold_type INT,"
 502            "on_runway BOOL,"
 503            "pushback BOOL"
 504            ")");
 505
 506     runSQL("CREATE TABLE parking ("
 507            "heading FLOAT,"
 508            "radius INT,"
 509            "gate_type VARCHAR,"
 510            "airlines VARCHAR,"
 511            "pushback INT64"
 512            ")");
 513
 514     runSQL("CREATE TABLE groundnet_edge ("
 515            "airport INT64,"
 516            "a INT64,"
 517            "b INT64"
 518            ")");
 519
 520     runSQL("CREATE INDEX groundnet_edge_airport ON groundnet_edge(airport)");
 521     runSQL("CREATE INDEX groundnet_edge_from ON groundnet_edge(a)");
 522   }
 523
 524   void prepareQueries()
 525   {
 526     writePropertyMulti = prepare("INSERT INTO properties (key, value) VALUES(?1,?2)");
 527
 528     beginTransactionStmt = prepare("BEGIN");
 529     commitTransactionStmt = prepare("COMMIT");
 530     rollbackTransactionStmt = prepare("ROLLBACK");
 531
 532
 533 #define POSITIONED_COLS "rowid, type, ident, name, airport, lon, lat, elev_m, octree_node"
 534 #define AND_TYPED "AND type>=?2 AND type <=?3"
 535     statCacheCheck = prepare("SELECT stamp FROM stat_cache WHERE path=?");
 536     stampFileCache = prepare("INSERT OR REPLACE INTO stat_cache "
 537                              "(path, stamp) VALUES (?,?)");
 538
 539     loadPositioned = prepare("SELECT " POSITIONED_COLS " FROM positioned WHERE rowid=?");
 540     loadAirportStmt = prepare("SELECT has_metar FROM airport WHERE rowid=?");
 541     loadNavaid = prepare("SELECT range_nm, freq, multiuse, runway, colocated FROM navaid WHERE rowid=?");
 542     loadCommStation = prepare("SELECT freq_khz, range_nm FROM comm WHERE rowid=?");
 543     loadRunwayStmt = prepare("SELECT heading, length_ft, width_m, surface, displaced_threshold,"
 544                              "stopway, reciprocal, ils FROM runway WHERE rowid=?1");
 545
 546     getAirportItems = prepare("SELECT rowid FROM positioned WHERE airport=?1 " AND_TYPED);
 547
 548
 549     setAirportMetar = prepare("UPDATE airport SET has_metar=?2 WHERE rowid="
 550                               "(SELECT rowid FROM positioned WHERE ident=?1 AND type>=?3 AND type <=?4)");
 551     sqlite3_bind_int(setAirportMetar, 3, FGPositioned::AIRPORT);
 552     sqlite3_bind_int(setAirportMetar, 4, FGPositioned::SEAPORT);
 553
 554     setRunwayReciprocal = prepare("UPDATE runway SET reciprocal=?2 WHERE rowid=?1");
 555     setRunwayILS = prepare("UPDATE runway SET ils=?2 WHERE rowid=?1");
 556     updateRunwayThreshold = prepare("UPDATE runway SET heading=?2, displaced_threshold=?3, stopway=?4 WHERE rowid=?1");
 557
 558     insertPositionedQuery = prepare("INSERT INTO positioned "
 559                                     "(type, ident, name, airport, lon, lat, elev_m, octree_node, "
 560                                     "cart_x, cart_y, cart_z)"
 561                                     " VALUES (?1, ?2, ?3, ?4, ?5, ?6, ?7, ?8, ?9, ?10, ?11)");
 562
 563     setAirportPos = prepare("UPDATE positioned SET lon=?2, lat=?3, elev_m=?4, octree_node=?5, "
 564                             "cart_x=?6, cart_y=?7, cart_z=?8 WHERE rowid=?1");
 565     insertAirport = prepare("INSERT INTO airport (rowid, has_metar) VALUES (?, ?)");
 566     insertNavaid = prepare("INSERT INTO navaid (rowid, freq, range_nm, multiuse, runway, colocated)"
 567                            " VALUES (?1, ?2, ?3, ?4, ?5, ?6)");
 568     updateILS = prepare("UPDATE navaid SET multiuse=?2 WHERE rowid=?1");
 569
 570     insertCommStation = prepare("INSERT INTO comm (rowid, freq_khz, range_nm)"
 571                                 " VALUES (?, ?, ?)");
 572     insertRunway = prepare("INSERT INTO runway "
 573                            "(rowid, heading, length_ft, width_m, surface, displaced_threshold, stopway, reciprocal)"
 574                            " VALUES (?1, ?2, ?3, ?4, ?5, ?6, ?7, ?8)");
 575     runwayLengthFtQuery = prepare("SELECT length_ft FROM runway WHERE rowid=?1");
 576
 577     removePOIQuery = prepare("DELETE FROM positioned WHERE type=?1 AND ident=?2");
 578
 579   // query statement
 580     findClosestWithIdent = prepare("SELECT rowid FROM positioned WHERE ident=?1 "
 581                                    AND_TYPED " ORDER BY distanceCartSqr(cart_x, cart_y, cart_z, ?4, ?5, ?6)");
 582
 583     findCommByFreq = prepare("SELECT positioned.rowid FROM positioned, comm WHERE "
 584                              "positioned.rowid=comm.rowid AND freq_khz=?1 "
 585                              AND_TYPED " ORDER BY distanceCartSqr(cart_x, cart_y, cart_z, ?4, ?5, ?6)");
 586
 587     findNavsByFreq = prepare("SELECT positioned.rowid FROM positioned, navaid WHERE "
 588                              "positioned.rowid=navaid.rowid "
 589                              "AND navaid.freq=?1 " AND_TYPED
 590                              " ORDER BY distanceCartSqr(cart_x, cart_y, cart_z, ?4, ?5, ?6)");
 591
 592     findNavsByFreqNoPos = prepare("SELECT positioned.rowid FROM positioned, navaid WHERE "
 593                                   "positioned.rowid=navaid.rowid AND freq=?1 " AND_TYPED);
 594
 595     findNavaidForRunway = prepare("SELECT positioned.rowid FROM positioned, navaid WHERE "
 596                                   "positioned.rowid=navaid.rowid AND runway=?1 AND type=?2");
 597
 598   // for an octree branch, return the child octree nodes which exist,
 599   // described as a bit-mask
 600     getOctreeChildren = prepare("SELECT children FROM octree WHERE rowid=?1");
 601
 602 #ifdef LAZY_OCTREE_UPDATES
 603     updateOctreeChildren = prepare("UPDATE octree SET children=?2 WHERE rowid=?1");
 604 #else
 605   // mask the new child value into the existing one
 606     updateOctreeChildren = prepare("UPDATE octree SET children=(?2 | children) WHERE rowid=?1");
 607 #endif
 608
 609   // define a new octree node (with no children)
 610     insertOctree = prepare("INSERT INTO octree (rowid, children) VALUES (?1, 0)");
 611
 612     getOctreeLeafChildren = prepare("SELECT rowid, type FROM positioned WHERE octree_node=?1");
 613
 614     searchAirports = prepare("SELECT ident, name FROM positioned WHERE (name LIKE ?1 OR ident LIKE ?1) " AND_TYPED);
 615     sqlite3_bind_int(searchAirports, 2, FGPositioned::AIRPORT);
 616     sqlite3_bind_int(searchAirports, 3, FGPositioned::SEAPORT);
 617
 618     getAirportItemByIdent = prepare("SELECT rowid FROM positioned WHERE airport=?1 AND ident=?2 AND type=?3");
 619
 620     findAirportRunway = prepare("SELECT airport, rowid FROM positioned WHERE ident=?2 AND type=?3 AND airport="
 621                                 "(SELECT rowid FROM positioned WHERE type=?4 AND ident=?1)");
 622     sqlite3_bind_int(findAirportRunway, 3, FGPositioned::RUNWAY);
 623     sqlite3_bind_int(findAirportRunway, 4, FGPositioned::AIRPORT);
 624
 625     // three-way join to get the navaid ident and runway ident in a single select.
 626     // we're joining positioned to itself by the navaid runway, with the complication
 627     // that we need to join the navaids table to get the runway ID.
 628     // we also need to filter by type to excluse glideslope (GS) matches
 629     findILS = prepare("SELECT nav.rowid FROM positioned AS nav, positioned AS rwy, navaid WHERE "
 630                       "nav.ident=?1 AND nav.airport=?2 AND rwy.ident=?3 "
 631                       "AND rwy.rowid = navaid.runway AND navaid.rowid=nav.rowid "
 632                       "AND (nav.type=?4 OR nav.type=?5)");
 633
 634     sqlite3_bind_int(findILS, 4, FGPositioned::ILS);
 635     sqlite3_bind_int(findILS, 5, FGPositioned::LOC);
 636
 637   // airways
 638     findAirway = prepare("SELECT rowid FROM airway WHERE network=?1 AND ident=?2");
 639     insertAirway = prepare("INSERT INTO airway (ident, network) "
 640                            "VALUES (?1, ?2)");
 641
 642     insertAirwayEdge = prepare("INSERT INTO airway_edge (network, airway, a, b) "
 643                                "VALUES (?1, ?2, ?3, ?4)");
 644
 645     isPosInAirway = prepare("SELECT rowid FROM airway_edge WHERE network=?1 AND a=?2");
 646
 647     airwayEdgesFrom = prepare("SELECT airway, b FROM airway_edge WHERE network=?1 AND a=?2");
 648
 649   // parking / taxi-node graph
 650     insertTaxiNode = prepare("INSERT INTO taxi_node (rowid, hold_type, on_runway, pushback) VALUES(?1, ?2, ?3, 0)");
 651     insertParkingPos = prepare("INSERT INTO parking (rowid, heading, radius, gate_type, airlines) "
 652                                "VALUES (?1, ?2, ?3, ?4, ?5)");
 653     setParkingPushBack = prepare("UPDATE parking SET pushback=?2 WHERE rowid=?1");
 654
 655     loadTaxiNodeStmt = prepare("SELECT hold_type, on_runway FROM taxi_node WHERE rowid=?1");
 656     loadParkingPos = prepare("SELECT heading, radius, gate_type, airlines, pushback FROM parking WHERE rowid=?1");
 657     taxiEdgesFrom = prepare("SELECT b FROM groundnet_edge WHERE a=?1");
 658     pushbackEdgesFrom = prepare("SELECT b FROM groundnet_edge, taxi_node WHERE "
 659                                 "a=?1 AND groundnet_edge.b = taxi_node.rowid AND pushback=1");
 660
 661     insertTaxiEdge = prepare("INSERT INTO groundnet_edge (airport, a,b) VALUES(?1, ?2, ?3)");
 662
 663     markTaxiNodeAsPushback = prepare("UPDATE taxi_node SET pushback=1 WHERE rowid=?1");
 664     airportTaxiNodes = prepare("SELECT rowid FROM positioned WHERE (type=?2 OR type=?3) AND airport=?1");
 665     sqlite3_bind_int(airportTaxiNodes, 2, FGPositioned::PARKING);
 666     sqlite3_bind_int(airportTaxiNodes, 3, FGPositioned::TAXI_NODE);
 667
 668     airportPushbackNodes = prepare("SELECT positioned.rowid FROM positioned, taxi_node WHERE "\
 669                                    "airport=?1 AND positioned.rowid=taxi_node.rowid AND pushback=1 "
 670                                    "AND (type=?2 OR type=?3)");
 671     sqlite3_bind_int(airportPushbackNodes, 2, FGPositioned::PARKING);
 672     sqlite3_bind_int(airportPushbackNodes, 3, FGPositioned::TAXI_NODE);
 673
 674     findNearestTaxiNode = prepare("SELECT positioned.rowid FROM positioned, taxi_node WHERE "
 675                                   "positioned.rowid = taxi_node.rowid AND airport=?1 "
 676                                   "ORDER BY distanceCartSqr(cart_x, cart_y, cart_z, ?2, ?3, ?4) "
 677                                   "LIMIT 1");
 678
 679     findNearestRunwayTaxiNode = prepare("SELECT positioned.rowid FROM positioned, taxi_node WHERE "
 680                                         "positioned.rowid = taxi_node.rowid AND airport=?1 "
 681                                         "AND on_runway=1 "
 682                                         "ORDER BY distanceCartSqr(cart_x, cart_y, cart_z, ?2, ?3, ?4) ");
 683
 684     findAirportParking = prepare("SELECT positioned.rowid FROM positioned, parking WHERE "
 685                                  "airport=?1 AND type=?4 AND "
 686                                  "radius >= ?2 AND gate_type = ?3 AND "
 687                                  "parking.rowid=positioned.rowid");
 688     sqlite3_bind_int(findAirportParking, 4, FGPositioned::PARKING);
 689   }
 690
 691   void writeIntProperty(const string& key, int value)
 692   {
 693     sqlite_bind_stdstring(clearProperty, 1, key);
 694     execUpdate(clearProperty);
 695
 696     sqlite_bind_stdstring(writePropertyQuery, 1, key);
 697     sqlite3_bind_int(writePropertyQuery, 2, value);
 698     execUpdate(writePropertyQuery);
 699   }
 700
 701
 702   FGPositioned* loadById(sqlite_int64 rowId);
 703
 704   FGAirport* loadAirport(sqlite_int64 rowId,
 705                          FGPositioned::Type ty,
 706                          const string& id, const string& name, const SGGeod& pos)
 707   {
 708     sqlite3_bind_int64(loadAirportStmt, 1, rowId);
 709     execSelect1(loadAirportStmt);
 710     bool hasMetar = (sqlite3_column_int(loadAirportStmt, 0) > 0);
 711     reset(loadAirportStmt);
 712
 713     return new FGAirport(rowId, id, pos, name, hasMetar, ty);
 714   }
 715
 716   FGRunwayBase* loadRunway(sqlite3_int64 rowId, FGPositioned::Type ty,
 717                            const string& id, const SGGeod& pos, PositionedID apt)
 718   {
 719     sqlite3_bind_int(loadRunwayStmt, 1, rowId);
 720     execSelect1(loadRunwayStmt);
 721
 722     double heading = sqlite3_column_double(loadRunwayStmt, 0);
 723     double lengthM = sqlite3_column_int(loadRunwayStmt, 1);
 724     double widthM = sqlite3_column_double(loadRunwayStmt, 2);
 725     int surface = sqlite3_column_int(loadRunwayStmt, 3);
 726
 727     if (ty == FGPositioned::TAXIWAY) {
 728       reset(loadRunwayStmt);
 729       return new FGTaxiway(rowId, id, pos, heading, lengthM, widthM, surface);
 730     } else if (ty == FGPositioned::HELIPAD) {
 731         reset(loadRunwayStmt);
 732         return new FGHelipad(rowId, apt, id, pos, heading, lengthM, widthM, surface);
 733     } else {
 734       double displacedThreshold = sqlite3_column_double(loadRunwayStmt, 4);
 735       double stopway = sqlite3_column_double(loadRunwayStmt, 5);
 736       PositionedID reciprocal = sqlite3_column_int64(loadRunwayStmt, 6);
 737       PositionedID ils = sqlite3_column_int64(loadRunwayStmt, 7);
 738       FGRunway* r = new FGRunway(rowId, apt, id, pos, heading, lengthM, widthM,
 739                           displacedThreshold, stopway, surface);
 740
 741       if (reciprocal > 0) {
 742         r->setReciprocalRunway(reciprocal);
 743       }
 744
 745       if (ils > 0) {
 746         r->setILS(ils);
 747       }
 748
 749       reset(loadRunwayStmt);
 750       return r;
 751     }
 752   }
 753
 754   CommStation* loadComm(sqlite3_int64 rowId, FGPositioned::Type ty,
 755                         const string& id, const string& name,
 756                         const SGGeod& pos,
 757                         PositionedID airport)
 758   {
 759     sqlite3_bind_int64(loadCommStation, 1, rowId);
 760     execSelect1(loadCommStation);
 761
 762     int range = sqlite3_column_int(loadCommStation, 0);
 763     int freqKhz = sqlite3_column_int(loadCommStation, 1);
 764     reset(loadCommStation);
 765
 766     CommStation* c = new CommStation(rowId, name, ty, pos, freqKhz, range);
 767     c->setAirport(airport);
 768     return c;
 769   }
 770
 771   FGPositioned* loadNav(sqlite3_int64 rowId,
 772                        FGPositioned::Type ty, const string& id,
 773                        const string& name, const SGGeod& pos)
 774   {
 775     sqlite3_bind_int64(loadNavaid, 1, rowId);
 776     execSelect1(loadNavaid);
 777
 778     PositionedID runway = sqlite3_column_int64(loadNavaid, 3);
 779     // marker beacons are light-weight
 780     if ((ty == FGPositioned::OM) || (ty == FGPositioned::IM) ||
 781         (ty == FGPositioned::MM))
 782     {
 783       reset(loadNavaid);
 784       return new FGMarkerBeaconRecord(rowId, ty, runway, pos);
 785     }
 786
 787     int rangeNm = sqlite3_column_int(loadNavaid, 0),
 788       freq = sqlite3_column_int(loadNavaid, 1);
 789     double mulituse = sqlite3_column_double(loadNavaid, 2);
 790     //sqlite3_int64 colocated = sqlite3_column_int64(loadNavaid, 4);
 791     reset(loadNavaid);
 792
 793     return new FGNavRecord(rowId, ty, id, name, pos, freq, rangeNm, mulituse, runway);
 794   }
 795
 796   FGPositioned* loadParking(sqlite3_int64 rowId,
 797                             const string& name, const SGGeod& pos,
 798                             PositionedID airport)
 799   {
 800     sqlite3_bind_int64(loadParkingPos, 1, rowId);
 801     execSelect1(loadParkingPos);
 802
 803     double heading = sqlite3_column_double(loadParkingPos, 0);
 804     int radius = sqlite3_column_int(loadParkingPos, 1);
 805     string aircraftType((char*) sqlite3_column_text(loadParkingPos, 2));
 806     string airlines((char*) sqlite3_column_text(loadParkingPos, 3));
 807     PositionedID pushBack = sqlite3_column_int64(loadParkingPos, 4);
 808     reset(loadParkingPos);
 809
 810     return new FGParking(rowId, pos, heading, radius, name, aircraftType, airlines, pushBack);
 811   }
 812
 813   FGPositioned* loadTaxiNode(sqlite3_int64 rowId, const SGGeod& pos,
 814                              PositionedID airport)
 815   {
 816     sqlite3_bind_int64(loadTaxiNodeStmt, 1, rowId);
 817     execSelect1(loadTaxiNodeStmt);
 818
 819     int hold_type = sqlite3_column_int(loadTaxiNodeStmt, 0);
 820     bool onRunway = sqlite3_column_int(loadTaxiNodeStmt, 1);
 821     reset(loadTaxiNodeStmt);
 822
 823     return new FGTaxiNode(rowId, pos, onRunway, hold_type);
 824   }
 825
 826   PositionedID insertPositioned(FGPositioned::Type ty, const string& ident,
 827                                 const string& name, const SGGeod& pos, PositionedID apt,
 828                                 bool spatialIndex)
 829   {
 830     SGVec3d cartPos(SGVec3d::fromGeod(pos));
 831
 832     sqlite3_bind_int(insertPositionedQuery, 1, ty);
 833     sqlite_bind_stdstring(insertPositionedQuery, 2, ident);
 834     sqlite_bind_stdstring(insertPositionedQuery, 3, name);
 835     sqlite3_bind_int64(insertPositionedQuery, 4, apt);
 836     sqlite3_bind_double(insertPositionedQuery, 5, pos.getLongitudeDeg());
 837     sqlite3_bind_double(insertPositionedQuery, 6, pos.getLatitudeDeg());
 838     sqlite3_bind_double(insertPositionedQuery, 7, pos.getElevationM());
 839
 840     if (spatialIndex) {
 841       Octree::Leaf* octreeLeaf = Octree::global_spatialOctree->findLeafForPos(cartPos);
 842       assert(intersects(octreeLeaf->bbox(), cartPos));
 843       sqlite3_bind_int64(insertPositionedQuery, 8, octreeLeaf->guid());
 844     } else {
 845       sqlite3_bind_null(insertPositionedQuery, 8);
 846     }
 847
 848     sqlite3_bind_double(insertPositionedQuery, 9, cartPos.x());
 849     sqlite3_bind_double(insertPositionedQuery, 10, cartPos.y());
 850     sqlite3_bind_double(insertPositionedQuery, 11, cartPos.z());
 851
 852     PositionedID r = execInsert(insertPositionedQuery);
 853     return r;
 854   }
 855
 856   FGPositionedList findAllByString(const string& s, const string& column,
 857                                      FGPositioned::Filter* filter, bool exact)
 858   {
 859     string query = s;
 860     if (!exact) query += "%";
 861
 862   // build up SQL query text
 863     string matchTerm = exact ? "=?1" : " LIKE ?1";
 864     string sql = "SELECT rowid FROM positioned WHERE " + column + matchTerm;
 865     if (filter) {
 866       sql += " " AND_TYPED;
 867     }
 868
 869   // find or prepare a suitable statement frrm the SQL
 870     sqlite3_stmt_ptr stmt = findByStringDict[sql];
 871     if (!stmt) {
 872       stmt = prepare(sql);
 873       findByStringDict[sql] = stmt;
 874     }
 875
 876     sqlite_bind_stdstring(stmt, 1, query);
 877     if (filter) {
 878       sqlite3_bind_int(stmt, 2, filter->minType());
 879       sqlite3_bind_int(stmt, 3, filter->maxType());
 880     }
 881
 882     FGPositionedList result;
 883   // run the prepared SQL
 884     while (stepSelect(stmt))
 885     {
 886       FGPositioned* pos = outer->loadById(sqlite3_column_int64(stmt, 0));
 887       if (filter && !filter->pass(pos)) {
 888         continue;
 889       }
 890
 891       result.push_back(pos);
 892     }
 893
 894     reset(stmt);
 895     return result;
 896   }
 897
 898   PositionedIDVec selectIds(sqlite3_stmt_ptr query)
 899   {
 900     PositionedIDVec result;
 901     while (stepSelect(query)) {
 902       result.push_back(sqlite3_column_int64(query, 0));
 903     }
 904     reset(query);
 905     return result;
 906   }
 907
 908   double runwayLengthFt(PositionedID rwy)
 909   {
 910     sqlite3_bind_int64(runwayLengthFtQuery, 1, rwy);
 911     execSelect1(runwayLengthFtQuery);
 912     double length = sqlite3_column_double(runwayLengthFtQuery, 0);
 913     reset(runwayLengthFtQuery);
 914     return length;
 915   }
 916
 917   void flushDeferredOctreeUpdates()
 918   {
 919     BOOST_FOREACH(Octree::Branch* nd, deferredOctreeUpdates) {
 920       sqlite3_bind_int64(updateOctreeChildren, 1, nd->guid());
 921       sqlite3_bind_int(updateOctreeChildren, 2, nd->childMask());
 922       execUpdate(updateOctreeChildren);
 923     }
 924
 925     deferredOctreeUpdates.clear();
 926   }
 927
 928   void removePositionedWithIdent(FGPositioned::Type ty, const std::string& aIdent)
 929   {
 930     sqlite3_bind_int(removePOIQuery, 1, ty);
 931     sqlite_bind_stdstring(removePOIQuery, 2, aIdent);
 932     execUpdate(removePOIQuery);
 933     reset(removePOIQuery);
 934   }
 935
 936   NavDataCache* outer;
 937   sqlite3* db;
 938   SGPath path;
 939
 940   /// the actual cache of ID -> instances. This holds an owning reference,
 941   /// so once items are in the cache they will never be deleted until
 942   /// the cache drops its reference
 943   PositionedCache cache;
 944   unsigned int cacheHits, cacheMisses;
 945
 946   /**
 947    * record the levels of open transaction objects we have
 948    */
 949   unsigned int transactionLevel;
 950   bool transactionAborted;
 951   sqlite3_stmt_ptr beginTransactionStmt, commitTransactionStmt, rollbackTransactionStmt;
 952
 953   SGPath aptDatPath, metarDatPath, navDatPath, fixDatPath, poiDatPath,
 954   carrierDatPath, airwayDatPath;
 955
 956   sqlite3_stmt_ptr readPropertyQuery, writePropertyQuery,
 957     stampFileCache, statCacheCheck,
 958     loadAirportStmt, loadCommStation, loadPositioned, loadNavaid,
 959     loadRunwayStmt;
 960   sqlite3_stmt_ptr writePropertyMulti, clearProperty;
 961
 962   sqlite3_stmt_ptr insertPositionedQuery, insertAirport, insertTower, insertRunway,
 963   insertCommStation, insertNavaid;
 964   sqlite3_stmt_ptr setAirportMetar, setRunwayReciprocal, setRunwayILS,
 965     setAirportPos, updateRunwayThreshold, updateILS;
 966   sqlite3_stmt_ptr removePOIQuery;
 967
 968   sqlite3_stmt_ptr findClosestWithIdent;
 969 // octree (spatial index) related queries
 970   sqlite3_stmt_ptr getOctreeChildren, insertOctree, updateOctreeChildren,
 971     getOctreeLeafChildren;
 972
 973   sqlite3_stmt_ptr searchAirports;
 974   sqlite3_stmt_ptr findCommByFreq, findNavsByFreq,
 975   findNavsByFreqNoPos, findNavaidForRunway;
 976   sqlite3_stmt_ptr getAirportItems, getAirportItemByIdent;
 977   sqlite3_stmt_ptr findAirportRunway,
 978     findILS;
 979
 980   sqlite3_stmt_ptr runwayLengthFtQuery;
 981
 982 // airways
 983   sqlite3_stmt_ptr findAirway, insertAirwayEdge, isPosInAirway, airwayEdgesFrom,
 984   insertAirway;
 985
 986 // groundnet (parking, taxi node graph)
 987   sqlite3_stmt_ptr loadTaxiNodeStmt, loadParkingPos, insertTaxiNode, insertParkingPos;
 988   sqlite3_stmt_ptr taxiEdgesFrom, pushbackEdgesFrom, insertTaxiEdge, markTaxiNodeAsPushback,
 989     airportTaxiNodes, airportPushbackNodes, findNearestTaxiNode, findAirportParking,
 990     setParkingPushBack, findNearestRunwayTaxiNode;
 991
 992 // since there's many permutations of ident/name queries, we create
 993 // them programtically, but cache the exact query by its raw SQL once
 994 // used.
 995   std::map<string, sqlite3_stmt_ptr> findByStringDict;
 996
 997   typedef std::vector<sqlite3_stmt_ptr> StmtVec;
 998   StmtVec prepared;
 999
1000   std::set<Octree::Branch*> deferredOctreeUpdates;
1001
1002   // if we're performing a rebuild, the thread that is doing the work.
1003   // otherwise, NULL
1004   std::auto_ptr<RebuildThread> rebuilder;
1005 };
1006
1007   //////////////////////////////////////////////////////////////////////
1008
1009 FGPositioned* NavDataCache::NavDataCachePrivate::loadById(sqlite3_int64 rowid)
1010 {
1011
1012   sqlite3_bind_int64(loadPositioned, 1, rowid);
1013   execSelect1(loadPositioned);
1014
1015   assert(rowid == sqlite3_column_int64(loadPositioned, 0));
1016   FGPositioned::Type ty = (FGPositioned::Type) sqlite3_column_int(loadPositioned, 1);
1017
1018   string ident = (char*) sqlite3_column_text(loadPositioned, 2);
1019   string name = (char*) sqlite3_column_text(loadPositioned, 3);
1020   sqlite3_int64 aptId = sqlite3_column_int64(loadPositioned, 4);
1021   double lon = sqlite3_column_double(loadPositioned, 5);
1022   double lat = sqlite3_column_double(loadPositioned, 6);
1023   double elev = sqlite3_column_double(loadPositioned, 7);
1024   SGGeod pos = SGGeod::fromDegM(lon, lat, elev);
1025
1026   reset(loadPositioned);
1027
1028   switch (ty) {
1029     case FGPositioned::AIRPORT:
1030     case FGPositioned::SEAPORT:
1031     case FGPositioned::HELIPORT:
1032       return loadAirport(rowid, ty, ident, name, pos);
1033
1034     case FGPositioned::TOWER:
1035       return new AirportTower(rowid, aptId, ident, pos);
1036
1037     case FGPositioned::RUNWAY:
1038     case FGPositioned::HELIPAD:
1039     case FGPositioned::TAXIWAY:
1040       return loadRunway(rowid, ty, ident, pos, aptId);
1041
1042     case FGPositioned::LOC:
1043     case FGPositioned::VOR:
1044     case FGPositioned::GS:
1045     case FGPositioned::ILS:
1046     case FGPositioned::NDB:
1047     case FGPositioned::OM:
1048     case FGPositioned::MM:
1049     case FGPositioned::IM:
1050     case FGPositioned::DME:
1051     case FGPositioned::TACAN:
1052     case FGPositioned::MOBILE_TACAN:
1053     {
1054       if (aptId > 0) {
1055         FGAirport* apt = FGPositioned::loadById<FGAirport>(aptId);
1056         if (apt->validateILSData()) {
1057           SG_LOG(SG_NAVCACHE, SG_INFO, "re-loaded ILS data for " << apt->ident());
1058           // queried data above is probably invalid, force us to go around again
1059           // (the next time through, validateILSData will return false)
1060           return outer->loadById(rowid);
1061         }
1062       }
1063
1064       return loadNav(rowid, ty, ident, name, pos);
1065     }
1066
1067     case FGPositioned::FIX:
1068       return new FGFix(rowid, ident, pos);
1069
1070     case FGPositioned::WAYPOINT:
1071     case FGPositioned::COUNTRY:
1072     case FGPositioned::CITY:
1073     case FGPositioned::TOWN:
1074     case FGPositioned::VILLAGE:
1075     {
1076         FGPositioned* wpt = new FGPositioned(rowid, ty, ident, pos);
1077       return wpt;
1078     }
1079
1080     case FGPositioned::FREQ_GROUND:
1081     case FGPositioned::FREQ_TOWER:
1082     case FGPositioned::FREQ_ATIS:
1083     case FGPositioned::FREQ_AWOS:
1084     case FGPositioned::FREQ_APP_DEP:
1085     case FGPositioned::FREQ_ENROUTE:
1086     case FGPositioned::FREQ_CLEARANCE:
1087     case FGPositioned::FREQ_UNICOM:
1088       return loadComm(rowid, ty, ident, name, pos, aptId);
1089
1090     case FGPositioned::TAXI_NODE:
1091       return loadTaxiNode(rowid, pos, aptId);
1092
1093     case FGPositioned::PARKING:
1094       return loadParking(rowid, ident, pos, aptId);
1095
1096     default:
1097       return NULL;
1098   }
1099 }
1100
1101
1102 static NavDataCache* static_instance = NULL;
1103
1104 NavDataCache::NavDataCache()
1105 {
1106   const int MAX_TRIES = 3;
1107   SGPath homePath(globals->get_fg_home());
1108
1109   std::ostringstream os;
1110   string_list versionParts = simgear::strutils::split(VERSION, ".");
1111   if (versionParts.size() < 2) {
1112     os << "navdata.cache";
1113   } else {
1114     os << "navdata_" << versionParts[0] << "_" << versionParts[1] << ".cache";
1115   }
1116
1117   homePath.append(os.str());
1118
1119   for (int t=0; t < MAX_TRIES; ++t) {
1120     try {
1121       d.reset(new NavDataCachePrivate(homePath, this));
1122       d->init();
1123       //d->checkCacheFile();
1124     // reached this point with no exception, success
1125       break;
1126     } catch (sg_exception& e) {
1127       SG_LOG(SG_NAVCACHE, t == 0 ? SG_WARN : SG_ALERT, "NavCache: init failed:" << e.what()
1128              << " (attempt " << t << ")");
1129       d.reset();
1130       homePath.remove();
1131     }
1132   } // of retry loop
1133
1134   double RADIUS_EARTH_M = 7000 * 1000.0; // 7000km is plenty
1135   SGVec3d earthExtent(RADIUS_EARTH_M, RADIUS_EARTH_M, RADIUS_EARTH_M);
1136   Octree::global_spatialOctree =
1137     new Octree::Branch(SGBox<double>(-earthExtent, earthExtent), 1);
1138
1139   d->aptDatPath = SGPath(globals->get_fg_root());
1140   d->aptDatPath.append("Airports/apt.dat.gz");
1141
1142   d->metarDatPath = SGPath(globals->get_fg_root());
1143   d->metarDatPath.append("Airports/metar.dat.gz");
1144
1145   d->navDatPath = SGPath(globals->get_fg_root());
1146   d->navDatPath.append("Navaids/nav.dat.gz");
1147
1148   d->fixDatPath = SGPath(globals->get_fg_root());
1149   d->fixDatPath.append("Navaids/fix.dat.gz");
1150
1151   d->poiDatPath = SGPath(globals->get_fg_root());
1152   d->poiDatPath.append("Navaids/poi.dat.gz");
1153
1154   d->carrierDatPath = SGPath(globals->get_fg_root());
1155   d->carrierDatPath.append("Navaids/carrier_nav.dat.gz");
1156
1157   d->airwayDatPath = SGPath(globals->get_fg_root());
1158   d->airwayDatPath.append("Navaids/awy.dat.gz");
1159 }
1160
1161 NavDataCache::~NavDataCache()
1162 {
1163   assert(static_instance == this);
1164   static_instance = NULL;
1165   SG_LOG(SG_NAVCACHE, SG_INFO, "closing the navcache");
1166   d.reset();
1167 }
1168
1169 NavDataCache* NavDataCache::instance()
1170 {
1171   if (!static_instance) {
1172     static_instance = new NavDataCache;
1173   }
1174
1175   return static_instance;
1176 }
1177
1178 bool NavDataCache::isRebuildRequired()
1179 {
1180   if (isCachedFileModified(d->aptDatPath) ||
1181       isCachedFileModified(d->metarDatPath) ||
1182       isCachedFileModified(d->navDatPath) ||
1183       isCachedFileModified(d->fixDatPath) ||
1184       isCachedFileModified(d->poiDatPath) ||
1185       isCachedFileModified(d->airwayDatPath))
1186   {
1187     SG_LOG(SG_NAVCACHE, SG_INFO, "NavCache: main cache rebuild required");
1188     return true;
1189   }
1190
1191   string sceneryPaths = simgear::strutils::join(globals->get_fg_scenery(), ";");
1192   if (readStringProperty("scenery_paths") != sceneryPaths) {
1193     SG_LOG(SG_NAVCACHE, SG_INFO, "NavCache: scenery paths changed, main cache rebuild required");
1194     return true;
1195   }
1196
1197   SG_LOG(SG_NAVCACHE, SG_INFO, "NavCache: no main cache rebuild required");
1198   return false;
1199 }
1200
1201 bool NavDataCache::rebuild()
1202 {
1203   if (!d->rebuilder.get()) {
1204     d->rebuilder.reset(new RebuildThread(this));
1205     d->rebuilder->start();
1206   }
1207
1208 // poll the rebuild thread
1209   bool fin = d->rebuilder->isFinished();
1210   if (fin) {
1211     d->rebuilder.reset(); // all done!
1212   }
1213   return fin;
1214 }
1215
1216 void NavDataCache::doRebuild()
1217 {
1218   try {
1219     d->close(); // completely close the sqlite object
1220     d->path.remove(); // remove the file on disk
1221     d->init(); // star again from scratch
1222
1223     Transaction txn(this);
1224   // initialise the root octree node
1225     d->runSQL("INSERT INTO octree (rowid, children) VALUES (1, 0)");
1226
1227     SGTimeStamp st;
1228     st.stamp();
1229
1230     airportDBLoad(d->aptDatPath);
1231     SG_LOG(SG_NAVCACHE, SG_INFO, "apt.dat load took:" << st.elapsedMSec());
1232
1233     metarDataLoad(d->metarDatPath);
1234     stampCacheFile(d->aptDatPath);
1235     stampCacheFile(d->metarDatPath);
1236
1237     st.stamp();
1238     loadFixes(d->fixDatPath);
1239     stampCacheFile(d->fixDatPath);
1240     SG_LOG(SG_NAVCACHE, SG_INFO, "fix.dat load took:" << st.elapsedMSec());
1241
1242     st.stamp();
1243     navDBInit(d->navDatPath);
1244     stampCacheFile(d->navDatPath);
1245     SG_LOG(SG_NAVCACHE, SG_INFO, "nav.dat load took:" << st.elapsedMSec());
1246
1247     st.stamp();
1248     poiDBInit(d->poiDatPath);
1249     stampCacheFile(d->poiDatPath);
1250     SG_LOG(SG_NAVCACHE, SG_INFO, "poi.dat load took:" << st.elapsedMSec());
1251
1252     loadCarrierNav(d->carrierDatPath);
1253     stampCacheFile(d->carrierDatPath);
1254
1255     st.stamp();
1256     Airway::load(d->airwayDatPath);
1257     stampCacheFile(d->airwayDatPath);
1258     SG_LOG(SG_NAVCACHE, SG_INFO, "awy.dat load took:" << st.elapsedMSec());
1259
1260     d->flushDeferredOctreeUpdates();
1261
1262     string sceneryPaths = simgear::strutils::join(globals->get_fg_scenery(), ";");
1263     writeStringProperty("scenery_paths", sceneryPaths);
1264
1265     txn.commit();
1266   } catch (sg_exception& e) {
1267     SG_LOG(SG_NAVCACHE, SG_ALERT, "caught exception rebuilding navCache:" << e.what());
1268   }
1269 }
1270
1271 int NavDataCache::readIntProperty(const string& key)
1272 {
1273   sqlite_bind_stdstring(d->readPropertyQuery, 1, key);
1274   int result = 0;
1275
1276   if (d->execSelect(d->readPropertyQuery)) {
1277     result = sqlite3_column_int(d->readPropertyQuery, 0);
1278   } else {
1279     SG_LOG(SG_NAVCACHE, SG_WARN, "readIntProperty: unknown:" << key);
1280   }
1281
1282   d->reset(d->readPropertyQuery);
1283   return result;
1284 }
1285
1286 double NavDataCache::readDoubleProperty(const string& key)
1287 {
1288   sqlite_bind_stdstring(d->readPropertyQuery, 1, key);
1289   double result = 0.0;
1290   if (d->execSelect(d->readPropertyQuery)) {
1291     result = sqlite3_column_double(d->readPropertyQuery, 0);
1292   } else {
1293     SG_LOG(SG_NAVCACHE, SG_WARN, "readDoubleProperty: unknown:" << key);
1294   }
1295
1296   d->reset(d->readPropertyQuery);
1297   return result;
1298 }
1299
1300 string NavDataCache::readStringProperty(const string& key)
1301 {
1302   sqlite_bind_stdstring(d->readPropertyQuery, 1, key);
1303   string result;
1304   if (d->execSelect(d->readPropertyQuery)) {
1305     result = (char*) sqlite3_column_text(d->readPropertyQuery, 0);
1306   } else {
1307     SG_LOG(SG_NAVCACHE, SG_WARN, "readStringProperty: unknown:" << key);
1308   }
1309
1310   d->reset(d->readPropertyQuery);
1311   return result;
1312 }
1313
1314 void NavDataCache::writeIntProperty(const string& key, int value)
1315 {
1316   d->writeIntProperty(key, value);
1317 }
1318
1319 void NavDataCache::writeStringProperty(const string& key, const string& value)
1320 {
1321   sqlite_bind_stdstring(d->clearProperty, 1, key);
1322   d->execUpdate(d->clearProperty);
1323
1324   sqlite_bind_stdstring(d->writePropertyQuery, 1, key);
1325   sqlite_bind_stdstring(d->writePropertyQuery, 2, value);
1326   d->execUpdate(d->writePropertyQuery);
1327 }
1328
1329 void NavDataCache::writeDoubleProperty(const string& key, const double& value)
1330 {
1331   sqlite_bind_stdstring(d->clearProperty, 1, key);
1332   d->execUpdate(d->clearProperty);
1333
1334   sqlite_bind_stdstring(d->writePropertyQuery, 1, key);
1335   sqlite3_bind_double(d->writePropertyQuery, 2, value);
1336   d->execUpdate(d->writePropertyQuery);
1337 }
1338
1339 string_list NavDataCache::readStringListProperty(const string& key)
1340 {
1341   sqlite_bind_stdstring(d->readPropertyQuery, 1, key);
1342   string_list result;
1343   while (d->stepSelect(d->readPropertyQuery)) {
1344     result.push_back((char*) sqlite3_column_text(d->readPropertyQuery, 0));
1345   }
1346   d->reset(d->readPropertyQuery);
1347
1348   return result;
1349 }
1350
1351 void NavDataCache::writeStringListProperty(const string& key, const string_list& values)
1352 {
1353   sqlite_bind_stdstring(d->clearProperty, 1, key);
1354   d->execUpdate(d->clearProperty);
1355
1356   BOOST_FOREACH(string value, values) {
1357     sqlite_bind_stdstring(d->writePropertyMulti, 1, key);
1358     sqlite_bind_stdstring(d->writePropertyMulti, 2, value);
1359     d->execInsert(d->writePropertyMulti);
1360   }
1361 }
1362
1363 bool NavDataCache::isCachedFileModified(const SGPath& path) const
1364 {
1365   if (!path.exists()) {
1366     throw sg_io_exception("isCachedFileModified: Missing file:" + path.str());
1367   }
1368
1369   sqlite_bind_temp_stdstring(d->statCacheCheck, 1, path.str());
1370   bool isModified = true;
1371
1372   if (d->execSelect(d->statCacheCheck)) {
1373     time_t modtime = sqlite3_column_int64(d->statCacheCheck, 0);
1374     time_t delta = std::labs(modtime - path.modTime());
1375     if (delta != 0)
1376     {
1377       SG_LOG(SG_NAVCACHE, SG_DEBUG, "NavCache: rebuild required for " << path << ". Timestamps: " << modtime << " != " << path.modTime());
1378       if (delta < 30)
1379       {
1380           // File system time stamp has slightly changed. It's unlikely that the user has managed to change a file, start fgfs,
1381           // and then changed file again within x seconds - so it's suspicious...
1382           SG_LOG(SG_NAVCACHE, SG_ALERT, "NavCache: suspicious file timestamp change. Please report this to FlightGear. "
1383                   << "Delta: " << delta << ", Timestamps: " << modtime << ", " << path.modTime() << ", path: " << path);
1384       }
1385     }
1386     else
1387     {
1388       SG_LOG(SG_NAVCACHE, SG_DEBUG, "NavCache: no rebuild required for " << path);
1389     }
1390
1391     isModified = (delta != 0);
1392   } else {
1393     SG_LOG(SG_NAVCACHE, SG_DEBUG, "NavCache: initial build required for " << path);
1394   }
1395
1396   d->reset(d->statCacheCheck);
1397   return isModified;
1398 }
1399
1400 void NavDataCache::stampCacheFile(const SGPath& path)
1401 {
1402   sqlite_bind_temp_stdstring(d->stampFileCache, 1, path.str());
1403   sqlite3_bind_int64(d->stampFileCache, 2, path.modTime());
1404   d->execInsert(d->stampFileCache);
1405 }
1406
1407 void NavDataCache::beginTransaction()
1408 {
1409   if (d->transactionLevel == 0) {
1410     d->transactionAborted = false;
1411     d->stepSelect(d->beginTransactionStmt);
1412     sqlite3_reset(d->beginTransactionStmt);
1413   }
1414
1415   ++d->transactionLevel;
1416 }
1417
1418 void NavDataCache::commitTransaction()
1419 {
1420   assert(d->transactionLevel > 0);
1421   if (--d->transactionLevel == 0) {
1422     // if a nested transaction aborted, we might end up here, but must
1423     // still abort the entire transaction. That's bad, but safer than
1424     // committing.
1425     sqlite3_stmt_ptr q = d->transactionAborted ? d->rollbackTransactionStmt : d->commitTransactionStmt;
1426
1427     int retries = 0;
1428     int result;
1429     while (retries < MAX_RETRIES) {
1430       result = sqlite3_step(q);
1431       if (result == SQLITE_DONE) {
1432         break;
1433       }
1434
1435       // see http://www.sqlite.org/c3ref/get_autocommit.html for a hint
1436       // what's going on here: autocommit in inactive inside BEGIN, so if
1437       // it's active, the DB was rolled-back
1438       if (sqlite3_get_autocommit(d->db)) {
1439         SG_LOG(SG_NAVCACHE, SG_ALERT, "commit: was rolled back!" << retries);
1440         d->transactionAborted = true;
1441         break;
1442       }
1443
1444       if (result != SQLITE_BUSY) {
1445         break;
1446       }
1447
1448       SGTimeStamp::sleepForMSec(++retries * 10);
1449       SG_LOG(SG_NAVCACHE, SG_ALERT, "NavCache contention on commit, will retry:" << retries);
1450     } // of retry loop for DB busy
1451
1452     string errMsg;
1453     if (result != SQLITE_DONE) {
1454       errMsg = sqlite3_errmsg(d->db);
1455       SG_LOG(SG_NAVCACHE, SG_ALERT, "Sqlite error:" << errMsg << " for  " << result
1456              << " while running:\n\t" << sqlite3_sql(q));
1457     }
1458
1459     sqlite3_reset(q);
1460   }
1461 }
1462
1463 void NavDataCache::abortTransaction()
1464 {
1465   SG_LOG(SG_NAVCACHE, SG_WARN, "NavCache: aborting transaction");
1466
1467   assert(d->transactionLevel > 0);
1468   if (--d->transactionLevel == 0) {
1469     d->stepSelect(d->rollbackTransactionStmt);
1470     sqlite3_reset(d->rollbackTransactionStmt);
1471   }
1472
1473   d->transactionAborted = true;
1474 }
1475
1476 FGPositionedRef NavDataCache::loadById(PositionedID rowid)
1477 {
1478   if (rowid == 0) {
1479     return NULL;
1480   }
1481
1482   PositionedCache::iterator it = d->cache.find(rowid);
1483   if (it != d->cache.end()) {
1484     d->cacheHits++;
1485     return it->second; // cache it
1486   }
1487
1488   FGPositioned* pos = d->loadById(rowid);
1489   d->cache.insert(it, PositionedCache::value_type(rowid, pos));
1490   d->cacheMisses++;
1491   return pos;
1492 }
1493
1494 PositionedID NavDataCache::insertAirport(FGPositioned::Type ty, const string& ident,
1495                                          const string& name)
1496 {
1497   // airports have their pos computed based on the avergae runway centres
1498   // so the pos isn't available immediately. Pass a dummy pos and avoid
1499   // doing spatial indexing until later
1500   sqlite3_int64 rowId = d->insertPositioned(ty, ident, name, SGGeod(),
1501                                             0 /* airport */,
1502                                             false /* spatial index */);
1503
1504   sqlite3_bind_int64(d->insertAirport, 1, rowId);
1505   d->execInsert(d->insertAirport);
1506
1507   return rowId;
1508 }
1509
1510 void NavDataCache::updatePosition(PositionedID item, const SGGeod &pos)
1511 {
1512   if (d->cache.find(item) != d->cache.end()) {
1513     SG_LOG(SG_NAVCACHE, SG_DEBUG, "updating position of an item in the cache");
1514     d->cache[item]->modifyPosition(pos);
1515   }
1516
1517   SGVec3d cartPos(SGVec3d::fromGeod(pos));
1518
1519   sqlite3_bind_int(d->setAirportPos, 1, item);
1520   sqlite3_bind_double(d->setAirportPos, 2, pos.getLongitudeDeg());
1521   sqlite3_bind_double(d->setAirportPos, 3, pos.getLatitudeDeg());
1522   sqlite3_bind_double(d->setAirportPos, 4, pos.getElevationM());
1523
1524 // bug 905; the octree leaf may change here, but the leaf may already be
1525 // loaded, and caching its children. (Either the old or new leaf!). Worse,
1526 // we may be called here as a result of loading one of those leaf's children.
1527 // instead of dealing with all those possibilites, such as modifying
1528 // the in-memory leaf's STL child container, we simply leave the runtime
1529 // structures alone. This is fine providing items do no move very far, since
1530 // all the spatial searches ultimately use the items' real cartesian position,
1531 // which was updated above.
1532   Octree::Leaf* octreeLeaf = Octree::global_spatialOctree->findLeafForPos(cartPos);
1533   sqlite3_bind_int64(d->setAirportPos, 5, octreeLeaf->guid());
1534
1535   sqlite3_bind_double(d->setAirportPos, 6, cartPos.x());
1536   sqlite3_bind_double(d->setAirportPos, 7, cartPos.y());
1537   sqlite3_bind_double(d->setAirportPos, 8, cartPos.z());
1538
1539
1540   d->execUpdate(d->setAirportPos);
1541 }
1542
1543 void NavDataCache::insertTower(PositionedID airportId, const SGGeod& pos)
1544 {
1545   d->insertPositioned(FGPositioned::TOWER, string(), string(),
1546                       pos, airportId, true /* spatial index */);
1547 }
1548
1549 PositionedID
1550 NavDataCache::insertRunway(FGPositioned::Type ty, const string& ident,
1551                            const SGGeod& pos, PositionedID apt,
1552                            double heading, double length, double width, double displacedThreshold,
1553                            double stopway, int surfaceCode)
1554 {
1555   // only runways are spatially indexed; don't bother indexing taxiways
1556   // or pavements
1557   bool spatialIndex = ( ty == FGPositioned::RUNWAY || ty == FGPositioned::HELIPAD);
1558
1559   sqlite3_int64 rowId = d->insertPositioned(ty, cleanRunwayNo(ident), "", pos, apt,
1560                                             spatialIndex);
1561   sqlite3_bind_int64(d->insertRunway, 1, rowId);
1562   sqlite3_bind_double(d->insertRunway, 2, heading);
1563   sqlite3_bind_double(d->insertRunway, 3, length);
1564   sqlite3_bind_double(d->insertRunway, 4, width);
1565   sqlite3_bind_int(d->insertRunway, 5, surfaceCode);
1566   sqlite3_bind_double(d->insertRunway, 6, displacedThreshold);
1567   sqlite3_bind_double(d->insertRunway, 7, stopway);
1568
1569   return d->execInsert(d->insertRunway);
1570 }
1571
1572 void NavDataCache::setRunwayReciprocal(PositionedID runway, PositionedID recip)
1573 {
1574   sqlite3_bind_int64(d->setRunwayReciprocal, 1, runway);
1575   sqlite3_bind_int64(d->setRunwayReciprocal, 2, recip);
1576   d->execUpdate(d->setRunwayReciprocal);
1577
1578 // and the opposite direction too!
1579   sqlite3_bind_int64(d->setRunwayReciprocal, 2, runway);
1580   sqlite3_bind_int64(d->setRunwayReciprocal, 1, recip);
1581   d->execUpdate(d->setRunwayReciprocal);
1582 }
1583
1584 void NavDataCache::setRunwayILS(PositionedID runway, PositionedID ils)
1585 {
1586   sqlite3_bind_int64(d->setRunwayILS, 1, runway);
1587   sqlite3_bind_int64(d->setRunwayILS, 2, ils);
1588   d->execUpdate(d->setRunwayILS);
1589
1590   // and the in-memory one
1591   if (d->cache.find(runway) != d->cache.end()) {
1592     FGRunway* instance = (FGRunway*) d->cache[runway].ptr();
1593     instance->setILS(ils);
1594   }
1595 }
1596
1597 void NavDataCache::updateRunwayThreshold(PositionedID runwayID, const SGGeod &aThreshold,
1598                                   double aHeading, double aDisplacedThreshold,
1599                                   double aStopway)
1600 {
1601 // update the runway information
1602   sqlite3_bind_int64(d->updateRunwayThreshold, 1, runwayID);
1603   sqlite3_bind_double(d->updateRunwayThreshold, 2, aHeading);
1604   sqlite3_bind_double(d->updateRunwayThreshold, 3, aDisplacedThreshold);
1605   sqlite3_bind_double(d->updateRunwayThreshold, 4, aStopway);
1606   d->execUpdate(d->updateRunwayThreshold);
1607
1608   // now update the positional data
1609   updatePosition(runwayID, aThreshold);
1610 }
1611
1612 PositionedID
1613 NavDataCache::insertNavaid(FGPositioned::Type ty, const string& ident,
1614                           const string& name, const SGGeod& pos,
1615                            int freq, int range, double multiuse,
1616                            PositionedID apt, PositionedID runway)
1617 {
1618   bool spatialIndex = true;
1619   if (ty == FGPositioned::MOBILE_TACAN) {
1620     spatialIndex = false;
1621   }
1622
1623   sqlite3_int64 rowId = d->insertPositioned(ty, ident, name, pos, apt,
1624                                             spatialIndex);
1625   sqlite3_bind_int64(d->insertNavaid, 1, rowId);
1626   sqlite3_bind_int(d->insertNavaid, 2, freq);
1627   sqlite3_bind_int(d->insertNavaid, 3, range);
1628   sqlite3_bind_double(d->insertNavaid, 4, multiuse);
1629   sqlite3_bind_int64(d->insertNavaid, 5, runway);
1630   return d->execInsert(d->insertNavaid);
1631 }
1632
1633 void NavDataCache::updateILS(PositionedID ils, const SGGeod& newPos, double aHdg)
1634 {
1635   sqlite3_bind_int64(d->updateILS, 1, ils);
1636   sqlite3_bind_double(d->updateILS, 2, aHdg);
1637   d->execUpdate(d->updateILS);
1638   updatePosition(ils, newPos);
1639 }
1640
1641 PositionedID NavDataCache::insertCommStation(FGPositioned::Type ty,
1642                                              const string& name, const SGGeod& pos, int freq, int range,
1643                                              PositionedID apt)
1644 {
1645   sqlite3_int64 rowId = d->insertPositioned(ty, "", name, pos, apt, true);
1646   sqlite3_bind_int64(d->insertCommStation, 1, rowId);
1647   sqlite3_bind_int(d->insertCommStation, 2, freq);
1648   sqlite3_bind_int(d->insertCommStation, 3, range);
1649   return d->execInsert(d->insertCommStation);
1650 }
1651
1652 PositionedID NavDataCache::insertFix(const std::string& ident, const SGGeod& aPos)
1653 {
1654   return d->insertPositioned(FGPositioned::FIX, ident, string(), aPos, 0, true);
1655 }
1656
1657 PositionedID NavDataCache::createPOI(FGPositioned::Type ty, const std::string& ident, const SGGeod& aPos)
1658 {
1659   return d->insertPositioned(ty, ident, string(), aPos, 0,
1660                              true /* spatial index */);
1661 }
1662
1663 void NavDataCache::removePOI(FGPositioned::Type ty, const std::string& aIdent)
1664 {
1665   d->removePositionedWithIdent(ty, aIdent);
1666   // should remove from the live cache too?
1667 }
1668
1669 void NavDataCache::setAirportMetar(const string& icao, bool hasMetar)
1670 {
1671   sqlite_bind_stdstring(d->setAirportMetar, 1, icao);
1672   sqlite3_bind_int(d->setAirportMetar, 2, hasMetar);
1673   d->execUpdate(d->setAirportMetar);
1674 }
1675
1676 //------------------------------------------------------------------------------
1677 FGPositionedList NavDataCache::findAllWithIdent( const string& s,
1678                                                  FGPositioned::Filter* filter,
1679                                                  bool exact )
1680 {
1681   return d->findAllByString(s, "ident", filter, exact);
1682 }
1683
1684 //------------------------------------------------------------------------------
1685 FGPositionedList NavDataCache::findAllWithName( const string& s,
1686                                                 FGPositioned::Filter* filter,
1687                                                 bool exact )
1688 {
1689   return d->findAllByString(s, "name", filter, exact);
1690 }
1691
1692 //------------------------------------------------------------------------------
1693 FGPositionedRef NavDataCache::findClosestWithIdent( const string& aIdent,
1694                                                     const SGGeod& aPos,
1695                                                     FGPositioned::Filter* aFilter )
1696 {
1697   sqlite_bind_stdstring(d->findClosestWithIdent, 1, aIdent);
1698   if (aFilter) {
1699     sqlite3_bind_int(d->findClosestWithIdent, 2, aFilter->minType());
1700     sqlite3_bind_int(d->findClosestWithIdent, 3, aFilter->maxType());
1701   } else { // full type range
1702     sqlite3_bind_int(d->findClosestWithIdent, 2, FGPositioned::INVALID);
1703     sqlite3_bind_int(d->findClosestWithIdent, 3, FGPositioned::LAST_TYPE);
1704   }
1705
1706   SGVec3d cartPos(SGVec3d::fromGeod(aPos));
1707   sqlite3_bind_double(d->findClosestWithIdent, 4, cartPos.x());
1708   sqlite3_bind_double(d->findClosestWithIdent, 5, cartPos.y());
1709   sqlite3_bind_double(d->findClosestWithIdent, 6, cartPos.z());
1710
1711   FGPositionedRef result;
1712
1713   while (d->stepSelect(d->findClosestWithIdent)) {
1714     FGPositioned* pos = loadById(sqlite3_column_int64(d->findClosestWithIdent, 0));
1715     if (aFilter && !aFilter->pass(pos)) {
1716       continue;
1717     }
1718
1719     result = pos;
1720     break;
1721   }
1722
1723   d->reset(d->findClosestWithIdent);
1724   return result;
1725 }
1726
1727
1728 int NavDataCache::getOctreeBranchChildren(int64_t octreeNodeId)
1729 {
1730   sqlite3_bind_int64(d->getOctreeChildren, 1, octreeNodeId);
1731   d->execSelect1(d->getOctreeChildren);
1732   int children = sqlite3_column_int(d->getOctreeChildren, 0);
1733   d->reset(d->getOctreeChildren);
1734   return children;
1735 }
1736
1737 void NavDataCache::defineOctreeNode(Octree::Branch* pr, Octree::Node* nd)
1738 {
1739   sqlite3_bind_int64(d->insertOctree, 1, nd->guid());
1740   d->execInsert(d->insertOctree);
1741
1742 #ifdef LAZY_OCTREE_UPDATES
1743   d->deferredOctreeUpdates.insert(pr);
1744 #else
1745   // lowest three bits of node ID are 0..7 index of the child in the parent
1746   int childIndex = nd->guid() & 0x07;
1747
1748   sqlite3_bind_int64(d->updateOctreeChildren, 1, pr->guid());
1749 // mask has bit N set where child N exists
1750   int childMask = 1 << childIndex;
1751   sqlite3_bind_int(d->updateOctreeChildren, 2, childMask);
1752   d->execUpdate(d->updateOctreeChildren);
1753 #endif
1754 }
1755
1756 TypedPositionedVec
1757 NavDataCache::getOctreeLeafChildren(int64_t octreeNodeId)
1758 {
1759   sqlite3_bind_int64(d->getOctreeLeafChildren, 1, octreeNodeId);
1760
1761   TypedPositionedVec r;
1762   while (d->stepSelect(d->getOctreeLeafChildren)) {
1763     FGPositioned::Type ty = static_cast<FGPositioned::Type>
1764       (sqlite3_column_int(d->getOctreeLeafChildren, 1));
1765     r.push_back(std::make_pair(ty,
1766                 sqlite3_column_int64(d->getOctreeLeafChildren, 0)));
1767   }
1768
1769   d->reset(d->getOctreeLeafChildren);
1770   return r;
1771 }
1772
1773
1774 /**
1775  * A special purpose helper (used by FGAirport::searchNamesAndIdents) to
1776  * implement the AirportList dialog. It's unfortunate that it needs to reside
1777  * here, but for now it's least ugly solution.
1778  */
1779 char** NavDataCache::searchAirportNamesAndIdents(const std::string& aFilter)
1780 {
1781   string s = "%" + aFilter + "%";
1782   sqlite_bind_stdstring(d->searchAirports, 1, s);
1783
1784   unsigned int numMatches = 0, numAllocated = 16;
1785   char** result = (char**) malloc(sizeof(char*) * numAllocated);
1786
1787   while (d->stepSelect(d->searchAirports)) {
1788     if ((numMatches + 1) >= numAllocated) {
1789       numAllocated <<= 1; // double in size!
1790     // reallocate results array
1791       char** nresult = (char**) malloc(sizeof(char*) * numAllocated);
1792       memcpy(nresult, result, sizeof(char*) * numMatches);
1793       free(result);
1794       result = nresult;
1795     }
1796
1797     // nasty code to avoid excessive string copying and allocations.
1798     // We format results as follows (note whitespace!):
1799     //   ' name-of-airport-chars   (ident)'
1800     // so the total length is:
1801     //    1 + strlen(name) + 4 + strlen(icao) + 1 + 1 (for the null)
1802     // which gives a grand total of 7 + name-length + icao-length.
1803     // note the ident can be three letters (non-ICAO local strip), four
1804     // (default ICAO) or more (extended format ICAO)
1805     int nameLength = sqlite3_column_bytes(d->searchAirports, 1);
1806     int icaoLength = sqlite3_column_bytes(d->searchAirports, 0);
1807     char* entry = (char*) malloc(7 + nameLength + icaoLength);
1808     char* dst = entry;
1809     *dst++ = ' ';
1810     memcpy(dst, sqlite3_column_text(d->searchAirports, 1), nameLength);
1811     dst += nameLength;
1812     *dst++ = ' ';
1813     *dst++ = ' ';
1814     *dst++ = ' ';
1815     *dst++ = '(';
1816     memcpy(dst, sqlite3_column_text(d->searchAirports, 0), icaoLength);
1817     dst += icaoLength;
1818     *dst++ = ')';
1819     *dst++ = 0;
1820
1821     result[numMatches++] = entry;
1822   }
1823
1824   result[numMatches] = NULL; // end of list marker
1825   d->reset(d->searchAirports);
1826   return result;
1827 }
1828
1829 FGPositionedRef
1830 NavDataCache::findCommByFreq(int freqKhz, const SGGeod& aPos, FGPositioned::Filter* aFilter)
1831 {
1832   sqlite3_bind_int(d->findCommByFreq, 1, freqKhz);
1833   if (aFilter) {
1834     sqlite3_bind_int(d->findCommByFreq, 2, aFilter->minType());
1835     sqlite3_bind_int(d->findCommByFreq, 3, aFilter->maxType());
1836   } else { // full type range
1837     sqlite3_bind_int(d->findCommByFreq, 2, FGPositioned::FREQ_GROUND);
1838     sqlite3_bind_int(d->findCommByFreq, 3, FGPositioned::FREQ_UNICOM);
1839   }
1840
1841   SGVec3d cartPos(SGVec3d::fromGeod(aPos));
1842   sqlite3_bind_double(d->findCommByFreq, 4, cartPos.x());
1843   sqlite3_bind_double(d->findCommByFreq, 5, cartPos.y());
1844   sqlite3_bind_double(d->findCommByFreq, 6, cartPos.z());
1845   FGPositionedRef result;
1846
1847   while (d->execSelect(d->findCommByFreq)) {
1848     FGPositioned* p = loadById(sqlite3_column_int64(d->findCommByFreq, 0));
1849     if (aFilter && !aFilter->pass(p)) {
1850       continue;
1851     }
1852
1853     result = p;
1854     break;
1855   }
1856
1857   d->reset(d->findCommByFreq);
1858   return result;
1859 }
1860
1861 PositionedIDVec
1862 NavDataCache::findNavaidsByFreq(int freqKhz, const SGGeod& aPos, FGPositioned::Filter* aFilter)
1863 {
1864   sqlite3_bind_int(d->findNavsByFreq, 1, freqKhz);
1865   if (aFilter) {
1866     sqlite3_bind_int(d->findNavsByFreq, 2, aFilter->minType());
1867     sqlite3_bind_int(d->findNavsByFreq, 3, aFilter->maxType());
1868   } else { // full type range
1869     sqlite3_bind_int(d->findNavsByFreq, 2, FGPositioned::NDB);
1870     sqlite3_bind_int(d->findNavsByFreq, 3, FGPositioned::GS);
1871   }
1872
1873   SGVec3d cartPos(SGVec3d::fromGeod(aPos));
1874   sqlite3_bind_double(d->findNavsByFreq, 4, cartPos.x());
1875   sqlite3_bind_double(d->findNavsByFreq, 5, cartPos.y());
1876   sqlite3_bind_double(d->findNavsByFreq, 6, cartPos.z());
1877
1878   return d->selectIds(d->findNavsByFreq);
1879 }
1880
1881 PositionedIDVec
1882 NavDataCache::findNavaidsByFreq(int freqKhz, FGPositioned::Filter* aFilter)
1883 {
1884   sqlite3_bind_int(d->findNavsByFreqNoPos, 1, freqKhz);
1885   if (aFilter) {
1886     sqlite3_bind_int(d->findNavsByFreqNoPos, 2, aFilter->minType());
1887     sqlite3_bind_int(d->findNavsByFreqNoPos, 3, aFilter->maxType());
1888   } else { // full type range
1889     sqlite3_bind_int(d->findNavsByFreqNoPos, 2, FGPositioned::NDB);
1890     sqlite3_bind_int(d->findNavsByFreqNoPos, 3, FGPositioned::GS);
1891   }
1892
1893   return d->selectIds(d->findNavsByFreqNoPos);
1894 }
1895
1896 PositionedIDVec
1897 NavDataCache::airportItemsOfType(PositionedID apt,FGPositioned::Type ty,
1898                                  FGPositioned::Type maxTy)
1899 {
1900   if (maxTy == FGPositioned::INVALID) {
1901     maxTy = ty; // single-type range
1902   }
1903
1904   sqlite3_bind_int64(d->getAirportItems, 1, apt);
1905   sqlite3_bind_int(d->getAirportItems, 2, ty);
1906   sqlite3_bind_int(d->getAirportItems, 3, maxTy);
1907
1908   return d->selectIds(d->getAirportItems);
1909 }
1910
1911 PositionedID
1912 NavDataCache::airportItemWithIdent(PositionedID apt, FGPositioned::Type ty,
1913                                    const std::string& ident)
1914 {
1915   sqlite3_bind_int64(d->getAirportItemByIdent, 1, apt);
1916   sqlite_bind_stdstring(d->getAirportItemByIdent, 2, ident);
1917   sqlite3_bind_int(d->getAirportItemByIdent, 3, ty);
1918   PositionedID result = 0;
1919
1920   if (d->execSelect(d->getAirportItemByIdent)) {
1921     result = sqlite3_column_int64(d->getAirportItemByIdent, 0);
1922   }
1923
1924   d->reset(d->getAirportItemByIdent);
1925   return result;
1926 }
1927
1928 AirportRunwayPair
1929 NavDataCache::findAirportRunway(const std::string& aName)
1930 {
1931   if (aName.empty()) {
1932     return AirportRunwayPair();
1933   }
1934
1935   string_list parts = simgear::strutils::split(aName);
1936   if (parts.size() < 2) {
1937     SG_LOG(SG_NAVCACHE, SG_WARN, "findAirportRunway: malformed name:" << aName);
1938     return AirportRunwayPair();
1939   }
1940
1941   AirportRunwayPair result;
1942   sqlite_bind_stdstring(d->findAirportRunway, 1, parts[0]);
1943   sqlite_bind_stdstring(d->findAirportRunway, 2, parts[1]);
1944
1945   if (d->execSelect(d->findAirportRunway)) {
1946     result = AirportRunwayPair(sqlite3_column_int64(d->findAirportRunway, 0),
1947                       sqlite3_column_int64(d->findAirportRunway, 1));
1948
1949   } else {
1950     SG_LOG(SG_NAVCACHE, SG_WARN, "findAirportRunway: unknown airport/runway:" << aName);
1951   }
1952
1953   d->reset(d->findAirportRunway);
1954   return result;
1955 }
1956
1957 PositionedID
1958 NavDataCache::findILS(PositionedID airport, const string& runway, const string& navIdent)
1959 {
1960   sqlite_bind_stdstring(d->findILS, 1, navIdent);
1961   sqlite3_bind_int64(d->findILS, 2, airport);
1962   sqlite_bind_stdstring(d->findILS, 3, runway);
1963   PositionedID result = 0;
1964   if (d->execSelect(d->findILS)) {
1965     result = sqlite3_column_int64(d->findILS, 0);
1966   }
1967
1968   d->reset(d->findILS);
1969   return result;
1970 }
1971
1972 int NavDataCache::findAirway(int network, const string& aName)
1973 {
1974   sqlite3_bind_int(d->findAirway, 1, network);
1975   sqlite_bind_stdstring(d->findAirway, 2, aName);
1976
1977   int airway = 0;
1978   if (d->execSelect(d->findAirway)) {
1979     // already exists
1980     airway = sqlite3_column_int(d->findAirway, 0);
1981   } else {
1982     sqlite_bind_stdstring(d->insertAirway, 1, aName);
1983     sqlite3_bind_int(d->insertAirway, 2, network);
1984     airway = d->execInsert(d->insertAirway);
1985   }
1986
1987   d->reset(d->findAirway);
1988   return airway;
1989 }
1990
1991 void NavDataCache::insertEdge(int network, int airwayID, PositionedID from, PositionedID to)
1992 {
1993   // assume all edges are bidirectional for the moment
1994   for (int i=0; i<2; ++i) {
1995     sqlite3_bind_int(d->insertAirwayEdge, 1, network);
1996     sqlite3_bind_int(d->insertAirwayEdge, 2, airwayID);
1997     sqlite3_bind_int64(d->insertAirwayEdge, 3, from);
1998     sqlite3_bind_int64(d->insertAirwayEdge, 4, to);
1999     d->execInsert(d->insertAirwayEdge);
2000
2001     std::swap(from, to);
2002   }
2003 }
2004
2005 bool NavDataCache::isInAirwayNetwork(int network, PositionedID pos)
2006 {
2007   sqlite3_bind_int(d->isPosInAirway, 1, network);
2008   sqlite3_bind_int64(d->isPosInAirway, 2, pos);
2009   bool ok = d->execSelect(d->isPosInAirway);
2010   d->reset(d->isPosInAirway);
2011
2012   return ok;
2013 }
2014
2015 AirwayEdgeVec NavDataCache::airwayEdgesFrom(int network, PositionedID pos)
2016 {
2017   sqlite3_bind_int(d->airwayEdgesFrom, 1, network);
2018   sqlite3_bind_int64(d->airwayEdgesFrom, 2, pos);
2019
2020   AirwayEdgeVec result;
2021   while (d->stepSelect(d->airwayEdgesFrom)) {
2022     result.push_back(AirwayEdge(
2023                      sqlite3_column_int(d->airwayEdgesFrom, 0),
2024                      sqlite3_column_int64(d->airwayEdgesFrom, 1)
2025                      ));
2026   }
2027
2028   d->reset(d->airwayEdgesFrom);
2029   return result;
2030 }
2031
2032 PositionedID NavDataCache::findNavaidForRunway(PositionedID runway, FGPositioned::Type ty)
2033 {
2034   sqlite3_bind_int64(d->findNavaidForRunway, 1, runway);
2035   sqlite3_bind_int(d->findNavaidForRunway, 2, ty);
2036
2037   PositionedID result = 0;
2038   if (d->execSelect(d->findNavaidForRunway)) {
2039     result = sqlite3_column_int64(d->findNavaidForRunway, 0);
2040   }
2041
2042   d->reset(d->findNavaidForRunway);
2043   return result;
2044 }
2045
2046 PositionedID
2047 NavDataCache::insertParking(const std::string& name, const SGGeod& aPos,
2048                             PositionedID aAirport,
2049                            double aHeading, int aRadius, const std::string& aAircraftType,
2050                            const std::string& aAirlines)
2051 {
2052   sqlite3_int64 rowId = d->insertPositioned(FGPositioned::PARKING, name, "", aPos, aAirport, false);
2053
2054 // we need to insert a row into the taxi_node table, otherwise we can't maintain
2055 // the appropriate pushback flag.
2056   sqlite3_bind_int64(d->insertTaxiNode, 1, rowId);
2057   sqlite3_bind_int(d->insertTaxiNode, 2, 0);
2058   sqlite3_bind_int(d->insertTaxiNode, 3, 0);
2059   d->execInsert(d->insertTaxiNode);
2060
2061   sqlite3_bind_int64(d->insertParkingPos, 1, rowId);
2062   sqlite3_bind_double(d->insertParkingPos, 2, aHeading);
2063   sqlite3_bind_int(d->insertParkingPos, 3, aRadius);
2064   sqlite_bind_stdstring(d->insertParkingPos, 4, aAircraftType);
2065   sqlite_bind_stdstring(d->insertParkingPos, 5, aAirlines);
2066   return d->execInsert(d->insertParkingPos);
2067 }
2068
2069 void NavDataCache::setParkingPushBackRoute(PositionedID parking, PositionedID pushBackNode)
2070 {
2071   sqlite3_bind_int64(d->setParkingPushBack, 1, parking);
2072   sqlite3_bind_int64(d->setParkingPushBack, 2, pushBackNode);
2073   d->execUpdate(d->setParkingPushBack);
2074 }
2075
2076 PositionedID
2077 NavDataCache::insertTaxiNode(const SGGeod& aPos, PositionedID aAirport, int aHoldType, bool aOnRunway)
2078 {
2079   sqlite3_int64 rowId = d->insertPositioned(FGPositioned::TAXI_NODE, string(), string(), aPos, aAirport, false);
2080   sqlite3_bind_int64(d->insertTaxiNode, 1, rowId);
2081   sqlite3_bind_int(d->insertTaxiNode, 2, aHoldType);
2082   sqlite3_bind_int(d->insertTaxiNode, 3, aOnRunway);
2083   return d->execInsert(d->insertTaxiNode);
2084 }
2085
2086 void NavDataCache::insertGroundnetEdge(PositionedID aAirport, PositionedID from, PositionedID to)
2087 {
2088   sqlite3_bind_int64(d->insertTaxiEdge, 1, aAirport);
2089   sqlite3_bind_int64(d->insertTaxiEdge, 2, from);
2090   sqlite3_bind_int64(d->insertTaxiEdge, 3, to);
2091   d->execInsert(d->insertTaxiEdge);
2092 }
2093
2094 PositionedIDVec NavDataCache::groundNetNodes(PositionedID aAirport, bool onlyPushback)
2095 {
2096   sqlite3_stmt_ptr q = onlyPushback ? d->airportPushbackNodes : d->airportTaxiNodes;
2097   sqlite3_bind_int64(q, 1, aAirport);
2098   return d->selectIds(q);
2099 }
2100
2101 void NavDataCache::markGroundnetAsPushback(PositionedID nodeId)
2102 {
2103   sqlite3_bind_int64(d->markTaxiNodeAsPushback, 1, nodeId);
2104   d->execUpdate(d->markTaxiNodeAsPushback);
2105 }
2106
2107 static double headingDifferenceDeg(double crs1, double crs2)
2108 {
2109   double diff =  crs2 - crs1;
2110   SG_NORMALIZE_RANGE(diff, -180.0, 180.0);
2111   return diff;
2112 }
2113
2114 PositionedID NavDataCache::findGroundNetNode(PositionedID airport, const SGGeod& aPos,
2115                                              bool onRunway, FGRunway* aRunway)
2116 {
2117   sqlite3_stmt_ptr q = onRunway ? d->findNearestRunwayTaxiNode : d->findNearestTaxiNode;
2118   sqlite3_bind_int64(q, 1, airport);
2119
2120   SGVec3d cartPos(SGVec3d::fromGeod(aPos));
2121   sqlite3_bind_double(q, 2, cartPos.x());
2122   sqlite3_bind_double(q, 3, cartPos.y());
2123   sqlite3_bind_double(q, 4, cartPos.z());
2124
2125   PositionedID result = 0;
2126   while (d->execSelect(q)) {
2127     PositionedID id = sqlite3_column_int64(q, 0);
2128     if (!aRunway) {
2129       result = id;
2130       break;
2131     }
2132
2133   // ensure found node lies on the runway
2134     FGPositionedRef node = loadById(id);
2135     double course = SGGeodesy::courseDeg(node->geod(), aRunway->end());
2136     if (fabs(headingDifferenceDeg(course, aRunway->headingDeg())) < 3.0 ) {
2137       result = id;
2138       break;
2139     }
2140   }
2141
2142   d->reset(q);
2143   return result;
2144 }
2145
2146 PositionedIDVec NavDataCache::groundNetEdgesFrom(PositionedID pos, bool onlyPushback)
2147 {
2148   sqlite3_stmt_ptr q = onlyPushback ? d->pushbackEdgesFrom : d->taxiEdgesFrom;
2149   sqlite3_bind_int64(q, 1, pos);
2150   return d->selectIds(q);
2151 }
2152
2153 PositionedIDVec NavDataCache::findAirportParking(PositionedID airport, const std::string& flightType,
2154                                    int radius)
2155 {
2156   sqlite3_bind_int64(d->findAirportParking, 1, airport);
2157   sqlite3_bind_int(d->findAirportParking, 2, radius);
2158   sqlite_bind_stdstring(d->findAirportParking, 3, flightType);
2159
2160   return d->selectIds(d->findAirportParking);
2161 }
2162
2163 void NavDataCache::dropGroundnetFor(PositionedID aAirport)
2164 {
2165   sqlite3_stmt_ptr q = d->prepare("DELETE FROM parking WHERE rowid IN (SELECT rowid FROM positioned WHERE type=?1 AND airport=?2)");
2166   sqlite3_bind_int(q, 1, FGPositioned::PARKING);
2167   sqlite3_bind_int64(q, 2, aAirport);
2168   d->execUpdate(q);
2169
2170   q = d->prepare("DELETE FROM taxi_node WHERE rowid IN (SELECT rowid FROM positioned WHERE (type=?1 OR type=?2) AND airport=?3)");
2171   sqlite3_bind_int(q, 1, FGPositioned::TAXI_NODE);
2172   sqlite3_bind_int(q, 2, FGPositioned::PARKING);
2173   sqlite3_bind_int64(q, 3, aAirport);
2174   d->execUpdate(q);
2175
2176   q = d->prepare("DELETE FROM positioned WHERE (type=?1 OR type=?2) AND airport=?3");
2177   sqlite3_bind_int(q, 1, FGPositioned::TAXI_NODE);
2178   sqlite3_bind_int(q, 2, FGPositioned::PARKING);
2179   sqlite3_bind_int64(q, 3, aAirport);
2180   d->execUpdate(q);
2181
2182   q = d->prepare("DELETE FROM groundnet_edge WHERE airport=?1");
2183   sqlite3_bind_int64(q, 1, aAirport);
2184   d->execUpdate(q);
2185 }
2186
2187 /////////////////////////////////////////////////////////////////////////////////////////
2188 // Transaction RAII object
2189
2190 NavDataCache::Transaction::Transaction(NavDataCache* cache) :
2191     _instance(cache),
2192     _committed(false)
2193 {
2194     assert(cache);
2195     _instance->beginTransaction();
2196 }
2197
2198 NavDataCache::Transaction::~Transaction()
2199 {
2200     if (!_committed) {
2201         SG_LOG(SG_NAVCACHE, SG_INFO, "aborting cache transaction!");
2202         _instance->abortTransaction();
2203     }
2204 }
2205
2206 void NavDataCache::Transaction::commit()
2207 {
2208     assert(!_committed);
2209     _committed = true;
2210     _instance->commitTransaction();
2211 }
2212
2213 } // of namespace flightgear
2214