src/Navaids/NavDataCache.cxx

   1 // NavDataCache.cxx - defines a unified binary cache for navigation
   2 // data, parsed from various text / XML sources.
   3
   4 // Written by James Turner, started 2012.
   5 //
   6 // Copyright (C) 2012  James Turner
   7 //
   8 // This program is free software; you can redistribute it and/or
   9 // modify it under the terms of the GNU General Public License as
  10 // published by the Free Software Foundation; either version 2 of the
  11 // License, or (at your option) any later version.
  12 //
  13 // This program is distributed in the hope that it will be useful, but
  14 // WITHOUT ANY WARRANTY; without even the implied warranty of
  15 // MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
  16 // General Public License for more details.
  17 //
  18 // You should have received a copy of the GNU General Public License
  19 // along with this program; if not, write to the Free Software
  20 // Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA  02110-1301, USA.
  21
  22 #ifdef HAVE_CONFIG_H
  23 # include "config.h"
  24 #endif
  25
  26 // to ensure compatability between sqlite3_int64 and PositionedID,
  27 // force the type used by sqlite to match PositionedID explicitly
  28 #define SQLITE_INT64_TYPE int64_t
  29 #define SQLITE_UINT64_TYPE uint64_t
  30
  31 #include "NavDataCache.hxx"
  32
  33 // std
  34 #include <map>
  35 #include <cassert>
  36 #include <stdint.h> // for int64_t
  37 // boost
  38 #include <boost/foreach.hpp>
  39
  40 #include "sqlite3.h"
  41
  42 // SimGear
  43 #include <simgear/structure/exception.hxx>
  44 #include <simgear/debug/logstream.hxx>
  45 #include <simgear/bucket/newbucket.hxx>
  46 #include <simgear/misc/sg_path.hxx>
  47 #include <simgear/misc/strutils.hxx>
  48 #include <simgear/threads/SGThread.hxx>
  49 #include <simgear/threads/SGGuard.hxx>
  50
  51 #include <Main/globals.hxx>
  52 #include "markerbeacon.hxx"
  53 #include "navrecord.hxx"
  54 #include <Airports/simple.hxx>
  55 #include <Airports/runways.hxx>
  56 #include <ATC/CommStation.hxx>
  57 #include "fix.hxx"
  58 #include <Navaids/fixlist.hxx>
  59 #include <Navaids/navdb.hxx>
  60 #include "PositionedOctree.hxx"
  61 #include <Airports/apt_loader.hxx>
  62 #include <Navaids/airways.hxx>
  63 #include <Airports/parking.hxx>
  64 #include <Airports/gnnode.hxx>
  65
  66 using std::string;
  67
  68 #define SG_NAVCACHE SG_NAVAID
  69 //#define LAZY_OCTREE_UPDATES 1
  70
  71 namespace {
  72
  73 const int MAX_RETRIES = 10;
  74 const int SCHEMA_VERSION = 6;
  75 const int CACHE_SIZE_KBYTES= 16000;
  76
  77 // bind a std::string to a sqlite statement. The std::string must live the
  78 // entire duration of the statement execution - do not pass a temporary
  79 // std::string, or the compiler may delete it, freeing the C-string storage,
  80 // and causing subtle memory corruption bugs!
  81 void sqlite_bind_stdstring(sqlite3_stmt* stmt, int value, const std::string& s)
  82 {
  83   sqlite3_bind_text(stmt, value, s.c_str(), s.length(), SQLITE_STATIC);
  84 }
  85
  86 // variant of the above, which does not care about the lifetime of the
  87 // passed std::string
  88 void sqlite_bind_temp_stdstring(sqlite3_stmt* stmt, int value, const std::string& s)
  89 {
  90   sqlite3_bind_text(stmt, value, s.c_str(), s.length(), SQLITE_TRANSIENT);
  91 }
  92
  93 typedef sqlite3_stmt* sqlite3_stmt_ptr;
  94
  95 void f_distanceCartSqrFunction(sqlite3_context* ctx, int argc, sqlite3_value* argv[])
  96 {
  97   if (argc != 6) {
  98     return;
  99   }
 100
 101   SGVec3d posA(sqlite3_value_double(argv[0]),
 102                sqlite3_value_double(argv[1]),
 103                sqlite3_value_double(argv[2]));
 104
 105   SGVec3d posB(sqlite3_value_double(argv[3]),
 106                sqlite3_value_double(argv[4]),
 107                sqlite3_value_double(argv[5]));
 108   sqlite3_result_double(ctx, distSqr(posA, posB));
 109 }
 110
 111
 112 static string cleanRunwayNo(const string& aRwyNo)
 113 {
 114   if (aRwyNo[0] == 'x') {
 115     return string(); // no ident for taxiways
 116   }
 117
 118   string result(aRwyNo);
 119   // canonicalise runway ident
 120   if ((aRwyNo.size() == 1) || !isdigit(aRwyNo[1])) {
 121     result = "0" + aRwyNo;
 122   }
 123
 124   // trim off trailing garbage
 125   if (result.size() > 2) {
 126     char suffix = toupper(result[2]);
 127     if (suffix == 'X') {
 128       result = result.substr(0, 2);
 129     }
 130   }
 131
 132   return result;
 133 }
 134
 135 } // anonymous namespace
 136
 137 namespace flightgear
 138 {
 139
 140 /**
 141  * Thread encapsulating a cache rebuild. This is not used to parallelise
 142  * the rebuild - we must still wait until completion before doing other
 143  * startup, since many things rely on a complete cache. The thread is used
 144  * so we don't block the main event loop for an unacceptable duration,
 145  * which causes 'not responding' / spinning beachballs on Windows & Mac
 146  */
 147 class RebuildThread : public SGThread
 148 {
 149 public:
 150   RebuildThread(NavDataCache* cache) :
 151   _cache(cache),
 152   _isFinished(false)
 153   {
 154
 155   }
 156
 157   bool isFinished() const
 158   {
 159     SGGuard<SGMutex> g(_lock);
 160     return _isFinished;
 161   }
 162
 163   virtual void run()
 164   {
 165     SGTimeStamp st;
 166     st.stamp();
 167     _cache->doRebuild();
 168     SG_LOG(SG_NAVCACHE, SG_INFO, "cache rebuild took:" << st.elapsedMSec() << "msec");
 169
 170     SGGuard<SGMutex> g(_lock);
 171     _isFinished = true;
 172   }
 173 private:
 174   NavDataCache* _cache;
 175   mutable SGMutex _lock;
 176   bool _isFinished;
 177 };
 178
 179 ////////////////////////////////////////////////////////////////////////////
 180
 181 typedef std::map<PositionedID, FGPositionedRef> PositionedCache;
 182
 183 class AirportTower : public FGPositioned
 184 {
 185 public:
 186   AirportTower(PositionedID& guid, PositionedID airport,
 187                const string& ident, const SGGeod& pos) :
 188     FGPositioned(guid, FGPositioned::TOWER, ident, pos)
 189   {
 190   }
 191 };
 192
 193 class NavDataCache::NavDataCachePrivate
 194 {
 195 public:
 196   NavDataCachePrivate(const SGPath& p, NavDataCache* o) :
 197     outer(o),
 198     db(NULL),
 199     path(p),
 200     cacheHits(0),
 201     cacheMisses(0),
 202     transactionLevel(0),
 203     transactionAborted(false)
 204   {
 205   }
 206
 207   ~NavDataCachePrivate()
 208   {
 209     BOOST_FOREACH(sqlite3_stmt_ptr stmt, prepared) {
 210       sqlite3_finalize(stmt);
 211     }
 212     prepared.clear();
 213
 214     sqlite3_close(db);
 215   }
 216
 217   void init()
 218   {
 219     SG_LOG(SG_NAVCACHE, SG_INFO, "NavCache at:" << path);
 220     sqlite3_open_v2(path.c_str(), &db,
 221                     SQLITE_OPEN_READWRITE | SQLITE_OPEN_CREATE, NULL);
 222
 223
 224     sqlite3_stmt_ptr checkTables =
 225       prepare("SELECT count(*) FROM sqlite_master WHERE name='properties'");
 226
 227     sqlite3_create_function(db, "distanceCartSqr", 6, SQLITE_ANY, NULL,
 228                             f_distanceCartSqrFunction, NULL, NULL);
 229
 230     execSelect(checkTables);
 231     bool didCreate = false;
 232     if (sqlite3_column_int(checkTables, 0) == 0) {
 233       SG_LOG(SG_NAVCACHE, SG_INFO, "will create tables");
 234       initTables();
 235       didCreate = true;
 236     }
 237
 238     readPropertyQuery = prepare("SELECT value FROM properties WHERE key=?");
 239     writePropertyQuery = prepare("INSERT INTO properties (key, value) VALUES (?,?)");
 240     clearProperty = prepare("DELETE FROM properties WHERE key=?1");
 241
 242     if (didCreate) {
 243       writeIntProperty("schema-version", SCHEMA_VERSION);
 244     } else {
 245       int schemaVersion = outer->readIntProperty("schema-version");
 246       if (schemaVersion != SCHEMA_VERSION) {
 247         SG_LOG(SG_NAVCACHE, SG_INFO, "Navcache schema mismatch, will rebuild");
 248         throw sg_exception("Navcache schema has changed");
 249       }
 250     }
 251
 252     // see http://www.sqlite.org/pragma.html#pragma_cache_size
 253     // for the details, small cache would cause thrashing.
 254     std::ostringstream q;
 255     q << "PRAGMA cache_size=-" << CACHE_SIZE_KBYTES << ";";
 256     runSQL(q.str());
 257     prepareQueries();
 258   }
 259
 260   void checkCacheFile()
 261   {
 262     SG_LOG(SG_NAVCACHE, SG_INFO, "running DB integrity check");
 263     SGTimeStamp st;
 264     st.stamp();
 265
 266     sqlite3_stmt_ptr stmt = prepare("PRAGMA quick_check(1)");
 267     if (!execSelect(stmt)) {
 268       throw sg_exception("DB integrity check failed to run");
 269     }
 270
 271     string v = (char*) sqlite3_column_text(stmt, 0);
 272     if (v != "ok") {
 273       throw sg_exception("DB integrity check returned:" + v);
 274     }
 275
 276     SG_LOG(SG_NAVCACHE, SG_INFO, "NavDataCache integrity check took:" << st.elapsedMSec());
 277     finalize(stmt);
 278   }
 279
 280   void callSqlite(int result, const string& sql)
 281   {
 282     if (result == SQLITE_OK)
 283       return; // all good
 284
 285     string errMsg;
 286     if (result == SQLITE_MISUSE) {
 287       errMsg = "Sqlite API abuse";
 288       SG_LOG(SG_NAVCACHE, SG_ALERT, "Sqlite API abuse");
 289     } else {
 290       errMsg = sqlite3_errmsg(db);
 291       SG_LOG(SG_NAVCACHE, SG_ALERT, "Sqlite error:" << errMsg << " running:\n\t" << sql);
 292     }
 293
 294     throw sg_exception("Sqlite error:" + errMsg, sql);
 295   }
 296
 297   void runSQL(const string& sql)
 298   {
 299     sqlite3_stmt_ptr stmt;
 300     callSqlite(sqlite3_prepare_v2(db, sql.c_str(), sql.length(), &stmt, NULL), sql);
 301
 302     try {
 303       execSelect(stmt);
 304     } catch (sg_exception&) {
 305       sqlite3_finalize(stmt);
 306       throw; // re-throw
 307     }
 308
 309     sqlite3_finalize(stmt);
 310   }
 311
 312   sqlite3_stmt_ptr prepare(const string& sql)
 313   {
 314     sqlite3_stmt_ptr stmt;
 315     callSqlite(sqlite3_prepare_v2(db, sql.c_str(), sql.length(), &stmt, NULL), sql);
 316     prepared.push_back(stmt);
 317     return stmt;
 318   }
 319
 320   void finalize(sqlite3_stmt_ptr s)
 321   {
 322     StmtVec::iterator it = std::find(prepared.begin(), prepared.end(), s);
 323     if (it == prepared.end()) {
 324       throw sg_exception("Finalising statement that was not prepared");
 325     }
 326
 327     prepared.erase(it);
 328     sqlite3_finalize(s);
 329   }
 330
 331   void reset(sqlite3_stmt_ptr stmt)
 332   {
 333     assert(stmt);
 334     if (sqlite3_reset(stmt) != SQLITE_OK) {
 335       string errMsg = sqlite3_errmsg(db);
 336       SG_LOG(SG_NAVCACHE, SG_ALERT, "Sqlite error resetting:" << errMsg);
 337       throw sg_exception("Sqlite error resetting:" + errMsg, sqlite3_sql(stmt));
 338     }
 339   }
 340
 341   bool execSelect(sqlite3_stmt_ptr stmt)
 342   {
 343     return stepSelect(stmt);
 344   }
 345
 346   bool stepSelect(sqlite3_stmt_ptr stmt)
 347   {
 348     int retries = 0;
 349     int result;
 350     while (retries < MAX_RETRIES) {
 351       result = sqlite3_step(stmt);
 352       if (result == SQLITE_ROW) {
 353         return true; // at least one result row
 354       }
 355
 356       if (result == SQLITE_DONE) {
 357         return false; // no result rows
 358       }
 359
 360       if (result != SQLITE_BUSY) {
 361         break;
 362       }
 363
 364       SG_LOG(SG_NAVCACHE, SG_ALERT, "NavCache contention on select, will retry:" << retries);
 365       SGTimeStamp::sleepForMSec(++retries * 10);
 366     } // of retry loop for DB locked
 367
 368     if (retries >= MAX_RETRIES) {
 369       SG_LOG(SG_NAVCACHE, SG_ALERT, "exceeded maximum number of SQLITE_BUSY retries");
 370       return false;
 371     }
 372
 373     string errMsg;
 374     if (result == SQLITE_MISUSE) {
 375       errMsg = "Sqlite API abuse";
 376       SG_LOG(SG_NAVCACHE, SG_ALERT, "Sqlite API abuse");
 377     } else {
 378       errMsg = sqlite3_errmsg(db);
 379       SG_LOG(SG_NAVCACHE, SG_ALERT, "Sqlite error:" << errMsg << " (" << result
 380              << ") while running:\n\t" << sqlite3_sql(stmt));
 381     }
 382
 383     throw sg_exception("Sqlite error:" + errMsg, sqlite3_sql(stmt));
 384   }
 385
 386   void execSelect1(sqlite3_stmt_ptr stmt)
 387   {
 388     if (!execSelect(stmt)) {
 389       SG_LOG(SG_NAVCACHE, SG_WARN, "empty SELECT running:\n\t" << sqlite3_sql(stmt));
 390       throw sg_exception("no results returned for select", sqlite3_sql(stmt));
 391     }
 392   }
 393
 394   sqlite3_int64 execInsert(sqlite3_stmt_ptr stmt)
 395   {
 396     execSelect(stmt);
 397     sqlite3_int64 rowid = sqlite3_last_insert_rowid(db);
 398     reset(stmt);
 399     return rowid;
 400   }
 401
 402   void execUpdate(sqlite3_stmt_ptr stmt)
 403   {
 404     execSelect(stmt);
 405     reset(stmt);
 406   }
 407
 408   void initTables()
 409   {
 410     runSQL("CREATE TABLE properties ("
 411            "key VARCHAR,"
 412            "value VARCHAR"
 413            ")");
 414
 415     runSQL("CREATE TABLE stat_cache ("
 416            "path VARCHAR unique,"
 417            "stamp INT"
 418            ")");
 419
 420     runSQL("CREATE TABLE positioned ("
 421            "type INT,"
 422            "ident VARCHAR collate nocase,"
 423            "name VARCHAR collate nocase,"
 424            "airport INT64,"
 425            "lon FLOAT,"
 426            "lat FLOAT,"
 427            "elev_m FLOAT,"
 428            "octree_node INT,"
 429            "cart_x FLOAT,"
 430            "cart_y FLOAT,"
 431            "cart_z FLOAT"
 432            ")");
 433
 434     runSQL("CREATE INDEX pos_octree ON positioned(octree_node)");
 435     runSQL("CREATE INDEX pos_ident ON positioned(ident collate nocase)");
 436     runSQL("CREATE INDEX pos_name ON positioned(name collate nocase)");
 437     // allow efficient querying of 'all ATIS at this airport' or
 438     // 'all towers at this airport'
 439     runSQL("CREATE INDEX pos_apt_type ON positioned(airport, type)");
 440
 441     runSQL("CREATE TABLE airport ("
 442            "has_metar BOOL"
 443            ")"
 444            );
 445
 446     runSQL("CREATE TABLE comm ("
 447            "freq_khz INT,"
 448            "range_nm INT"
 449            ")"
 450            );
 451
 452     runSQL("CREATE INDEX comm_freq ON comm(freq_khz)");
 453
 454     runSQL("CREATE TABLE runway ("
 455            "heading FLOAT,"
 456            "length_ft FLOAT,"
 457            "width_m FLOAT,"
 458            "surface INT,"
 459            "displaced_threshold FLOAT,"
 460            "stopway FLOAT,"
 461            "reciprocal INT64,"
 462            "ils INT64"
 463            ")"
 464            );
 465
 466     runSQL("CREATE TABLE navaid ("
 467            "freq INT,"
 468            "range_nm INT,"
 469            "multiuse FLOAT,"
 470            "runway INT64,"
 471            "colocated INT64"
 472            ")"
 473            );
 474
 475     runSQL("CREATE INDEX navaid_freq ON navaid(freq)");
 476
 477     runSQL("CREATE TABLE octree (children INT)");
 478
 479     runSQL("CREATE TABLE airway ("
 480            "ident VARCHAR collate nocase,"
 481            "network INT" // high-level or low-level
 482            ")");
 483
 484     runSQL("CREATE INDEX airway_ident ON airway(ident)");
 485
 486     runSQL("CREATE TABLE airway_edge ("
 487            "network INT,"
 488            "airway INT64,"
 489            "a INT64,"
 490            "b INT64"
 491            ")");
 492
 493     runSQL("CREATE INDEX airway_edge_from ON airway_edge(a)");
 494
 495     runSQL("CREATE TABLE taxi_node ("
 496            "hold_type INT,"
 497            "on_runway BOOL,"
 498            "pushback BOOL"
 499            ")");
 500
 501     runSQL("CREATE TABLE parking ("
 502            "heading FLOAT,"
 503            "radius INT,"
 504            "gate_type VARCHAR,"
 505            "airlines VARCHAR,"
 506            "pushback INT64"
 507            ")");
 508
 509     runSQL("CREATE TABLE groundnet_edge ("
 510            "airport INT64,"
 511            "a INT64,"
 512            "b INT64"
 513            ")");
 514
 515     runSQL("CREATE INDEX groundnet_edge_airport ON groundnet_edge(airport)");
 516     runSQL("CREATE INDEX groundnet_edge_from ON groundnet_edge(a)");
 517   }
 518
 519   void prepareQueries()
 520   {
 521     writePropertyMulti = prepare("INSERT INTO properties (key, value) VALUES(?1,?2)");
 522
 523     beginTransactionStmt = prepare("BEGIN");
 524     commitTransactionStmt = prepare("COMMIT");
 525     rollbackTransactionStmt = prepare("ROLLBACK");
 526
 527
 528 #define POSITIONED_COLS "rowid, type, ident, name, airport, lon, lat, elev_m, octree_node"
 529 #define AND_TYPED "AND type>=?2 AND type <=?3"
 530     statCacheCheck = prepare("SELECT stamp FROM stat_cache WHERE path=?");
 531     stampFileCache = prepare("INSERT OR REPLACE INTO stat_cache "
 532                              "(path, stamp) VALUES (?,?)");
 533
 534     loadPositioned = prepare("SELECT " POSITIONED_COLS " FROM positioned WHERE rowid=?");
 535     loadAirportStmt = prepare("SELECT has_metar FROM airport WHERE rowid=?");
 536     loadNavaid = prepare("SELECT range_nm, freq, multiuse, runway, colocated FROM navaid WHERE rowid=?");
 537     loadCommStation = prepare("SELECT freq_khz, range_nm FROM comm WHERE rowid=?");
 538     loadRunwayStmt = prepare("SELECT heading, length_ft, width_m, surface, displaced_threshold,"
 539                              "stopway, reciprocal, ils FROM runway WHERE rowid=?1");
 540
 541     getAirportItems = prepare("SELECT rowid FROM positioned WHERE airport=?1 " AND_TYPED);
 542
 543
 544     setAirportMetar = prepare("UPDATE airport SET has_metar=?2 WHERE rowid="
 545                               "(SELECT rowid FROM positioned WHERE ident=?1 AND type>=?3 AND type <=?4)");
 546     sqlite3_bind_int(setAirportMetar, 3, FGPositioned::AIRPORT);
 547     sqlite3_bind_int(setAirportMetar, 4, FGPositioned::SEAPORT);
 548
 549     setRunwayReciprocal = prepare("UPDATE runway SET reciprocal=?2 WHERE rowid=?1");
 550     setRunwayILS = prepare("UPDATE runway SET ils=?2 WHERE rowid=?1");
 551     updateRunwayThreshold = prepare("UPDATE runway SET heading=?2, displaced_threshold=?3, stopway=?4 WHERE rowid=?1");
 552
 553     insertPositionedQuery = prepare("INSERT INTO positioned "
 554                                     "(type, ident, name, airport, lon, lat, elev_m, octree_node, "
 555                                     "cart_x, cart_y, cart_z)"
 556                                     " VALUES (?1, ?2, ?3, ?4, ?5, ?6, ?7, ?8, ?9, ?10, ?11)");
 557
 558     setAirportPos = prepare("UPDATE positioned SET lon=?2, lat=?3, elev_m=?4, octree_node=?5, "
 559                             "cart_x=?6, cart_y=?7, cart_z=?8 WHERE rowid=?1");
 560     insertAirport = prepare("INSERT INTO airport (rowid, has_metar) VALUES (?, ?)");
 561     insertNavaid = prepare("INSERT INTO navaid (rowid, freq, range_nm, multiuse, runway, colocated)"
 562                            " VALUES (?1, ?2, ?3, ?4, ?5, ?6)");
 563     updateILS = prepare("UPDATE navaid SET multiuse=?2 WHERE rowid=?1");
 564
 565     insertCommStation = prepare("INSERT INTO comm (rowid, freq_khz, range_nm)"
 566                                 " VALUES (?, ?, ?)");
 567     insertRunway = prepare("INSERT INTO runway "
 568                            "(rowid, heading, length_ft, width_m, surface, displaced_threshold, stopway, reciprocal)"
 569                            " VALUES (?1, ?2, ?3, ?4, ?5, ?6, ?7, ?8)");
 570     runwayLengthFtQuery = prepare("SELECT length_ft FROM runway WHERE rowid=?1");
 571
 572   // query statement
 573     findClosestWithIdent = prepare("SELECT rowid FROM positioned WHERE ident=?1 "
 574                                    AND_TYPED " ORDER BY distanceCartSqr(cart_x, cart_y, cart_z, ?4, ?5, ?6)");
 575
 576     findCommByFreq = prepare("SELECT positioned.rowid FROM positioned, comm WHERE "
 577                              "positioned.rowid=comm.rowid AND freq_khz=?1 "
 578                              AND_TYPED " ORDER BY distanceCartSqr(cart_x, cart_y, cart_z, ?4, ?5, ?6)");
 579
 580     findNavsByFreq = prepare("SELECT positioned.rowid FROM positioned, navaid WHERE "
 581                              "positioned.rowid=navaid.rowid "
 582                              "AND navaid.freq=?1 " AND_TYPED
 583                              " ORDER BY distanceCartSqr(cart_x, cart_y, cart_z, ?4, ?5, ?6)");
 584
 585     findNavsByFreqNoPos = prepare("SELECT positioned.rowid FROM positioned, navaid WHERE "
 586                                   "positioned.rowid=navaid.rowid AND freq=?1 " AND_TYPED);
 587
 588     findNavaidForRunway = prepare("SELECT positioned.rowid FROM positioned, navaid WHERE "
 589                                   "positioned.rowid=navaid.rowid AND runway=?1 AND type=?2");
 590
 591   // for an octree branch, return the child octree nodes which exist,
 592   // described as a bit-mask
 593     getOctreeChildren = prepare("SELECT children FROM octree WHERE rowid=?1");
 594
 595 #ifdef LAZY_OCTREE_UPDATES
 596     updateOctreeChildren = prepare("UPDATE octree SET children=?2 WHERE rowid=?1");
 597 #else
 598   // mask the new child value into the existing one
 599     updateOctreeChildren = prepare("UPDATE octree SET children=(?2 | children) WHERE rowid=?1");
 600 #endif
 601
 602   // define a new octree node (with no children)
 603     insertOctree = prepare("INSERT INTO octree (rowid, children) VALUES (?1, 0)");
 604
 605     getOctreeLeafChildren = prepare("SELECT rowid, type FROM positioned WHERE octree_node=?1");
 606
 607     searchAirports = prepare("SELECT ident, name FROM positioned WHERE (name LIKE ?1 OR ident LIKE ?1) " AND_TYPED);
 608     sqlite3_bind_int(searchAirports, 2, FGPositioned::AIRPORT);
 609     sqlite3_bind_int(searchAirports, 3, FGPositioned::SEAPORT);
 610
 611     getAirportItemByIdent = prepare("SELECT rowid FROM positioned WHERE airport=?1 AND ident=?2 AND type=?3");
 612
 613     findAirportRunway = prepare("SELECT airport, rowid FROM positioned WHERE ident=?2 AND type=?3 AND airport="
 614                                 "(SELECT rowid FROM positioned WHERE type=?4 AND ident=?1)");
 615     sqlite3_bind_int(findAirportRunway, 3, FGPositioned::RUNWAY);
 616     sqlite3_bind_int(findAirportRunway, 4, FGPositioned::AIRPORT);
 617
 618     // three-way join to get the navaid ident and runway ident in a single select.
 619     // we're joining positioned to itself by the navaid runway, with the complication
 620     // that we need to join the navaids table to get the runway ID.
 621     // we also need to filter by type to excluse glideslope (GS) matches
 622     findILS = prepare("SELECT nav.rowid FROM positioned AS nav, positioned AS rwy, navaid WHERE "
 623                       "nav.ident=?1 AND nav.airport=?2 AND rwy.ident=?3 "
 624                       "AND rwy.rowid = navaid.runway AND navaid.rowid=nav.rowid "
 625                       "AND (nav.type=?4 OR nav.type=?5)");
 626
 627     sqlite3_bind_int(findILS, 4, FGPositioned::ILS);
 628     sqlite3_bind_int(findILS, 5, FGPositioned::LOC);
 629
 630   // airways
 631     findAirway = prepare("SELECT rowid FROM airway WHERE network=?1 AND ident=?2");
 632     insertAirway = prepare("INSERT INTO airway (ident, network) "
 633                            "VALUES (?1, ?2)");
 634
 635     insertAirwayEdge = prepare("INSERT INTO airway_edge (network, airway, a, b) "
 636                                "VALUES (?1, ?2, ?3, ?4)");
 637
 638     isPosInAirway = prepare("SELECT rowid FROM airway_edge WHERE network=?1 AND a=?2");
 639
 640     airwayEdgesFrom = prepare("SELECT airway, b FROM airway_edge WHERE network=?1 AND a=?2");
 641
 642   // parking / taxi-node graph
 643     insertTaxiNode = prepare("INSERT INTO taxi_node (rowid, hold_type, on_runway, pushback) VALUES(?1, ?2, ?3, 0)");
 644     insertParkingPos = prepare("INSERT INTO parking (rowid, heading, radius, gate_type, airlines) "
 645                                "VALUES (?1, ?2, ?3, ?4, ?5)");
 646     setParkingPushBack = prepare("UPDATE parking SET pushback=?2 WHERE rowid=?1");
 647
 648     loadTaxiNodeStmt = prepare("SELECT hold_type, on_runway FROM taxi_node WHERE rowid=?1");
 649     loadParkingPos = prepare("SELECT heading, radius, gate_type, airlines, pushback FROM parking WHERE rowid=?1");
 650     taxiEdgesFrom = prepare("SELECT b FROM groundnet_edge WHERE a=?1");
 651     pushbackEdgesFrom = prepare("SELECT b FROM groundnet_edge, taxi_node WHERE "
 652                                 "a=?1 AND groundnet_edge.b = taxi_node.rowid AND pushback=1");
 653
 654     insertTaxiEdge = prepare("INSERT INTO groundnet_edge (airport, a,b) VALUES(?1, ?2, ?3)");
 655
 656     markTaxiNodeAsPushback = prepare("UPDATE taxi_node SET pushback=1 WHERE rowid=?1");
 657     airportTaxiNodes = prepare("SELECT rowid FROM positioned WHERE (type=?2 OR type=?3) AND airport=?1");
 658     sqlite3_bind_int(airportTaxiNodes, 2, FGPositioned::PARKING);
 659     sqlite3_bind_int(airportTaxiNodes, 3, FGPositioned::TAXI_NODE);
 660
 661     airportPushbackNodes = prepare("SELECT positioned.rowid FROM positioned, taxi_node WHERE "\
 662                                    "airport=?1 AND positioned.rowid=taxi_node.rowid AND pushback=1 "
 663                                    "AND (type=?2 OR type=?3)");
 664     sqlite3_bind_int(airportPushbackNodes, 2, FGPositioned::PARKING);
 665     sqlite3_bind_int(airportPushbackNodes, 3, FGPositioned::TAXI_NODE);
 666
 667     findNearestTaxiNode = prepare("SELECT positioned.rowid FROM positioned, taxi_node WHERE "
 668                                   "positioned.rowid = taxi_node.rowid AND airport=?1 "
 669                                   "ORDER BY distanceCartSqr(cart_x, cart_y, cart_z, ?2, ?3, ?4) "
 670                                   "LIMIT 1");
 671
 672     findNearestRunwayTaxiNode = prepare("SELECT positioned.rowid FROM positioned, taxi_node WHERE "
 673                                         "positioned.rowid = taxi_node.rowid AND airport=?1 "
 674                                         "AND on_runway=1 "
 675                                         "ORDER BY distanceCartSqr(cart_x, cart_y, cart_z, ?2, ?3, ?4) ");
 676
 677     findAirportParking = prepare("SELECT positioned.rowid FROM positioned, parking WHERE "
 678                                  "airport=?1 AND type=?4 AND "
 679                                  "radius >= ?2 AND gate_type = ?3 AND "
 680                                  "parking.rowid=positioned.rowid");
 681     sqlite3_bind_int(findAirportParking, 4, FGPositioned::PARKING);
 682   }
 683
 684   void writeIntProperty(const string& key, int value)
 685   {
 686     sqlite_bind_stdstring(clearProperty, 1, key);
 687     execUpdate(clearProperty);
 688
 689     sqlite_bind_stdstring(writePropertyQuery, 1, key);
 690     sqlite3_bind_int(writePropertyQuery, 2, value);
 691     execUpdate(writePropertyQuery);
 692   }
 693
 694
 695   FGPositioned* loadById(sqlite_int64 rowId);
 696
 697   FGAirport* loadAirport(sqlite_int64 rowId,
 698                          FGPositioned::Type ty,
 699                          const string& id, const string& name, const SGGeod& pos)
 700   {
 701     sqlite3_bind_int64(loadAirportStmt, 1, rowId);
 702     execSelect1(loadAirportStmt);
 703     bool hasMetar = (sqlite3_column_int(loadAirportStmt, 0) > 0);
 704     reset(loadAirportStmt);
 705
 706     return new FGAirport(rowId, id, pos, name, hasMetar, ty);
 707   }
 708
 709   FGRunwayBase* loadRunway(sqlite3_int64 rowId, FGPositioned::Type ty,
 710                            const string& id, const SGGeod& pos, PositionedID apt)
 711   {
 712     sqlite3_bind_int(loadRunwayStmt, 1, rowId);
 713     execSelect1(loadRunwayStmt);
 714
 715     double heading = sqlite3_column_double(loadRunwayStmt, 0);
 716     double lengthM = sqlite3_column_int(loadRunwayStmt, 1);
 717     double widthM = sqlite3_column_double(loadRunwayStmt, 2);
 718     int surface = sqlite3_column_int(loadRunwayStmt, 3);
 719
 720     if (ty == FGPositioned::TAXIWAY) {
 721       reset(loadRunwayStmt);
 722       return new FGTaxiway(rowId, id, pos, heading, lengthM, widthM, surface);
 723     } else {
 724       double displacedThreshold = sqlite3_column_double(loadRunwayStmt, 4);
 725       double stopway = sqlite3_column_double(loadRunwayStmt, 5);
 726       PositionedID reciprocal = sqlite3_column_int64(loadRunwayStmt, 6);
 727       PositionedID ils = sqlite3_column_int64(loadRunwayStmt, 7);
 728       FGRunway* r = new FGRunway(rowId, apt, id, pos, heading, lengthM, widthM,
 729                           displacedThreshold, stopway, surface, false);
 730
 731       if (reciprocal > 0) {
 732         r->setReciprocalRunway(reciprocal);
 733       }
 734
 735       if (ils > 0) {
 736         r->setILS(ils);
 737       }
 738
 739       reset(loadRunwayStmt);
 740       return r;
 741     }
 742   }
 743
 744   CommStation* loadComm(sqlite3_int64 rowId, FGPositioned::Type ty,
 745                         const string& id, const string& name,
 746                         const SGGeod& pos,
 747                         PositionedID airport)
 748   {
 749     sqlite3_bind_int64(loadCommStation, 1, rowId);
 750     execSelect1(loadCommStation);
 751
 752     int range = sqlite3_column_int(loadCommStation, 0);
 753     int freqKhz = sqlite3_column_int(loadCommStation, 1);
 754     reset(loadCommStation);
 755
 756     CommStation* c = new CommStation(rowId, name, ty, pos, freqKhz, range);
 757     c->setAirport(airport);
 758     return c;
 759   }
 760
 761   FGPositioned* loadNav(sqlite3_int64 rowId,
 762                        FGPositioned::Type ty, const string& id,
 763                        const string& name, const SGGeod& pos)
 764   {
 765     sqlite3_bind_int64(loadNavaid, 1, rowId);
 766     execSelect1(loadNavaid);
 767
 768     PositionedID runway = sqlite3_column_int64(loadNavaid, 3);
 769     // marker beacons are light-weight
 770     if ((ty == FGPositioned::OM) || (ty == FGPositioned::IM) ||
 771         (ty == FGPositioned::MM))
 772     {
 773       reset(loadNavaid);
 774       return new FGMarkerBeaconRecord(rowId, ty, runway, pos);
 775     }
 776
 777     int rangeNm = sqlite3_column_int(loadNavaid, 0),
 778       freq = sqlite3_column_int(loadNavaid, 1);
 779     double mulituse = sqlite3_column_double(loadNavaid, 2);
 780     //sqlite3_int64 colocated = sqlite3_column_int64(loadNavaid, 4);
 781     reset(loadNavaid);
 782
 783     return new FGNavRecord(rowId, ty, id, name, pos, freq, rangeNm, mulituse, runway);
 784   }
 785
 786   FGPositioned* loadParking(sqlite3_int64 rowId,
 787                             const string& name, const SGGeod& pos,
 788                             PositionedID airport)
 789   {
 790     sqlite3_bind_int64(loadParkingPos, 1, rowId);
 791     execSelect1(loadParkingPos);
 792
 793     double heading = sqlite3_column_double(loadParkingPos, 0);
 794     int radius = sqlite3_column_int(loadParkingPos, 1);
 795     string aircraftType((char*) sqlite3_column_text(loadParkingPos, 2));
 796     string airlines((char*) sqlite3_column_text(loadParkingPos, 3));
 797     PositionedID pushBack = sqlite3_column_int64(loadParkingPos, 4);
 798     reset(loadParkingPos);
 799
 800     return new FGParking(rowId, pos, heading, radius, name, aircraftType, airlines, pushBack);
 801   }
 802
 803   FGPositioned* loadTaxiNode(sqlite3_int64 rowId, const SGGeod& pos,
 804                              PositionedID airport)
 805   {
 806     sqlite3_bind_int64(loadTaxiNodeStmt, 1, rowId);
 807     execSelect1(loadTaxiNodeStmt);
 808
 809     int hold_type = sqlite3_column_int(loadTaxiNodeStmt, 0);
 810     bool onRunway = sqlite3_column_int(loadTaxiNodeStmt, 1);
 811     reset(loadTaxiNodeStmt);
 812
 813     return new FGTaxiNode(rowId, pos, onRunway, hold_type);
 814   }
 815
 816   PositionedID insertPositioned(FGPositioned::Type ty, const string& ident,
 817                                 const string& name, const SGGeod& pos, PositionedID apt,
 818                                 bool spatialIndex)
 819   {
 820     SGVec3d cartPos(SGVec3d::fromGeod(pos));
 821
 822     sqlite3_bind_int(insertPositionedQuery, 1, ty);
 823     sqlite_bind_stdstring(insertPositionedQuery, 2, ident);
 824     sqlite_bind_stdstring(insertPositionedQuery, 3, name);
 825     sqlite3_bind_int64(insertPositionedQuery, 4, apt);
 826     sqlite3_bind_double(insertPositionedQuery, 5, pos.getLongitudeDeg());
 827     sqlite3_bind_double(insertPositionedQuery, 6, pos.getLatitudeDeg());
 828     sqlite3_bind_double(insertPositionedQuery, 7, pos.getElevationM());
 829
 830     if (spatialIndex) {
 831       Octree::Leaf* octreeLeaf = Octree::global_spatialOctree->findLeafForPos(cartPos);
 832       assert(intersects(octreeLeaf->bbox(), cartPos));
 833       sqlite3_bind_int64(insertPositionedQuery, 8, octreeLeaf->guid());
 834     } else {
 835       sqlite3_bind_null(insertPositionedQuery, 8);
 836     }
 837
 838     sqlite3_bind_double(insertPositionedQuery, 9, cartPos.x());
 839     sqlite3_bind_double(insertPositionedQuery, 10, cartPos.y());
 840     sqlite3_bind_double(insertPositionedQuery, 11, cartPos.z());
 841
 842     PositionedID r = execInsert(insertPositionedQuery);
 843     return r;
 844   }
 845
 846   FGPositioned::List findAllByString(const string& s, const string& column,
 847                                      FGPositioned::Filter* filter, bool exact)
 848   {
 849     string query = s;
 850     if (!exact) query += "%";
 851
 852   // build up SQL query text
 853     string matchTerm = exact ? "=?1" : " LIKE ?1";
 854     string sql = "SELECT rowid FROM positioned WHERE " + column + matchTerm;
 855     if (filter) {
 856       sql += " " AND_TYPED;
 857     }
 858
 859   // find or prepare a suitable statement frrm the SQL
 860     sqlite3_stmt_ptr stmt = findByStringDict[sql];
 861     if (!stmt) {
 862       stmt = prepare(sql);
 863       findByStringDict[sql] = stmt;
 864     }
 865
 866     sqlite_bind_stdstring(stmt, 1, query);
 867     if (filter) {
 868       sqlite3_bind_int(stmt, 2, filter->minType());
 869       sqlite3_bind_int(stmt, 3, filter->maxType());
 870     }
 871
 872     FGPositioned::List result;
 873   // run the prepared SQL
 874     while (stepSelect(stmt))
 875     {
 876       FGPositioned* pos = outer->loadById(sqlite3_column_int64(stmt, 0));
 877       if (filter && !filter->pass(pos)) {
 878         continue;
 879       }
 880
 881       result.push_back(pos);
 882     }
 883
 884     reset(stmt);
 885     return result;
 886   }
 887
 888   PositionedIDVec selectIds(sqlite3_stmt_ptr query)
 889   {
 890     PositionedIDVec result;
 891     while (stepSelect(query)) {
 892       result.push_back(sqlite3_column_int64(query, 0));
 893     }
 894     reset(query);
 895     return result;
 896   }
 897
 898   double runwayLengthFt(PositionedID rwy)
 899   {
 900     sqlite3_bind_int64(runwayLengthFtQuery, 1, rwy);
 901     execSelect1(runwayLengthFtQuery);
 902     double length = sqlite3_column_double(runwayLengthFtQuery, 0);
 903     reset(runwayLengthFtQuery);
 904     return length;
 905   }
 906
 907   void flushDeferredOctreeUpdates()
 908   {
 909     BOOST_FOREACH(Octree::Branch* nd, deferredOctreeUpdates) {
 910       sqlite3_bind_int64(updateOctreeChildren, 1, nd->guid());
 911       sqlite3_bind_int(updateOctreeChildren, 2, nd->childMask());
 912       execUpdate(updateOctreeChildren);
 913     }
 914
 915     deferredOctreeUpdates.clear();
 916   }
 917
 918   NavDataCache* outer;
 919   sqlite3* db;
 920   SGPath path;
 921
 922   /// the actual cache of ID -> instances. This holds an owning reference,
 923   /// so once items are in the cache they will never be deleted until
 924   /// the cache drops its reference
 925   PositionedCache cache;
 926   unsigned int cacheHits, cacheMisses;
 927
 928   /**
 929    * record the levels of open transaction objects we have
 930    */
 931   unsigned int transactionLevel;
 932   bool transactionAborted;
 933   sqlite3_stmt_ptr beginTransactionStmt, commitTransactionStmt, rollbackTransactionStmt;
 934
 935   SGPath aptDatPath, metarDatPath, navDatPath, fixDatPath,
 936   carrierDatPath, airwayDatPath;
 937
 938   sqlite3_stmt_ptr readPropertyQuery, writePropertyQuery,
 939     stampFileCache, statCacheCheck,
 940     loadAirportStmt, loadCommStation, loadPositioned, loadNavaid,
 941     loadRunwayStmt;
 942   sqlite3_stmt_ptr writePropertyMulti, clearProperty;
 943
 944   sqlite3_stmt_ptr insertPositionedQuery, insertAirport, insertTower, insertRunway,
 945   insertCommStation, insertNavaid;
 946   sqlite3_stmt_ptr setAirportMetar, setRunwayReciprocal, setRunwayILS,
 947     setAirportPos, updateRunwayThreshold, updateILS;
 948
 949   sqlite3_stmt_ptr findClosestWithIdent;
 950 // octree (spatial index) related queries
 951   sqlite3_stmt_ptr getOctreeChildren, insertOctree, updateOctreeChildren,
 952     getOctreeLeafChildren;
 953
 954   sqlite3_stmt_ptr searchAirports;
 955   sqlite3_stmt_ptr findCommByFreq, findNavsByFreq,
 956   findNavsByFreqNoPos, findNavaidForRunway;
 957   sqlite3_stmt_ptr getAirportItems, getAirportItemByIdent;
 958   sqlite3_stmt_ptr findAirportRunway,
 959     findILS;
 960
 961   sqlite3_stmt_ptr runwayLengthFtQuery;
 962
 963 // airways
 964   sqlite3_stmt_ptr findAirway, insertAirwayEdge, isPosInAirway, airwayEdgesFrom,
 965   insertAirway;
 966
 967 // groundnet (parking, taxi node graph)
 968   sqlite3_stmt_ptr loadTaxiNodeStmt, loadParkingPos, insertTaxiNode, insertParkingPos;
 969   sqlite3_stmt_ptr taxiEdgesFrom, pushbackEdgesFrom, insertTaxiEdge, markTaxiNodeAsPushback,
 970     airportTaxiNodes, airportPushbackNodes, findNearestTaxiNode, findAirportParking,
 971     setParkingPushBack, findNearestRunwayTaxiNode;
 972
 973 // since there's many permutations of ident/name queries, we create
 974 // them programtically, but cache the exact query by its raw SQL once
 975 // used.
 976   std::map<string, sqlite3_stmt_ptr> findByStringDict;
 977
 978   typedef std::vector<sqlite3_stmt_ptr> StmtVec;
 979   StmtVec prepared;
 980
 981   std::set<Octree::Branch*> deferredOctreeUpdates;
 982
 983   // if we're performing a rebuild, the thread that is doing the work.
 984   // otherwise, NULL
 985   std::auto_ptr<RebuildThread> rebuilder;
 986 };
 987
 988   //////////////////////////////////////////////////////////////////////
 989
 990 FGPositioned* NavDataCache::NavDataCachePrivate::loadById(sqlite3_int64 rowid)
 991 {
 992
 993   sqlite3_bind_int64(loadPositioned, 1, rowid);
 994   execSelect1(loadPositioned);
 995
 996   assert(rowid == sqlite3_column_int64(loadPositioned, 0));
 997   FGPositioned::Type ty = (FGPositioned::Type) sqlite3_column_int(loadPositioned, 1);
 998
 999   string ident = (char*) sqlite3_column_text(loadPositioned, 2);
1000   string name = (char*) sqlite3_column_text(loadPositioned, 3);
1001   sqlite3_int64 aptId = sqlite3_column_int64(loadPositioned, 4);
1002   double lon = sqlite3_column_double(loadPositioned, 5);
1003   double lat = sqlite3_column_double(loadPositioned, 6);
1004   double elev = sqlite3_column_double(loadPositioned, 7);
1005   SGGeod pos = SGGeod::fromDegM(lon, lat, elev);
1006
1007   reset(loadPositioned);
1008
1009   switch (ty) {
1010     case FGPositioned::AIRPORT:
1011     case FGPositioned::SEAPORT:
1012     case FGPositioned::HELIPORT:
1013       return loadAirport(rowid, ty, ident, name, pos);
1014
1015     case FGPositioned::TOWER:
1016       return new AirportTower(rowid, aptId, ident, pos);
1017
1018     case FGPositioned::RUNWAY:
1019     case FGPositioned::TAXIWAY:
1020       return loadRunway(rowid, ty, ident, pos, aptId);
1021
1022     case FGPositioned::LOC:
1023     case FGPositioned::VOR:
1024     case FGPositioned::GS:
1025     case FGPositioned::ILS:
1026     case FGPositioned::NDB:
1027     case FGPositioned::OM:
1028     case FGPositioned::MM:
1029     case FGPositioned::IM:
1030     case FGPositioned::DME:
1031     case FGPositioned::TACAN:
1032     case FGPositioned::MOBILE_TACAN:
1033     {
1034       if (aptId > 0) {
1035         FGAirport* apt = (FGAirport*) outer->loadById(aptId);
1036         if (apt->validateILSData()) {
1037           SG_LOG(SG_NAVCACHE, SG_INFO, "re-loaded ILS data for " << apt->ident());
1038           // queried data above is probably invalid, force us to go around again
1039           // (the next time through, validateILSData will return false)
1040           return outer->loadById(rowid);
1041         }
1042       }
1043
1044       return loadNav(rowid, ty, ident, name, pos);
1045     }
1046
1047     case FGPositioned::FIX:
1048       return new FGFix(rowid, ident, pos);
1049
1050     case FGPositioned::WAYPOINT:
1051     {
1052       FGPositioned* wpt = new FGPositioned(rowid, FGPositioned::WAYPOINT, ident, pos);
1053       return wpt;
1054     }
1055
1056     case FGPositioned::FREQ_GROUND:
1057     case FGPositioned::FREQ_TOWER:
1058     case FGPositioned::FREQ_ATIS:
1059     case FGPositioned::FREQ_AWOS:
1060     case FGPositioned::FREQ_APP_DEP:
1061     case FGPositioned::FREQ_ENROUTE:
1062     case FGPositioned::FREQ_CLEARANCE:
1063     case FGPositioned::FREQ_UNICOM:
1064       return loadComm(rowid, ty, ident, name, pos, aptId);
1065
1066     case FGPositioned::TAXI_NODE:
1067       return loadTaxiNode(rowid, pos, aptId);
1068
1069     case FGPositioned::PARKING:
1070       return loadParking(rowid, ident, pos, aptId);
1071
1072     default:
1073       return NULL;
1074   }
1075 }
1076
1077
1078 static NavDataCache* static_instance = NULL;
1079
1080 NavDataCache::NavDataCache()
1081 {
1082   const int MAX_TRIES = 3;
1083   SGPath homePath(globals->get_fg_home());
1084   homePath.append("navdata.cache");
1085
1086   for (int t=0; t < MAX_TRIES; ++t) {
1087     try {
1088       d.reset(new NavDataCachePrivate(homePath, this));
1089       d->init();
1090       //d->checkCacheFile();
1091     // reached this point with no exception, success
1092       break;
1093     } catch (sg_exception& e) {
1094       SG_LOG(SG_NAVCACHE, t == 0 ? SG_WARN : SG_ALERT, "NavCache: init failed:" << e.what()
1095              << " (attempt " << t << ")");
1096       d.reset();
1097       homePath.remove();
1098     }
1099   } // of retry loop
1100
1101   double RADIUS_EARTH_M = 7000 * 1000.0; // 7000km is plenty
1102   SGVec3d earthExtent(RADIUS_EARTH_M, RADIUS_EARTH_M, RADIUS_EARTH_M);
1103   Octree::global_spatialOctree =
1104     new Octree::Branch(SGBox<double>(-earthExtent, earthExtent), 1);
1105
1106   d->aptDatPath = SGPath(globals->get_fg_root());
1107   d->aptDatPath.append("Airports/apt.dat.gz");
1108
1109   d->metarDatPath = SGPath(globals->get_fg_root());
1110   d->metarDatPath.append("Airports/metar.dat.gz");
1111
1112   d->navDatPath = SGPath(globals->get_fg_root());
1113   d->navDatPath.append("Navaids/nav.dat.gz");
1114
1115   d->fixDatPath = SGPath(globals->get_fg_root());
1116   d->fixDatPath.append("Navaids/fix.dat.gz");
1117
1118   d->carrierDatPath = SGPath(globals->get_fg_root());
1119   d->carrierDatPath.append("Navaids/carrier_nav.dat.gz");
1120
1121   d->airwayDatPath = SGPath(globals->get_fg_root());
1122   d->airwayDatPath.append("Navaids/awy.dat.gz");
1123 }
1124
1125 NavDataCache::~NavDataCache()
1126 {
1127   assert(static_instance == this);
1128   static_instance = NULL;
1129   SG_LOG(SG_NAVCACHE, SG_INFO, "closing the navcache");
1130   d.reset();
1131 }
1132
1133 NavDataCache* NavDataCache::instance()
1134 {
1135   if (!static_instance) {
1136     static_instance = new NavDataCache;
1137   }
1138
1139   return static_instance;
1140 }
1141
1142 bool NavDataCache::isRebuildRequired()
1143 {
1144   if (isCachedFileModified(d->aptDatPath) ||
1145       isCachedFileModified(d->metarDatPath) ||
1146       isCachedFileModified(d->navDatPath) ||
1147       isCachedFileModified(d->fixDatPath) ||
1148       isCachedFileModified(d->airwayDatPath))
1149   {
1150     SG_LOG(SG_NAVCACHE, SG_INFO, "NavCache: main cache rebuild required");
1151     return true;
1152   }
1153
1154   string sceneryPaths = simgear::strutils::join(globals->get_fg_scenery(), ";");
1155   if (readStringProperty("scenery_paths") != sceneryPaths) {
1156     SG_LOG(SG_NAVCACHE, SG_INFO, "NavCache: scenery paths changed, main cache rebuild required");
1157     return true;
1158   }
1159
1160   SG_LOG(SG_NAVCACHE, SG_INFO, "NavCache: no main cache rebuild required");
1161   return false;
1162 }
1163
1164 bool NavDataCache::rebuild()
1165 {
1166   if (!d->rebuilder.get()) {
1167     d->rebuilder.reset(new RebuildThread(this));
1168     d->rebuilder->start();
1169   }
1170
1171 // poll the rebuild thread
1172   bool fin = d->rebuilder->isFinished();
1173   if (fin) {
1174     d->rebuilder.reset(); // all done!
1175   }
1176   return fin;
1177 }
1178
1179 void NavDataCache::doRebuild()
1180 {
1181   try {
1182     Transaction txn(this);
1183     d->runSQL("DELETE FROM positioned");
1184     d->runSQL("DELETE FROM airport");
1185     d->runSQL("DELETE FROM runway");
1186     d->runSQL("DELETE FROM navaid");
1187     d->runSQL("DELETE FROM comm");
1188     d->runSQL("DELETE FROM octree");
1189     d->runSQL("DELETE FROM airway");
1190     d->runSQL("DELETE FROM airway_edge");
1191     d->runSQL("DELETE FROM taxi_node");
1192     d->runSQL("DELETE FROM parking");
1193     d->runSQL("DELETE FROM groundnet_edge");
1194     d->runSQL("DELETE FROM stat_cache");
1195
1196   // initialise the root octree node
1197     d->runSQL("INSERT INTO octree (rowid, children) VALUES (1, 0)");
1198
1199     SGTimeStamp st;
1200     st.stamp();
1201
1202     airportDBLoad(d->aptDatPath);
1203     SG_LOG(SG_NAVCACHE, SG_INFO, "apt.dat load took:" << st.elapsedMSec());
1204
1205     metarDataLoad(d->metarDatPath);
1206     stampCacheFile(d->aptDatPath);
1207     stampCacheFile(d->metarDatPath);
1208
1209     st.stamp();
1210     loadFixes(d->fixDatPath);
1211     stampCacheFile(d->fixDatPath);
1212     SG_LOG(SG_NAVCACHE, SG_INFO, "fix.dat load took:" << st.elapsedMSec());
1213
1214     st.stamp();
1215     navDBInit(d->navDatPath);
1216     stampCacheFile(d->navDatPath);
1217     SG_LOG(SG_NAVCACHE, SG_INFO, "nav.dat load took:" << st.elapsedMSec());
1218
1219     loadCarrierNav(d->carrierDatPath);
1220     stampCacheFile(d->carrierDatPath);
1221
1222     st.stamp();
1223     Airway::load(d->airwayDatPath);
1224     stampCacheFile(d->airwayDatPath);
1225     SG_LOG(SG_NAVCACHE, SG_INFO, "awy.dat load took:" << st.elapsedMSec());
1226
1227     d->flushDeferredOctreeUpdates();
1228
1229     string sceneryPaths = simgear::strutils::join(globals->get_fg_scenery(), ";");
1230     writeStringProperty("scenery_paths", sceneryPaths);
1231
1232     txn.commit();
1233   } catch (sg_exception& e) {
1234     SG_LOG(SG_NAVCACHE, SG_ALERT, "caught exception rebuilding navCache:" << e.what());
1235   }
1236 }
1237
1238 int NavDataCache::readIntProperty(const string& key)
1239 {
1240   sqlite_bind_stdstring(d->readPropertyQuery, 1, key);
1241   int result = 0;
1242
1243   if (d->execSelect(d->readPropertyQuery)) {
1244     result = sqlite3_column_int(d->readPropertyQuery, 0);
1245   } else {
1246     SG_LOG(SG_NAVCACHE, SG_WARN, "readIntProperty: unknown:" << key);
1247   }
1248
1249   d->reset(d->readPropertyQuery);
1250   return result;
1251 }
1252
1253 double NavDataCache::readDoubleProperty(const string& key)
1254 {
1255   sqlite_bind_stdstring(d->readPropertyQuery, 1, key);
1256   double result = 0.0;
1257   if (d->execSelect(d->readPropertyQuery)) {
1258     result = sqlite3_column_double(d->readPropertyQuery, 0);
1259   } else {
1260     SG_LOG(SG_NAVCACHE, SG_WARN, "readDoubleProperty: unknown:" << key);
1261   }
1262
1263   d->reset(d->readPropertyQuery);
1264   return result;
1265 }
1266
1267 string NavDataCache::readStringProperty(const string& key)
1268 {
1269   sqlite_bind_stdstring(d->readPropertyQuery, 1, key);
1270   string result;
1271   if (d->execSelect(d->readPropertyQuery)) {
1272     result = (char*) sqlite3_column_text(d->readPropertyQuery, 0);
1273   } else {
1274     SG_LOG(SG_NAVCACHE, SG_WARN, "readStringProperty: unknown:" << key);
1275   }
1276
1277   d->reset(d->readPropertyQuery);
1278   return result;
1279 }
1280
1281 void NavDataCache::writeIntProperty(const string& key, int value)
1282 {
1283   d->writeIntProperty(key, value);
1284 }
1285
1286 void NavDataCache::writeStringProperty(const string& key, const string& value)
1287 {
1288   sqlite_bind_stdstring(d->clearProperty, 1, key);
1289   d->execUpdate(d->clearProperty);
1290
1291   sqlite_bind_stdstring(d->writePropertyQuery, 1, key);
1292   sqlite_bind_stdstring(d->writePropertyQuery, 2, value);
1293   d->execUpdate(d->writePropertyQuery);
1294 }
1295
1296 void NavDataCache::writeDoubleProperty(const string& key, const double& value)
1297 {
1298   sqlite_bind_stdstring(d->clearProperty, 1, key);
1299   d->execUpdate(d->clearProperty);
1300
1301   sqlite_bind_stdstring(d->writePropertyQuery, 1, key);
1302   sqlite3_bind_double(d->writePropertyQuery, 2, value);
1303   d->execUpdate(d->writePropertyQuery);
1304 }
1305
1306 string_list NavDataCache::readStringListProperty(const string& key)
1307 {
1308   sqlite_bind_stdstring(d->readPropertyQuery, 1, key);
1309   string_list result;
1310   while (d->stepSelect(d->readPropertyQuery)) {
1311     result.push_back((char*) sqlite3_column_text(d->readPropertyQuery, 0));
1312   }
1313   d->reset(d->readPropertyQuery);
1314
1315   return result;
1316 }
1317
1318 void NavDataCache::writeStringListProperty(const string& key, const string_list& values)
1319 {
1320   sqlite_bind_stdstring(d->clearProperty, 1, key);
1321   d->execUpdate(d->clearProperty);
1322
1323   BOOST_FOREACH(string value, values) {
1324     sqlite_bind_stdstring(d->writePropertyMulti, 1, key);
1325     sqlite_bind_stdstring(d->writePropertyMulti, 2, value);
1326     d->execInsert(d->writePropertyMulti);
1327   }
1328 }
1329
1330 bool NavDataCache::isCachedFileModified(const SGPath& path) const
1331 {
1332   if (!path.exists()) {
1333     throw sg_io_exception("isCachedFileModified: Missing file:" + path.str());
1334   }
1335
1336   sqlite_bind_temp_stdstring(d->statCacheCheck, 1, path.str());
1337   bool isModified = true;
1338
1339   if (d->execSelect(d->statCacheCheck)) {
1340     time_t modtime = sqlite3_column_int64(d->statCacheCheck, 0);
1341     time_t delta = std::labs(modtime - path.modTime());
1342     if (delta != 0)
1343     {
1344       SG_LOG(SG_NAVCACHE, SG_DEBUG, "NavCache: rebuild required for " << path << ". Timestamps: " << modtime << " != " << path.modTime());
1345       if (delta < 30)
1346       {
1347           // File system time stamp has slightly changed. It's unlikely that the user has managed to change a file, start fgfs,
1348           // and then changed file again within x seconds - so it's suspicious...
1349           SG_LOG(SG_NAVCACHE, SG_ALERT, "NavCache: suspicious file timestamp change. Please report this to FlightGear. "
1350                   << "Delta: " << delta << ", Timestamps: " << modtime << ", " << path.modTime() << ", path: " << path);
1351       }
1352     }
1353     else
1354     {
1355       SG_LOG(SG_NAVCACHE, SG_DEBUG, "NavCache: no rebuild required for " << path);
1356     }
1357
1358     isModified = (delta != 0);
1359   } else {
1360     SG_LOG(SG_NAVCACHE, SG_DEBUG, "NavCache: initial build required for " << path);
1361   }
1362
1363   d->reset(d->statCacheCheck);
1364   return isModified;
1365 }
1366
1367 void NavDataCache::stampCacheFile(const SGPath& path)
1368 {
1369   sqlite_bind_temp_stdstring(d->stampFileCache, 1, path.str());
1370   sqlite3_bind_int64(d->stampFileCache, 2, path.modTime());
1371   d->execInsert(d->stampFileCache);
1372 }
1373
1374 void NavDataCache::beginTransaction()
1375 {
1376   if (d->transactionLevel == 0) {
1377     d->transactionAborted = false;
1378     d->stepSelect(d->beginTransactionStmt);
1379     sqlite3_reset(d->beginTransactionStmt);
1380   }
1381
1382   ++d->transactionLevel;
1383 }
1384
1385 void NavDataCache::commitTransaction()
1386 {
1387   assert(d->transactionLevel > 0);
1388   if (--d->transactionLevel == 0) {
1389     // if a nested transaction aborted, we might end up here, but must
1390     // still abort the entire transaction. That's bad, but safer than
1391     // committing.
1392     sqlite3_stmt_ptr q = d->transactionAborted ? d->rollbackTransactionStmt : d->commitTransactionStmt;
1393
1394     int retries = 0;
1395     int result;
1396     while (retries < MAX_RETRIES) {
1397       result = sqlite3_step(q);
1398       if (result == SQLITE_DONE) {
1399         break;
1400       }
1401
1402       // see http://www.sqlite.org/c3ref/get_autocommit.html for a hint
1403       // what's going on here: autocommit in inactive inside BEGIN, so if
1404       // it's active, the DB was rolled-back
1405       if (sqlite3_get_autocommit(d->db)) {
1406         SG_LOG(SG_NAVCACHE, SG_ALERT, "commit: was rolled back!" << retries);
1407         d->transactionAborted = true;
1408         break;
1409       }
1410
1411       if (result != SQLITE_BUSY) {
1412         break;
1413       }
1414
1415       SGTimeStamp::sleepForMSec(++retries * 10);
1416       SG_LOG(SG_NAVCACHE, SG_ALERT, "NavCache contention on commit, will retry:" << retries);
1417     } // of retry loop for DB busy
1418
1419     string errMsg;
1420     if (result != SQLITE_DONE) {
1421       errMsg = sqlite3_errmsg(d->db);
1422       SG_LOG(SG_NAVCACHE, SG_ALERT, "Sqlite error:" << errMsg << " for  " << result
1423              << " while running:\n\t" << sqlite3_sql(q));
1424     }
1425
1426     sqlite3_reset(q);
1427   }
1428 }
1429
1430 void NavDataCache::abortTransaction()
1431 {
1432   SG_LOG(SG_NAVCACHE, SG_WARN, "NavCache: aborting transaction");
1433
1434   assert(d->transactionLevel > 0);
1435   if (--d->transactionLevel == 0) {
1436     d->stepSelect(d->rollbackTransactionStmt);
1437     sqlite3_reset(d->rollbackTransactionStmt);
1438   }
1439
1440   d->transactionAborted = true;
1441 }
1442
1443 FGPositioned* NavDataCache::loadById(PositionedID rowid)
1444 {
1445   if (rowid == 0) {
1446     return NULL;
1447   }
1448
1449   PositionedCache::iterator it = d->cache.find(rowid);
1450   if (it != d->cache.end()) {
1451     d->cacheHits++;
1452     return it->second; // cache it
1453   }
1454
1455   FGPositioned* pos = d->loadById(rowid);
1456   d->cache.insert(it, PositionedCache::value_type(rowid, pos));
1457   d->cacheMisses++;
1458   return pos;
1459 }
1460
1461 PositionedID NavDataCache::insertAirport(FGPositioned::Type ty, const string& ident,
1462                                          const string& name)
1463 {
1464   // airports have their pos computed based on the avergae runway centres
1465   // so the pos isn't available immediately. Pass a dummy pos and avoid
1466   // doing spatial indexing until later
1467   sqlite3_int64 rowId = d->insertPositioned(ty, ident, name, SGGeod(),
1468                                             0 /* airport */,
1469                                             false /* spatial index */);
1470
1471   sqlite3_bind_int64(d->insertAirport, 1, rowId);
1472   d->execInsert(d->insertAirport);
1473
1474   return rowId;
1475 }
1476
1477 void NavDataCache::updatePosition(PositionedID item, const SGGeod &pos)
1478 {
1479   if (d->cache.find(item) != d->cache.end()) {
1480     SG_LOG(SG_NAVCACHE, SG_DEBUG, "updating position of an item in the cache");
1481     d->cache[item]->modifyPosition(pos);
1482   }
1483
1484   SGVec3d cartPos(SGVec3d::fromGeod(pos));
1485
1486   sqlite3_bind_int(d->setAirportPos, 1, item);
1487   sqlite3_bind_double(d->setAirportPos, 2, pos.getLongitudeDeg());
1488   sqlite3_bind_double(d->setAirportPos, 3, pos.getLatitudeDeg());
1489   sqlite3_bind_double(d->setAirportPos, 4, pos.getElevationM());
1490
1491 // bug 905; the octree leaf may change here, but the leaf may already be
1492 // loaded, and caching its children. (Either the old or new leaf!). Worse,
1493 // we may be called here as a result of loading one of those leaf's children.
1494 // instead of dealing with all those possibilites, such as modifying
1495 // the in-memory leaf's STL child container, we simply leave the runtime
1496 // structures alone. This is fine providing items do no move very far, since
1497 // all the spatial searches ultimately use the items' real cartesian position,
1498 // which was updated above.
1499   Octree::Leaf* octreeLeaf = Octree::global_spatialOctree->findLeafForPos(cartPos);
1500   sqlite3_bind_int64(d->setAirportPos, 5, octreeLeaf->guid());
1501
1502   sqlite3_bind_double(d->setAirportPos, 6, cartPos.x());
1503   sqlite3_bind_double(d->setAirportPos, 7, cartPos.y());
1504   sqlite3_bind_double(d->setAirportPos, 8, cartPos.z());
1505
1506
1507   d->execUpdate(d->setAirportPos);
1508 }
1509
1510 void NavDataCache::insertTower(PositionedID airportId, const SGGeod& pos)
1511 {
1512   d->insertPositioned(FGPositioned::TOWER, string(), string(),
1513                       pos, airportId, true /* spatial index */);
1514 }
1515
1516 PositionedID
1517 NavDataCache::insertRunway(FGPositioned::Type ty, const string& ident,
1518                            const SGGeod& pos, PositionedID apt,
1519                            double heading, double length, double width, double displacedThreshold,
1520                            double stopway, int surfaceCode)
1521 {
1522   // only runways are spatially indexed; don't bother indexing taxiways
1523   // or pavements
1524   bool spatialIndex = (ty == FGPositioned::RUNWAY);
1525
1526   sqlite3_int64 rowId = d->insertPositioned(ty, cleanRunwayNo(ident), "", pos, apt,
1527                                             spatialIndex);
1528   sqlite3_bind_int64(d->insertRunway, 1, rowId);
1529   sqlite3_bind_double(d->insertRunway, 2, heading);
1530   sqlite3_bind_double(d->insertRunway, 3, length);
1531   sqlite3_bind_double(d->insertRunway, 4, width);
1532   sqlite3_bind_int(d->insertRunway, 5, surfaceCode);
1533   sqlite3_bind_double(d->insertRunway, 6, displacedThreshold);
1534   sqlite3_bind_double(d->insertRunway, 7, stopway);
1535
1536   return d->execInsert(d->insertRunway);
1537 }
1538
1539 void NavDataCache::setRunwayReciprocal(PositionedID runway, PositionedID recip)
1540 {
1541   sqlite3_bind_int64(d->setRunwayReciprocal, 1, runway);
1542   sqlite3_bind_int64(d->setRunwayReciprocal, 2, recip);
1543   d->execUpdate(d->setRunwayReciprocal);
1544
1545 // and the opposite direction too!
1546   sqlite3_bind_int64(d->setRunwayReciprocal, 2, runway);
1547   sqlite3_bind_int64(d->setRunwayReciprocal, 1, recip);
1548   d->execUpdate(d->setRunwayReciprocal);
1549 }
1550
1551 void NavDataCache::setRunwayILS(PositionedID runway, PositionedID ils)
1552 {
1553   sqlite3_bind_int64(d->setRunwayILS, 1, runway);
1554   sqlite3_bind_int64(d->setRunwayILS, 2, ils);
1555   d->execUpdate(d->setRunwayILS);
1556 }
1557
1558 void NavDataCache::updateRunwayThreshold(PositionedID runwayID, const SGGeod &aThreshold,
1559                                   double aHeading, double aDisplacedThreshold,
1560                                   double aStopway)
1561 {
1562 // update the runway information
1563   sqlite3_bind_int64(d->updateRunwayThreshold, 1, runwayID);
1564   sqlite3_bind_double(d->updateRunwayThreshold, 2, aHeading);
1565   sqlite3_bind_double(d->updateRunwayThreshold, 3, aDisplacedThreshold);
1566   sqlite3_bind_double(d->updateRunwayThreshold, 4, aStopway);
1567   d->execUpdate(d->updateRunwayThreshold);
1568
1569 // compute the new runway center, based on the threshold lat/lon and length,
1570   double offsetFt = (0.5 * d->runwayLengthFt(runwayID));
1571   SGGeod newCenter= SGGeodesy::direct(aThreshold, aHeading, offsetFt * SG_FEET_TO_METER);
1572   newCenter.setElevationM(aThreshold.getElevationM());
1573
1574 // now update the positional data
1575   updatePosition(runwayID, newCenter);
1576 }
1577
1578 PositionedID
1579 NavDataCache::insertNavaid(FGPositioned::Type ty, const string& ident,
1580                           const string& name, const SGGeod& pos,
1581                            int freq, int range, double multiuse,
1582                            PositionedID apt, PositionedID runway)
1583 {
1584   bool spatialIndex = true;
1585   if (ty == FGPositioned::MOBILE_TACAN) {
1586     spatialIndex = false;
1587   }
1588
1589   sqlite3_int64 rowId = d->insertPositioned(ty, ident, name, pos, apt,
1590                                             spatialIndex);
1591   sqlite3_bind_int64(d->insertNavaid, 1, rowId);
1592   sqlite3_bind_int(d->insertNavaid, 2, freq);
1593   sqlite3_bind_int(d->insertNavaid, 3, range);
1594   sqlite3_bind_double(d->insertNavaid, 4, multiuse);
1595   sqlite3_bind_int64(d->insertNavaid, 5, runway);
1596   return d->execInsert(d->insertNavaid);
1597 }
1598
1599 void NavDataCache::updateILS(PositionedID ils, const SGGeod& newPos, double aHdg)
1600 {
1601   sqlite3_bind_int64(d->updateILS, 1, ils);
1602   sqlite3_bind_double(d->updateILS, 2, aHdg);
1603   d->execUpdate(d->updateILS);
1604   updatePosition(ils, newPos);
1605 }
1606
1607 PositionedID NavDataCache::insertCommStation(FGPositioned::Type ty,
1608                                              const string& name, const SGGeod& pos, int freq, int range,
1609                                              PositionedID apt)
1610 {
1611   sqlite3_int64 rowId = d->insertPositioned(ty, "", name, pos, apt, true);
1612   sqlite3_bind_int64(d->insertCommStation, 1, rowId);
1613   sqlite3_bind_int(d->insertCommStation, 2, freq);
1614   sqlite3_bind_int(d->insertCommStation, 3, range);
1615   return d->execInsert(d->insertCommStation);
1616 }
1617
1618 PositionedID NavDataCache::insertFix(const std::string& ident, const SGGeod& aPos)
1619 {
1620   return d->insertPositioned(FGPositioned::FIX, ident, string(), aPos, 0, true);
1621 }
1622
1623 PositionedID NavDataCache::createUserWaypoint(const std::string& ident, const SGGeod& aPos)
1624 {
1625   return d->insertPositioned(FGPositioned::WAYPOINT, ident, string(), aPos, 0,
1626                              true /* spatial index */);
1627 }
1628
1629 void NavDataCache::setAirportMetar(const string& icao, bool hasMetar)
1630 {
1631   sqlite_bind_stdstring(d->setAirportMetar, 1, icao);
1632   sqlite3_bind_int(d->setAirportMetar, 2, hasMetar);
1633   d->execUpdate(d->setAirportMetar);
1634 }
1635
1636 FGPositioned::List NavDataCache::findAllWithIdent(const string& s,
1637                                                   FGPositioned::Filter* filter, bool exact)
1638 {
1639   return d->findAllByString(s, "ident", filter, exact);
1640 }
1641
1642 FGPositioned::List NavDataCache::findAllWithName(const string& s,
1643                                                   FGPositioned::Filter* filter, bool exact)
1644 {
1645   return d->findAllByString(s, "name", filter, exact);
1646 }
1647
1648 FGPositionedRef NavDataCache::findClosestWithIdent(const string& aIdent,
1649                                                    const SGGeod& aPos, FGPositioned::Filter* aFilter)
1650 {
1651   sqlite_bind_stdstring(d->findClosestWithIdent, 1, aIdent);
1652   if (aFilter) {
1653     sqlite3_bind_int(d->findClosestWithIdent, 2, aFilter->minType());
1654     sqlite3_bind_int(d->findClosestWithIdent, 3, aFilter->maxType());
1655   } else { // full type range
1656     sqlite3_bind_int(d->findClosestWithIdent, 2, FGPositioned::INVALID);
1657     sqlite3_bind_int(d->findClosestWithIdent, 3, FGPositioned::LAST_TYPE);
1658   }
1659
1660   SGVec3d cartPos(SGVec3d::fromGeod(aPos));
1661   sqlite3_bind_double(d->findClosestWithIdent, 4, cartPos.x());
1662   sqlite3_bind_double(d->findClosestWithIdent, 5, cartPos.y());
1663   sqlite3_bind_double(d->findClosestWithIdent, 6, cartPos.z());
1664
1665   FGPositionedRef result;
1666
1667   while (d->stepSelect(d->findClosestWithIdent)) {
1668     FGPositioned* pos = loadById(sqlite3_column_int64(d->findClosestWithIdent, 0));
1669     if (aFilter && !aFilter->pass(pos)) {
1670       continue;
1671     }
1672
1673     result = pos;
1674     break;
1675   }
1676
1677   d->reset(d->findClosestWithIdent);
1678   return result;
1679 }
1680
1681
1682 int NavDataCache::getOctreeBranchChildren(int64_t octreeNodeId)
1683 {
1684   sqlite3_bind_int64(d->getOctreeChildren, 1, octreeNodeId);
1685   d->execSelect1(d->getOctreeChildren);
1686   int children = sqlite3_column_int(d->getOctreeChildren, 0);
1687   d->reset(d->getOctreeChildren);
1688   return children;
1689 }
1690
1691 void NavDataCache::defineOctreeNode(Octree::Branch* pr, Octree::Node* nd)
1692 {
1693   sqlite3_bind_int64(d->insertOctree, 1, nd->guid());
1694   d->execInsert(d->insertOctree);
1695
1696 #ifdef LAZY_OCTREE_UPDATES
1697   d->deferredOctreeUpdates.insert(pr);
1698 #else
1699   // lowest three bits of node ID are 0..7 index of the child in the parent
1700   int childIndex = nd->guid() & 0x07;
1701
1702   sqlite3_bind_int64(d->updateOctreeChildren, 1, pr->guid());
1703 // mask has bit N set where child N exists
1704   int childMask = 1 << childIndex;
1705   sqlite3_bind_int(d->updateOctreeChildren, 2, childMask);
1706   d->execUpdate(d->updateOctreeChildren);
1707 #endif
1708 }
1709
1710 TypedPositionedVec
1711 NavDataCache::getOctreeLeafChildren(int64_t octreeNodeId)
1712 {
1713   sqlite3_bind_int64(d->getOctreeLeafChildren, 1, octreeNodeId);
1714
1715   TypedPositionedVec r;
1716   while (d->stepSelect(d->getOctreeLeafChildren)) {
1717     FGPositioned::Type ty = static_cast<FGPositioned::Type>
1718       (sqlite3_column_int(d->getOctreeLeafChildren, 1));
1719     r.push_back(std::make_pair(ty,
1720                 sqlite3_column_int64(d->getOctreeLeafChildren, 0)));
1721   }
1722
1723   d->reset(d->getOctreeLeafChildren);
1724   return r;
1725 }
1726
1727
1728 /**
1729  * A special purpose helper (used by FGAirport::searchNamesAndIdents) to
1730  * implement the AirportList dialog. It's unfortunate that it needs to reside
1731  * here, but for now it's least ugly solution.
1732  */
1733 char** NavDataCache::searchAirportNamesAndIdents(const std::string& aFilter)
1734 {
1735   string s = "%" + aFilter + "%";
1736   sqlite_bind_stdstring(d->searchAirports, 1, s);
1737
1738   unsigned int numMatches = 0, numAllocated = 16;
1739   char** result = (char**) malloc(sizeof(char*) * numAllocated);
1740
1741   while (d->stepSelect(d->searchAirports)) {
1742     if ((numMatches + 1) >= numAllocated) {
1743       numAllocated <<= 1; // double in size!
1744     // reallocate results array
1745       char** nresult = (char**) malloc(sizeof(char*) * numAllocated);
1746       memcpy(nresult, result, sizeof(char*) * numMatches);
1747       free(result);
1748       result = nresult;
1749     }
1750
1751     // nasty code to avoid excessive string copying and allocations.
1752     // We format results as follows (note whitespace!):
1753     //   ' name-of-airport-chars   (ident)'
1754     // so the total length is:
1755     //    1 + strlen(name) + 4 + strlen(icao) + 1 + 1 (for the null)
1756     // which gives a grand total of 7 + name-length + icao-length.
1757     // note the ident can be three letters (non-ICAO local strip), four
1758     // (default ICAO) or more (extended format ICAO)
1759     int nameLength = sqlite3_column_bytes(d->searchAirports, 1);
1760     int icaoLength = sqlite3_column_bytes(d->searchAirports, 0);
1761     char* entry = (char*) malloc(7 + nameLength + icaoLength);
1762     char* dst = entry;
1763     *dst++ = ' ';
1764     memcpy(dst, sqlite3_column_text(d->searchAirports, 1), nameLength);
1765     dst += nameLength;
1766     *dst++ = ' ';
1767     *dst++ = ' ';
1768     *dst++ = ' ';
1769     *dst++ = '(';
1770     memcpy(dst, sqlite3_column_text(d->searchAirports, 0), icaoLength);
1771     dst += icaoLength;
1772     *dst++ = ')';
1773     *dst++ = 0;
1774
1775     result[numMatches++] = entry;
1776   }
1777
1778   result[numMatches] = NULL; // end of list marker
1779   d->reset(d->searchAirports);
1780   return result;
1781 }
1782
1783 FGPositionedRef
1784 NavDataCache::findCommByFreq(int freqKhz, const SGGeod& aPos, FGPositioned::Filter* aFilter)
1785 {
1786   sqlite3_bind_int(d->findCommByFreq, 1, freqKhz);
1787   if (aFilter) {
1788     sqlite3_bind_int(d->findCommByFreq, 2, aFilter->minType());
1789     sqlite3_bind_int(d->findCommByFreq, 3, aFilter->maxType());
1790   } else { // full type range
1791     sqlite3_bind_int(d->findCommByFreq, 2, FGPositioned::FREQ_GROUND);
1792     sqlite3_bind_int(d->findCommByFreq, 3, FGPositioned::FREQ_UNICOM);
1793   }
1794
1795   SGVec3d cartPos(SGVec3d::fromGeod(aPos));
1796   sqlite3_bind_double(d->findCommByFreq, 4, cartPos.x());
1797   sqlite3_bind_double(d->findCommByFreq, 5, cartPos.y());
1798   sqlite3_bind_double(d->findCommByFreq, 6, cartPos.z());
1799   FGPositionedRef result;
1800
1801   while (d->execSelect(d->findCommByFreq)) {
1802     FGPositioned* p = loadById(sqlite3_column_int64(d->findCommByFreq, 0));
1803     if (aFilter && !aFilter->pass(p)) {
1804       continue;
1805     }
1806
1807     result = p;
1808     break;
1809   }
1810
1811   d->reset(d->findCommByFreq);
1812   return result;
1813 }
1814
1815 PositionedIDVec
1816 NavDataCache::findNavaidsByFreq(int freqKhz, const SGGeod& aPos, FGPositioned::Filter* aFilter)
1817 {
1818   sqlite3_bind_int(d->findNavsByFreq, 1, freqKhz);
1819   if (aFilter) {
1820     sqlite3_bind_int(d->findNavsByFreq, 2, aFilter->minType());
1821     sqlite3_bind_int(d->findNavsByFreq, 3, aFilter->maxType());
1822   } else { // full type range
1823     sqlite3_bind_int(d->findNavsByFreq, 2, FGPositioned::NDB);
1824     sqlite3_bind_int(d->findNavsByFreq, 3, FGPositioned::GS);
1825   }
1826
1827   SGVec3d cartPos(SGVec3d::fromGeod(aPos));
1828   sqlite3_bind_double(d->findNavsByFreq, 4, cartPos.x());
1829   sqlite3_bind_double(d->findNavsByFreq, 5, cartPos.y());
1830   sqlite3_bind_double(d->findNavsByFreq, 6, cartPos.z());
1831
1832   return d->selectIds(d->findNavsByFreq);
1833 }
1834
1835 PositionedIDVec
1836 NavDataCache::findNavaidsByFreq(int freqKhz, FGPositioned::Filter* aFilter)
1837 {
1838   sqlite3_bind_int(d->findNavsByFreqNoPos, 1, freqKhz);
1839   if (aFilter) {
1840     sqlite3_bind_int(d->findNavsByFreqNoPos, 2, aFilter->minType());
1841     sqlite3_bind_int(d->findNavsByFreqNoPos, 3, aFilter->maxType());
1842   } else { // full type range
1843     sqlite3_bind_int(d->findNavsByFreqNoPos, 2, FGPositioned::NDB);
1844     sqlite3_bind_int(d->findNavsByFreqNoPos, 3, FGPositioned::GS);
1845   }
1846
1847   return d->selectIds(d->findNavsByFreqNoPos);
1848 }
1849
1850 PositionedIDVec
1851 NavDataCache::airportItemsOfType(PositionedID apt,FGPositioned::Type ty,
1852                                  FGPositioned::Type maxTy)
1853 {
1854   if (maxTy == FGPositioned::INVALID) {
1855     maxTy = ty; // single-type range
1856   }
1857
1858   sqlite3_bind_int64(d->getAirportItems, 1, apt);
1859   sqlite3_bind_int(d->getAirportItems, 2, ty);
1860   sqlite3_bind_int(d->getAirportItems, 3, maxTy);
1861
1862   return d->selectIds(d->getAirportItems);
1863 }
1864
1865 PositionedID
1866 NavDataCache::airportItemWithIdent(PositionedID apt, FGPositioned::Type ty,
1867                                    const std::string& ident)
1868 {
1869   sqlite3_bind_int64(d->getAirportItemByIdent, 1, apt);
1870   sqlite_bind_stdstring(d->getAirportItemByIdent, 2, ident);
1871   sqlite3_bind_int(d->getAirportItemByIdent, 3, ty);
1872   PositionedID result = 0;
1873
1874   if (d->execSelect(d->getAirportItemByIdent)) {
1875     result = sqlite3_column_int64(d->getAirportItemByIdent, 0);
1876   }
1877
1878   d->reset(d->getAirportItemByIdent);
1879   return result;
1880 }
1881
1882 AirportRunwayPair
1883 NavDataCache::findAirportRunway(const std::string& aName)
1884 {
1885   if (aName.empty()) {
1886     return AirportRunwayPair();
1887   }
1888
1889   string_list parts = simgear::strutils::split(aName);
1890   if (parts.size() < 2) {
1891     SG_LOG(SG_NAVCACHE, SG_WARN, "findAirportRunway: malformed name:" << aName);
1892     return AirportRunwayPair();
1893   }
1894
1895   AirportRunwayPair result;
1896   sqlite_bind_stdstring(d->findAirportRunway, 1, parts[0]);
1897   sqlite_bind_stdstring(d->findAirportRunway, 2, parts[1]);
1898
1899   if (d->execSelect(d->findAirportRunway)) {
1900     result = AirportRunwayPair(sqlite3_column_int64(d->findAirportRunway, 0),
1901                       sqlite3_column_int64(d->findAirportRunway, 1));
1902
1903   } else {
1904     SG_LOG(SG_NAVCACHE, SG_WARN, "findAirportRunway: unknown airport/runway:" << aName);
1905   }
1906
1907   d->reset(d->findAirportRunway);
1908   return result;
1909 }
1910
1911 PositionedID
1912 NavDataCache::findILS(PositionedID airport, const string& runway, const string& navIdent)
1913 {
1914   sqlite_bind_stdstring(d->findILS, 1, navIdent);
1915   sqlite3_bind_int64(d->findILS, 2, airport);
1916   sqlite_bind_stdstring(d->findILS, 3, runway);
1917   PositionedID result = 0;
1918   if (d->execSelect(d->findILS)) {
1919     result = sqlite3_column_int64(d->findILS, 0);
1920   }
1921
1922   d->reset(d->findILS);
1923   return result;
1924 }
1925
1926 int NavDataCache::findAirway(int network, const string& aName)
1927 {
1928   sqlite3_bind_int(d->findAirway, 1, network);
1929   sqlite_bind_stdstring(d->findAirway, 2, aName);
1930
1931   int airway = 0;
1932   if (d->execSelect(d->findAirway)) {
1933     // already exists
1934     airway = sqlite3_column_int(d->findAirway, 0);
1935   } else {
1936     sqlite_bind_stdstring(d->insertAirway, 1, aName);
1937     sqlite3_bind_int(d->insertAirway, 2, network);
1938     airway = d->execInsert(d->insertAirway);
1939   }
1940
1941   d->reset(d->findAirway);
1942   return airway;
1943 }
1944
1945 void NavDataCache::insertEdge(int network, int airwayID, PositionedID from, PositionedID to)
1946 {
1947   // assume all edges are bidirectional for the moment
1948   for (int i=0; i<2; ++i) {
1949     sqlite3_bind_int(d->insertAirwayEdge, 1, network);
1950     sqlite3_bind_int(d->insertAirwayEdge, 2, airwayID);
1951     sqlite3_bind_int64(d->insertAirwayEdge, 3, from);
1952     sqlite3_bind_int64(d->insertAirwayEdge, 4, to);
1953     d->execInsert(d->insertAirwayEdge);
1954
1955     std::swap(from, to);
1956   }
1957 }
1958
1959 bool NavDataCache::isInAirwayNetwork(int network, PositionedID pos)
1960 {
1961   sqlite3_bind_int(d->isPosInAirway, 1, network);
1962   sqlite3_bind_int64(d->isPosInAirway, 2, pos);
1963   bool ok = d->execSelect(d->isPosInAirway);
1964   d->reset(d->isPosInAirway);
1965
1966   return ok;
1967 }
1968
1969 AirwayEdgeVec NavDataCache::airwayEdgesFrom(int network, PositionedID pos)
1970 {
1971   sqlite3_bind_int(d->airwayEdgesFrom, 1, network);
1972   sqlite3_bind_int64(d->airwayEdgesFrom, 2, pos);
1973
1974   AirwayEdgeVec result;
1975   while (d->stepSelect(d->airwayEdgesFrom)) {
1976     result.push_back(AirwayEdge(
1977                      sqlite3_column_int(d->airwayEdgesFrom, 0),
1978                      sqlite3_column_int64(d->airwayEdgesFrom, 1)
1979                      ));
1980   }
1981
1982   d->reset(d->airwayEdgesFrom);
1983   return result;
1984 }
1985
1986 PositionedID NavDataCache::findNavaidForRunway(PositionedID runway, FGPositioned::Type ty)
1987 {
1988   sqlite3_bind_int64(d->findNavaidForRunway, 1, runway);
1989   sqlite3_bind_int(d->findNavaidForRunway, 2, ty);
1990
1991   PositionedID result = 0;
1992   if (d->execSelect(d->findNavaidForRunway)) {
1993     result = sqlite3_column_int64(d->findNavaidForRunway, 0);
1994   }
1995
1996   d->reset(d->findNavaidForRunway);
1997   return result;
1998 }
1999
2000 PositionedID
2001 NavDataCache::insertParking(const std::string& name, const SGGeod& aPos,
2002                             PositionedID aAirport,
2003                            double aHeading, int aRadius, const std::string& aAircraftType,
2004                            const std::string& aAirlines)
2005 {
2006   sqlite3_int64 rowId = d->insertPositioned(FGPositioned::PARKING, name, "", aPos, aAirport, false);
2007
2008 // we need to insert a row into the taxi_node table, otherwise we can't maintain
2009 // the appropriate pushback flag.
2010   sqlite3_bind_int64(d->insertTaxiNode, 1, rowId);
2011   sqlite3_bind_int(d->insertTaxiNode, 2, 0);
2012   sqlite3_bind_int(d->insertTaxiNode, 3, 0);
2013   d->execInsert(d->insertTaxiNode);
2014
2015   sqlite3_bind_int64(d->insertParkingPos, 1, rowId);
2016   sqlite3_bind_double(d->insertParkingPos, 2, aHeading);
2017   sqlite3_bind_int(d->insertParkingPos, 3, aRadius);
2018   sqlite_bind_stdstring(d->insertParkingPos, 4, aAircraftType);
2019   sqlite_bind_stdstring(d->insertParkingPos, 5, aAirlines);
2020   return d->execInsert(d->insertParkingPos);
2021 }
2022
2023 void NavDataCache::setParkingPushBackRoute(PositionedID parking, PositionedID pushBackNode)
2024 {
2025   sqlite3_bind_int64(d->setParkingPushBack, 1, parking);
2026   sqlite3_bind_int64(d->setParkingPushBack, 2, pushBackNode);
2027   d->execUpdate(d->setParkingPushBack);
2028 }
2029
2030 PositionedID
2031 NavDataCache::insertTaxiNode(const SGGeod& aPos, PositionedID aAirport, int aHoldType, bool aOnRunway)
2032 {
2033   sqlite3_int64 rowId = d->insertPositioned(FGPositioned::TAXI_NODE, string(), string(), aPos, aAirport, false);
2034   sqlite3_bind_int64(d->insertTaxiNode, 1, rowId);
2035   sqlite3_bind_int(d->insertTaxiNode, 2, aHoldType);
2036   sqlite3_bind_int(d->insertTaxiNode, 3, aOnRunway);
2037   return d->execInsert(d->insertTaxiNode);
2038 }
2039
2040 void NavDataCache::insertGroundnetEdge(PositionedID aAirport, PositionedID from, PositionedID to)
2041 {
2042   sqlite3_bind_int64(d->insertTaxiEdge, 1, aAirport);
2043   sqlite3_bind_int64(d->insertTaxiEdge, 2, from);
2044   sqlite3_bind_int64(d->insertTaxiEdge, 3, to);
2045   d->execInsert(d->insertTaxiEdge);
2046 }
2047
2048 PositionedIDVec NavDataCache::groundNetNodes(PositionedID aAirport, bool onlyPushback)
2049 {
2050   sqlite3_stmt_ptr q = onlyPushback ? d->airportPushbackNodes : d->airportTaxiNodes;
2051   sqlite3_bind_int64(q, 1, aAirport);
2052   return d->selectIds(q);
2053 }
2054
2055 void NavDataCache::markGroundnetAsPushback(PositionedID nodeId)
2056 {
2057   sqlite3_bind_int64(d->markTaxiNodeAsPushback, 1, nodeId);
2058   d->execUpdate(d->markTaxiNodeAsPushback);
2059 }
2060
2061 static double headingDifferenceDeg(double crs1, double crs2)
2062 {
2063   double diff =  crs2 - crs1;
2064   SG_NORMALIZE_RANGE(diff, -180.0, 180.0);
2065   return diff;
2066 }
2067
2068 PositionedID NavDataCache::findGroundNetNode(PositionedID airport, const SGGeod& aPos,
2069                                              bool onRunway, FGRunway* aRunway)
2070 {
2071   sqlite3_stmt_ptr q = onRunway ? d->findNearestRunwayTaxiNode : d->findNearestTaxiNode;
2072   sqlite3_bind_int64(q, 1, airport);
2073
2074   SGVec3d cartPos(SGVec3d::fromGeod(aPos));
2075   sqlite3_bind_double(q, 2, cartPos.x());
2076   sqlite3_bind_double(q, 3, cartPos.y());
2077   sqlite3_bind_double(q, 4, cartPos.z());
2078
2079   PositionedID result = 0;
2080   while (d->execSelect(q)) {
2081     PositionedID id = sqlite3_column_int64(q, 0);
2082     if (!aRunway) {
2083       result = id;
2084       break;
2085     }
2086
2087   // ensure found node lies on the runway
2088     FGPositionedRef node = loadById(id);
2089     double course = SGGeodesy::courseDeg(node->geod(), aRunway->end());
2090     if (fabs(headingDifferenceDeg(course, aRunway->headingDeg())) < 3.0 ) {
2091       result = id;
2092       break;
2093     }
2094   }
2095
2096   d->reset(q);
2097   return result;
2098 }
2099
2100 PositionedIDVec NavDataCache::groundNetEdgesFrom(PositionedID pos, bool onlyPushback)
2101 {
2102   sqlite3_stmt_ptr q = onlyPushback ? d->pushbackEdgesFrom : d->taxiEdgesFrom;
2103   sqlite3_bind_int64(q, 1, pos);
2104   return d->selectIds(q);
2105 }
2106
2107 PositionedIDVec NavDataCache::findAirportParking(PositionedID airport, const std::string& flightType,
2108                                    int radius)
2109 {
2110   sqlite3_bind_int64(d->findAirportParking, 1, airport);
2111   sqlite3_bind_int(d->findAirportParking, 2, radius);
2112   sqlite_bind_stdstring(d->findAirportParking, 3, flightType);
2113
2114   return d->selectIds(d->findAirportParking);
2115 }
2116
2117 void NavDataCache::dropGroundnetFor(PositionedID aAirport)
2118 {
2119   sqlite3_stmt_ptr q = d->prepare("DELETE FROM parking WHERE rowid IN (SELECT rowid FROM positioned WHERE type=?1 AND airport=?2)");
2120   sqlite3_bind_int(q, 1, FGPositioned::PARKING);
2121   sqlite3_bind_int64(q, 2, aAirport);
2122   d->execUpdate(q);
2123
2124   q = d->prepare("DELETE FROM taxi_node WHERE rowid IN (SELECT rowid FROM positioned WHERE (type=?1 OR type=?2) AND airport=?3)");
2125   sqlite3_bind_int(q, 1, FGPositioned::TAXI_NODE);
2126   sqlite3_bind_int(q, 2, FGPositioned::PARKING);
2127   sqlite3_bind_int64(q, 3, aAirport);
2128   d->execUpdate(q);
2129
2130   q = d->prepare("DELETE FROM positioned WHERE (type=?1 OR type=?2) AND airport=?3");
2131   sqlite3_bind_int(q, 1, FGPositioned::TAXI_NODE);
2132   sqlite3_bind_int(q, 2, FGPositioned::PARKING);
2133   sqlite3_bind_int64(q, 3, aAirport);
2134   d->execUpdate(q);
2135
2136   q = d->prepare("DELETE FROM groundnet_edge WHERE airport=?1");
2137   sqlite3_bind_int64(q, 1, aAirport);
2138   d->execUpdate(q);
2139 }
2140
2141 /////////////////////////////////////////////////////////////////////////////////////////
2142 // Transaction RAII object
2143
2144 NavDataCache::Transaction::Transaction(NavDataCache* cache) :
2145     _instance(cache),
2146     _committed(false)
2147 {
2148     assert(cache);
2149     _instance->beginTransaction();
2150 }
2151
2152 NavDataCache::Transaction::~Transaction()
2153 {
2154     if (!_committed) {
2155         SG_LOG(SG_NAVCACHE, SG_INFO, "aborting cache transaction!");
2156         _instance->abortTransaction();
2157     }
2158 }
2159
2160 void NavDataCache::Transaction::commit()
2161 {
2162     assert(!_committed);
2163     _committed = true;
2164     _instance->commitTransaction();
2165 }
2166
2167 } // of namespace flightgear
2168