src/Navaids/NavDataCache.cxx

   1 // NavDataCache.cxx - defines a unified binary cache for navigation
   2 // data, parsed from various text / XML sources.
   3
   4 // Written by James Turner, started 2012.
   5 //
   6 // Copyright (C) 2012  James Turner
   7 //
   8 // This program is free software; you can redistribute it and/or
   9 // modify it under the terms of the GNU General Public License as
  10 // published by the Free Software Foundation; either version 2 of the
  11 // License, or (at your option) any later version.
  12 //
  13 // This program is distributed in the hope that it will be useful, but
  14 // WITHOUT ANY WARRANTY; without even the implied warranty of
  15 // MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
  16 // General Public License for more details.
  17 //
  18 // You should have received a copy of the GNU General Public License
  19 // along with this program; if not, write to the Free Software
  20 // Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA  02110-1301, USA.
  21
  22 #ifdef HAVE_CONFIG_H
  23 # include "config.h"
  24 #endif
  25
  26 // to ensure compatability between sqlite3_int64 and PositionedID,
  27 // force the type used by sqlite to match PositionedID explicitly
  28 #define SQLITE_INT64_TYPE int64_t
  29 #define SQLITE_UINT64_TYPE uint64_t
  30
  31 #include "NavDataCache.hxx"
  32
  33 // std
  34 #include <map>
  35 #include <cassert>
  36 #include <stdint.h> // for int64_t
  37 // boost
  38 #include <boost/foreach.hpp>
  39
  40 #include "sqlite3.h"
  41
  42 // SimGear
  43 #include <simgear/structure/exception.hxx>
  44 #include <simgear/debug/logstream.hxx>
  45 #include <simgear/bucket/newbucket.hxx>
  46 #include <simgear/misc/sg_path.hxx>
  47 #include <simgear/misc/strutils.hxx>
  48 #include <simgear/threads/SGThread.hxx>
  49 #include <simgear/threads/SGGuard.hxx>
  50
  51 #include <Main/globals.hxx>
  52 #include "markerbeacon.hxx"
  53 #include "navrecord.hxx"
  54 #include <Airports/simple.hxx>
  55 #include <Airports/runways.hxx>
  56 #include <ATC/CommStation.hxx>
  57 #include "fix.hxx"
  58 #include <Navaids/fixlist.hxx>
  59 #include <Navaids/navdb.hxx>
  60 #include "PositionedOctree.hxx"
  61 #include <Airports/apt_loader.hxx>
  62 #include <Navaids/airways.hxx>
  63 #include <Airports/parking.hxx>
  64 #include <Airports/gnnode.hxx>
  65
  66 using std::string;
  67
  68 #define SG_NAVCACHE SG_NAVAID
  69 //#define LAZY_OCTREE_UPDATES 1
  70
  71 namespace {
  72
  73 const int SCHEMA_VERSION = 6;
  74
  75 // bind a std::string to a sqlite statement. The std::string must live the
  76 // entire duration of the statement execution - do not pass a temporary
  77 // std::string, or the compiler may delete it, freeing the C-string storage,
  78 // and causing subtle memory corruption bugs!
  79 void sqlite_bind_stdstring(sqlite3_stmt* stmt, int value, const std::string& s)
  80 {
  81   sqlite3_bind_text(stmt, value, s.c_str(), s.length(), SQLITE_STATIC);
  82 }
  83
  84 // variant of the above, which does not care about the lifetime of the
  85 // passed std::string
  86 void sqlite_bind_temp_stdstring(sqlite3_stmt* stmt, int value, const std::string& s)
  87 {
  88   sqlite3_bind_text(stmt, value, s.c_str(), s.length(), SQLITE_TRANSIENT);
  89 }
  90
  91 typedef sqlite3_stmt* sqlite3_stmt_ptr;
  92
  93 void f_distanceCartSqrFunction(sqlite3_context* ctx, int argc, sqlite3_value* argv[])
  94 {
  95   if (argc != 6) {
  96     return;
  97   }
  98
  99   SGVec3d posA(sqlite3_value_double(argv[0]),
 100                sqlite3_value_double(argv[1]),
 101                sqlite3_value_double(argv[2]));
 102
 103   SGVec3d posB(sqlite3_value_double(argv[3]),
 104                sqlite3_value_double(argv[4]),
 105                sqlite3_value_double(argv[5]));
 106   sqlite3_result_double(ctx, distSqr(posA, posB));
 107 }
 108
 109
 110 static string cleanRunwayNo(const string& aRwyNo)
 111 {
 112   if (aRwyNo[0] == 'x') {
 113     return string(); // no ident for taxiways
 114   }
 115
 116   string result(aRwyNo);
 117   // canonicalise runway ident
 118   if ((aRwyNo.size() == 1) || !isdigit(aRwyNo[1])) {
 119     result = "0" + aRwyNo;
 120   }
 121
 122   // trim off trailing garbage
 123   if (result.size() > 2) {
 124     char suffix = toupper(result[2]);
 125     if (suffix == 'X') {
 126       result = result.substr(0, 2);
 127     }
 128   }
 129
 130   return result;
 131 }
 132
 133 } // anonymous namespace
 134
 135 namespace flightgear
 136 {
 137
 138 /**
 139  * Thread encapsulating a cache rebuild. This is not used to parallelise
 140  * the rebuild - we must still wait until completion before doing other
 141  * startup, since many things rely on a complete cache. The thread is used
 142  * so we don't block the main event loop for an unacceptable duration,
 143  * which causes 'not responding' / spinning beachballs on Windows & Mac
 144  */
 145 class RebuildThread : public SGThread
 146 {
 147 public:
 148   RebuildThread(NavDataCache* cache) :
 149   _cache(cache),
 150   _isFinished(false)
 151   {
 152
 153   }
 154
 155   bool isFinished() const
 156   {
 157     SGGuard<SGMutex> g(_lock);
 158     return _isFinished;
 159   }
 160
 161   virtual void run()
 162   {
 163     SGTimeStamp st;
 164     st.stamp();
 165     _cache->doRebuild();
 166     SG_LOG(SG_NAVCACHE, SG_INFO, "cache rebuild took:" << st.elapsedMSec() << "msec");
 167
 168     SGGuard<SGMutex> g(_lock);
 169     _isFinished = true;
 170   }
 171 private:
 172   NavDataCache* _cache;
 173   mutable SGMutex _lock;
 174   bool _isFinished;
 175 };
 176
 177 ////////////////////////////////////////////////////////////////////////////
 178
 179 typedef std::map<PositionedID, FGPositionedRef> PositionedCache;
 180
 181 class AirportTower : public FGPositioned
 182 {
 183 public:
 184   AirportTower(PositionedID& guid, PositionedID airport,
 185                const string& ident, const SGGeod& pos) :
 186     FGPositioned(guid, FGPositioned::TOWER, ident, pos)
 187   {
 188   }
 189 };
 190
 191 class NavDataCache::NavDataCachePrivate
 192 {
 193 public:
 194   NavDataCachePrivate(const SGPath& p, NavDataCache* o) :
 195     outer(o),
 196     db(NULL),
 197     path(p),
 198     cacheHits(0),
 199     cacheMisses(0)
 200   {
 201   }
 202
 203   ~NavDataCachePrivate()
 204   {
 205     BOOST_FOREACH(sqlite3_stmt_ptr stmt, prepared) {
 206       sqlite3_finalize(stmt);
 207     }
 208     prepared.clear();
 209
 210     sqlite3_close(db);
 211   }
 212
 213   void init()
 214   {
 215     SG_LOG(SG_NAVCACHE, SG_INFO, "NavCache at:" << path);
 216     sqlite3_open_v2(path.c_str(), &db,
 217                     SQLITE_OPEN_READWRITE | SQLITE_OPEN_CREATE, NULL);
 218
 219
 220     sqlite3_stmt_ptr checkTables =
 221       prepare("SELECT count(*) FROM sqlite_master WHERE name='properties'");
 222
 223     sqlite3_create_function(db, "distanceCartSqr", 6, SQLITE_ANY, NULL,
 224                             f_distanceCartSqrFunction, NULL, NULL);
 225
 226     execSelect(checkTables);
 227     bool didCreate = false;
 228     if (sqlite3_column_int(checkTables, 0) == 0) {
 229       SG_LOG(SG_NAVCACHE, SG_INFO, "will create tables");
 230       initTables();
 231       didCreate = true;
 232     }
 233
 234     readPropertyQuery = prepare("SELECT value FROM properties WHERE key=?");
 235     writePropertyQuery = prepare("INSERT INTO properties (key, value) VALUES (?,?)");
 236     clearProperty = prepare("DELETE FROM properties WHERE key=?1");
 237
 238     if (didCreate) {
 239       writeIntProperty("schema-version", SCHEMA_VERSION);
 240     } else {
 241       int schemaVersion = outer->readIntProperty("schema-version");
 242       if (schemaVersion != SCHEMA_VERSION) {
 243         SG_LOG(SG_NAVCACHE, SG_INFO, "Navcache schema mismatch, will rebuild");
 244         throw sg_exception("Navcache schema has changed");
 245       }
 246     }
 247
 248     prepareQueries();
 249   }
 250
 251   void checkCacheFile()
 252   {
 253     SG_LOG(SG_NAVCACHE, SG_INFO, "running DB integrity check");
 254     SGTimeStamp st;
 255     st.stamp();
 256
 257     sqlite3_stmt_ptr stmt = prepare("PRAGMA integrity_check(1)");
 258     if (!execSelect(stmt)) {
 259       throw sg_exception("DB integrity check failed to run");
 260     }
 261
 262     string v = (char*) sqlite3_column_text(stmt, 0);
 263     if (v != "ok") {
 264       throw sg_exception("DB integrity check returned:" + v);
 265     }
 266
 267     SG_LOG(SG_NAVCACHE, SG_INFO, "NavDataCache integrity check took:" << st.elapsedMSec());
 268     finalize(stmt);
 269   }
 270
 271   void callSqlite(int result, const string& sql)
 272   {
 273     if (result == SQLITE_OK)
 274       return; // all good
 275
 276     string errMsg;
 277     if (result == SQLITE_MISUSE) {
 278       errMsg = "Sqlite API abuse";
 279       SG_LOG(SG_NAVCACHE, SG_ALERT, "Sqlite API abuse");
 280     } else {
 281       errMsg = sqlite3_errmsg(db);
 282       SG_LOG(SG_NAVCACHE, SG_ALERT, "Sqlite error:" << errMsg << " running:\n\t" << sql);
 283     }
 284
 285     throw sg_exception("Sqlite error:" + errMsg, sql);
 286   }
 287
 288   void runSQL(const string& sql)
 289   {
 290     sqlite3_stmt_ptr stmt;
 291     callSqlite(sqlite3_prepare_v2(db, sql.c_str(), sql.length(), &stmt, NULL), sql);
 292
 293     try {
 294       execSelect(stmt);
 295     } catch (sg_exception&) {
 296       sqlite3_finalize(stmt);
 297       throw; // re-throw
 298     }
 299
 300     sqlite3_finalize(stmt);
 301   }
 302
 303   sqlite3_stmt_ptr prepare(const string& sql)
 304   {
 305     sqlite3_stmt_ptr stmt;
 306     callSqlite(sqlite3_prepare_v2(db, sql.c_str(), sql.length(), &stmt, NULL), sql);
 307     prepared.push_back(stmt);
 308     return stmt;
 309   }
 310
 311   void finalize(sqlite3_stmt_ptr s)
 312   {
 313     StmtVec::iterator it = std::find(prepared.begin(), prepared.end(), s);
 314     if (it == prepared.end()) {
 315       throw sg_exception("Finalising statement that was not prepared");
 316     }
 317
 318     prepared.erase(it);
 319     sqlite3_finalize(s);
 320   }
 321
 322   void reset(sqlite3_stmt_ptr stmt)
 323   {
 324     assert(stmt);
 325     if (sqlite3_reset(stmt) != SQLITE_OK) {
 326       string errMsg = sqlite3_errmsg(db);
 327       SG_LOG(SG_NAVCACHE, SG_ALERT, "Sqlite error resetting:" << errMsg);
 328       throw sg_exception("Sqlite error resetting:" + errMsg, sqlite3_sql(stmt));
 329     }
 330   }
 331
 332   bool execSelect(sqlite3_stmt_ptr stmt)
 333   {
 334     return stepSelect(stmt);
 335   }
 336
 337   static const int MAX_RETRIES = 10;
 338
 339   bool stepSelect(sqlite3_stmt_ptr stmt)
 340   {
 341     int retries = 0;
 342     int result;
 343     while (retries < MAX_RETRIES) {
 344       result = sqlite3_step(stmt);
 345       if (result == SQLITE_ROW) {
 346         return true; // at least one result row
 347       }
 348
 349       if (result == SQLITE_DONE) {
 350         return false; // no result rows
 351       }
 352
 353       if (result != SQLITE_LOCKED) {
 354         break;
 355       }
 356
 357       ++retries;
 358     } // of retry loop for DB locked
 359
 360     if (retries >= MAX_RETRIES) {
 361       SG_LOG(SG_NAVCACHE, SG_ALERT, "exceeded maximum number of SQLITE_LOCKED retries");
 362       return false;
 363     }
 364
 365     string errMsg;
 366     if (result == SQLITE_MISUSE) {
 367       errMsg = "Sqlite API abuse";
 368       SG_LOG(SG_NAVCACHE, SG_ALERT, "Sqlite API abuse");
 369     } else {
 370       errMsg = sqlite3_errmsg(db);
 371       SG_LOG(SG_NAVCACHE, SG_ALERT, "Sqlite error:" << errMsg
 372              << " while running:\n\t" << sqlite3_sql(stmt));
 373     }
 374
 375     throw sg_exception("Sqlite error:" + errMsg, sqlite3_sql(stmt));
 376   }
 377
 378   void execSelect1(sqlite3_stmt_ptr stmt)
 379   {
 380     if (!execSelect(stmt)) {
 381       SG_LOG(SG_NAVCACHE, SG_WARN, "empty SELECT running:\n\t" << sqlite3_sql(stmt));
 382       throw sg_exception("no results returned for select", sqlite3_sql(stmt));
 383     }
 384   }
 385
 386   sqlite3_int64 execInsert(sqlite3_stmt_ptr stmt)
 387   {
 388     execSelect(stmt);
 389     return sqlite3_last_insert_rowid(db);
 390   }
 391
 392   void execUpdate(sqlite3_stmt_ptr stmt)
 393   {
 394     execSelect(stmt);
 395   }
 396
 397   void initTables()
 398   {
 399     runSQL("CREATE TABLE properties ("
 400            "key VARCHAR,"
 401            "value VARCHAR"
 402            ")");
 403
 404     runSQL("CREATE TABLE stat_cache ("
 405            "path VARCHAR unique,"
 406            "stamp INT"
 407            ")");
 408
 409     runSQL("CREATE TABLE positioned ("
 410            "type INT,"
 411            "ident VARCHAR collate nocase,"
 412            "name VARCHAR collate nocase,"
 413            "airport INT64,"
 414            "lon FLOAT,"
 415            "lat FLOAT,"
 416            "elev_m FLOAT,"
 417            "octree_node INT,"
 418            "cart_x FLOAT,"
 419            "cart_y FLOAT,"
 420            "cart_z FLOAT"
 421            ")");
 422
 423     runSQL("CREATE INDEX pos_octree ON positioned(octree_node)");
 424     runSQL("CREATE INDEX pos_ident ON positioned(ident collate nocase)");
 425     runSQL("CREATE INDEX pos_name ON positioned(name collate nocase)");
 426     // allow efficient querying of 'all ATIS at this airport' or
 427     // 'all towers at this airport'
 428     runSQL("CREATE INDEX pos_apt_type ON positioned(airport, type)");
 429
 430     runSQL("CREATE TABLE airport ("
 431            "has_metar BOOL"
 432            ")"
 433            );
 434
 435     runSQL("CREATE TABLE comm ("
 436            "freq_khz INT,"
 437            "range_nm INT"
 438            ")"
 439            );
 440
 441     runSQL("CREATE INDEX comm_freq ON comm(freq_khz)");
 442
 443     runSQL("CREATE TABLE runway ("
 444            "heading FLOAT,"
 445            "length_ft FLOAT,"
 446            "width_m FLOAT,"
 447            "surface INT,"
 448            "displaced_threshold FLOAT,"
 449            "stopway FLOAT,"
 450            "reciprocal INT64,"
 451            "ils INT64"
 452            ")"
 453            );
 454
 455     runSQL("CREATE TABLE navaid ("
 456            "freq INT,"
 457            "range_nm INT,"
 458            "multiuse FLOAT,"
 459            "runway INT64,"
 460            "colocated INT64"
 461            ")"
 462            );
 463
 464     runSQL("CREATE INDEX navaid_freq ON navaid(freq)");
 465
 466     runSQL("CREATE TABLE octree (children INT)");
 467
 468     runSQL("CREATE TABLE airway ("
 469            "ident VARCHAR collate nocase,"
 470            "network INT" // high-level or low-level
 471            ")");
 472
 473     runSQL("CREATE INDEX airway_ident ON airway(ident)");
 474
 475     runSQL("CREATE TABLE airway_edge ("
 476            "network INT,"
 477            "airway INT64,"
 478            "a INT64,"
 479            "b INT64"
 480            ")");
 481
 482     runSQL("CREATE INDEX airway_edge_from ON airway_edge(a)");
 483
 484     runSQL("CREATE TABLE taxi_node ("
 485            "hold_type INT,"
 486            "on_runway BOOL,"
 487            "pushback BOOL"
 488            ")");
 489
 490     runSQL("CREATE TABLE parking ("
 491            "heading FLOAT,"
 492            "radius INT,"
 493            "gate_type VARCHAR,"
 494            "airlines VARCHAR,"
 495            "pushback INT64"
 496            ")");
 497
 498     runSQL("CREATE TABLE groundnet_edge ("
 499            "airport INT64,"
 500            "a INT64,"
 501            "b INT64"
 502            ")");
 503
 504     runSQL("CREATE INDEX groundnet_edge_airport ON groundnet_edge(airport)");
 505     runSQL("CREATE INDEX groundnet_edge_from ON groundnet_edge(a)");
 506   }
 507
 508   void prepareQueries()
 509   {
 510     writePropertyMulti = prepare("INSERT INTO properties (key, value) VALUES(?1,?2)");
 511
 512 #define POSITIONED_COLS "rowid, type, ident, name, airport, lon, lat, elev_m, octree_node"
 513 #define AND_TYPED "AND type>=?2 AND type <=?3"
 514     statCacheCheck = prepare("SELECT stamp FROM stat_cache WHERE path=?");
 515     stampFileCache = prepare("INSERT OR REPLACE INTO stat_cache "
 516                              "(path, stamp) VALUES (?,?)");
 517
 518     loadPositioned = prepare("SELECT " POSITIONED_COLS " FROM positioned WHERE rowid=?");
 519     loadAirportStmt = prepare("SELECT has_metar FROM airport WHERE rowid=?");
 520     loadNavaid = prepare("SELECT range_nm, freq, multiuse, runway, colocated FROM navaid WHERE rowid=?");
 521     loadCommStation = prepare("SELECT freq_khz, range_nm FROM comm WHERE rowid=?");
 522     loadRunwayStmt = prepare("SELECT heading, length_ft, width_m, surface, displaced_threshold,"
 523                              "stopway, reciprocal, ils FROM runway WHERE rowid=?1");
 524
 525     getAirportItems = prepare("SELECT rowid FROM positioned WHERE airport=?1 " AND_TYPED);
 526
 527
 528     setAirportMetar = prepare("UPDATE airport SET has_metar=?2 WHERE rowid="
 529                               "(SELECT rowid FROM positioned WHERE ident=?1 AND type>=?3 AND type <=?4)");
 530     sqlite3_bind_int(setAirportMetar, 3, FGPositioned::AIRPORT);
 531     sqlite3_bind_int(setAirportMetar, 4, FGPositioned::SEAPORT);
 532
 533     setRunwayReciprocal = prepare("UPDATE runway SET reciprocal=?2 WHERE rowid=?1");
 534     setRunwayILS = prepare("UPDATE runway SET ils=?2 WHERE rowid=?1");
 535     updateRunwayThreshold = prepare("UPDATE runway SET heading=?2, displaced_threshold=?3, stopway=?4 WHERE rowid=?1");
 536
 537     insertPositionedQuery = prepare("INSERT INTO positioned "
 538                                     "(type, ident, name, airport, lon, lat, elev_m, octree_node, "
 539                                     "cart_x, cart_y, cart_z)"
 540                                     " VALUES (?1, ?2, ?3, ?4, ?5, ?6, ?7, ?8, ?9, ?10, ?11)");
 541
 542     setAirportPos = prepare("UPDATE positioned SET lon=?2, lat=?3, elev_m=?4, octree_node=?5, "
 543                             "cart_x=?6, cart_y=?7, cart_z=?8 WHERE rowid=?1");
 544     insertAirport = prepare("INSERT INTO airport (rowid, has_metar) VALUES (?, ?)");
 545     insertNavaid = prepare("INSERT INTO navaid (rowid, freq, range_nm, multiuse, runway, colocated)"
 546                            " VALUES (?1, ?2, ?3, ?4, ?5, ?6)");
 547     updateILS = prepare("UPDATE navaid SET multiuse=?2 WHERE rowid=?1");
 548
 549     insertCommStation = prepare("INSERT INTO comm (rowid, freq_khz, range_nm)"
 550                                 " VALUES (?, ?, ?)");
 551     insertRunway = prepare("INSERT INTO runway "
 552                            "(rowid, heading, length_ft, width_m, surface, displaced_threshold, stopway, reciprocal)"
 553                            " VALUES (?1, ?2, ?3, ?4, ?5, ?6, ?7, ?8)");
 554     runwayLengthFtQuery = prepare("SELECT length_ft FROM runway WHERE rowid=?1");
 555
 556   // query statement
 557     findClosestWithIdent = prepare("SELECT rowid FROM positioned WHERE ident=?1 "
 558                                    AND_TYPED " ORDER BY distanceCartSqr(cart_x, cart_y, cart_z, ?4, ?5, ?6)");
 559
 560     findCommByFreq = prepare("SELECT positioned.rowid FROM positioned, comm WHERE "
 561                              "positioned.rowid=comm.rowid AND freq_khz=?1 "
 562                              AND_TYPED " ORDER BY distanceCartSqr(cart_x, cart_y, cart_z, ?4, ?5, ?6)");
 563
 564     findNavsByFreq = prepare("SELECT positioned.rowid FROM positioned, navaid WHERE "
 565                              "positioned.rowid=navaid.rowid "
 566                              "AND navaid.freq=?1 " AND_TYPED
 567                              " ORDER BY distanceCartSqr(cart_x, cart_y, cart_z, ?4, ?5, ?6)");
 568
 569     findNavsByFreqNoPos = prepare("SELECT positioned.rowid FROM positioned, navaid WHERE "
 570                                   "positioned.rowid=navaid.rowid AND freq=?1 " AND_TYPED);
 571
 572     findNavaidForRunway = prepare("SELECT positioned.rowid FROM positioned, navaid WHERE "
 573                                   "positioned.rowid=navaid.rowid AND runway=?1 AND type=?2");
 574
 575   // for an octree branch, return the child octree nodes which exist,
 576   // described as a bit-mask
 577     getOctreeChildren = prepare("SELECT children FROM octree WHERE rowid=?1");
 578
 579 #ifdef LAZY_OCTREE_UPDATES
 580     updateOctreeChildren = prepare("UPDATE octree SET children=?2 WHERE rowid=?1");
 581 #else
 582   // mask the new child value into the existing one
 583     updateOctreeChildren = prepare("UPDATE octree SET children=(?2 | children) WHERE rowid=?1");
 584 #endif
 585
 586   // define a new octree node (with no children)
 587     insertOctree = prepare("INSERT INTO octree (rowid, children) VALUES (?1, 0)");
 588
 589     getOctreeLeafChildren = prepare("SELECT rowid, type FROM positioned WHERE octree_node=?1");
 590
 591     searchAirports = prepare("SELECT ident, name FROM positioned WHERE (name LIKE ?1 OR ident LIKE ?1) " AND_TYPED);
 592     sqlite3_bind_int(searchAirports, 2, FGPositioned::AIRPORT);
 593     sqlite3_bind_int(searchAirports, 3, FGPositioned::SEAPORT);
 594
 595     getAirportItemByIdent = prepare("SELECT rowid FROM positioned WHERE airport=?1 AND ident=?2 AND type=?3");
 596
 597     findAirportRunway = prepare("SELECT airport, rowid FROM positioned WHERE ident=?2 AND type=?3 AND airport="
 598                                 "(SELECT rowid FROM positioned WHERE type=?4 AND ident=?1)");
 599     sqlite3_bind_int(findAirportRunway, 3, FGPositioned::RUNWAY);
 600     sqlite3_bind_int(findAirportRunway, 4, FGPositioned::AIRPORT);
 601
 602     // three-way join to get the navaid ident and runway ident in a single select.
 603     // we're joining positioned to itself by the navaid runway, with the complication
 604     // that we need to join the navaids table to get the runway ID.
 605     // we also need to filter by type to excluse glideslope (GS) matches
 606     findILS = prepare("SELECT nav.rowid FROM positioned AS nav, positioned AS rwy, navaid WHERE "
 607                       "nav.ident=?1 AND nav.airport=?2 AND rwy.ident=?3 "
 608                       "AND rwy.rowid = navaid.runway AND navaid.rowid=nav.rowid "
 609                       "AND (nav.type=?4 OR nav.type=?5)");
 610
 611     sqlite3_bind_int(findILS, 4, FGPositioned::ILS);
 612     sqlite3_bind_int(findILS, 5, FGPositioned::LOC);
 613
 614   // airways
 615     findAirway = prepare("SELECT rowid FROM airway WHERE network=?1 AND ident=?2");
 616     insertAirway = prepare("INSERT INTO airway (ident, network) "
 617                            "VALUES (?1, ?2)");
 618
 619     insertAirwayEdge = prepare("INSERT INTO airway_edge (network, airway, a, b) "
 620                                "VALUES (?1, ?2, ?3, ?4)");
 621
 622     isPosInAirway = prepare("SELECT rowid FROM airway_edge WHERE network=?1 AND a=?2");
 623
 624     airwayEdgesFrom = prepare("SELECT airway, b FROM airway_edge WHERE network=?1 AND a=?2");
 625
 626   // parking / taxi-node graph
 627     insertTaxiNode = prepare("INSERT INTO taxi_node (rowid, hold_type, on_runway, pushback) VALUES(?1, ?2, ?3, 0)");
 628     insertParkingPos = prepare("INSERT INTO parking (rowid, heading, radius, gate_type, airlines) "
 629                                "VALUES (?1, ?2, ?3, ?4, ?5)");
 630     setParkingPushBack = prepare("UPDATE parking SET pushback=?2 WHERE rowid=?1");
 631
 632     loadTaxiNodeStmt = prepare("SELECT hold_type, on_runway FROM taxi_node WHERE rowid=?1");
 633     loadParkingPos = prepare("SELECT heading, radius, gate_type, airlines, pushback FROM parking WHERE rowid=?1");
 634     taxiEdgesFrom = prepare("SELECT b FROM groundnet_edge WHERE a=?1");
 635     pushbackEdgesFrom = prepare("SELECT b FROM groundnet_edge, taxi_node WHERE "
 636                                 "a=?1 AND groundnet_edge.b = taxi_node.rowid AND pushback=1");
 637
 638     insertTaxiEdge = prepare("INSERT INTO groundnet_edge (airport, a,b) VALUES(?1, ?2, ?3)");
 639
 640     markTaxiNodeAsPushback = prepare("UPDATE taxi_node SET pushback=1 WHERE rowid=?1");
 641     airportTaxiNodes = prepare("SELECT rowid FROM positioned WHERE (type=?2 OR type=?3) AND airport=?1");
 642     sqlite3_bind_int(airportTaxiNodes, 2, FGPositioned::PARKING);
 643     sqlite3_bind_int(airportTaxiNodes, 3, FGPositioned::TAXI_NODE);
 644
 645     airportPushbackNodes = prepare("SELECT positioned.rowid FROM positioned, taxi_node WHERE "\
 646                                    "airport=?1 AND positioned.rowid=taxi_node.rowid AND pushback=1 "
 647                                    "AND (type=?2 OR type=?3)");
 648     sqlite3_bind_int(airportPushbackNodes, 2, FGPositioned::PARKING);
 649     sqlite3_bind_int(airportPushbackNodes, 3, FGPositioned::TAXI_NODE);
 650
 651     findNearestTaxiNode = prepare("SELECT positioned.rowid FROM positioned, taxi_node WHERE "
 652                                   "positioned.rowid = taxi_node.rowid AND airport=?1 "
 653                                   "ORDER BY distanceCartSqr(cart_x, cart_y, cart_z, ?2, ?3, ?4) "
 654                                   "LIMIT 1");
 655
 656     findNearestRunwayTaxiNode = prepare("SELECT positioned.rowid FROM positioned, taxi_node WHERE "
 657                                         "positioned.rowid = taxi_node.rowid AND airport=?1 "
 658                                         "AND on_runway=1 "
 659                                         "ORDER BY distanceCartSqr(cart_x, cart_y, cart_z, ?2, ?3, ?4) ");
 660
 661     findAirportParking = prepare("SELECT positioned.rowid FROM positioned, parking WHERE "
 662                                  "airport=?1 AND type=?4 AND "
 663                                  "radius >= ?2 AND gate_type = ?3 AND "
 664                                  "parking.rowid=positioned.rowid");
 665     sqlite3_bind_int(findAirportParking, 4, FGPositioned::PARKING);
 666   }
 667
 668   void writeIntProperty(const string& key, int value)
 669   {
 670     reset(clearProperty);
 671     sqlite_bind_stdstring(clearProperty, 1, key);
 672     execUpdate(clearProperty);
 673
 674     sqlite_bind_stdstring(writePropertyQuery, 1, key);
 675     sqlite3_bind_int(writePropertyQuery, 2, value);
 676     execSelect(writePropertyQuery);
 677   }
 678
 679
 680   FGPositioned* loadFromStmt(sqlite3_stmt_ptr query);
 681
 682   FGAirport* loadAirport(sqlite_int64 rowId,
 683                          FGPositioned::Type ty,
 684                          const string& id, const string& name, const SGGeod& pos)
 685   {
 686     reset(loadAirportStmt);
 687     sqlite3_bind_int64(loadAirportStmt, 1, rowId);
 688     execSelect1(loadAirportStmt);
 689     bool hasMetar = (sqlite3_column_int(loadAirportStmt, 0) > 0);
 690     return new FGAirport(rowId, id, pos, name, hasMetar, ty);
 691   }
 692
 693   FGRunwayBase* loadRunway(sqlite3_int64 rowId, FGPositioned::Type ty,
 694                            const string& id, const SGGeod& pos, PositionedID apt)
 695   {
 696     reset(loadRunwayStmt);
 697     sqlite3_bind_int(loadRunwayStmt, 1, rowId);
 698     execSelect1(loadRunwayStmt);
 699
 700     double heading = sqlite3_column_double(loadRunwayStmt, 0);
 701     double lengthM = sqlite3_column_int(loadRunwayStmt, 1);
 702     double widthM = sqlite3_column_double(loadRunwayStmt, 2);
 703     int surface = sqlite3_column_int(loadRunwayStmt, 3);
 704
 705     if (ty == FGPositioned::TAXIWAY) {
 706       return new FGTaxiway(rowId, id, pos, heading, lengthM, widthM, surface);
 707     } else {
 708       double displacedThreshold = sqlite3_column_double(loadRunwayStmt, 4);
 709       double stopway = sqlite3_column_double(loadRunwayStmt, 5);
 710       PositionedID reciprocal = sqlite3_column_int64(loadRunwayStmt, 6);
 711       PositionedID ils = sqlite3_column_int64(loadRunwayStmt, 7);
 712       FGRunway* r = new FGRunway(rowId, apt, id, pos, heading, lengthM, widthM,
 713                           displacedThreshold, stopway, surface, false);
 714
 715       if (reciprocal > 0) {
 716         r->setReciprocalRunway(reciprocal);
 717       }
 718
 719       if (ils > 0) {
 720         r->setILS(ils);
 721       }
 722
 723       return r;
 724     }
 725   }
 726
 727   CommStation* loadComm(sqlite3_int64 rowId, FGPositioned::Type ty,
 728                         const string& id, const string& name,
 729                         const SGGeod& pos,
 730                         PositionedID airport)
 731   {
 732     reset(loadCommStation);
 733     sqlite3_bind_int64(loadCommStation, 1, rowId);
 734     execSelect1(loadCommStation);
 735
 736     int range = sqlite3_column_int(loadCommStation, 0);
 737     int freqKhz = sqlite3_column_int(loadCommStation, 1);
 738
 739     CommStation* c = new CommStation(rowId, name, ty, pos, freqKhz, range);
 740     c->setAirport(airport);
 741     return c;
 742   }
 743
 744   FGPositioned* loadNav(sqlite3_int64 rowId,
 745                        FGPositioned::Type ty, const string& id,
 746                        const string& name, const SGGeod& pos)
 747   {
 748     reset(loadNavaid);
 749     sqlite3_bind_int64(loadNavaid, 1, rowId);
 750     execSelect1(loadNavaid);
 751
 752     PositionedID runway = sqlite3_column_int64(loadNavaid, 3);
 753     // marker beacons are light-weight
 754     if ((ty == FGPositioned::OM) || (ty == FGPositioned::IM) ||
 755         (ty == FGPositioned::MM))
 756     {
 757       return new FGMarkerBeaconRecord(rowId, ty, runway, pos);
 758     }
 759
 760     int rangeNm = sqlite3_column_int(loadNavaid, 0),
 761       freq = sqlite3_column_int(loadNavaid, 1);
 762     double mulituse = sqlite3_column_double(loadNavaid, 2);
 763     //sqlite3_int64 colocated = sqlite3_column_int64(loadNavaid, 4);
 764
 765     return new FGNavRecord(rowId, ty, id, name, pos, freq, rangeNm, mulituse, runway);
 766   }
 767
 768   FGPositioned* loadParking(sqlite3_int64 rowId,
 769                             const string& name, const SGGeod& pos,
 770                             PositionedID airport)
 771   {
 772     reset(loadParkingPos);
 773     sqlite3_bind_int64(loadParkingPos, 1, rowId);
 774     execSelect1(loadParkingPos);
 775
 776     double heading = sqlite3_column_double(loadParkingPos, 0);
 777     int radius = sqlite3_column_int(loadParkingPos, 1);
 778     string aircraftType((char*) sqlite3_column_text(loadParkingPos, 2));
 779     string airlines((char*) sqlite3_column_text(loadParkingPos, 3));
 780     PositionedID pushBack = sqlite3_column_int64(loadParkingPos, 4);
 781
 782     return new FGParking(rowId, pos, heading, radius, name, aircraftType, airlines, pushBack);
 783   }
 784
 785   FGPositioned* loadTaxiNode(sqlite3_int64 rowId, const SGGeod& pos,
 786                              PositionedID airport)
 787   {
 788     reset(loadTaxiNodeStmt);
 789     sqlite3_bind_int64(loadTaxiNodeStmt, 1, rowId);
 790     execSelect1(loadTaxiNodeStmt);
 791
 792     int hold_type = sqlite3_column_int(loadTaxiNodeStmt, 0);
 793     bool onRunway = sqlite3_column_int(loadTaxiNodeStmt, 1);
 794     return new FGTaxiNode(rowId, pos, onRunway, hold_type);
 795   }
 796
 797   PositionedID insertPositioned(FGPositioned::Type ty, const string& ident,
 798                                 const string& name, const SGGeod& pos, PositionedID apt,
 799                                 bool spatialIndex)
 800   {
 801     SGVec3d cartPos(SGVec3d::fromGeod(pos));
 802
 803     reset(insertPositionedQuery);
 804     sqlite3_bind_int(insertPositionedQuery, 1, ty);
 805     sqlite_bind_stdstring(insertPositionedQuery, 2, ident);
 806     sqlite_bind_stdstring(insertPositionedQuery, 3, name);
 807     sqlite3_bind_int64(insertPositionedQuery, 4, apt);
 808     sqlite3_bind_double(insertPositionedQuery, 5, pos.getLongitudeDeg());
 809     sqlite3_bind_double(insertPositionedQuery, 6, pos.getLatitudeDeg());
 810     sqlite3_bind_double(insertPositionedQuery, 7, pos.getElevationM());
 811
 812     if (spatialIndex) {
 813       Octree::Leaf* octreeLeaf = Octree::global_spatialOctree->findLeafForPos(cartPos);
 814       assert(intersects(octreeLeaf->bbox(), cartPos));
 815       sqlite3_bind_int64(insertPositionedQuery, 8, octreeLeaf->guid());
 816     } else {
 817       sqlite3_bind_null(insertPositionedQuery, 8);
 818     }
 819
 820     sqlite3_bind_double(insertPositionedQuery, 9, cartPos.x());
 821     sqlite3_bind_double(insertPositionedQuery, 10, cartPos.y());
 822     sqlite3_bind_double(insertPositionedQuery, 11, cartPos.z());
 823
 824     PositionedID r = execInsert(insertPositionedQuery);
 825     return r;
 826   }
 827
 828   FGPositioned::List findAllByString(const string& s, const string& column,
 829                                      FGPositioned::Filter* filter, bool exact)
 830   {
 831     string query = s;
 832     if (!exact) query += "%";
 833
 834   // build up SQL query text
 835     string matchTerm = exact ? "=?1" : " LIKE ?1";
 836     string sql = "SELECT rowid FROM positioned WHERE " + column + matchTerm;
 837     if (filter) {
 838       sql += " " AND_TYPED;
 839     }
 840
 841   // find or prepare a suitable statement frrm the SQL
 842     sqlite3_stmt_ptr stmt = findByStringDict[sql];
 843     if (!stmt) {
 844       stmt = prepare(sql);
 845       findByStringDict[sql] = stmt;
 846     }
 847
 848     reset(stmt);
 849     sqlite_bind_stdstring(stmt, 1, query);
 850     if (filter) {
 851       sqlite3_bind_int(stmt, 2, filter->minType());
 852       sqlite3_bind_int(stmt, 3, filter->maxType());
 853     }
 854
 855     FGPositioned::List result;
 856   // run the prepared SQL
 857     while (stepSelect(stmt))
 858     {
 859       FGPositioned* pos = outer->loadById(sqlite3_column_int64(stmt, 0));
 860       if (filter && !filter->pass(pos)) {
 861         continue;
 862       }
 863
 864       result.push_back(pos);
 865     }
 866
 867     return result;
 868   }
 869
 870   PositionedIDVec selectIds(sqlite3_stmt_ptr query)
 871   {
 872     PositionedIDVec result;
 873     while (stepSelect(query)) {
 874       result.push_back(sqlite3_column_int64(query, 0));
 875     }
 876     return result;
 877   }
 878
 879   double runwayLengthFt(PositionedID rwy)
 880   {
 881     reset(runwayLengthFtQuery);
 882     sqlite3_bind_int64(runwayLengthFtQuery, 1, rwy);
 883     execSelect1(runwayLengthFtQuery);
 884     return sqlite3_column_double(runwayLengthFtQuery, 0);
 885   }
 886
 887   void flushDeferredOctreeUpdates()
 888   {
 889     BOOST_FOREACH(Octree::Branch* nd, deferredOctreeUpdates) {
 890       reset(updateOctreeChildren);
 891       sqlite3_bind_int64(updateOctreeChildren, 1, nd->guid());
 892       sqlite3_bind_int(updateOctreeChildren, 2, nd->childMask());
 893       execUpdate(updateOctreeChildren);
 894     }
 895
 896     deferredOctreeUpdates.clear();
 897   }
 898
 899   NavDataCache* outer;
 900   sqlite3* db;
 901   SGPath path;
 902
 903   /// the actual cache of ID -> instances. This holds an owning reference,
 904   /// so once items are in the cache they will never be deleted until
 905   /// the cache drops its reference
 906   PositionedCache cache;
 907   unsigned int cacheHits, cacheMisses;
 908
 909   SGPath aptDatPath, metarDatPath, navDatPath, fixDatPath,
 910   carrierDatPath, airwayDatPath;
 911
 912   sqlite3_stmt_ptr readPropertyQuery, writePropertyQuery,
 913     stampFileCache, statCacheCheck,
 914     loadAirportStmt, loadCommStation, loadPositioned, loadNavaid,
 915     loadRunwayStmt;
 916   sqlite3_stmt_ptr writePropertyMulti, clearProperty;
 917
 918   sqlite3_stmt_ptr insertPositionedQuery, insertAirport, insertTower, insertRunway,
 919   insertCommStation, insertNavaid;
 920   sqlite3_stmt_ptr setAirportMetar, setRunwayReciprocal, setRunwayILS,
 921     setAirportPos, updateRunwayThreshold, updateILS;
 922
 923   sqlite3_stmt_ptr findClosestWithIdent;
 924 // octree (spatial index) related queries
 925   sqlite3_stmt_ptr getOctreeChildren, insertOctree, updateOctreeChildren,
 926     getOctreeLeafChildren;
 927
 928   sqlite3_stmt_ptr searchAirports;
 929   sqlite3_stmt_ptr findCommByFreq, findNavsByFreq,
 930   findNavsByFreqNoPos, findNavaidForRunway;
 931   sqlite3_stmt_ptr getAirportItems, getAirportItemByIdent;
 932   sqlite3_stmt_ptr findAirportRunway,
 933     findILS;
 934
 935   sqlite3_stmt_ptr runwayLengthFtQuery;
 936
 937 // airways
 938   sqlite3_stmt_ptr findAirway, insertAirwayEdge, isPosInAirway, airwayEdgesFrom,
 939   insertAirway;
 940
 941 // groundnet (parking, taxi node graph)
 942   sqlite3_stmt_ptr loadTaxiNodeStmt, loadParkingPos, insertTaxiNode, insertParkingPos;
 943   sqlite3_stmt_ptr taxiEdgesFrom, pushbackEdgesFrom, insertTaxiEdge, markTaxiNodeAsPushback,
 944     airportTaxiNodes, airportPushbackNodes, findNearestTaxiNode, findAirportParking,
 945     setParkingPushBack, findNearestRunwayTaxiNode;
 946
 947 // since there's many permutations of ident/name queries, we create
 948 // them programtically, but cache the exact query by its raw SQL once
 949 // used.
 950   std::map<string, sqlite3_stmt_ptr> findByStringDict;
 951
 952   typedef std::vector<sqlite3_stmt_ptr> StmtVec;
 953   StmtVec prepared;
 954
 955   std::set<Octree::Branch*> deferredOctreeUpdates;
 956
 957   // if we're performing a rebuild, the thread that is doing the work.
 958   // otherwise, NULL
 959   std::auto_ptr<RebuildThread> rebuilder;
 960 };
 961
 962   //////////////////////////////////////////////////////////////////////
 963
 964 FGPositioned* NavDataCache::NavDataCachePrivate::loadFromStmt(sqlite3_stmt_ptr query)
 965 {
 966   execSelect1(query);
 967   sqlite3_int64 rowid = sqlite3_column_int64(query, 0);
 968   FGPositioned::Type ty = (FGPositioned::Type) sqlite3_column_int(query, 1);
 969
 970   string ident = (char*) sqlite3_column_text(query, 2);
 971   string name = (char*) sqlite3_column_text(query, 3);
 972   sqlite3_int64 aptId = sqlite3_column_int64(query, 4);
 973   double lon = sqlite3_column_double(query, 5);
 974   double lat = sqlite3_column_double(query, 6);
 975   double elev = sqlite3_column_double(query, 7);
 976   SGGeod pos = SGGeod::fromDegM(lon, lat, elev);
 977
 978   switch (ty) {
 979     case FGPositioned::AIRPORT:
 980     case FGPositioned::SEAPORT:
 981     case FGPositioned::HELIPORT:
 982       return loadAirport(rowid, ty, ident, name, pos);
 983
 984     case FGPositioned::TOWER:
 985       return new AirportTower(rowid, aptId, ident, pos);
 986
 987     case FGPositioned::RUNWAY:
 988     case FGPositioned::TAXIWAY:
 989       return loadRunway(rowid, ty, ident, pos, aptId);
 990
 991     case FGPositioned::LOC:
 992     case FGPositioned::VOR:
 993     case FGPositioned::GS:
 994     case FGPositioned::ILS:
 995     case FGPositioned::NDB:
 996     case FGPositioned::OM:
 997     case FGPositioned::MM:
 998     case FGPositioned::IM:
 999     case FGPositioned::DME:
1000     case FGPositioned::TACAN:
1001     case FGPositioned::MOBILE_TACAN:
1002     {
1003       if (aptId > 0) {
1004         FGAirport* apt = (FGAirport*) outer->loadById(aptId);
1005         if (apt->validateILSData()) {
1006           SG_LOG(SG_NAVCACHE, SG_INFO, "re-loaded ILS data for " << apt->ident());
1007           // queried data above is probably invalid, force us to go around again
1008           // (the next time through, validateILSData will return false)
1009           return outer->loadById(rowid);
1010         }
1011       }
1012
1013       return loadNav(rowid, ty, ident, name, pos);
1014     }
1015
1016     case FGPositioned::FIX:
1017       return new FGFix(rowid, ident, pos);
1018
1019     case FGPositioned::WAYPOINT:
1020     {
1021       FGPositioned* wpt = new FGPositioned(rowid, FGPositioned::WAYPOINT, ident, pos);
1022       return wpt;
1023     }
1024
1025     case FGPositioned::FREQ_GROUND:
1026     case FGPositioned::FREQ_TOWER:
1027     case FGPositioned::FREQ_ATIS:
1028     case FGPositioned::FREQ_AWOS:
1029     case FGPositioned::FREQ_APP_DEP:
1030     case FGPositioned::FREQ_ENROUTE:
1031     case FGPositioned::FREQ_CLEARANCE:
1032     case FGPositioned::FREQ_UNICOM:
1033       return loadComm(rowid, ty, ident, name, pos, aptId);
1034
1035     case FGPositioned::TAXI_NODE:
1036       return loadTaxiNode(rowid, pos, aptId);
1037
1038     case FGPositioned::PARKING:
1039       return loadParking(rowid, ident, pos, aptId);
1040
1041     default:
1042       return NULL;
1043   }
1044 }
1045
1046
1047 static NavDataCache* static_instance = NULL;
1048
1049 NavDataCache::NavDataCache()
1050 {
1051   const int MAX_TRIES = 3;
1052   SGPath homePath(globals->get_fg_home());
1053   homePath.append("navdata.cache");
1054
1055   for (int t=0; t < MAX_TRIES; ++t) {
1056     try {
1057       d.reset(new NavDataCachePrivate(homePath, this));
1058       d->init();
1059       //d->checkCacheFile();
1060     // reached this point with no exception, success
1061       break;
1062     } catch (sg_exception& e) {
1063       SG_LOG(SG_NAVCACHE, t == 0 ? SG_WARN : SG_ALERT, "NavCache: init failed:" << e.what()
1064              << " (attempt " << t << ")");
1065       d.reset();
1066       homePath.remove();
1067     }
1068   } // of retry loop
1069
1070   double RADIUS_EARTH_M = 7000 * 1000.0; // 7000km is plenty
1071   SGVec3d earthExtent(RADIUS_EARTH_M, RADIUS_EARTH_M, RADIUS_EARTH_M);
1072   Octree::global_spatialOctree =
1073     new Octree::Branch(SGBox<double>(-earthExtent, earthExtent), 1);
1074
1075   d->aptDatPath = SGPath(globals->get_fg_root());
1076   d->aptDatPath.append("Airports/apt.dat.gz");
1077
1078   d->metarDatPath = SGPath(globals->get_fg_root());
1079   d->metarDatPath.append("Airports/metar.dat.gz");
1080
1081   d->navDatPath = SGPath(globals->get_fg_root());
1082   d->navDatPath.append("Navaids/nav.dat.gz");
1083
1084   d->fixDatPath = SGPath(globals->get_fg_root());
1085   d->fixDatPath.append("Navaids/fix.dat.gz");
1086
1087   d->carrierDatPath = SGPath(globals->get_fg_root());
1088   d->carrierDatPath.append("Navaids/carrier_nav.dat.gz");
1089
1090   d->airwayDatPath = SGPath(globals->get_fg_root());
1091   d->airwayDatPath.append("Navaids/awy.dat.gz");
1092 }
1093
1094 NavDataCache::~NavDataCache()
1095 {
1096   assert(static_instance == this);
1097   static_instance = NULL;
1098   SG_LOG(SG_NAVCACHE, SG_INFO, "closing the navcache");
1099   d.reset();
1100 }
1101
1102 NavDataCache* NavDataCache::instance()
1103 {
1104   if (!static_instance) {
1105     static_instance = new NavDataCache;
1106   }
1107
1108   return static_instance;
1109 }
1110
1111 bool NavDataCache::isRebuildRequired()
1112 {
1113   if (isCachedFileModified(d->aptDatPath) ||
1114       isCachedFileModified(d->metarDatPath) ||
1115       isCachedFileModified(d->navDatPath) ||
1116       isCachedFileModified(d->fixDatPath) ||
1117       isCachedFileModified(d->airwayDatPath))
1118   {
1119     SG_LOG(SG_NAVCACHE, SG_INFO, "NavCache: main cache rebuild required");
1120     return true;
1121   }
1122
1123   string sceneryPaths = simgear::strutils::join(globals->get_fg_scenery(), ";");
1124   if (readStringProperty("scenery_paths") != sceneryPaths) {
1125     SG_LOG(SG_NAVCACHE, SG_INFO, "NavCache: scenery paths changed, main cache rebuild required");
1126     return true;
1127   }
1128
1129   SG_LOG(SG_NAVCACHE, SG_INFO, "NavCache: no main cache rebuild required");
1130   return false;
1131 }
1132
1133 bool NavDataCache::rebuild()
1134 {
1135   if (!d->rebuilder.get()) {
1136     d->rebuilder.reset(new RebuildThread(this));
1137     d->rebuilder->start();
1138   }
1139
1140 // poll the rebuild thread
1141   bool fin = d->rebuilder->isFinished();
1142   if (fin) {
1143     d->rebuilder.reset(); // all done!
1144   }
1145   return fin;
1146 }
1147
1148 void NavDataCache::doRebuild()
1149 {
1150   try {
1151     d->runSQL("BEGIN");
1152     d->runSQL("DELETE FROM positioned");
1153     d->runSQL("DELETE FROM airport");
1154     d->runSQL("DELETE FROM runway");
1155     d->runSQL("DELETE FROM navaid");
1156     d->runSQL("DELETE FROM comm");
1157     d->runSQL("DELETE FROM octree");
1158     d->runSQL("DELETE FROM airway");
1159     d->runSQL("DELETE FROM airway_edge");
1160     d->runSQL("DELETE FROM taxi_node");
1161     d->runSQL("DELETE FROM parking");
1162     d->runSQL("DELETE FROM groundnet_edge");
1163     d->runSQL("DELETE FROM stat_cache");
1164
1165   // initialise the root octree node
1166     d->runSQL("INSERT INTO octree (rowid, children) VALUES (1, 0)");
1167
1168     SGTimeStamp st;
1169     st.stamp();
1170
1171     airportDBLoad(d->aptDatPath);
1172     SG_LOG(SG_NAVCACHE, SG_INFO, "apt.dat load took:" << st.elapsedMSec());
1173
1174     metarDataLoad(d->metarDatPath);
1175     stampCacheFile(d->aptDatPath);
1176     stampCacheFile(d->metarDatPath);
1177
1178     st.stamp();
1179     loadFixes(d->fixDatPath);
1180     stampCacheFile(d->fixDatPath);
1181     SG_LOG(SG_NAVCACHE, SG_INFO, "fix.dat load took:" << st.elapsedMSec());
1182
1183     st.stamp();
1184     navDBInit(d->navDatPath);
1185     stampCacheFile(d->navDatPath);
1186     SG_LOG(SG_NAVCACHE, SG_INFO, "nav.dat load took:" << st.elapsedMSec());
1187
1188     loadCarrierNav(d->carrierDatPath);
1189     stampCacheFile(d->carrierDatPath);
1190
1191     st.stamp();
1192     Airway::load(d->airwayDatPath);
1193     stampCacheFile(d->airwayDatPath);
1194     SG_LOG(SG_NAVCACHE, SG_INFO, "awy.dat load took:" << st.elapsedMSec());
1195
1196     d->flushDeferredOctreeUpdates();
1197
1198     string sceneryPaths = simgear::strutils::join(globals->get_fg_scenery(), ";");
1199     writeStringProperty("scenery_paths", sceneryPaths);
1200
1201     d->runSQL("COMMIT");
1202   } catch (sg_exception& e) {
1203     SG_LOG(SG_NAVCACHE, SG_ALERT, "caught exception rebuilding navCache:" << e.what());
1204   // abandon the DB transation completely
1205     d->runSQL("ROLLBACK");
1206   }
1207 }
1208
1209 int NavDataCache::readIntProperty(const string& key)
1210 {
1211   d->reset(d->readPropertyQuery);
1212   sqlite_bind_stdstring(d->readPropertyQuery, 1, key);
1213
1214   if (d->execSelect(d->readPropertyQuery)) {
1215     return sqlite3_column_int(d->readPropertyQuery, 0);
1216   } else {
1217     SG_LOG(SG_NAVCACHE, SG_WARN, "readIntProperty: unknown:" << key);
1218     return 0; // no such property
1219   }
1220 }
1221
1222 double NavDataCache::readDoubleProperty(const string& key)
1223 {
1224   d->reset(d->readPropertyQuery);
1225   sqlite_bind_stdstring(d->readPropertyQuery, 1, key);
1226   if (d->execSelect(d->readPropertyQuery)) {
1227     return sqlite3_column_double(d->readPropertyQuery, 0);
1228   } else {
1229     SG_LOG(SG_NAVCACHE, SG_WARN, "readDoubleProperty: unknown:" << key);
1230     return 0.0; // no such property
1231   }
1232 }
1233
1234 string NavDataCache::readStringProperty(const string& key)
1235 {
1236   d->reset(d->readPropertyQuery);
1237   sqlite_bind_stdstring(d->readPropertyQuery, 1, key);
1238   if (d->execSelect(d->readPropertyQuery)) {
1239     return (char*) sqlite3_column_text(d->readPropertyQuery, 0);
1240   } else {
1241     SG_LOG(SG_NAVCACHE, SG_WARN, "readStringProperty: unknown:" << key);
1242     return string(); // no such property
1243   }
1244 }
1245
1246 void NavDataCache::writeIntProperty(const string& key, int value)
1247 {
1248   d->writeIntProperty(key, value);
1249 }
1250
1251 void NavDataCache::writeStringProperty(const string& key, const string& value)
1252 {
1253   d->reset(d->clearProperty);
1254   sqlite_bind_stdstring(d->clearProperty, 1, key);
1255   d->execUpdate(d->clearProperty);
1256
1257   d->reset(d->writePropertyQuery);
1258   sqlite_bind_stdstring(d->writePropertyQuery, 1, key);
1259   sqlite_bind_stdstring(d->writePropertyQuery, 2, value);
1260   d->execSelect(d->writePropertyQuery);
1261 }
1262
1263 void NavDataCache::writeDoubleProperty(const string& key, const double& value)
1264 {
1265   d->reset(d->clearProperty);
1266   sqlite_bind_stdstring(d->clearProperty, 1, key);
1267   d->execUpdate(d->clearProperty);
1268
1269   d->reset(d->writePropertyQuery);
1270   sqlite_bind_stdstring(d->writePropertyQuery, 1, key);
1271   sqlite3_bind_double(d->writePropertyQuery, 2, value);
1272   d->execSelect(d->writePropertyQuery);
1273 }
1274
1275 string_list NavDataCache::readStringListProperty(const string& key)
1276 {
1277   d->reset(d->readPropertyQuery);
1278   sqlite_bind_stdstring(d->readPropertyQuery, 1, key);
1279   string_list result;
1280   while (d->stepSelect(d->readPropertyQuery)) {
1281     result.push_back((char*) sqlite3_column_text(d->readPropertyQuery, 0));
1282   }
1283
1284   return result;
1285 }
1286
1287 void NavDataCache::writeStringListProperty(const string& key, const string_list& values)
1288 {
1289   d->reset(d->clearProperty);
1290   sqlite_bind_stdstring(d->clearProperty, 1, key);
1291   d->execUpdate(d->clearProperty);
1292
1293   BOOST_FOREACH(string value, values) {
1294     d->reset(d->writePropertyMulti);
1295     sqlite_bind_stdstring(d->writePropertyMulti, 1, key);
1296     sqlite_bind_stdstring(d->writePropertyMulti, 2, value);
1297     d->execInsert(d->writePropertyMulti);
1298   }
1299 }
1300
1301 bool NavDataCache::isCachedFileModified(const SGPath& path) const
1302 {
1303   if (!path.exists()) {
1304     throw sg_io_exception("isCachedFileModified: Missing file:" + path.str());
1305   }
1306
1307   d->reset(d->statCacheCheck);
1308   sqlite_bind_temp_stdstring(d->statCacheCheck, 1, path.str());
1309   if (d->execSelect(d->statCacheCheck)) {
1310     time_t modtime = sqlite3_column_int64(d->statCacheCheck, 0);
1311     time_t delta = std::labs(modtime - path.modTime());
1312     if (delta != 0)
1313     {
1314       SG_LOG(SG_NAVCACHE, SG_DEBUG, "NavCache: rebuild required for " << path << ". Timestamps: " << modtime << " != " << path.modTime());
1315       if (delta < 30)
1316       {
1317           // File system time stamp has slightly changed. It's unlikely that the user has managed to change a file, start fgfs,
1318           // and then changed file again within x seconds - so it's suspicious...
1319           SG_LOG(SG_NAVCACHE, SG_ALERT, "NavCache: suspicious file timestamp change. Please report this to FlightGear. "
1320                   << "Delta: " << delta << ", Timestamps: " << modtime << ", " << path.modTime() << ", path: " << path);
1321       }
1322     }
1323     else
1324     {
1325       SG_LOG(SG_NAVCACHE, SG_DEBUG, "NavCache: no rebuild required for " << path);
1326     }
1327     return (delta != 0);
1328   } else {
1329     SG_LOG(SG_NAVCACHE, SG_DEBUG, "NavCache: initial build required for " << path);
1330     return true;
1331   }
1332 }
1333
1334 void NavDataCache::stampCacheFile(const SGPath& path)
1335 {
1336   d->reset(d->stampFileCache);
1337   sqlite_bind_temp_stdstring(d->stampFileCache, 1, path.str());
1338   sqlite3_bind_int64(d->stampFileCache, 2, path.modTime());
1339   d->execInsert(d->stampFileCache);
1340 }
1341
1342 void NavDataCache::beginTransaction()
1343 {
1344   d->runSQL("BEGIN");
1345 }
1346
1347 void NavDataCache::commitTransaction()
1348 {
1349   d->runSQL("COMMIT");
1350 }
1351
1352 void NavDataCache::abortTransaction()
1353 {
1354   d->runSQL("ROLLBACK");
1355 }
1356
1357 FGPositioned* NavDataCache::loadById(PositionedID rowid)
1358 {
1359   if (rowid == 0) {
1360     return NULL;
1361   }
1362
1363   PositionedCache::iterator it = d->cache.find(rowid);
1364   if (it != d->cache.end()) {
1365     d->cacheHits++;
1366     return it->second; // cache it
1367   }
1368
1369   d->reset(d->loadPositioned);
1370   sqlite3_bind_int64(d->loadPositioned, 1, rowid);
1371   FGPositioned* pos = d->loadFromStmt(d->loadPositioned);
1372
1373   d->cache.insert(it, PositionedCache::value_type(rowid, pos));
1374   d->cacheMisses++;
1375
1376   return pos;
1377 }
1378
1379 PositionedID NavDataCache::insertAirport(FGPositioned::Type ty, const string& ident,
1380                                          const string& name)
1381 {
1382   // airports have their pos computed based on the avergae runway centres
1383   // so the pos isn't available immediately. Pass a dummy pos and avoid
1384   // doing spatial indexing until later
1385   sqlite3_int64 rowId = d->insertPositioned(ty, ident, name, SGGeod(),
1386                                             0 /* airport */,
1387                                             false /* spatial index */);
1388
1389   d->reset(d->insertAirport);
1390   sqlite3_bind_int64(d->insertAirport, 1, rowId);
1391   d->execInsert(d->insertAirport);
1392
1393   return rowId;
1394 }
1395
1396 void NavDataCache::updatePosition(PositionedID item, const SGGeod &pos)
1397 {
1398   if (d->cache.find(item) != d->cache.end()) {
1399     SG_LOG(SG_NAVCACHE, SG_DEBUG, "updating position of an item in the cache");
1400     d->cache[item]->modifyPosition(pos);
1401   }
1402
1403   SGVec3d cartPos(SGVec3d::fromGeod(pos));
1404
1405   d->reset(d->setAirportPos);
1406   sqlite3_bind_int(d->setAirportPos, 1, item);
1407   sqlite3_bind_double(d->setAirportPos, 2, pos.getLongitudeDeg());
1408   sqlite3_bind_double(d->setAirportPos, 3, pos.getLatitudeDeg());
1409   sqlite3_bind_double(d->setAirportPos, 4, pos.getElevationM());
1410
1411 // bug 905; the octree leaf may change here, but the leaf may already be
1412 // loaded, and caching its children. (Either the old or new leaf!). Worse,
1413 // we may be called here as a result of loading one of those leaf's children.
1414 // instead of dealing with all those possibilites, such as modifying
1415 // the in-memory leaf's STL child container, we simply leave the runtime
1416 // structures alone. This is fine providing items do no move very far, since
1417 // all the spatial searches ultimately use the items' real cartesian position,
1418 // which was updated above.
1419   Octree::Leaf* octreeLeaf = Octree::global_spatialOctree->findLeafForPos(cartPos);
1420   sqlite3_bind_int64(d->setAirportPos, 5, octreeLeaf->guid());
1421
1422   sqlite3_bind_double(d->setAirportPos, 6, cartPos.x());
1423   sqlite3_bind_double(d->setAirportPos, 7, cartPos.y());
1424   sqlite3_bind_double(d->setAirportPos, 8, cartPos.z());
1425
1426
1427   d->execUpdate(d->setAirportPos);
1428 }
1429
1430 void NavDataCache::insertTower(PositionedID airportId, const SGGeod& pos)
1431 {
1432   d->insertPositioned(FGPositioned::TOWER, string(), string(),
1433                       pos, airportId, true /* spatial index */);
1434 }
1435
1436 PositionedID
1437 NavDataCache::insertRunway(FGPositioned::Type ty, const string& ident,
1438                            const SGGeod& pos, PositionedID apt,
1439                            double heading, double length, double width, double displacedThreshold,
1440                            double stopway, int surfaceCode)
1441 {
1442   // only runways are spatially indexed; don't bother indexing taxiways
1443   // or pavements
1444   bool spatialIndex = (ty == FGPositioned::RUNWAY);
1445
1446   sqlite3_int64 rowId = d->insertPositioned(ty, cleanRunwayNo(ident), "", pos, apt,
1447                                             spatialIndex);
1448   d->reset(d->insertRunway);
1449   sqlite3_bind_int64(d->insertRunway, 1, rowId);
1450   sqlite3_bind_double(d->insertRunway, 2, heading);
1451   sqlite3_bind_double(d->insertRunway, 3, length);
1452   sqlite3_bind_double(d->insertRunway, 4, width);
1453   sqlite3_bind_int(d->insertRunway, 5, surfaceCode);
1454   sqlite3_bind_double(d->insertRunway, 6, displacedThreshold);
1455   sqlite3_bind_double(d->insertRunway, 7, stopway);
1456
1457   return d->execInsert(d->insertRunway);
1458 }
1459
1460 void NavDataCache::setRunwayReciprocal(PositionedID runway, PositionedID recip)
1461 {
1462   d->reset(d->setRunwayReciprocal);
1463   sqlite3_bind_int64(d->setRunwayReciprocal, 1, runway);
1464   sqlite3_bind_int64(d->setRunwayReciprocal, 2, recip);
1465   d->execUpdate(d->setRunwayReciprocal);
1466
1467 // and the opposite direction too!
1468   d->reset(d->setRunwayReciprocal);
1469   sqlite3_bind_int64(d->setRunwayReciprocal, 2, runway);
1470   sqlite3_bind_int64(d->setRunwayReciprocal, 1, recip);
1471   d->execUpdate(d->setRunwayReciprocal);
1472 }
1473
1474 void NavDataCache::setRunwayILS(PositionedID runway, PositionedID ils)
1475 {
1476   d->reset(d->setRunwayILS);
1477   sqlite3_bind_int64(d->setRunwayILS, 1, runway);
1478   sqlite3_bind_int64(d->setRunwayILS, 2, ils);
1479   d->execUpdate(d->setRunwayILS);
1480 }
1481
1482 void NavDataCache::updateRunwayThreshold(PositionedID runwayID, const SGGeod &aThreshold,
1483                                   double aHeading, double aDisplacedThreshold,
1484                                   double aStopway)
1485 {
1486 // update the runway information
1487   d->reset(d->updateRunwayThreshold);
1488   sqlite3_bind_int64(d->updateRunwayThreshold, 1, runwayID);
1489   sqlite3_bind_double(d->updateRunwayThreshold, 2, aHeading);
1490   sqlite3_bind_double(d->updateRunwayThreshold, 3, aDisplacedThreshold);
1491   sqlite3_bind_double(d->updateRunwayThreshold, 4, aStopway);
1492   d->execUpdate(d->updateRunwayThreshold);
1493
1494 // compute the new runway center, based on the threshold lat/lon and length,
1495   double offsetFt = (0.5 * d->runwayLengthFt(runwayID));
1496   SGGeod newCenter;
1497   double dummy;
1498   SGGeodesy::direct(aThreshold, aHeading, offsetFt * SG_FEET_TO_METER, newCenter, dummy);
1499
1500 // now update the positional data
1501   updatePosition(runwayID, newCenter);
1502 }
1503
1504 PositionedID
1505 NavDataCache::insertNavaid(FGPositioned::Type ty, const string& ident,
1506                           const string& name, const SGGeod& pos,
1507                            int freq, int range, double multiuse,
1508                            PositionedID apt, PositionedID runway)
1509 {
1510   bool spatialIndex = true;
1511   if (ty == FGPositioned::MOBILE_TACAN) {
1512     spatialIndex = false;
1513   }
1514
1515   sqlite3_int64 rowId = d->insertPositioned(ty, ident, name, pos, apt,
1516                                             spatialIndex);
1517   d->reset(d->insertNavaid);
1518   sqlite3_bind_int64(d->insertNavaid, 1, rowId);
1519   sqlite3_bind_int(d->insertNavaid, 2, freq);
1520   sqlite3_bind_int(d->insertNavaid, 3, range);
1521   sqlite3_bind_double(d->insertNavaid, 4, multiuse);
1522   sqlite3_bind_int64(d->insertNavaid, 5, runway);
1523   return d->execInsert(d->insertNavaid);
1524 }
1525
1526 void NavDataCache::updateILS(PositionedID ils, const SGGeod& newPos, double aHdg)
1527 {
1528   d->reset(d->updateILS);
1529   sqlite3_bind_int64(d->updateILS, 1, ils);
1530   sqlite3_bind_double(d->updateILS, 2, aHdg);
1531   d->execUpdate(d->updateILS);
1532   updatePosition(ils, newPos);
1533 }
1534
1535 PositionedID NavDataCache::insertCommStation(FGPositioned::Type ty,
1536                                              const string& name, const SGGeod& pos, int freq, int range,
1537                                              PositionedID apt)
1538 {
1539   sqlite3_int64 rowId = d->insertPositioned(ty, "", name, pos, apt, true);
1540   d->reset(d->insertCommStation);
1541   sqlite3_bind_int64(d->insertCommStation, 1, rowId);
1542   sqlite3_bind_int(d->insertCommStation, 2, freq);
1543   sqlite3_bind_int(d->insertCommStation, 3, range);
1544   return d->execInsert(d->insertCommStation);
1545 }
1546
1547 PositionedID NavDataCache::insertFix(const std::string& ident, const SGGeod& aPos)
1548 {
1549   return d->insertPositioned(FGPositioned::FIX, ident, string(), aPos, 0, true);
1550 }
1551
1552 PositionedID NavDataCache::createUserWaypoint(const std::string& ident, const SGGeod& aPos)
1553 {
1554   return d->insertPositioned(FGPositioned::WAYPOINT, ident, string(), aPos, 0,
1555                              true /* spatial index */);
1556 }
1557
1558 void NavDataCache::setAirportMetar(const string& icao, bool hasMetar)
1559 {
1560   d->reset(d->setAirportMetar);
1561   sqlite_bind_stdstring(d->setAirportMetar, 1, icao);
1562   sqlite3_bind_int(d->setAirportMetar, 2, hasMetar);
1563   d->execUpdate(d->setAirportMetar);
1564 }
1565
1566 FGPositioned::List NavDataCache::findAllWithIdent(const string& s,
1567                                                   FGPositioned::Filter* filter, bool exact)
1568 {
1569   return d->findAllByString(s, "ident", filter, exact);
1570 }
1571
1572 FGPositioned::List NavDataCache::findAllWithName(const string& s,
1573                                                   FGPositioned::Filter* filter, bool exact)
1574 {
1575   return d->findAllByString(s, "name", filter, exact);
1576 }
1577
1578 FGPositionedRef NavDataCache::findClosestWithIdent(const string& aIdent,
1579                                                    const SGGeod& aPos, FGPositioned::Filter* aFilter)
1580 {
1581   d->reset(d->findClosestWithIdent);
1582   sqlite_bind_stdstring(d->findClosestWithIdent, 1, aIdent);
1583   if (aFilter) {
1584     sqlite3_bind_int(d->findClosestWithIdent, 2, aFilter->minType());
1585     sqlite3_bind_int(d->findClosestWithIdent, 3, aFilter->maxType());
1586   } else { // full type range
1587     sqlite3_bind_int(d->findClosestWithIdent, 2, FGPositioned::INVALID);
1588     sqlite3_bind_int(d->findClosestWithIdent, 3, FGPositioned::LAST_TYPE);
1589   }
1590
1591   SGVec3d cartPos(SGVec3d::fromGeod(aPos));
1592   sqlite3_bind_double(d->findClosestWithIdent, 4, cartPos.x());
1593   sqlite3_bind_double(d->findClosestWithIdent, 5, cartPos.y());
1594   sqlite3_bind_double(d->findClosestWithIdent, 6, cartPos.z());
1595
1596   while (d->stepSelect(d->findClosestWithIdent)) {
1597     FGPositioned* pos = loadById(sqlite3_column_int64(d->findClosestWithIdent, 0));
1598     if (aFilter && !aFilter->pass(pos)) {
1599       continue;
1600     }
1601
1602     return pos;
1603   }
1604
1605   return NULL; // no matches at all
1606 }
1607
1608
1609 int NavDataCache::getOctreeBranchChildren(int64_t octreeNodeId)
1610 {
1611   d->reset(d->getOctreeChildren);
1612   sqlite3_bind_int64(d->getOctreeChildren, 1, octreeNodeId);
1613   d->execSelect1(d->getOctreeChildren);
1614   return sqlite3_column_int(d->getOctreeChildren, 0);
1615 }
1616
1617 void NavDataCache::defineOctreeNode(Octree::Branch* pr, Octree::Node* nd)
1618 {
1619   d->reset(d->insertOctree);
1620   sqlite3_bind_int64(d->insertOctree, 1, nd->guid());
1621   d->execInsert(d->insertOctree);
1622
1623 #ifdef LAZY_OCTREE_UPDATES
1624   d->deferredOctreeUpdates.insert(pr);
1625 #else
1626   // lowest three bits of node ID are 0..7 index of the child in the parent
1627   int childIndex = nd->guid() & 0x07;
1628
1629   d->reset(d->updateOctreeChildren);
1630   sqlite3_bind_int64(d->updateOctreeChildren, 1, pr->guid());
1631 // mask has bit N set where child N exists
1632   int childMask = 1 << childIndex;
1633   sqlite3_bind_int(d->updateOctreeChildren, 2, childMask);
1634   d->execUpdate(d->updateOctreeChildren);
1635 #endif
1636 }
1637
1638 TypedPositionedVec
1639 NavDataCache::getOctreeLeafChildren(int64_t octreeNodeId)
1640 {
1641   d->reset(d->getOctreeLeafChildren);
1642   sqlite3_bind_int64(d->getOctreeLeafChildren, 1, octreeNodeId);
1643
1644   TypedPositionedVec r;
1645   while (d->stepSelect(d->getOctreeLeafChildren)) {
1646     FGPositioned::Type ty = static_cast<FGPositioned::Type>
1647       (sqlite3_column_int(d->getOctreeLeafChildren, 1));
1648     r.push_back(std::make_pair(ty,
1649                 sqlite3_column_int64(d->getOctreeLeafChildren, 0)));
1650   }
1651
1652   return r;
1653 }
1654
1655
1656 /**
1657  * A special purpose helper (used by FGAirport::searchNamesAndIdents) to
1658  * implement the AirportList dialog. It's unfortunate that it needs to reside
1659  * here, but for now it's least ugly solution.
1660  */
1661 char** NavDataCache::searchAirportNamesAndIdents(const std::string& aFilter)
1662 {
1663   d->reset(d->searchAirports);
1664   string s = "%" + aFilter + "%";
1665   sqlite_bind_stdstring(d->searchAirports, 1, s);
1666
1667   unsigned int numMatches = 0, numAllocated = 16;
1668   char** result = (char**) malloc(sizeof(char*) * numAllocated);
1669
1670   while (d->stepSelect(d->searchAirports)) {
1671     if ((numMatches + 1) >= numAllocated) {
1672       numAllocated <<= 1; // double in size!
1673     // reallocate results array
1674       char** nresult = (char**) malloc(sizeof(char*) * numAllocated);
1675       memcpy(nresult, result, sizeof(char*) * numMatches);
1676       free(result);
1677       result = nresult;
1678     }
1679
1680     // nasty code to avoid excessive string copying and allocations.
1681     // We format results as follows (note whitespace!):
1682     //   ' name-of-airport-chars   (ident)'
1683     // so the total length is:
1684     //    1 + strlen(name) + 4 + strlen(icao) + 1 + 1 (for the null)
1685     // which gives a grand total of 7 + name-length + icao-length.
1686     // note the ident can be three letters (non-ICAO local strip), four
1687     // (default ICAO) or more (extended format ICAO)
1688     int nameLength = sqlite3_column_bytes(d->searchAirports, 1);
1689     int icaoLength = sqlite3_column_bytes(d->searchAirports, 0);
1690     char* entry = (char*) malloc(7 + nameLength + icaoLength);
1691     char* dst = entry;
1692     *dst++ = ' ';
1693     memcpy(dst, sqlite3_column_text(d->searchAirports, 1), nameLength);
1694     dst += nameLength;
1695     *dst++ = ' ';
1696     *dst++ = ' ';
1697     *dst++ = ' ';
1698     *dst++ = '(';
1699     memcpy(dst, sqlite3_column_text(d->searchAirports, 0), icaoLength);
1700     dst += icaoLength;
1701     *dst++ = ')';
1702     *dst++ = 0;
1703
1704     result[numMatches++] = entry;
1705   }
1706
1707   result[numMatches] = NULL; // end of list marker
1708   return result;
1709 }
1710
1711 FGPositionedRef
1712 NavDataCache::findCommByFreq(int freqKhz, const SGGeod& aPos, FGPositioned::Filter* aFilter)
1713 {
1714   d->reset(d->findCommByFreq);
1715   sqlite3_bind_int(d->findCommByFreq, 1, freqKhz);
1716   if (aFilter) {
1717     sqlite3_bind_int(d->findCommByFreq, 2, aFilter->minType());
1718     sqlite3_bind_int(d->findCommByFreq, 3, aFilter->maxType());
1719   } else { // full type range
1720     sqlite3_bind_int(d->findCommByFreq, 2, FGPositioned::FREQ_GROUND);
1721     sqlite3_bind_int(d->findCommByFreq, 3, FGPositioned::FREQ_UNICOM);
1722   }
1723
1724   SGVec3d cartPos(SGVec3d::fromGeod(aPos));
1725   sqlite3_bind_double(d->findCommByFreq, 4, cartPos.x());
1726   sqlite3_bind_double(d->findCommByFreq, 5, cartPos.y());
1727   sqlite3_bind_double(d->findCommByFreq, 6, cartPos.z());
1728
1729   while (d->execSelect(d->findCommByFreq)) {
1730     FGPositioned* p = loadById(sqlite3_column_int64(d->findCommByFreq, 0));
1731     if (aFilter && !aFilter->pass(p)) {
1732       continue;
1733     }
1734
1735     return p;
1736   }
1737
1738   return NULL;
1739 }
1740
1741 PositionedIDVec
1742 NavDataCache::findNavaidsByFreq(int freqKhz, const SGGeod& aPos, FGPositioned::Filter* aFilter)
1743 {
1744   d->reset(d->findNavsByFreq);
1745   sqlite3_bind_int(d->findNavsByFreq, 1, freqKhz);
1746   if (aFilter) {
1747     sqlite3_bind_int(d->findNavsByFreq, 2, aFilter->minType());
1748     sqlite3_bind_int(d->findNavsByFreq, 3, aFilter->maxType());
1749   } else { // full type range
1750     sqlite3_bind_int(d->findNavsByFreq, 2, FGPositioned::NDB);
1751     sqlite3_bind_int(d->findNavsByFreq, 3, FGPositioned::GS);
1752   }
1753
1754   SGVec3d cartPos(SGVec3d::fromGeod(aPos));
1755   sqlite3_bind_double(d->findNavsByFreq, 4, cartPos.x());
1756   sqlite3_bind_double(d->findNavsByFreq, 5, cartPos.y());
1757   sqlite3_bind_double(d->findNavsByFreq, 6, cartPos.z());
1758
1759   return d->selectIds(d->findNavsByFreq);
1760 }
1761
1762 PositionedIDVec
1763 NavDataCache::findNavaidsByFreq(int freqKhz, FGPositioned::Filter* aFilter)
1764 {
1765   d->reset(d->findNavsByFreqNoPos);
1766   sqlite3_bind_int(d->findNavsByFreqNoPos, 1, freqKhz);
1767   if (aFilter) {
1768     sqlite3_bind_int(d->findNavsByFreqNoPos, 2, aFilter->minType());
1769     sqlite3_bind_int(d->findNavsByFreqNoPos, 3, aFilter->maxType());
1770   } else { // full type range
1771     sqlite3_bind_int(d->findNavsByFreqNoPos, 2, FGPositioned::NDB);
1772     sqlite3_bind_int(d->findNavsByFreqNoPos, 3, FGPositioned::GS);
1773   }
1774
1775   return d->selectIds(d->findNavsByFreqNoPos);
1776 }
1777
1778 PositionedIDVec
1779 NavDataCache::airportItemsOfType(PositionedID apt,FGPositioned::Type ty,
1780                                  FGPositioned::Type maxTy)
1781 {
1782   if (maxTy == FGPositioned::INVALID) {
1783     maxTy = ty; // single-type range
1784   }
1785
1786   d->reset(d->getAirportItems);
1787   sqlite3_bind_int64(d->getAirportItems, 1, apt);
1788   sqlite3_bind_int(d->getAirportItems, 2, ty);
1789   sqlite3_bind_int(d->getAirportItems, 3, maxTy);
1790
1791   return d->selectIds(d->getAirportItems);
1792 }
1793
1794 PositionedID
1795 NavDataCache::airportItemWithIdent(PositionedID apt, FGPositioned::Type ty,
1796                                    const std::string& ident)
1797 {
1798   d->reset(d->getAirportItemByIdent);
1799   sqlite3_bind_int64(d->getAirportItemByIdent, 1, apt);
1800   sqlite_bind_stdstring(d->getAirportItemByIdent, 2, ident);
1801   sqlite3_bind_int(d->getAirportItemByIdent, 3, ty);
1802
1803   if (!d->execSelect(d->getAirportItemByIdent)) {
1804     return 0;
1805   }
1806
1807   return sqlite3_column_int64(d->getAirportItemByIdent, 0);
1808 }
1809
1810 AirportRunwayPair
1811 NavDataCache::findAirportRunway(const std::string& aName)
1812 {
1813   if (aName.empty()) {
1814     return AirportRunwayPair();
1815   }
1816
1817   string_list parts = simgear::strutils::split(aName);
1818   if (parts.size() < 2) {
1819     SG_LOG(SG_NAVCACHE, SG_WARN, "findAirportRunway: malformed name:" << aName);
1820     return AirportRunwayPair();
1821   }
1822
1823   d->reset(d->findAirportRunway);
1824   sqlite_bind_stdstring(d->findAirportRunway, 1, parts[0]);
1825   sqlite_bind_stdstring(d->findAirportRunway, 2, parts[1]);
1826   if (!d->execSelect(d->findAirportRunway)) {
1827     SG_LOG(SG_NAVCACHE, SG_WARN, "findAirportRunway: unknown airport/runway:" << aName);
1828     return AirportRunwayPair();
1829   }
1830
1831   // success, extract the IDs and continue
1832   return AirportRunwayPair(sqlite3_column_int64(d->findAirportRunway, 0),
1833                            sqlite3_column_int64(d->findAirportRunway, 1));
1834 }
1835
1836 PositionedID
1837 NavDataCache::findILS(PositionedID airport, const string& runway, const string& navIdent)
1838 {
1839   d->reset(d->findILS);
1840   sqlite_bind_stdstring(d->findILS, 1, navIdent);
1841   sqlite3_bind_int64(d->findILS, 2, airport);
1842   sqlite_bind_stdstring(d->findILS, 3, runway);
1843
1844   if (!d->execSelect(d->findILS)) {
1845     return 0;
1846   }
1847
1848   return sqlite3_column_int64(d->findILS, 0);
1849 }
1850
1851 int NavDataCache::findAirway(int network, const string& aName)
1852 {
1853   d->reset(d->findAirway);
1854   sqlite3_bind_int(d->findAirway, 1, network);
1855   sqlite_bind_stdstring(d->findAirway, 2, aName);
1856   if (d->execSelect(d->findAirway)) {
1857     // already exists
1858     return sqlite3_column_int(d->findAirway, 0);
1859   }
1860
1861   d->reset(d->insertAirway);
1862   sqlite_bind_stdstring(d->insertAirway, 1, aName);
1863   sqlite3_bind_int(d->insertAirway, 2, network);
1864   return d->execInsert(d->insertAirway);
1865 }
1866
1867 void NavDataCache::insertEdge(int network, int airwayID, PositionedID from, PositionedID to)
1868 {
1869   // assume all edges are bidirectional for the moment
1870   for (int i=0; i<2; ++i) {
1871     d->reset(d->insertAirwayEdge);
1872     sqlite3_bind_int(d->insertAirwayEdge, 1, network);
1873     sqlite3_bind_int(d->insertAirwayEdge, 2, airwayID);
1874     sqlite3_bind_int64(d->insertAirwayEdge, 3, from);
1875     sqlite3_bind_int64(d->insertAirwayEdge, 4, to);
1876     d->execInsert(d->insertAirwayEdge);
1877
1878     std::swap(from, to);
1879   }
1880 }
1881
1882 bool NavDataCache::isInAirwayNetwork(int network, PositionedID pos)
1883 {
1884   d->reset(d->isPosInAirway);
1885   sqlite3_bind_int(d->isPosInAirway, 1, network);
1886   sqlite3_bind_int64(d->isPosInAirway, 2, pos);
1887   bool ok = d->execSelect(d->isPosInAirway);
1888   return ok;
1889 }
1890
1891 AirwayEdgeVec NavDataCache::airwayEdgesFrom(int network, PositionedID pos)
1892 {
1893   d->reset(d->airwayEdgesFrom);
1894   sqlite3_bind_int(d->airwayEdgesFrom, 1, network);
1895   sqlite3_bind_int64(d->airwayEdgesFrom, 2, pos);
1896
1897   AirwayEdgeVec result;
1898   while (d->stepSelect(d->airwayEdgesFrom)) {
1899     result.push_back(AirwayEdge(
1900                      sqlite3_column_int(d->airwayEdgesFrom, 0),
1901                      sqlite3_column_int64(d->airwayEdgesFrom, 1)
1902                      ));
1903   }
1904   return result;
1905 }
1906
1907 PositionedID NavDataCache::findNavaidForRunway(PositionedID runway, FGPositioned::Type ty)
1908 {
1909   d->reset(d->findNavaidForRunway);
1910   sqlite3_bind_int64(d->findNavaidForRunway, 1, runway);
1911   sqlite3_bind_int(d->findNavaidForRunway, 2, ty);
1912   if (!d->execSelect(d->findNavaidForRunway)) {
1913     return 0;
1914   }
1915
1916   return sqlite3_column_int64(d->findNavaidForRunway, 0);
1917 }
1918
1919 PositionedID
1920 NavDataCache::insertParking(const std::string& name, const SGGeod& aPos,
1921                             PositionedID aAirport,
1922                            double aHeading, int aRadius, const std::string& aAircraftType,
1923                            const std::string& aAirlines)
1924 {
1925   sqlite3_int64 rowId = d->insertPositioned(FGPositioned::PARKING, name, "", aPos, aAirport, false);
1926
1927 // we need to insert a row into the taxi_node table, otherwise we can't maintain
1928 // the appropriate pushback flag.
1929   d->reset(d->insertTaxiNode);
1930   sqlite3_bind_int64(d->insertTaxiNode, 1, rowId);
1931   sqlite3_bind_int(d->insertTaxiNode, 2, 0);
1932   sqlite3_bind_int(d->insertTaxiNode, 3, 0);
1933   d->execInsert(d->insertTaxiNode);
1934
1935   d->reset(d->insertParkingPos);
1936   sqlite3_bind_int64(d->insertParkingPos, 1, rowId);
1937   sqlite3_bind_double(d->insertParkingPos, 2, aHeading);
1938   sqlite3_bind_int(d->insertParkingPos, 3, aRadius);
1939   sqlite_bind_stdstring(d->insertParkingPos, 4, aAircraftType);
1940   sqlite_bind_stdstring(d->insertParkingPos, 5, aAirlines);
1941   return d->execInsert(d->insertParkingPos);
1942 }
1943
1944 void NavDataCache::setParkingPushBackRoute(PositionedID parking, PositionedID pushBackNode)
1945 {
1946   d->reset(d->setParkingPushBack);
1947   sqlite3_bind_int64(d->setParkingPushBack, 1, parking);
1948   sqlite3_bind_int64(d->setParkingPushBack, 2, pushBackNode);
1949   d->execUpdate(d->setParkingPushBack);
1950 }
1951
1952 PositionedID
1953 NavDataCache::insertTaxiNode(const SGGeod& aPos, PositionedID aAirport, int aHoldType, bool aOnRunway)
1954 {
1955   sqlite3_int64 rowId = d->insertPositioned(FGPositioned::TAXI_NODE, string(), string(), aPos, aAirport, false);
1956   d->reset(d->insertTaxiNode);
1957   sqlite3_bind_int64(d->insertTaxiNode, 1, rowId);
1958   sqlite3_bind_int(d->insertTaxiNode, 2, aHoldType);
1959   sqlite3_bind_int(d->insertTaxiNode, 3, aOnRunway);
1960   return d->execInsert(d->insertTaxiNode);
1961 }
1962
1963 void NavDataCache::insertGroundnetEdge(PositionedID aAirport, PositionedID from, PositionedID to)
1964 {
1965   d->reset(d->insertTaxiEdge);
1966   sqlite3_bind_int64(d->insertTaxiEdge, 1, aAirport);
1967   sqlite3_bind_int64(d->insertTaxiEdge, 2, from);
1968   sqlite3_bind_int64(d->insertTaxiEdge, 3, to);
1969   d->execInsert(d->insertTaxiEdge);
1970 }
1971
1972 PositionedIDVec NavDataCache::groundNetNodes(PositionedID aAirport, bool onlyPushback)
1973 {
1974   sqlite3_stmt_ptr q = onlyPushback ? d->airportPushbackNodes : d->airportTaxiNodes;
1975   d->reset(q);
1976   sqlite3_bind_int64(q, 1, aAirport);
1977   return d->selectIds(q);
1978 }
1979
1980 void NavDataCache::markGroundnetAsPushback(PositionedID nodeId)
1981 {
1982   d->reset(d->markTaxiNodeAsPushback);
1983   sqlite3_bind_int64(d->markTaxiNodeAsPushback, 1, nodeId);
1984   d->execUpdate(d->markTaxiNodeAsPushback);
1985 }
1986
1987 static double headingDifferenceDeg(double crs1, double crs2)
1988 {
1989   double diff =  crs2 - crs1;
1990   SG_NORMALIZE_RANGE(diff, -180.0, 180.0);
1991   return diff;
1992 }
1993
1994 PositionedID NavDataCache::findGroundNetNode(PositionedID airport, const SGGeod& aPos,
1995                                              bool onRunway, FGRunway* aRunway)
1996 {
1997   sqlite3_stmt_ptr q = onRunway ? d->findNearestRunwayTaxiNode : d->findNearestTaxiNode;
1998   d->reset(q);
1999   sqlite3_bind_int64(q, 1, airport);
2000
2001   SGVec3d cartPos(SGVec3d::fromGeod(aPos));
2002   sqlite3_bind_double(q, 2, cartPos.x());
2003   sqlite3_bind_double(q, 3, cartPos.y());
2004   sqlite3_bind_double(q, 4, cartPos.z());
2005
2006   while (d->execSelect(q)) {
2007     PositionedID id = sqlite3_column_int64(q, 0);
2008     if (!aRunway) {
2009       return id;
2010     }
2011
2012   // ensure found node lies on the runway
2013     FGPositionedRef node = loadById(id);
2014     double course = SGGeodesy::courseDeg(node->geod(), aRunway->end());
2015     if (fabs(headingDifferenceDeg(course, aRunway->headingDeg())) < 3.0 ) {
2016       return id;
2017     }
2018   }
2019
2020   return 0;
2021 }
2022
2023 PositionedIDVec NavDataCache::groundNetEdgesFrom(PositionedID pos, bool onlyPushback)
2024 {
2025   sqlite3_stmt_ptr q = onlyPushback ? d->pushbackEdgesFrom : d->taxiEdgesFrom;
2026   d->reset(q);
2027   sqlite3_bind_int64(q, 1, pos);
2028   return d->selectIds(q);
2029 }
2030
2031 PositionedIDVec NavDataCache::findAirportParking(PositionedID airport, const std::string& flightType,
2032                                    int radius)
2033 {
2034   d->reset(d->findAirportParking);
2035   sqlite3_bind_int64(d->findAirportParking, 1, airport);
2036   sqlite3_bind_int(d->findAirportParking, 2, radius);
2037   sqlite_bind_stdstring(d->findAirportParking, 3, flightType);
2038
2039   return d->selectIds(d->findAirportParking);
2040 }
2041
2042 void NavDataCache::dropGroundnetFor(PositionedID aAirport)
2043 {
2044   sqlite3_stmt_ptr q = d->prepare("DELETE FROM parking WHERE rowid IN (SELECT rowid FROM positioned WHERE type=?1 AND airport=?2)");
2045   sqlite3_bind_int(q, 1, FGPositioned::PARKING);
2046   sqlite3_bind_int64(q, 2, aAirport);
2047   d->execUpdate(q);
2048
2049   q = d->prepare("DELETE FROM taxi_node WHERE rowid IN (SELECT rowid FROM positioned WHERE type=?1 AND airport=?2)");
2050   sqlite3_bind_int(q, 1, FGPositioned::TAXI_NODE);
2051   sqlite3_bind_int64(q, 2, aAirport);
2052   d->execUpdate(q);
2053
2054   q = d->prepare("DELETE FROM positioned WHERE (type=?1 OR type=?2) AND airport=?3");
2055   sqlite3_bind_int(q, 1, FGPositioned::TAXI_NODE);
2056   sqlite3_bind_int(q, 2, FGPositioned::PARKING);
2057   sqlite3_bind_int64(q, 3, aAirport);
2058   d->execUpdate(q);
2059
2060   q = d->prepare("DELETE FROM groundnet_edge WHERE airport=?1");
2061   sqlite3_bind_int64(q, 1, aAirport);
2062   d->execUpdate(q);
2063 }
2064
2065 } // of namespace flightgear
2066