src/Navaids/NavDataCache.cxx

   1 // NavDataCache.cxx - defines a unified binary cache for navigation
   2 // data, parsed from various text / XML sources.
   3
   4 // Written by James Turner, started 2012.
   5 //
   6 // Copyright (C) 2012  James Turner
   7 //
   8 // This program is free software; you can redistribute it and/or
   9 // modify it under the terms of the GNU General Public License as
  10 // published by the Free Software Foundation; either version 2 of the
  11 // License, or (at your option) any later version.
  12 //
  13 // This program is distributed in the hope that it will be useful, but
  14 // WITHOUT ANY WARRANTY; without even the implied warranty of
  15 // MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
  16 // General Public License for more details.
  17 //
  18 // You should have received a copy of the GNU General Public License
  19 // along with this program; if not, write to the Free Software
  20 // Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA  02110-1301, USA.
  21
  22 #ifdef HAVE_CONFIG_H
  23 # include "config.h"
  24 #endif
  25
  26 // to ensure compatability between sqlite3_int64 and PositionedID,
  27 // force the type used by sqlite to match PositionedID explicitly
  28 #define SQLITE_INT64_TYPE int64_t
  29 #define SQLITE_UINT64_TYPE uint64_t
  30
  31 #include "NavDataCache.hxx"
  32
  33 // std
  34 #include <map>
  35 #include <cassert>
  36 #include <stdint.h> // for int64_t
  37 // boost
  38 #include <boost/foreach.hpp>
  39
  40 #include "sqlite3.h"
  41
  42 // SimGear
  43 #include <simgear/structure/exception.hxx>
  44 #include <simgear/debug/logstream.hxx>
  45 #include <simgear/bucket/newbucket.hxx>
  46 #include <simgear/misc/sg_path.hxx>
  47 #include <simgear/misc/strutils.hxx>
  48 #include <simgear/threads/SGThread.hxx>
  49 #include <simgear/threads/SGGuard.hxx>
  50
  51 #include <Main/globals.hxx>
  52 #include "markerbeacon.hxx"
  53 #include "navrecord.hxx"
  54 #include <Airports/simple.hxx>
  55 #include <Airports/runways.hxx>
  56 #include <ATC/CommStation.hxx>
  57 #include "fix.hxx"
  58 #include <Navaids/fixlist.hxx>
  59 #include <Navaids/navdb.hxx>
  60 #include "PositionedOctree.hxx"
  61 #include <Airports/apt_loader.hxx>
  62 #include <Navaids/airways.hxx>
  63
  64 using std::string;
  65
  66 #define SG_NAVCACHE SG_GENERAL
  67 //#define LAZY_OCTREE_UPDATES 1
  68
  69 namespace {
  70
  71 const int SCHEMA_VERSION = 4;
  72
  73 // bind a std::string to a sqlite statement. The std::string must live the
  74 // entire duration of the statement execution - do not pass a temporary
  75 // std::string, or the compiler may delete it, freeing the C-string storage,
  76 // and causing subtle memory corruption bugs!
  77 void sqlite_bind_stdstring(sqlite3_stmt* stmt, int value, const std::string& s)
  78 {
  79   sqlite3_bind_text(stmt, value, s.c_str(), s.length(), SQLITE_STATIC);
  80 }
  81
  82 // variant of the above, which does not care about the lifetime of the
  83 // passed std::string
  84 void sqlite_bind_temp_stdstring(sqlite3_stmt* stmt, int value, const std::string& s)
  85 {
  86   sqlite3_bind_text(stmt, value, s.c_str(), s.length(), SQLITE_TRANSIENT);
  87 }
  88
  89 typedef sqlite3_stmt* sqlite3_stmt_ptr;
  90
  91 void f_distanceCartSqrFunction(sqlite3_context* ctx, int argc, sqlite3_value* argv[])
  92 {
  93   if (argc != 6) {
  94     return;
  95   }
  96
  97   SGVec3d posA(sqlite3_value_double(argv[0]),
  98                sqlite3_value_double(argv[1]),
  99                sqlite3_value_double(argv[2]));
 100
 101   SGVec3d posB(sqlite3_value_double(argv[3]),
 102                sqlite3_value_double(argv[4]),
 103                sqlite3_value_double(argv[5]));
 104   sqlite3_result_double(ctx, distSqr(posA, posB));
 105 }
 106
 107
 108 static string cleanRunwayNo(const string& aRwyNo)
 109 {
 110   if (aRwyNo[0] == 'x') {
 111     return string(); // no ident for taxiways
 112   }
 113
 114   string result(aRwyNo);
 115   // canonicalise runway ident
 116   if ((aRwyNo.size() == 1) || !isdigit(aRwyNo[1])) {
 117     result = "0" + aRwyNo;
 118   }
 119
 120   // trim off trailing garbage
 121   if (result.size() > 2) {
 122     char suffix = toupper(result[2]);
 123     if (suffix == 'X') {
 124       result = result.substr(0, 2);
 125     }
 126   }
 127
 128   return result;
 129 }
 130
 131 } // anonymous namespace
 132
 133 namespace flightgear
 134 {
 135
 136 /**
 137  * Thread encapsulating a cache rebuild. This is not used to parallelise
 138  * the rebuild - we must still wait until completion before doing other
 139  * startup, since many things rely on a complete cache. The thread is used
 140  * so we don't block the main event loop for an unacceptable duration,
 141  * which causes 'not responding' / spinning beachballs on Windows & Mac
 142  */
 143 class RebuildThread : public SGThread
 144 {
 145 public:
 146   RebuildThread(NavDataCache* cache) :
 147   _cache(cache),
 148   _isFinished(false)
 149   {
 150
 151   }
 152
 153   bool isFinished() const
 154   {
 155     SGGuard<SGMutex> g(_lock);
 156     return _isFinished;
 157   }
 158
 159   virtual void run()
 160   {
 161     SGTimeStamp st;
 162     st.stamp();
 163     _cache->doRebuild();
 164     SG_LOG(SG_GENERAL, SG_INFO, "cache rebuild took:" << st.elapsedMSec() << "msec");
 165
 166     SGGuard<SGMutex> g(_lock);
 167     _isFinished = true;
 168   }
 169 private:
 170   NavDataCache* _cache;
 171   mutable SGMutex _lock;
 172   bool _isFinished;
 173 };
 174
 175 ////////////////////////////////////////////////////////////////////////////
 176
 177 typedef std::map<PositionedID, FGPositionedRef> PositionedCache;
 178
 179 class AirportTower : public FGPositioned
 180 {
 181 public:
 182   AirportTower(PositionedID& guid, PositionedID airport,
 183                const string& ident, const SGGeod& pos) :
 184     FGPositioned(guid, FGPositioned::TOWER, ident, pos)
 185   {
 186   }
 187 };
 188
 189 class NavDataCache::NavDataCachePrivate
 190 {
 191 public:
 192   NavDataCachePrivate(const SGPath& p, NavDataCache* o) :
 193     outer(o),
 194     db(NULL),
 195     path(p),
 196     cacheHits(0),
 197     cacheMisses(0)
 198   {
 199   }
 200
 201   ~NavDataCachePrivate()
 202   {
 203     BOOST_FOREACH(sqlite3_stmt_ptr stmt, prepared) {
 204       sqlite3_finalize(stmt);
 205     }
 206     prepared.clear();
 207
 208     sqlite3_close(db);
 209   }
 210
 211   void init()
 212   {
 213     SG_LOG(SG_NAVCACHE, SG_INFO, "NavCache at:" << path);
 214     sqlite3_open_v2(path.c_str(), &db,
 215                     SQLITE_OPEN_READWRITE | SQLITE_OPEN_CREATE, NULL);
 216
 217
 218     sqlite3_stmt_ptr checkTables =
 219       prepare("SELECT count(*) FROM sqlite_master WHERE name='properties'");
 220
 221     sqlite3_create_function(db, "distanceCartSqr", 6, SQLITE_ANY, NULL,
 222                             f_distanceCartSqrFunction, NULL, NULL);
 223
 224     execSelect(checkTables);
 225     bool didCreate = false;
 226     if (sqlite3_column_int(checkTables, 0) == 0) {
 227       SG_LOG(SG_NAVCACHE, SG_INFO, "will create tables");
 228       initTables();
 229       didCreate = true;
 230     }
 231
 232     readPropertyQuery = prepare("SELECT value FROM properties WHERE key=?");
 233     writePropertyQuery = prepare("INSERT OR REPLACE INTO properties "
 234                                  "(key, value) VALUES (?,?)");
 235
 236     if (didCreate) {
 237       writeIntProperty("schema-version", SCHEMA_VERSION);
 238     } else {
 239       int schemaVersion = outer->readIntProperty("schema-version");
 240       if (schemaVersion != SCHEMA_VERSION) {
 241         SG_LOG(SG_NAVCACHE, SG_INFO, "Navcache schema mismatch, will rebuild");
 242         throw sg_exception("Navcache schema has changed");
 243       }
 244     }
 245
 246     prepareQueries();
 247   }
 248
 249   void checkCacheFile()
 250   {
 251     SG_LOG(SG_NAVCACHE, SG_INFO, "running DB integrity check");
 252     SGTimeStamp st;
 253     st.stamp();
 254
 255     sqlite3_stmt_ptr stmt = prepare("PRAGMA integrity_check(1)");
 256     if (!execSelect(stmt)) {
 257       throw sg_exception("DB integrity check failed to run");
 258     }
 259
 260     string v = (char*) sqlite3_column_text(stmt, 0);
 261     if (v != "ok") {
 262       throw sg_exception("DB integrity check returned:" + v);
 263     }
 264
 265     SG_LOG(SG_NAVCACHE, SG_INFO, "NavDataCache integrity check took:" << st.elapsedMSec());
 266     finalize(stmt);
 267   }
 268
 269   void callSqlite(int result, const string& sql)
 270   {
 271     if (result == SQLITE_OK)
 272       return; // all good
 273
 274     string errMsg;
 275     if (result == SQLITE_MISUSE) {
 276       errMsg = "Sqlite API abuse";
 277       SG_LOG(SG_NAVCACHE, SG_ALERT, "Sqlite API abuse");
 278     } else {
 279       errMsg = sqlite3_errmsg(db);
 280       SG_LOG(SG_NAVCACHE, SG_ALERT, "Sqlite error:" << errMsg << " running:\n\t" << sql);
 281     }
 282
 283     throw sg_exception("Sqlite error:" + errMsg, sql);
 284   }
 285
 286   void runSQL(const string& sql)
 287   {
 288     sqlite3_stmt_ptr stmt;
 289     callSqlite(sqlite3_prepare_v2(db, sql.c_str(), sql.length(), &stmt, NULL), sql);
 290
 291     try {
 292       execSelect(stmt);
 293     } catch (sg_exception& e) {
 294       sqlite3_finalize(stmt);
 295       throw; // re-throw
 296     }
 297
 298     sqlite3_finalize(stmt);
 299   }
 300
 301   sqlite3_stmt_ptr prepare(const string& sql)
 302   {
 303     sqlite3_stmt_ptr stmt;
 304     callSqlite(sqlite3_prepare_v2(db, sql.c_str(), sql.length(), &stmt, NULL), sql);
 305     prepared.push_back(stmt);
 306     return stmt;
 307   }
 308
 309   void finalize(sqlite3_stmt_ptr s)
 310   {
 311     StmtVec::iterator it = std::find(prepared.begin(), prepared.end(), s);
 312     if (it == prepared.end()) {
 313       throw sg_exception("Finalising statement that was not prepared");
 314     }
 315
 316     prepared.erase(it);
 317     sqlite3_finalize(s);
 318   }
 319
 320   void reset(sqlite3_stmt_ptr stmt)
 321   {
 322     assert(stmt);
 323     if (sqlite3_reset(stmt) != SQLITE_OK) {
 324       string errMsg = sqlite3_errmsg(db);
 325       SG_LOG(SG_NAVCACHE, SG_ALERT, "Sqlite error resetting:" << errMsg);
 326       throw sg_exception("Sqlite error resetting:" + errMsg, sqlite3_sql(stmt));
 327     }
 328   }
 329
 330   bool execSelect(sqlite3_stmt_ptr stmt)
 331   {
 332     return stepSelect(stmt);
 333   }
 334
 335   bool stepSelect(sqlite3_stmt_ptr stmt)
 336   {
 337     int result = sqlite3_step(stmt);
 338     if (result == SQLITE_ROW) {
 339       return true; // at least one result row
 340     }
 341
 342     if (result == SQLITE_DONE) {
 343       return false; // no result rows
 344     }
 345
 346     string errMsg;
 347     if (result == SQLITE_MISUSE) {
 348       errMsg = "Sqlite API abuse";
 349       SG_LOG(SG_NAVCACHE, SG_ALERT, "Sqlite API abuse");
 350     } else {
 351       errMsg = sqlite3_errmsg(db);
 352       SG_LOG(SG_NAVCACHE, SG_ALERT, "Sqlite error:" << errMsg
 353              << " while running:\n\t" << sqlite3_sql(stmt));
 354     }
 355
 356     throw sg_exception("Sqlite error:" + errMsg, sqlite3_sql(stmt));
 357   }
 358
 359   void execSelect1(sqlite3_stmt_ptr stmt)
 360   {
 361     if (!execSelect(stmt)) {
 362       SG_LOG(SG_NAVCACHE, SG_WARN, "empty SELECT running:\n\t" << sqlite3_sql(stmt));
 363       throw sg_exception("no results returned for select", sqlite3_sql(stmt));
 364     }
 365   }
 366
 367   sqlite3_int64 execInsert(sqlite3_stmt_ptr stmt)
 368   {
 369     execSelect(stmt);
 370     return sqlite3_last_insert_rowid(db);
 371   }
 372
 373   void execUpdate(sqlite3_stmt_ptr stmt)
 374   {
 375     execSelect(stmt);
 376   }
 377
 378   void initTables()
 379   {
 380     runSQL("CREATE TABLE properties ("
 381            "key VARCHAR,"
 382            "value VARCHAR"
 383            ")");
 384
 385     runSQL("CREATE TABLE stat_cache ("
 386            "path VARCHAR unique,"
 387            "stamp INT"
 388            ")");
 389
 390     runSQL("CREATE TABLE positioned ("
 391            "type INT,"
 392            "ident VARCHAR collate nocase,"
 393            "name VARCHAR collate nocase,"
 394            "airport INT64,"
 395            "lon FLOAT,"
 396            "lat FLOAT,"
 397            "elev_m FLOAT,"
 398            "octree_node INT,"
 399            "cart_x FLOAT,"
 400            "cart_y FLOAT,"
 401            "cart_z FLOAT"
 402            ")");
 403
 404     runSQL("CREATE INDEX pos_octree ON positioned(octree_node)");
 405     runSQL("CREATE INDEX pos_ident ON positioned(ident collate nocase)");
 406     runSQL("CREATE INDEX pos_name ON positioned(name collate nocase)");
 407     // allow efficient querying of 'all ATIS at this airport' or
 408     // 'all towers at this airport'
 409     runSQL("CREATE INDEX pos_apt_type ON positioned(airport, type)");
 410
 411     runSQL("CREATE TABLE airport ("
 412            "has_metar BOOL"
 413            ")"
 414            );
 415
 416     runSQL("CREATE TABLE comm ("
 417            "freq_khz INT,"
 418            "range_nm INT"
 419            ")"
 420            );
 421
 422     runSQL("CREATE INDEX comm_freq ON comm(freq_khz)");
 423
 424     runSQL("CREATE TABLE runway ("
 425            "heading FLOAT,"
 426            "length_ft FLOAT,"
 427            "width_m FLOAT,"
 428            "surface INT,"
 429            "displaced_threshold FLOAT,"
 430            "stopway FLOAT,"
 431            "reciprocal INT64,"
 432            "ils INT64"
 433            ")"
 434            );
 435
 436     runSQL("CREATE TABLE navaid ("
 437            "freq INT,"
 438            "range_nm INT,"
 439            "multiuse FLOAT,"
 440            "runway INT64,"
 441            "colocated INT64"
 442            ")"
 443            );
 444
 445     runSQL("CREATE INDEX navaid_freq ON navaid(freq)");
 446
 447     runSQL("CREATE TABLE octree (children INT)");
 448
 449     runSQL("CREATE TABLE airway ("
 450            "ident VARCHAR collate nocase,"
 451            "network INT" // high-level or low-level
 452            ")");
 453
 454     runSQL("CREATE INDEX airway_ident ON airway(ident)");
 455
 456     runSQL("CREATE TABLE airway_edge ("
 457            "network INT,"
 458            "airway INT64,"
 459            "a INT64,"
 460            "b INT64"
 461            ")");
 462
 463     runSQL("CREATE INDEX airway_edge_from ON airway_edge(a)");
 464   }
 465
 466   void prepareQueries()
 467   {
 468     clearProperty = prepare("DELETE FROM properties WHERE key=?1");
 469     writePropertyMulti = prepare("INSERT INTO properties (key, value) VALUES(?1,?2)");
 470
 471 #define POSITIONED_COLS "rowid, type, ident, name, airport, lon, lat, elev_m, octree_node"
 472 #define AND_TYPED "AND type>=?2 AND type <=?3"
 473     statCacheCheck = prepare("SELECT stamp FROM stat_cache WHERE path=?");
 474     stampFileCache = prepare("INSERT OR REPLACE INTO stat_cache "
 475                              "(path, stamp) VALUES (?,?)");
 476
 477     loadPositioned = prepare("SELECT " POSITIONED_COLS " FROM positioned WHERE rowid=?");
 478     loadAirportStmt = prepare("SELECT has_metar FROM airport WHERE rowid=?");
 479     loadNavaid = prepare("SELECT range_nm, freq, multiuse, runway, colocated FROM navaid WHERE rowid=?");
 480     loadCommStation = prepare("SELECT freq_khz, range_nm FROM comm WHERE rowid=?");
 481     loadRunwayStmt = prepare("SELECT heading, length_ft, width_m, surface, displaced_threshold,"
 482                              "stopway, reciprocal, ils FROM runway WHERE rowid=?1");
 483
 484     getAirportItems = prepare("SELECT rowid FROM positioned WHERE airport=?1 " AND_TYPED);
 485
 486
 487     setAirportMetar = prepare("UPDATE airport SET has_metar=?2 WHERE rowid="
 488                               "(SELECT rowid FROM positioned WHERE ident=?1 AND type>=?3 AND type <=?4)");
 489     sqlite3_bind_int(setAirportMetar, 3, FGPositioned::AIRPORT);
 490     sqlite3_bind_int(setAirportMetar, 4, FGPositioned::SEAPORT);
 491
 492     setRunwayReciprocal = prepare("UPDATE runway SET reciprocal=?2 WHERE rowid=?1");
 493     setRunwayILS = prepare("UPDATE runway SET ils=?2 WHERE rowid=?1");
 494     updateRunwayThreshold = prepare("UPDATE runway SET heading=?2, displaced_threshold=?3, stopway=?4 WHERE rowid=?1");
 495
 496     insertPositionedQuery = prepare("INSERT INTO positioned "
 497                                     "(type, ident, name, airport, lon, lat, elev_m, octree_node, "
 498                                     "cart_x, cart_y, cart_z)"
 499                                     " VALUES (?1, ?2, ?3, ?4, ?5, ?6, ?7, ?8, ?9, ?10, ?11)");
 500
 501     setAirportPos = prepare("UPDATE positioned SET lon=?2, lat=?3, elev_m=?4, octree_node=?5, "
 502                             "cart_x=?6, cart_y=?7, cart_z=?8 WHERE rowid=?1");
 503     insertAirport = prepare("INSERT INTO airport (rowid, has_metar) VALUES (?, ?)");
 504     insertNavaid = prepare("INSERT INTO navaid (rowid, freq, range_nm, multiuse, runway, colocated)"
 505                            " VALUES (?1, ?2, ?3, ?4, ?5, ?6)");
 506     updateILS = prepare("UPDATE navaid SET multiuse=?2 WHERE rowid=?1");
 507
 508     insertCommStation = prepare("INSERT INTO comm (rowid, freq_khz, range_nm)"
 509                                 " VALUES (?, ?, ?)");
 510     insertRunway = prepare("INSERT INTO runway "
 511                            "(rowid, heading, length_ft, width_m, surface, displaced_threshold, stopway, reciprocal)"
 512                            " VALUES (?1, ?2, ?3, ?4, ?5, ?6, ?7, ?8)");
 513     runwayLengthFtQuery = prepare("SELECT length_ft FROM runway WHERE rowid=?1");
 514
 515   // query statement
 516     findClosestWithIdent = prepare("SELECT rowid FROM positioned WHERE ident=?1 "
 517                                    AND_TYPED " ORDER BY distanceCartSqr(cart_x, cart_y, cart_z, ?4, ?5, ?6)");
 518
 519     findCommByFreq = prepare("SELECT positioned.rowid FROM positioned, comm WHERE "
 520                              "positioned.rowid=comm.rowid AND freq_khz=?1 "
 521                              AND_TYPED " ORDER BY distanceCartSqr(cart_x, cart_y, cart_z, ?4, ?5, ?6)");
 522
 523     findNavsByFreq = prepare("SELECT positioned.rowid FROM positioned, navaid WHERE "
 524                              "positioned.rowid=navaid.rowid "
 525                              "AND navaid.freq=?1 " AND_TYPED
 526                              " ORDER BY distanceCartSqr(cart_x, cart_y, cart_z, ?4, ?5, ?6)");
 527
 528     findNavsByFreqNoPos = prepare("SELECT positioned.rowid FROM positioned, navaid WHERE "
 529                                   "positioned.rowid=navaid.rowid AND freq=?1 " AND_TYPED);
 530
 531   // for an octree branch, return the child octree nodes which exist,
 532   // described as a bit-mask
 533     getOctreeChildren = prepare("SELECT children FROM octree WHERE rowid=?1");
 534
 535 #ifdef LAZY_OCTREE_UPDATES
 536     updateOctreeChildren = prepare("UPDATE octree SET children=?2 WHERE rowid=?1");
 537 #else
 538   // mask the new child value into the existing one
 539     updateOctreeChildren = prepare("UPDATE octree SET children=(?2 | children) WHERE rowid=?1");
 540 #endif
 541
 542   // define a new octree node (with no children)
 543     insertOctree = prepare("INSERT INTO octree (rowid, children) VALUES (?1, 0)");
 544
 545     getOctreeLeafChildren = prepare("SELECT rowid, type FROM positioned WHERE octree_node=?1");
 546
 547     searchAirports = prepare("SELECT ident, name FROM positioned WHERE (name LIKE ?1 OR ident LIKE ?1) " AND_TYPED);
 548     sqlite3_bind_int(searchAirports, 2, FGPositioned::AIRPORT);
 549     sqlite3_bind_int(searchAirports, 3, FGPositioned::SEAPORT);
 550
 551     getAirportItemByIdent = prepare("SELECT rowid FROM positioned WHERE airport=?1 AND ident=?2 AND type=?3");
 552
 553     findAirportRunway = prepare("SELECT airport, rowid FROM positioned WHERE ident=?2 AND type=?3 AND airport="
 554                                 "(SELECT rowid FROM positioned WHERE type=?4 AND ident=?1)");
 555     sqlite3_bind_int(findAirportRunway, 3, FGPositioned::RUNWAY);
 556     sqlite3_bind_int(findAirportRunway, 4, FGPositioned::AIRPORT);
 557
 558     // three-way join to get the navaid ident and runway ident in a single select.
 559     // we're joining positioned to itself by the navaid runway, with the complication
 560     // that we need to join the navaids table to get the runway ID.
 561     // we also need to filter by type to excluse glideslope (GS) matches
 562     findILS = prepare("SELECT nav.rowid FROM positioned AS nav, positioned AS rwy, navaid WHERE "
 563                       "nav.ident=?1 AND nav.airport=?2 AND rwy.ident=?3 "
 564                       "AND rwy.rowid = navaid.runway AND navaid.rowid=nav.rowid "
 565                       "AND (nav.type=?4 OR nav.type=?5)");
 566
 567     sqlite3_bind_int(findILS, 4, FGPositioned::ILS);
 568     sqlite3_bind_int(findILS, 5, FGPositioned::LOC);
 569
 570     findAirway = prepare("SELECT rowid FROM airway WHERE network=?1 AND ident=?2");
 571     insertAirway = prepare("INSERT INTO airway (ident, network) "
 572                            "VALUES (?1, ?2)");
 573
 574     insertAirwayEdge = prepare("INSERT INTO airway_edge (network, airway, a, b) "
 575                                "VALUES (?1, ?2, ?3, ?4)");
 576
 577     isPosInAirway = prepare("SELECT rowid FROM airway_edge WHERE network=?1 AND a=?2");
 578
 579     airwayEdgesFrom = prepare("SELECT airway, b FROM airway_edge WHERE network=?1 AND a=?2");
 580   }
 581
 582   void writeIntProperty(const string& key, int value)
 583   {
 584     sqlite_bind_stdstring(writePropertyQuery, 1, key);
 585     sqlite3_bind_int(writePropertyQuery, 2, value);
 586     execSelect(writePropertyQuery);
 587   }
 588
 589
 590   FGPositioned* loadFromStmt(sqlite3_stmt_ptr query);
 591
 592   FGAirport* loadAirport(sqlite_int64 rowId,
 593                          FGPositioned::Type ty,
 594                          const string& id, const string& name, const SGGeod& pos)
 595   {
 596     reset(loadAirportStmt);
 597     sqlite3_bind_int64(loadAirportStmt, 1, rowId);
 598     execSelect1(loadAirportStmt);
 599     bool hasMetar = sqlite3_column_int(loadAirportStmt, 0);
 600     return new FGAirport(rowId, id, pos, name, hasMetar, ty);
 601   }
 602
 603   FGRunwayBase* loadRunway(sqlite3_int64 rowId, FGPositioned::Type ty,
 604                            const string& id, const SGGeod& pos, PositionedID apt)
 605   {
 606     reset(loadRunwayStmt);
 607     sqlite3_bind_int(loadRunwayStmt, 1, rowId);
 608     execSelect1(loadRunwayStmt);
 609
 610     double heading = sqlite3_column_double(loadRunwayStmt, 0);
 611     double lengthM = sqlite3_column_int(loadRunwayStmt, 1);
 612     double widthM = sqlite3_column_double(loadRunwayStmt, 2);
 613     int surface = sqlite3_column_int(loadRunwayStmt, 3);
 614
 615     if (ty == FGPositioned::TAXIWAY) {
 616       return new FGTaxiway(rowId, id, pos, heading, lengthM, widthM, surface);
 617     } else {
 618       double displacedThreshold = sqlite3_column_double(loadRunwayStmt, 4);
 619       double stopway = sqlite3_column_double(loadRunwayStmt, 5);
 620       PositionedID reciprocal = sqlite3_column_int64(loadRunwayStmt, 6);
 621       PositionedID ils = sqlite3_column_int64(loadRunwayStmt, 7);
 622       FGRunway* r = new FGRunway(rowId, apt, id, pos, heading, lengthM, widthM,
 623                           displacedThreshold, stopway, surface, false);
 624
 625       if (reciprocal > 0) {
 626         r->setReciprocalRunway(reciprocal);
 627       }
 628
 629       if (ils > 0) {
 630         r->setILS(ils);
 631       }
 632
 633       return r;
 634     }
 635   }
 636
 637   CommStation* loadComm(sqlite3_int64 rowId, FGPositioned::Type ty,
 638                         const string& id, const string& name,
 639                         const SGGeod& pos,
 640                         PositionedID airport)
 641   {
 642     reset(loadCommStation);
 643     sqlite3_bind_int64(loadCommStation, 1, rowId);
 644     execSelect1(loadCommStation);
 645
 646     int range = sqlite3_column_int(loadCommStation, 0);
 647     int freqKhz = sqlite3_column_int(loadCommStation, 1);
 648
 649     CommStation* c = new CommStation(rowId, name, ty, pos, freqKhz, range);
 650     c->setAirport(airport);
 651     return c;
 652   }
 653
 654   FGPositioned* loadNav(sqlite3_int64 rowId,
 655                        FGPositioned::Type ty, const string& id,
 656                        const string& name, const SGGeod& pos)
 657   {
 658     reset(loadNavaid);
 659     sqlite3_bind_int64(loadNavaid, 1, rowId);
 660     execSelect1(loadNavaid);
 661
 662     PositionedID runway = sqlite3_column_int64(loadNavaid, 3);
 663     // marker beacons are light-weight
 664     if ((ty == FGPositioned::OM) || (ty == FGPositioned::IM) ||
 665         (ty == FGPositioned::MM))
 666     {
 667       return new FGMarkerBeaconRecord(rowId, ty, runway, pos);
 668     }
 669
 670     int rangeNm = sqlite3_column_int(loadNavaid, 0),
 671       freq = sqlite3_column_int(loadNavaid, 1);
 672     double mulituse = sqlite3_column_double(loadNavaid, 2);
 673     //sqlite3_int64 colocated = sqlite3_column_int64(loadNavaid, 4);
 674
 675     return new FGNavRecord(rowId, ty, id, name, pos, freq, rangeNm, mulituse, runway);
 676   }
 677
 678   PositionedID insertPositioned(FGPositioned::Type ty, const string& ident,
 679                                 const string& name, const SGGeod& pos, PositionedID apt,
 680                                 bool spatialIndex)
 681   {
 682     SGVec3d cartPos(SGVec3d::fromGeod(pos));
 683
 684     reset(insertPositionedQuery);
 685     sqlite3_bind_int(insertPositionedQuery, 1, ty);
 686     sqlite_bind_stdstring(insertPositionedQuery, 2, ident);
 687     sqlite_bind_stdstring(insertPositionedQuery, 3, name);
 688     sqlite3_bind_int64(insertPositionedQuery, 4, apt);
 689     sqlite3_bind_double(insertPositionedQuery, 5, pos.getLongitudeDeg());
 690     sqlite3_bind_double(insertPositionedQuery, 6, pos.getLatitudeDeg());
 691     sqlite3_bind_double(insertPositionedQuery, 7, pos.getElevationM());
 692
 693     if (spatialIndex) {
 694       Octree::Leaf* octreeLeaf = Octree::global_spatialOctree->findLeafForPos(cartPos);
 695       assert(intersects(octreeLeaf->bbox(), cartPos));
 696       sqlite3_bind_int64(insertPositionedQuery, 8, octreeLeaf->guid());
 697     } else {
 698       sqlite3_bind_null(insertPositionedQuery, 8);
 699     }
 700
 701     sqlite3_bind_double(insertPositionedQuery, 9, cartPos.x());
 702     sqlite3_bind_double(insertPositionedQuery, 10, cartPos.y());
 703     sqlite3_bind_double(insertPositionedQuery, 11, cartPos.z());
 704
 705     PositionedID r = execInsert(insertPositionedQuery);
 706     return r;
 707   }
 708
 709   FGPositioned::List findAllByString(const string& s, const string& column,
 710                                      FGPositioned::Filter* filter, bool exact)
 711   {
 712     string query = s;
 713     if (!exact) query += "*";
 714
 715   // build up SQL query text
 716     string matchTerm = exact ? "=?1" : " LIKE ?1";
 717     string sql = "SELECT rowid FROM positioned WHERE " + column + matchTerm;
 718     if (filter) {
 719       sql += AND_TYPED;
 720     }
 721
 722   // find or prepare a suitable statement frrm the SQL
 723     sqlite3_stmt_ptr stmt = findByStringDict[sql];
 724     if (!stmt) {
 725       stmt = prepare(sql);
 726       findByStringDict[sql] = stmt;
 727     }
 728
 729     reset(stmt);
 730     sqlite_bind_stdstring(stmt, 1, query);
 731     if (filter) {
 732       sqlite3_bind_int(stmt, 2, filter->minType());
 733       sqlite3_bind_int(stmt, 3, filter->maxType());
 734     }
 735
 736     FGPositioned::List result;
 737   // run the prepared SQL
 738     while (stepSelect(stmt))
 739     {
 740       FGPositioned* pos = outer->loadById(sqlite3_column_int64(stmt, 0));
 741       if (filter && !filter->pass(pos)) {
 742         continue;
 743       }
 744
 745       result.push_back(pos);
 746     }
 747
 748     return result;
 749   }
 750
 751   PositionedIDVec selectIds(sqlite3_stmt_ptr query)
 752   {
 753     PositionedIDVec result;
 754     while (stepSelect(query)) {
 755       result.push_back(sqlite3_column_int64(query, 0));
 756     }
 757     return result;
 758   }
 759
 760   double runwayLengthFt(PositionedID rwy)
 761   {
 762     reset(runwayLengthFtQuery);
 763     sqlite3_bind_int64(runwayLengthFtQuery, 1, rwy);
 764     execSelect1(runwayLengthFtQuery);
 765     return sqlite3_column_double(runwayLengthFtQuery, 0);
 766   }
 767
 768   void flushDeferredOctreeUpdates()
 769   {
 770     BOOST_FOREACH(Octree::Branch* nd, deferredOctreeUpdates) {
 771       reset(updateOctreeChildren);
 772       sqlite3_bind_int64(updateOctreeChildren, 1, nd->guid());
 773       sqlite3_bind_int(updateOctreeChildren, 2, nd->childMask());
 774       execUpdate(updateOctreeChildren);
 775     }
 776
 777     deferredOctreeUpdates.clear();
 778   }
 779
 780   NavDataCache* outer;
 781   sqlite3* db;
 782   SGPath path;
 783
 784   /// the actual cache of ID -> instances. This holds an owning reference,
 785   /// so once items are in the cache they will never be deleted until
 786   /// the cache drops its reference
 787   PositionedCache cache;
 788   unsigned int cacheHits, cacheMisses;
 789
 790   SGPath aptDatPath, metarDatPath, navDatPath, fixDatPath,
 791   carrierDatPath, airwayDatPath;
 792
 793   sqlite3_stmt_ptr readPropertyQuery, writePropertyQuery,
 794     stampFileCache, statCacheCheck,
 795     loadAirportStmt, loadCommStation, loadPositioned, loadNavaid,
 796     loadRunwayStmt;
 797   sqlite3_stmt_ptr writePropertyMulti, clearProperty;
 798
 799   sqlite3_stmt_ptr insertPositionedQuery, insertAirport, insertTower, insertRunway,
 800   insertCommStation, insertNavaid;
 801   sqlite3_stmt_ptr setAirportMetar, setRunwayReciprocal, setRunwayILS,
 802     setAirportPos, updateRunwayThreshold, updateILS;
 803
 804   sqlite3_stmt_ptr findClosestWithIdent;
 805 // octree (spatial index) related queries
 806   sqlite3_stmt_ptr getOctreeChildren, insertOctree, updateOctreeChildren,
 807     getOctreeLeafChildren;
 808
 809   sqlite3_stmt_ptr searchAirports;
 810   sqlite3_stmt_ptr findCommByFreq, findNavsByFreq,
 811   findNavsByFreqNoPos;
 812   sqlite3_stmt_ptr getAirportItems, getAirportItemByIdent;
 813   sqlite3_stmt_ptr findAirportRunway,
 814     findILS;
 815
 816   sqlite3_stmt_ptr runwayLengthFtQuery;
 817
 818 // airways
 819   sqlite3_stmt_ptr findAirway, insertAirwayEdge, isPosInAirway, airwayEdgesFrom,
 820   insertAirway;
 821
 822 // since there's many permutations of ident/name queries, we create
 823 // them programtically, but cache the exact query by its raw SQL once
 824 // used.
 825   std::map<string, sqlite3_stmt_ptr> findByStringDict;
 826
 827   typedef std::vector<sqlite3_stmt_ptr> StmtVec;
 828   StmtVec prepared;
 829
 830   std::set<Octree::Branch*> deferredOctreeUpdates;
 831
 832   // if we're performing a rebuild, the thread that is doing the work.
 833   // otherwise, NULL
 834   std::auto_ptr<RebuildThread> rebuilder;
 835 };
 836
 837   //////////////////////////////////////////////////////////////////////
 838
 839 FGPositioned* NavDataCache::NavDataCachePrivate::loadFromStmt(sqlite3_stmt_ptr query)
 840 {
 841   execSelect1(query);
 842   sqlite3_int64 rowid = sqlite3_column_int64(query, 0);
 843   FGPositioned::Type ty = (FGPositioned::Type) sqlite3_column_int(query, 1);
 844
 845   string ident = (char*) sqlite3_column_text(query, 2);
 846   string name = (char*) sqlite3_column_text(query, 3);
 847   sqlite3_int64 aptId = sqlite3_column_int64(query, 4);
 848   double lon = sqlite3_column_double(query, 5);
 849   double lat = sqlite3_column_double(query, 6);
 850   double elev = sqlite3_column_double(query, 7);
 851   SGGeod pos = SGGeod::fromDegM(lon, lat, elev);
 852
 853   switch (ty) {
 854     case FGPositioned::AIRPORT:
 855     case FGPositioned::SEAPORT:
 856     case FGPositioned::HELIPORT:
 857       return loadAirport(rowid, ty, ident, name, pos);
 858
 859     case FGPositioned::TOWER:
 860       return new AirportTower(rowid, aptId, ident, pos);
 861
 862     case FGPositioned::RUNWAY:
 863     case FGPositioned::TAXIWAY:
 864       return loadRunway(rowid, ty, ident, pos, aptId);
 865
 866     case FGPositioned::LOC:
 867     case FGPositioned::VOR:
 868     case FGPositioned::GS:
 869     case FGPositioned::ILS:
 870     case FGPositioned::NDB:
 871     case FGPositioned::OM:
 872     case FGPositioned::MM:
 873     case FGPositioned::IM:
 874     case FGPositioned::DME:
 875     case FGPositioned::TACAN:
 876     case FGPositioned::MOBILE_TACAN:
 877     {
 878       if (aptId > 0) {
 879         FGAirport* apt = (FGAirport*) outer->loadById(aptId);
 880         if (apt->validateILSData()) {
 881           SG_LOG(SG_NAVCACHE, SG_INFO, "re-loaded ILS data for " << apt->ident());
 882           // queried data above is probably invalid, force us to go around again
 883           // (the next time through, validateILSData will return false)
 884           return outer->loadById(rowid);
 885         }
 886       }
 887
 888       return loadNav(rowid, ty, ident, name, pos);
 889     }
 890
 891     case FGPositioned::FIX:
 892       return new FGFix(rowid, ident, pos);
 893
 894     case FGPositioned::WAYPOINT:
 895     {
 896       FGPositioned* wpt = new FGPositioned(rowid, FGPositioned::WAYPOINT, ident, pos);
 897       return wpt;
 898     }
 899
 900     case FGPositioned::FREQ_GROUND:
 901     case FGPositioned::FREQ_TOWER:
 902     case FGPositioned::FREQ_ATIS:
 903     case FGPositioned::FREQ_AWOS:
 904     case FGPositioned::FREQ_APP_DEP:
 905     case FGPositioned::FREQ_ENROUTE:
 906     case FGPositioned::FREQ_CLEARANCE:
 907     case FGPositioned::FREQ_UNICOM:
 908       return loadComm(rowid, ty, ident, name, pos, aptId);
 909
 910     default:
 911       return NULL;
 912   }
 913 }
 914
 915
 916 static NavDataCache* static_instance = NULL;
 917
 918 NavDataCache::NavDataCache()
 919 {
 920   const int MAX_TRIES = 3;
 921   SGPath homePath(globals->get_fg_home());
 922   homePath.append("navdata.cache");
 923
 924   for (int t=0; t < MAX_TRIES; ++t) {
 925     try {
 926       d.reset(new NavDataCachePrivate(homePath, this));
 927       d->init();
 928       //d->checkCacheFile();
 929     // reached this point with no exception, success
 930       break;
 931     } catch (sg_exception& e) {
 932       SG_LOG(SG_NAVCACHE, t == 0 ? SG_WARN : SG_ALERT, "NavCache: init failed:" << e.what()
 933              << " (attempt " << t << ")");
 934       d.reset();
 935       homePath.remove();
 936     }
 937   } // of retry loop
 938
 939   double RADIUS_EARTH_M = 7000 * 1000.0; // 7000km is plenty
 940   SGVec3d earthExtent(RADIUS_EARTH_M, RADIUS_EARTH_M, RADIUS_EARTH_M);
 941   Octree::global_spatialOctree =
 942     new Octree::Branch(SGBox<double>(-earthExtent, earthExtent), 1);
 943
 944   d->aptDatPath = SGPath(globals->get_fg_root());
 945   d->aptDatPath.append("Airports/apt.dat.gz");
 946
 947   d->metarDatPath = SGPath(globals->get_fg_root());
 948   d->metarDatPath.append("Airports/metar.dat.gz");
 949
 950   d->navDatPath = SGPath(globals->get_fg_root());
 951   d->navDatPath.append("Navaids/nav.dat.gz");
 952
 953   d->fixDatPath = SGPath(globals->get_fg_root());
 954   d->fixDatPath.append("Navaids/fix.dat.gz");
 955
 956   d->carrierDatPath = SGPath(globals->get_fg_root());
 957   d->carrierDatPath.append("Navaids/carrier_nav.dat.gz");
 958
 959   d->airwayDatPath = SGPath(globals->get_fg_root());
 960   d->airwayDatPath.append("Navaids/awy.dat.gz");
 961 }
 962
 963 NavDataCache::~NavDataCache()
 964 {
 965   assert(static_instance == this);
 966   static_instance = NULL;
 967   SG_LOG(SG_NAVCACHE, SG_INFO, "closing the navcache");
 968   d.reset();
 969 }
 970
 971 NavDataCache* NavDataCache::instance()
 972 {
 973   if (!static_instance) {
 974     static_instance = new NavDataCache;
 975   }
 976
 977   return static_instance;
 978 }
 979
 980 bool NavDataCache::isRebuildRequired()
 981 {
 982   if (isCachedFileModified(d->aptDatPath) ||
 983       isCachedFileModified(d->metarDatPath) ||
 984       isCachedFileModified(d->navDatPath) ||
 985       isCachedFileModified(d->fixDatPath) ||
 986       isCachedFileModified(d->airwayDatPath))
 987   {
 988     SG_LOG(SG_NAVCACHE, SG_INFO, "NavCache: rebuild required");
 989     return true;
 990   }
 991
 992   SG_LOG(SG_NAVCACHE, SG_INFO, "NavCache: no rebuild required");
 993   return false;
 994 }
 995
 996 bool NavDataCache::rebuild()
 997 {
 998   if (!d->rebuilder.get()) {
 999     d->rebuilder.reset(new RebuildThread(this));
1000     d->rebuilder->start();
1001   }
1002
1003 // poll the rebuild thread
1004   bool fin = d->rebuilder->isFinished();
1005   if (fin) {
1006     d->rebuilder.reset(); // all done!
1007   }
1008   return fin;
1009 }
1010
1011 void NavDataCache::doRebuild()
1012 {
1013   try {
1014     d->runSQL("BEGIN");
1015     d->runSQL("DELETE FROM positioned");
1016     d->runSQL("DELETE FROM airport");
1017     d->runSQL("DELETE FROM runway");
1018     d->runSQL("DELETE FROM navaid");
1019     d->runSQL("DELETE FROM comm");
1020     d->runSQL("DELETE FROM octree");
1021     d->runSQL("DELETE FROM airway");
1022     d->runSQL("DELETE FROM airway_edge");
1023
1024   // initialise the root octree node
1025     d->runSQL("INSERT INTO octree (rowid, children) VALUES (1, 0)");
1026
1027     SGTimeStamp st;
1028     st.stamp();
1029
1030     airportDBLoad(d->aptDatPath);
1031     SG_LOG(SG_NAVCACHE, SG_INFO, "apt.dat load took:" << st.elapsedMSec());
1032
1033     metarDataLoad(d->metarDatPath);
1034     stampCacheFile(d->aptDatPath);
1035     stampCacheFile(d->metarDatPath);
1036
1037     st.stamp();
1038     loadFixes(d->fixDatPath);
1039     stampCacheFile(d->fixDatPath);
1040     SG_LOG(SG_NAVCACHE, SG_INFO, "fix.dat load took:" << st.elapsedMSec());
1041
1042     st.stamp();
1043     navDBInit(d->navDatPath);
1044     stampCacheFile(d->navDatPath);
1045     SG_LOG(SG_NAVCACHE, SG_INFO, "nav.dat load took:" << st.elapsedMSec());
1046
1047     loadCarrierNav(d->carrierDatPath);
1048     stampCacheFile(d->carrierDatPath);
1049
1050     st.stamp();
1051     Airway::load(d->airwayDatPath);
1052     stampCacheFile(d->airwayDatPath);
1053     SG_LOG(SG_NAVCACHE, SG_INFO, "awy.dat load took:" << st.elapsedMSec());
1054
1055     d->flushDeferredOctreeUpdates();
1056
1057     d->runSQL("COMMIT");
1058   } catch (sg_exception& e) {
1059     SG_LOG(SG_NAVCACHE, SG_ALERT, "caught exception rebuilding navCache:" << e.what());
1060   // abandon the DB transation completely
1061     d->runSQL("ROLLBACK");
1062   }
1063 }
1064
1065 int NavDataCache::readIntProperty(const string& key)
1066 {
1067   d->reset(d->readPropertyQuery);
1068   sqlite_bind_stdstring(d->readPropertyQuery, 1, key);
1069
1070   if (d->execSelect(d->readPropertyQuery)) {
1071     return sqlite3_column_int(d->readPropertyQuery, 0);
1072   } else {
1073     SG_LOG(SG_NAVCACHE, SG_WARN, "readIntProperty: unknown:" << key);
1074     return 0; // no such property
1075   }
1076 }
1077
1078 double NavDataCache::readDoubleProperty(const string& key)
1079 {
1080   d->reset(d->readPropertyQuery);
1081   sqlite_bind_stdstring(d->readPropertyQuery, 1, key);
1082   if (d->execSelect(d->readPropertyQuery)) {
1083     return sqlite3_column_double(d->readPropertyQuery, 0);
1084   } else {
1085     SG_LOG(SG_NAVCACHE, SG_WARN, "readDoubleProperty: unknown:" << key);
1086     return 0.0; // no such property
1087   }
1088 }
1089
1090 string NavDataCache::readStringProperty(const string& key)
1091 {
1092   d->reset(d->readPropertyQuery);
1093   sqlite_bind_stdstring(d->readPropertyQuery, 1, key);
1094   if (d->execSelect(d->readPropertyQuery)) {
1095     return (char*) sqlite3_column_text(d->readPropertyQuery, 0);
1096   } else {
1097     SG_LOG(SG_NAVCACHE, SG_WARN, "readStringProperty: unknown:" << key);
1098     return string(); // no such property
1099   }
1100 }
1101
1102 void NavDataCache::writeIntProperty(const string& key, int value)
1103 {
1104   d->writeIntProperty(key, value);
1105 }
1106
1107 void NavDataCache::writeStringProperty(const string& key, const string& value)
1108 {
1109   d->reset(d->writePropertyQuery);
1110   sqlite_bind_stdstring(d->writePropertyQuery, 1, key);
1111   sqlite_bind_stdstring(d->writePropertyQuery, 2, value);
1112   d->execSelect(d->writePropertyQuery);
1113 }
1114
1115 void NavDataCache::writeDoubleProperty(const string& key, const double& value)
1116 {
1117   d->reset(d->writePropertyQuery);
1118   sqlite_bind_stdstring(d->writePropertyQuery, 1, key);
1119   sqlite3_bind_double(d->writePropertyQuery, 2, value);
1120   d->execSelect(d->writePropertyQuery);
1121 }
1122
1123 string_list NavDataCache::readStringListProperty(const string& key)
1124 {
1125   d->reset(d->readPropertyQuery);
1126   sqlite_bind_stdstring(d->readPropertyQuery, 1, key);
1127   string_list result;
1128   while (d->stepSelect(d->readPropertyQuery)) {
1129     result.push_back((char*) sqlite3_column_text(d->readPropertyQuery, 0));
1130   }
1131
1132   return result;
1133 }
1134
1135 void NavDataCache::writeStringListProperty(const string& key, const string_list& values)
1136 {
1137   d->reset(d->clearProperty);
1138   sqlite_bind_stdstring(d->clearProperty, 1, key);
1139   d->execUpdate(d->clearProperty);
1140
1141   BOOST_FOREACH(string value, values) {
1142     d->reset(d->writePropertyMulti);
1143     sqlite_bind_stdstring(d->writePropertyMulti, 1, key);
1144     sqlite_bind_stdstring(d->writePropertyMulti, 2, value);
1145     d->execInsert(d->writePropertyMulti);
1146   }
1147 }
1148
1149 bool NavDataCache::isCachedFileModified(const SGPath& path) const
1150 {
1151   if (!path.exists()) {
1152     throw sg_io_exception("isCachedFileModified: Missing file:" + path.str());
1153   }
1154
1155   d->reset(d->statCacheCheck);
1156   sqlite_bind_temp_stdstring(d->statCacheCheck, 1, path.str());
1157   if (d->execSelect(d->statCacheCheck)) {
1158     time_t modtime = sqlite3_column_int64(d->statCacheCheck, 0);
1159     return (modtime != path.modTime());
1160   } else {
1161     return true;
1162   }
1163 }
1164
1165 void NavDataCache::stampCacheFile(const SGPath& path)
1166 {
1167   d->reset(d->stampFileCache);
1168   sqlite_bind_temp_stdstring(d->stampFileCache, 1, path.str());
1169   sqlite3_bind_int64(d->stampFileCache, 2, path.modTime());
1170   d->execInsert(d->stampFileCache);
1171 }
1172
1173
1174 FGPositioned* NavDataCache::loadById(PositionedID rowid)
1175 {
1176   if (rowid == 0) {
1177     return NULL;
1178   }
1179
1180   PositionedCache::iterator it = d->cache.find(rowid);
1181   if (it != d->cache.end()) {
1182     d->cacheHits++;
1183     return it->second; // cache it
1184   }
1185
1186   d->reset(d->loadPositioned);
1187   sqlite3_bind_int64(d->loadPositioned, 1, rowid);
1188   FGPositioned* pos = d->loadFromStmt(d->loadPositioned);
1189
1190   d->cache.insert(it, PositionedCache::value_type(rowid, pos));
1191   d->cacheMisses++;
1192
1193   return pos;
1194 }
1195
1196 PositionedID NavDataCache::insertAirport(FGPositioned::Type ty, const string& ident,
1197                                          const string& name)
1198 {
1199   // airports have their pos computed based on the avergae runway centres
1200   // so the pos isn't available immediately. Pass a dummy pos and avoid
1201   // doing spatial indexing until later
1202   sqlite3_int64 rowId = d->insertPositioned(ty, ident, name, SGGeod(),
1203                                             0 /* airport */,
1204                                             false /* spatial index */);
1205
1206   d->reset(d->insertAirport);
1207   sqlite3_bind_int64(d->insertAirport, 1, rowId);
1208   d->execInsert(d->insertAirport);
1209
1210   return rowId;
1211 }
1212
1213 void NavDataCache::updatePosition(PositionedID item, const SGGeod &pos)
1214 {
1215   SGVec3d cartPos(SGVec3d::fromGeod(pos));
1216
1217   d->reset(d->setAirportPos);
1218   sqlite3_bind_int(d->setAirportPos, 1, item);
1219   sqlite3_bind_double(d->setAirportPos, 2, pos.getLongitudeDeg());
1220   sqlite3_bind_double(d->setAirportPos, 3, pos.getLatitudeDeg());
1221   sqlite3_bind_double(d->setAirportPos, 4, pos.getElevationM());
1222
1223   Octree::Leaf* octreeLeaf = Octree::global_spatialOctree->findLeafForPos(cartPos);
1224   sqlite3_bind_int64(d->setAirportPos, 5, octreeLeaf->guid());
1225
1226   sqlite3_bind_double(d->setAirportPos, 6, cartPos.x());
1227   sqlite3_bind_double(d->setAirportPos, 7, cartPos.y());
1228   sqlite3_bind_double(d->setAirportPos, 8, cartPos.z());
1229
1230
1231   d->execUpdate(d->setAirportPos);
1232 }
1233
1234 void NavDataCache::insertTower(PositionedID airportId, const SGGeod& pos)
1235 {
1236   d->insertPositioned(FGPositioned::TOWER, string(), string(),
1237                       pos, airportId, true /* spatial index */);
1238 }
1239
1240 PositionedID
1241 NavDataCache::insertRunway(FGPositioned::Type ty, const string& ident,
1242                            const SGGeod& pos, PositionedID apt,
1243                            double heading, double length, double width, double displacedThreshold,
1244                            double stopway, int surfaceCode)
1245 {
1246   // only runways are spatially indexed; don't bother indexing taxiways
1247   // or pavements
1248   bool spatialIndex = (ty == FGPositioned::RUNWAY);
1249
1250   sqlite3_int64 rowId = d->insertPositioned(ty, cleanRunwayNo(ident), "", pos, apt,
1251                                             spatialIndex);
1252   d->reset(d->insertRunway);
1253   sqlite3_bind_int64(d->insertRunway, 1, rowId);
1254   sqlite3_bind_double(d->insertRunway, 2, heading);
1255   sqlite3_bind_double(d->insertRunway, 3, length);
1256   sqlite3_bind_double(d->insertRunway, 4, width);
1257   sqlite3_bind_int(d->insertRunway, 5, surfaceCode);
1258   sqlite3_bind_double(d->insertRunway, 6, displacedThreshold);
1259   sqlite3_bind_double(d->insertRunway, 7, stopway);
1260
1261   return d->execInsert(d->insertRunway);
1262 }
1263
1264 void NavDataCache::setRunwayReciprocal(PositionedID runway, PositionedID recip)
1265 {
1266   d->reset(d->setRunwayReciprocal);
1267   sqlite3_bind_int64(d->setRunwayReciprocal, 1, runway);
1268   sqlite3_bind_int64(d->setRunwayReciprocal, 2, recip);
1269   d->execUpdate(d->setRunwayReciprocal);
1270
1271 // and the opposite direction too!
1272   d->reset(d->setRunwayReciprocal);
1273   sqlite3_bind_int64(d->setRunwayReciprocal, 2, runway);
1274   sqlite3_bind_int64(d->setRunwayReciprocal, 1, recip);
1275   d->execUpdate(d->setRunwayReciprocal);
1276 }
1277
1278 void NavDataCache::setRunwayILS(PositionedID runway, PositionedID ils)
1279 {
1280   d->reset(d->setRunwayILS);
1281   sqlite3_bind_int64(d->setRunwayILS, 1, runway);
1282   sqlite3_bind_int64(d->setRunwayILS, 2, ils);
1283   d->execUpdate(d->setRunwayILS);
1284 }
1285
1286 void NavDataCache::updateRunwayThreshold(PositionedID runwayID, const SGGeod &aThreshold,
1287                                   double aHeading, double aDisplacedThreshold,
1288                                   double aStopway)
1289 {
1290 // update the runway information
1291   d->reset(d->updateRunwayThreshold);
1292   sqlite3_bind_int64(d->updateRunwayThreshold, 1, runwayID);
1293   sqlite3_bind_double(d->updateRunwayThreshold, 2, aHeading);
1294   sqlite3_bind_double(d->updateRunwayThreshold, 3, aDisplacedThreshold);
1295   sqlite3_bind_double(d->updateRunwayThreshold, 4, aStopway);
1296   d->execUpdate(d->updateRunwayThreshold);
1297
1298 // compute the new runway center, based on the threshold lat/lon and length,
1299   double offsetFt = (0.5 * d->runwayLengthFt(runwayID));
1300   SGGeod newCenter;
1301   double dummy;
1302   SGGeodesy::direct(aThreshold, aHeading, offsetFt * SG_FEET_TO_METER, newCenter, dummy);
1303
1304 // now update the positional data
1305   updatePosition(runwayID, newCenter);
1306 }
1307
1308 PositionedID
1309 NavDataCache::insertNavaid(FGPositioned::Type ty, const string& ident,
1310                           const string& name, const SGGeod& pos,
1311                            int freq, int range, double multiuse,
1312                            PositionedID apt, PositionedID runway)
1313 {
1314   bool spatialIndex = true;
1315   if (ty == FGPositioned::MOBILE_TACAN) {
1316     spatialIndex = false;
1317   }
1318
1319   sqlite3_int64 rowId = d->insertPositioned(ty, ident, name, pos, apt,
1320                                             spatialIndex);
1321   d->reset(d->insertNavaid);
1322   sqlite3_bind_int64(d->insertNavaid, 1, rowId);
1323   sqlite3_bind_int(d->insertNavaid, 2, freq);
1324   sqlite3_bind_int(d->insertNavaid, 3, range);
1325   sqlite3_bind_double(d->insertNavaid, 4, multiuse);
1326   sqlite3_bind_int64(d->insertNavaid, 5, runway);
1327   return d->execInsert(d->insertNavaid);
1328 }
1329
1330 void NavDataCache::updateILS(PositionedID ils, const SGGeod& newPos, double aHdg)
1331 {
1332   d->reset(d->updateILS);
1333   sqlite3_bind_int64(d->updateILS, 1, ils);
1334   sqlite3_bind_double(d->updateILS, 2, aHdg);
1335   d->execUpdate(d->updateILS);
1336   updatePosition(ils, newPos);
1337 }
1338
1339 PositionedID NavDataCache::insertCommStation(FGPositioned::Type ty,
1340                                              const string& name, const SGGeod& pos, int freq, int range,
1341                                              PositionedID apt)
1342 {
1343   sqlite3_int64 rowId = d->insertPositioned(ty, "", name, pos, apt, true);
1344   d->reset(d->insertCommStation);
1345   sqlite3_bind_int64(d->insertCommStation, 1, rowId);
1346   sqlite3_bind_int(d->insertCommStation, 2, freq);
1347   sqlite3_bind_int(d->insertCommStation, 3, range);
1348   return d->execInsert(d->insertCommStation);
1349 }
1350
1351 PositionedID NavDataCache::insertFix(const std::string& ident, const SGGeod& aPos)
1352 {
1353   return d->insertPositioned(FGPositioned::FIX, ident, string(), aPos, 0, true);
1354 }
1355
1356 PositionedID NavDataCache::createUserWaypoint(const std::string& ident, const SGGeod& aPos)
1357 {
1358   return d->insertPositioned(FGPositioned::WAYPOINT, ident, string(), aPos, 0,
1359                              true /* spatial index */);
1360 }
1361
1362 void NavDataCache::setAirportMetar(const string& icao, bool hasMetar)
1363 {
1364   d->reset(d->setAirportMetar);
1365   sqlite_bind_stdstring(d->setAirportMetar, 1, icao);
1366   sqlite3_bind_int(d->setAirportMetar, 2, hasMetar);
1367   d->execUpdate(d->setAirportMetar);
1368 }
1369
1370 FGPositioned::List NavDataCache::findAllWithIdent(const string& s,
1371                                                   FGPositioned::Filter* filter, bool exact)
1372 {
1373   return d->findAllByString(s, "ident", filter, exact);
1374 }
1375
1376 FGPositioned::List NavDataCache::findAllWithName(const string& s,
1377                                                   FGPositioned::Filter* filter, bool exact)
1378 {
1379   return d->findAllByString(s, "name", filter, exact);
1380 }
1381
1382 FGPositionedRef NavDataCache::findClosestWithIdent(const string& aIdent,
1383                                                    const SGGeod& aPos, FGPositioned::Filter* aFilter)
1384 {
1385   d->reset(d->findClosestWithIdent);
1386   sqlite_bind_stdstring(d->findClosestWithIdent, 1, aIdent);
1387   if (aFilter) {
1388     sqlite3_bind_int(d->findClosestWithIdent, 2, aFilter->minType());
1389     sqlite3_bind_int(d->findClosestWithIdent, 3, aFilter->maxType());
1390   } else { // full type range
1391     sqlite3_bind_int(d->findClosestWithIdent, 2, FGPositioned::INVALID);
1392     sqlite3_bind_int(d->findClosestWithIdent, 3, FGPositioned::LAST_TYPE);
1393   }
1394
1395   SGVec3d cartPos(SGVec3d::fromGeod(aPos));
1396   sqlite3_bind_double(d->findClosestWithIdent, 4, cartPos.x());
1397   sqlite3_bind_double(d->findClosestWithIdent, 5, cartPos.y());
1398   sqlite3_bind_double(d->findClosestWithIdent, 6, cartPos.z());
1399
1400   while (d->stepSelect(d->findClosestWithIdent)) {
1401     FGPositioned* pos = loadById(sqlite3_column_int64(d->findClosestWithIdent, 0));
1402     if (aFilter && !aFilter->pass(pos)) {
1403       continue;
1404     }
1405
1406     return pos;
1407   }
1408
1409   return NULL; // no matches at all
1410 }
1411
1412
1413 int NavDataCache::getOctreeBranchChildren(int64_t octreeNodeId)
1414 {
1415   d->reset(d->getOctreeChildren);
1416   sqlite3_bind_int64(d->getOctreeChildren, 1, octreeNodeId);
1417   d->execSelect1(d->getOctreeChildren);
1418   return sqlite3_column_int(d->getOctreeChildren, 0);
1419 }
1420
1421 void NavDataCache::defineOctreeNode(Octree::Branch* pr, Octree::Node* nd)
1422 {
1423   d->reset(d->insertOctree);
1424   sqlite3_bind_int64(d->insertOctree, 1, nd->guid());
1425   d->execInsert(d->insertOctree);
1426
1427 #ifdef LAZY_OCTREE_UPDATES
1428   d->deferredOctreeUpdates.insert(pr);
1429 #else
1430   // lowest three bits of node ID are 0..7 index of the child in the parent
1431   int childIndex = nd->guid() & 0x07;
1432
1433   d->reset(d->updateOctreeChildren);
1434   sqlite3_bind_int64(d->updateOctreeChildren, 1, pr->guid());
1435 // mask has bit N set where child N exists
1436   int childMask = 1 << childIndex;
1437   sqlite3_bind_int(d->updateOctreeChildren, 2, childMask);
1438   d->execUpdate(d->updateOctreeChildren);
1439 #endif
1440 }
1441
1442 TypedPositionedVec
1443 NavDataCache::getOctreeLeafChildren(int64_t octreeNodeId)
1444 {
1445   d->reset(d->getOctreeLeafChildren);
1446   sqlite3_bind_int64(d->getOctreeLeafChildren, 1, octreeNodeId);
1447
1448   TypedPositionedVec r;
1449   while (d->stepSelect(d->getOctreeLeafChildren)) {
1450     FGPositioned::Type ty = static_cast<FGPositioned::Type>
1451       (sqlite3_column_int(d->getOctreeLeafChildren, 1));
1452     r.push_back(std::make_pair(ty,
1453                 sqlite3_column_int64(d->getOctreeLeafChildren, 0)));
1454   }
1455
1456   return r;
1457 }
1458
1459
1460 /**
1461  * A special purpose helper (used by FGAirport::searchNamesAndIdents) to
1462  * implement the AirportList dialog. It's unfortunate that it needs to reside
1463  * here, but for now it's least ugly solution.
1464  */
1465 char** NavDataCache::searchAirportNamesAndIdents(const std::string& aFilter)
1466 {
1467   d->reset(d->searchAirports);
1468   string s = "%" + aFilter + "%";
1469   sqlite_bind_stdstring(d->searchAirports, 1, s);
1470
1471   unsigned int numMatches = 0, numAllocated = 16;
1472   char** result = (char**) malloc(sizeof(char*) * numAllocated);
1473
1474   while (d->stepSelect(d->searchAirports)) {
1475     if ((numMatches + 1) >= numAllocated) {
1476       numAllocated <<= 1; // double in size!
1477     // reallocate results array
1478       char** nresult = (char**) malloc(sizeof(char*) * numAllocated);
1479       memcpy(nresult, result, sizeof(char*) * numMatches);
1480       free(result);
1481       result = nresult;
1482     }
1483
1484     // nasty code to avoid excessive string copying and allocations.
1485     // We format results as follows (note whitespace!):
1486     //   ' name-of-airport-chars   (ident)'
1487     // so the total length is:
1488     //    1 + strlen(name) + 4 + strlen(icao) + 1 + 1 (for the null)
1489     // which gives a grand total of 7 + name-length + icao-length.
1490     // note the ident can be three letters (non-ICAO local strip), four
1491     // (default ICAO) or more (extended format ICAO)
1492     int nameLength = sqlite3_column_bytes(d->searchAirports, 1);
1493     int icaoLength = sqlite3_column_bytes(d->searchAirports, 0);
1494     char* entry = (char*) malloc(7 + nameLength + icaoLength);
1495     char* dst = entry;
1496     *dst++ = ' ';
1497     memcpy(dst, sqlite3_column_text(d->searchAirports, 1), nameLength);
1498     dst += nameLength;
1499     *dst++ = ' ';
1500     *dst++ = ' ';
1501     *dst++ = ' ';
1502     *dst++ = '(';
1503     memcpy(dst, sqlite3_column_text(d->searchAirports, 0), icaoLength);
1504     dst += icaoLength;
1505     *dst++ = ')';
1506     *dst++ = 0;
1507
1508     result[numMatches++] = entry;
1509   }
1510
1511   result[numMatches] = NULL; // end of list marker
1512   return result;
1513 }
1514
1515 FGPositionedRef
1516 NavDataCache::findCommByFreq(int freqKhz, const SGGeod& aPos, FGPositioned::Filter* aFilter)
1517 {
1518   d->reset(d->findCommByFreq);
1519   sqlite3_bind_int(d->findCommByFreq, 1, freqKhz);
1520   if (aFilter) {
1521     sqlite3_bind_int(d->findCommByFreq, 2, aFilter->minType());
1522     sqlite3_bind_int(d->findCommByFreq, 3, aFilter->maxType());
1523   } else { // full type range
1524     sqlite3_bind_int(d->findCommByFreq, 2, FGPositioned::FREQ_GROUND);
1525     sqlite3_bind_int(d->findCommByFreq, 3, FGPositioned::FREQ_UNICOM);
1526   }
1527
1528   SGVec3d cartPos(SGVec3d::fromGeod(aPos));
1529   sqlite3_bind_double(d->findCommByFreq, 4, cartPos.x());
1530   sqlite3_bind_double(d->findCommByFreq, 5, cartPos.y());
1531   sqlite3_bind_double(d->findCommByFreq, 6, cartPos.z());
1532
1533   if (!d->execSelect(d->findCommByFreq)) {
1534     return NULL;
1535   }
1536
1537   return loadById(sqlite3_column_int64(d->findCommByFreq, 0));
1538 }
1539
1540 PositionedIDVec
1541 NavDataCache::findNavaidsByFreq(int freqKhz, const SGGeod& aPos, FGPositioned::Filter* aFilter)
1542 {
1543   d->reset(d->findNavsByFreq);
1544   sqlite3_bind_int(d->findNavsByFreq, 1, freqKhz);
1545   if (aFilter) {
1546     sqlite3_bind_int(d->findNavsByFreq, 2, aFilter->minType());
1547     sqlite3_bind_int(d->findNavsByFreq, 3, aFilter->maxType());
1548   } else { // full type range
1549     sqlite3_bind_int(d->findNavsByFreq, 2, FGPositioned::NDB);
1550     sqlite3_bind_int(d->findNavsByFreq, 3, FGPositioned::GS);
1551   }
1552
1553   SGVec3d cartPos(SGVec3d::fromGeod(aPos));
1554   sqlite3_bind_double(d->findNavsByFreq, 4, cartPos.x());
1555   sqlite3_bind_double(d->findNavsByFreq, 5, cartPos.y());
1556   sqlite3_bind_double(d->findNavsByFreq, 6, cartPos.z());
1557
1558   return d->selectIds(d->findNavsByFreq);
1559 }
1560
1561 PositionedIDVec
1562 NavDataCache::findNavaidsByFreq(int freqKhz, FGPositioned::Filter* aFilter)
1563 {
1564   d->reset(d->findNavsByFreqNoPos);
1565   sqlite3_bind_int(d->findNavsByFreqNoPos, 1, freqKhz);
1566   if (aFilter) {
1567     sqlite3_bind_int(d->findNavsByFreqNoPos, 2, aFilter->minType());
1568     sqlite3_bind_int(d->findNavsByFreqNoPos, 3, aFilter->maxType());
1569   } else { // full type range
1570     sqlite3_bind_int(d->findNavsByFreqNoPos, 2, FGPositioned::NDB);
1571     sqlite3_bind_int(d->findNavsByFreqNoPos, 3, FGPositioned::GS);
1572   }
1573
1574   return d->selectIds(d->findNavsByFreqNoPos);
1575 }
1576
1577 PositionedIDVec
1578 NavDataCache::airportItemsOfType(PositionedID apt,FGPositioned::Type ty,
1579                                  FGPositioned::Type maxTy)
1580 {
1581   if (maxTy == FGPositioned::INVALID) {
1582     maxTy = ty; // single-type range
1583   }
1584
1585   d->reset(d->getAirportItems);
1586   sqlite3_bind_int64(d->getAirportItems, 1, apt);
1587   sqlite3_bind_int(d->getAirportItems, 2, ty);
1588   sqlite3_bind_int(d->getAirportItems, 3, maxTy);
1589
1590   return d->selectIds(d->getAirportItems);
1591 }
1592
1593 PositionedID
1594 NavDataCache::airportItemWithIdent(PositionedID apt, FGPositioned::Type ty,
1595                                    const std::string& ident)
1596 {
1597   d->reset(d->getAirportItemByIdent);
1598   sqlite3_bind_int64(d->getAirportItemByIdent, 1, apt);
1599   sqlite_bind_stdstring(d->getAirportItemByIdent, 2, ident);
1600   sqlite3_bind_int(d->getAirportItemByIdent, 3, ty);
1601
1602   if (!d->execSelect(d->getAirportItemByIdent)) {
1603     return 0;
1604   }
1605
1606   return sqlite3_column_int64(d->getAirportItemByIdent, 0);
1607 }
1608
1609 AirportRunwayPair
1610 NavDataCache::findAirportRunway(const std::string& aName)
1611 {
1612   if (aName.empty()) {
1613     return AirportRunwayPair();
1614   }
1615
1616   string_list parts = simgear::strutils::split(aName);
1617   if (parts.size() < 2) {
1618     SG_LOG(SG_NAVCACHE, SG_WARN, "findAirportRunway: malformed name:" << aName);
1619     return AirportRunwayPair();
1620   }
1621
1622   d->reset(d->findAirportRunway);
1623   sqlite_bind_stdstring(d->findAirportRunway, 1, parts[0]);
1624   sqlite_bind_stdstring(d->findAirportRunway, 2, parts[1]);
1625   if (!d->execSelect(d->findAirportRunway)) {
1626     SG_LOG(SG_NAVCACHE, SG_WARN, "findAirportRunway: unknown airport/runway:" << aName);
1627     return AirportRunwayPair();
1628   }
1629
1630   // success, extract the IDs and continue
1631   return AirportRunwayPair(sqlite3_column_int64(d->findAirportRunway, 0),
1632                            sqlite3_column_int64(d->findAirportRunway, 1));
1633 }
1634
1635 PositionedID
1636 NavDataCache::findILS(PositionedID airport, const string& runway, const string& navIdent)
1637 {
1638   d->reset(d->findILS);
1639   sqlite_bind_stdstring(d->findILS, 1, navIdent);
1640   sqlite3_bind_int64(d->findILS, 2, airport);
1641   sqlite_bind_stdstring(d->findILS, 3, runway);
1642
1643   if (!d->execSelect(d->findILS)) {
1644     return 0;
1645   }
1646
1647   return sqlite3_column_int64(d->findILS, 0);
1648 }
1649
1650 int NavDataCache::findAirway(int network, const string& aName)
1651 {
1652   d->reset(d->findAirway);
1653   sqlite3_bind_int(d->findAirway, 1, network);
1654   sqlite_bind_stdstring(d->findAirway, 2, aName);
1655   if (d->execSelect(d->findAirway)) {
1656     // already exists
1657     return sqlite3_column_int(d->findAirway, 0);
1658   }
1659
1660   d->reset(d->insertAirway);
1661   sqlite_bind_stdstring(d->insertAirway, 1, aName);
1662   sqlite3_bind_int(d->insertAirway, 2, network);
1663   return d->execInsert(d->insertAirway);
1664 }
1665
1666 void NavDataCache::insertEdge(int network, int airwayID, PositionedID from, PositionedID to)
1667 {
1668   // assume all edges are bidirectional for the moment
1669   for (int i=0; i<2; ++i) {
1670     d->reset(d->insertAirwayEdge);
1671     sqlite3_bind_int(d->insertAirwayEdge, 1, network);
1672     sqlite3_bind_int(d->insertAirwayEdge, 2, airwayID);
1673     sqlite3_bind_int64(d->insertAirwayEdge, 3, from);
1674     sqlite3_bind_int64(d->insertAirwayEdge, 4, to);
1675     d->execInsert(d->insertAirwayEdge);
1676
1677     std::swap(from, to);
1678   }
1679 }
1680
1681 bool NavDataCache::isInAirwayNetwork(int network, PositionedID pos)
1682 {
1683   d->reset(d->isPosInAirway);
1684   sqlite3_bind_int(d->isPosInAirway, 1, network);
1685   sqlite3_bind_int64(d->isPosInAirway, 2, pos);
1686   bool ok = d->execSelect(d->isPosInAirway);
1687   return ok;
1688 }
1689
1690 AirwayEdgeVec NavDataCache::airwayEdgesFrom(int network, PositionedID pos)
1691 {
1692   d->reset(d->airwayEdgesFrom);
1693   sqlite3_bind_int(d->airwayEdgesFrom, 1, network);
1694   sqlite3_bind_int64(d->airwayEdgesFrom, 2, pos);
1695
1696   AirwayEdgeVec result;
1697   while (d->stepSelect(d->airwayEdgesFrom)) {
1698     result.push_back(AirwayEdge(
1699                      sqlite3_column_int(d->airwayEdgesFrom, 0),
1700                      sqlite3_column_int64(d->airwayEdgesFrom, 1)
1701                      ));
1702   }
1703   return result;
1704 }
1705
1706 } // of namespace flightgear
1707