src/Navaids/NavDataCache.cxx

   1 // NavDataCache.cxx - defines a unified binary cache for navigation
   2 // data, parsed from various text / XML sources.
   3
   4 // Written by James Turner, started 2012.
   5 //
   6 // Copyright (C) 2012  James Turner
   7 //
   8 // This program is free software; you can redistribute it and/or
   9 // modify it under the terms of the GNU General Public License as
  10 // published by the Free Software Foundation; either version 2 of the
  11 // License, or (at your option) any later version.
  12 //
  13 // This program is distributed in the hope that it will be useful, but
  14 // WITHOUT ANY WARRANTY; without even the implied warranty of
  15 // MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
  16 // General Public License for more details.
  17 //
  18 // You should have received a copy of the GNU General Public License
  19 // along with this program; if not, write to the Free Software
  20 // Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA  02110-1301, USA.
  21
  22 #ifdef HAVE_CONFIG_H
  23 # include "config.h"
  24 #endif
  25
  26 // to ensure compatability between sqlite3_int64 and PositionedID,
  27 // force the type used by sqlite to match PositionedID explicitly
  28 #define SQLITE_INT64_TYPE int64_t
  29 #define SQLITE_UINT64_TYPE uint64_t
  30
  31 #include "NavDataCache.hxx"
  32
  33 // std
  34 #include <map>
  35 #include <cassert>
  36 #include <stdint.h> // for int64_t
  37 // boost
  38 #include <boost/foreach.hpp>
  39
  40 #include "sqlite3.h"
  41
  42 // SimGear
  43 #include <simgear/structure/exception.hxx>
  44 #include <simgear/debug/logstream.hxx>
  45 #include <simgear/bucket/newbucket.hxx>
  46 #include <simgear/misc/sg_path.hxx>
  47 #include <simgear/misc/strutils.hxx>
  48
  49 #include <Main/globals.hxx>
  50 #include "markerbeacon.hxx"
  51 #include "navrecord.hxx"
  52 #include <Airports/simple.hxx>
  53 #include <Airports/runways.hxx>
  54 #include <ATC/CommStation.hxx>
  55 #include "fix.hxx"
  56 #include <Navaids/fixlist.hxx>
  57 #include <Navaids/navdb.hxx>
  58 #include "PositionedOctree.hxx"
  59 #include <Airports/apt_loader.hxx>
  60 #include <Navaids/airways.hxx>
  61
  62 using std::string;
  63
  64 #define SG_NAVCACHE SG_GENERAL
  65 //#define LAZY_OCTREE_UPDATES 1
  66
  67 namespace {
  68
  69 const int SCHEMA_VERSION = 3;
  70
  71 // bind a std::string to a sqlite statement. The std::string must live the
  72 // entire duration of the statement execution - do not pass a temporary
  73 // std::string, or the compiler may delete it, freeing the C-string storage,
  74 // and causing subtle memory corruption bugs!
  75 void sqlite_bind_stdstring(sqlite3_stmt* stmt, int value, const std::string& s)
  76 {
  77   sqlite3_bind_text(stmt, value, s.c_str(), s.length(), SQLITE_STATIC);
  78 }
  79
  80 // variant of the above, which does not care about the lifetime of the
  81 // passed std::string
  82 void sqlite_bind_temp_stdstring(sqlite3_stmt* stmt, int value, const std::string& s)
  83 {
  84   sqlite3_bind_text(stmt, value, s.c_str(), s.length(), SQLITE_TRANSIENT);
  85 }
  86
  87 typedef sqlite3_stmt* sqlite3_stmt_ptr;
  88
  89 void f_distanceCartSqrFunction(sqlite3_context* ctx, int argc, sqlite3_value* argv[])
  90 {
  91   if (argc != 6) {
  92     return;
  93   }
  94
  95   SGVec3d posA(sqlite3_value_double(argv[0]),
  96                sqlite3_value_double(argv[1]),
  97                sqlite3_value_double(argv[2]));
  98
  99   SGVec3d posB(sqlite3_value_double(argv[3]),
 100                sqlite3_value_double(argv[4]),
 101                sqlite3_value_double(argv[5]));
 102   sqlite3_result_double(ctx, distSqr(posA, posB));
 103 }
 104
 105
 106 static string cleanRunwayNo(const string& aRwyNo)
 107 {
 108   if (aRwyNo[0] == 'x') {
 109     return string(); // no ident for taxiways
 110   }
 111
 112   string result(aRwyNo);
 113   // canonicalise runway ident
 114   if ((aRwyNo.size() == 1) || !isdigit(aRwyNo[1])) {
 115     result = "0" + aRwyNo;
 116   }
 117
 118   // trim off trailing garbage
 119   if (result.size() > 2) {
 120     char suffix = toupper(result[2]);
 121     if (suffix == 'X') {
 122       result = result.substr(0, 2);
 123     }
 124   }
 125
 126   return result;
 127 }
 128
 129 } // anonymous namespace
 130
 131 namespace flightgear
 132 {
 133
 134 typedef std::map<PositionedID, FGPositionedRef> PositionedCache;
 135
 136 class AirportTower : public FGPositioned
 137 {
 138 public:
 139   AirportTower(PositionedID& guid, PositionedID airport,
 140                const string& ident, const SGGeod& pos) :
 141     FGPositioned(guid, FGPositioned::TOWER, ident, pos)
 142   {
 143   }
 144 };
 145
 146 class NavDataCache::NavDataCachePrivate
 147 {
 148 public:
 149   NavDataCachePrivate(const SGPath& p, NavDataCache* o) :
 150     outer(o),
 151     db(NULL),
 152     path(p),
 153     cacheHits(0),
 154     cacheMisses(0)
 155   {
 156   }
 157
 158   ~NavDataCachePrivate()
 159   {
 160     BOOST_FOREACH(sqlite3_stmt_ptr stmt, prepared) {
 161       sqlite3_finalize(stmt);
 162     }
 163     prepared.clear();
 164
 165     sqlite3_close(db);
 166   }
 167
 168   void init()
 169   {
 170     SG_LOG(SG_NAVCACHE, SG_INFO, "NavCache at:" << path);
 171     sqlite3_open_v2(path.c_str(), &db,
 172                     SQLITE_OPEN_READWRITE | SQLITE_OPEN_CREATE, NULL);
 173
 174
 175     sqlite3_stmt_ptr checkTables =
 176       prepare("SELECT count(*) FROM sqlite_master WHERE name='properties'");
 177
 178     sqlite3_create_function(db, "distanceCartSqr", 6, SQLITE_ANY, NULL,
 179                             f_distanceCartSqrFunction, NULL, NULL);
 180
 181     execSelect(checkTables);
 182     bool didCreate = false;
 183     if (sqlite3_column_int(checkTables, 0) == 0) {
 184       SG_LOG(SG_NAVCACHE, SG_INFO, "will create tables");
 185       initTables();
 186       didCreate = true;
 187     }
 188
 189     readPropertyQuery = prepare("SELECT value FROM properties WHERE key=?");
 190     writePropertyQuery = prepare("INSERT OR REPLACE INTO properties "
 191                                  "(key, value) VALUES (?,?)");
 192
 193     if (didCreate) {
 194       writeIntProperty("schema-version", SCHEMA_VERSION);
 195     } else {
 196       int schemaVersion = outer->readIntProperty("schema-version");
 197       if (schemaVersion != SCHEMA_VERSION) {
 198         SG_LOG(SG_NAVCACHE, SG_INFO, "Navcache schema mismatch, will rebuild");
 199         throw sg_exception("Navcache schema has changed");
 200       }
 201     }
 202
 203     prepareQueries();
 204   }
 205
 206   void checkCacheFile()
 207   {
 208     SG_LOG(SG_NAVCACHE, SG_INFO, "running DB integrity check");
 209     SGTimeStamp st;
 210     st.stamp();
 211
 212     sqlite3_stmt_ptr stmt = prepare("PRAGMA integrity_check(1)");
 213     if (!execSelect(stmt)) {
 214       throw sg_exception("DB integrity check failed to run");
 215     }
 216
 217     string v = (char*) sqlite3_column_text(stmt, 0);
 218     if (v != "ok") {
 219       throw sg_exception("DB integrity check returned:" + v);
 220     }
 221
 222     SG_LOG(SG_NAVCACHE, SG_INFO, "NavDataCache integrity check took:" << st.elapsedMSec());
 223     finalize(stmt);
 224   }
 225
 226   void callSqlite(int result, const string& sql)
 227   {
 228     if (result == SQLITE_OK)
 229       return; // all good
 230
 231     string errMsg;
 232     if (result == SQLITE_MISUSE) {
 233       errMsg = "Sqlite API abuse";
 234       SG_LOG(SG_NAVCACHE, SG_ALERT, "Sqlite API abuse");
 235     } else {
 236       errMsg = sqlite3_errmsg(db);
 237       SG_LOG(SG_NAVCACHE, SG_ALERT, "Sqlite error:" << errMsg << " running:\n\t" << sql);
 238     }
 239
 240     throw sg_exception("Sqlite error:" + errMsg, sql);
 241   }
 242
 243   void runSQL(const string& sql)
 244   {
 245     sqlite3_stmt_ptr stmt;
 246     callSqlite(sqlite3_prepare_v2(db, sql.c_str(), sql.length(), &stmt, NULL), sql);
 247
 248     try {
 249       execSelect(stmt);
 250     } catch (sg_exception& e) {
 251       sqlite3_finalize(stmt);
 252       throw; // re-throw
 253     }
 254
 255     sqlite3_finalize(stmt);
 256   }
 257
 258   sqlite3_stmt_ptr prepare(const string& sql)
 259   {
 260     sqlite3_stmt_ptr stmt;
 261     callSqlite(sqlite3_prepare_v2(db, sql.c_str(), sql.length(), &stmt, NULL), sql);
 262     prepared.push_back(stmt);
 263     return stmt;
 264   }
 265
 266   void finalize(sqlite3_stmt_ptr s)
 267   {
 268     StmtVec::iterator it = std::find(prepared.begin(), prepared.end(), s);
 269     if (it == prepared.end()) {
 270       throw sg_exception("Finalising statement that was not prepared");
 271     }
 272
 273     prepared.erase(it);
 274     sqlite3_finalize(s);
 275   }
 276
 277   void reset(sqlite3_stmt_ptr stmt)
 278   {
 279     assert(stmt);
 280     if (sqlite3_reset(stmt) != SQLITE_OK) {
 281       string errMsg = sqlite3_errmsg(db);
 282       SG_LOG(SG_NAVCACHE, SG_ALERT, "Sqlite error resetting:" << errMsg);
 283       throw sg_exception("Sqlite error resetting:" + errMsg, sqlite3_sql(stmt));
 284     }
 285   }
 286
 287   bool execSelect(sqlite3_stmt_ptr stmt)
 288   {
 289     return stepSelect(stmt);
 290   }
 291
 292   bool stepSelect(sqlite3_stmt_ptr stmt)
 293   {
 294     int result = sqlite3_step(stmt);
 295     if (result == SQLITE_ROW) {
 296       return true; // at least one result row
 297     }
 298
 299     if (result == SQLITE_DONE) {
 300       return false; // no result rows
 301     }
 302
 303     string errMsg;
 304     if (result == SQLITE_MISUSE) {
 305       errMsg = "Sqlite API abuse";
 306       SG_LOG(SG_NAVCACHE, SG_ALERT, "Sqlite API abuse");
 307     } else {
 308       errMsg = sqlite3_errmsg(db);
 309       SG_LOG(SG_NAVCACHE, SG_ALERT, "Sqlite error:" << errMsg
 310              << " while running:\n\t" << sqlite3_sql(stmt));
 311     }
 312
 313     throw sg_exception("Sqlite error:" + errMsg, sqlite3_sql(stmt));
 314   }
 315
 316   void execSelect1(sqlite3_stmt_ptr stmt)
 317   {
 318     if (!execSelect(stmt)) {
 319       SG_LOG(SG_NAVCACHE, SG_WARN, "empty SELECT running:\n\t" << sqlite3_sql(stmt));
 320       throw sg_exception("no results returned for select", sqlite3_sql(stmt));
 321     }
 322   }
 323
 324   sqlite3_int64 execInsert(sqlite3_stmt_ptr stmt)
 325   {
 326     execSelect(stmt);
 327     return sqlite3_last_insert_rowid(db);
 328   }
 329
 330   void execUpdate(sqlite3_stmt_ptr stmt)
 331   {
 332     execSelect(stmt);
 333   }
 334
 335   void initTables()
 336   {
 337     runSQL("CREATE TABLE properties ("
 338            "key VARCHAR,"
 339            "value VARCHAR"
 340            ")");
 341
 342     runSQL("CREATE TABLE stat_cache ("
 343            "path VARCHAR unique,"
 344            "stamp INT"
 345            ")");
 346
 347     runSQL("CREATE TABLE positioned ("
 348            "type INT,"
 349            "ident VARCHAR collate nocase,"
 350            "name VARCHAR collate nocase,"
 351            "airport INT64,"
 352            "lon FLOAT,"
 353            "lat FLOAT,"
 354            "elev_m FLOAT,"
 355            "octree_node INT,"
 356            "cart_x FLOAT,"
 357            "cart_y FLOAT,"
 358            "cart_z FLOAT"
 359            ")");
 360
 361     runSQL("CREATE INDEX pos_octree ON positioned(octree_node)");
 362     runSQL("CREATE INDEX pos_ident ON positioned(ident collate nocase)");
 363     runSQL("CREATE INDEX pos_name ON positioned(name collate nocase)");
 364     // allow efficient querying of 'all ATIS at this airport' or
 365     // 'all towers at this airport'
 366     runSQL("CREATE INDEX pos_apt_type ON positioned(airport, type)");
 367
 368     runSQL("CREATE TABLE airport ("
 369            "has_metar BOOL"
 370            ")"
 371            );
 372
 373     runSQL("CREATE TABLE comm ("
 374            "freq_khz INT,"
 375            "range_nm INT"
 376            ")"
 377            );
 378
 379     runSQL("CREATE INDEX comm_freq ON comm(freq_khz)");
 380
 381     runSQL("CREATE TABLE runway ("
 382            "heading FLOAT,"
 383            "length_ft FLOAT,"
 384            "width_m FLOAT,"
 385            "surface INT,"
 386            "displaced_threshold FLOAT,"
 387            "stopway FLOAT,"
 388            "reciprocal INT64,"
 389            "ils INT64"
 390            ")"
 391            );
 392
 393     runSQL("CREATE TABLE navaid ("
 394            "freq INT,"
 395            "range_nm INT,"
 396            "multiuse FLOAT,"
 397            "runway INT64,"
 398            "colocated INT64"
 399            ")"
 400            );
 401
 402     runSQL("CREATE INDEX navaid_freq ON navaid(freq)");
 403
 404     runSQL("CREATE TABLE octree (children INT)");
 405
 406     runSQL("CREATE TABLE airway ("
 407            "ident VARCHAR collate nocase,"
 408            "network INT" // high-level or low-level
 409            ")");
 410
 411     runSQL("CREATE INDEX airway_ident ON airway(ident)");
 412
 413     runSQL("CREATE TABLE airway_edge ("
 414            "network INT,"
 415            "airway INT64,"
 416            "a INT64,"
 417            "b INT64"
 418            ")");
 419
 420     runSQL("CREATE INDEX airway_edge_from ON airway_edge(a)");
 421   }
 422
 423   void prepareQueries()
 424   {
 425     clearProperty = prepare("DELETE FROM properties WHERE key=?1");
 426     writePropertyMulti = prepare("INSERT INTO properties (key, value) VALUES(?1,?2)");
 427
 428 #define POSITIONED_COLS "rowid, type, ident, name, airport, lon, lat, elev_m, octree_node"
 429 #define AND_TYPED "AND type>=?2 AND type <=?3"
 430     statCacheCheck = prepare("SELECT stamp FROM stat_cache WHERE path=?");
 431     stampFileCache = prepare("INSERT OR REPLACE INTO stat_cache "
 432                              "(path, stamp) VALUES (?,?)");
 433
 434     loadPositioned = prepare("SELECT " POSITIONED_COLS " FROM positioned WHERE rowid=?");
 435     loadAirportStmt = prepare("SELECT has_metar FROM airport WHERE rowid=?");
 436     loadNavaid = prepare("SELECT range_nm, freq, multiuse, runway, colocated FROM navaid WHERE rowid=?");
 437     loadCommStation = prepare("SELECT freq_khz, range_nm FROM comm WHERE rowid=?");
 438     loadRunwayStmt = prepare("SELECT heading, length_ft, width_m, surface, displaced_threshold,"
 439                              "stopway, reciprocal, ils FROM runway WHERE rowid=?1");
 440
 441     getAirportItems = prepare("SELECT rowid FROM positioned WHERE airport=?1 " AND_TYPED);
 442
 443
 444     setAirportMetar = prepare("UPDATE airport SET has_metar=?2 WHERE rowid="
 445                               "(SELECT rowid FROM positioned WHERE ident=?1 AND type>=?3 AND type <=?4)");
 446     sqlite3_bind_int(setAirportMetar, 3, FGPositioned::AIRPORT);
 447     sqlite3_bind_int(setAirportMetar, 4, FGPositioned::SEAPORT);
 448
 449     setRunwayReciprocal = prepare("UPDATE runway SET reciprocal=?2 WHERE rowid=?1");
 450     setRunwayILS = prepare("UPDATE runway SET ils=?2 WHERE rowid=?1");
 451     updateRunwayThreshold = prepare("UPDATE runway SET heading=?2, displaced_threshold=?3, stopway=?4 WHERE rowid=?1");
 452
 453     insertPositionedQuery = prepare("INSERT INTO positioned "
 454                                     "(type, ident, name, airport, lon, lat, elev_m, octree_node, "
 455                                     "cart_x, cart_y, cart_z)"
 456                                     " VALUES (?1, ?2, ?3, ?4, ?5, ?6, ?7, ?8, ?9, ?10, ?11)");
 457
 458     setAirportPos = prepare("UPDATE positioned SET lon=?2, lat=?3, elev_m=?4, octree_node=?5, "
 459                             "cart_x=?6, cart_y=?7, cart_z=?8 WHERE rowid=?1");
 460     insertAirport = prepare("INSERT INTO airport (rowid, has_metar) VALUES (?, ?)");
 461     insertNavaid = prepare("INSERT INTO navaid (rowid, freq, range_nm, multiuse, runway, colocated)"
 462                            " VALUES (?1, ?2, ?3, ?4, ?5, ?6)");
 463     updateILS = prepare("UPDATE navaid SET multiuse=?2 WHERE rowid=?1");
 464
 465     insertCommStation = prepare("INSERT INTO comm (rowid, freq_khz, range_nm)"
 466                                 " VALUES (?, ?, ?)");
 467     insertRunway = prepare("INSERT INTO runway "
 468                            "(rowid, heading, length_ft, width_m, surface, displaced_threshold, stopway, reciprocal)"
 469                            " VALUES (?1, ?2, ?3, ?4, ?5, ?6, ?7, ?8)");
 470     runwayLengthFtQuery = prepare("SELECT length_ft FROM runway WHERE rowid=?1");
 471
 472   // query statement
 473     findClosestWithIdent = prepare("SELECT rowid FROM positioned WHERE ident=?1 "
 474                                    AND_TYPED " ORDER BY distanceCartSqr(cart_x, cart_y, cart_z, ?4, ?5, ?6)");
 475
 476     findCommByFreq = prepare("SELECT positioned.rowid FROM positioned, comm WHERE "
 477                              "positioned.rowid=comm.rowid AND freq_khz=?1 "
 478                              AND_TYPED " ORDER BY distanceCartSqr(cart_x, cart_y, cart_z, ?4, ?5, ?6)");
 479
 480     findNavsByFreq = prepare("SELECT positioned.rowid FROM positioned, navaid WHERE "
 481                              "positioned.rowid=navaid.rowid "
 482                              "AND navaid.freq=?1 " AND_TYPED
 483                              " ORDER BY distanceCartSqr(cart_x, cart_y, cart_z, ?4, ?5, ?6)");
 484
 485     findNavsByFreqNoPos = prepare("SELECT positioned.rowid FROM positioned, navaid WHERE "
 486                                   "positioned.rowid=navaid.rowid AND freq=?1 " AND_TYPED);
 487
 488   // for an octree branch, return the child octree nodes which exist,
 489   // described as a bit-mask
 490     getOctreeChildren = prepare("SELECT children FROM octree WHERE rowid=?1");
 491
 492 #ifdef LAZY_OCTREE_UPDATES
 493     updateOctreeChildren = prepare("UPDATE octree SET children=?2 WHERE rowid=?1");
 494 #else
 495   // mask the new child value into the existing one
 496     updateOctreeChildren = prepare("UPDATE octree SET children=(?2 | children) WHERE rowid=?1");
 497 #endif
 498
 499   // define a new octree node (with no children)
 500     insertOctree = prepare("INSERT INTO octree (rowid, children) VALUES (?1, 0)");
 501
 502     getOctreeLeafChildren = prepare("SELECT rowid, type FROM positioned WHERE octree_node=?1");
 503
 504     searchAirports = prepare("SELECT ident, name FROM positioned WHERE (name LIKE ?1 OR ident LIKE ?1) " AND_TYPED);
 505     sqlite3_bind_int(searchAirports, 2, FGPositioned::AIRPORT);
 506     sqlite3_bind_int(searchAirports, 3, FGPositioned::SEAPORT);
 507
 508     getAirportItemByIdent = prepare("SELECT rowid FROM positioned WHERE airport=?1 AND ident=?2 AND type=?3");
 509
 510     findAirportRunway = prepare("SELECT airport, rowid FROM positioned WHERE ident=?2 AND type=?3 AND airport="
 511                                 "(SELECT rowid FROM positioned WHERE type=?4 AND ident=?1)");
 512     sqlite3_bind_int(findAirportRunway, 3, FGPositioned::RUNWAY);
 513     sqlite3_bind_int(findAirportRunway, 4, FGPositioned::AIRPORT);
 514
 515     // three-way join to get the navaid ident and runway ident in a single select.
 516     // we're joining positioned to itself by the navaid runway, with the complication
 517     // that we need to join the navaids table to get the runway ID.
 518     // we also need to filter by type to excluse glideslope (GS) matches
 519     findILS = prepare("SELECT nav.rowid FROM positioned AS nav, positioned AS rwy, navaid WHERE "
 520                       "nav.ident=?1 AND nav.airport=?2 AND rwy.ident=?3 "
 521                       "AND rwy.rowid = navaid.runway AND navaid.rowid=nav.rowid "
 522                       "AND (nav.type=?4 OR nav.type=?5)");
 523
 524     sqlite3_bind_int(findILS, 4, FGPositioned::ILS);
 525     sqlite3_bind_int(findILS, 5, FGPositioned::LOC);
 526
 527     findAirway = prepare("SELECT rowid FROM airway WHERE network=?1 AND ident=?2");
 528     insertAirway = prepare("INSERT INTO airway (ident, network) "
 529                            "VALUES (?1, ?2)");
 530
 531     insertAirwayEdge = prepare("INSERT INTO airway_edge (network, airway, a, b) "
 532                                "VALUES (?1, ?2, ?3, ?4)");
 533
 534     isPosInAirway = prepare("SELECT rowid FROM airway_edge WHERE network=?1 AND a=?2");
 535
 536     airwayEdgesFrom = prepare("SELECT airway, b FROM airway_edge WHERE network=?1 AND a=?2");
 537   }
 538
 539   void writeIntProperty(const string& key, int value)
 540   {
 541     sqlite_bind_stdstring(writePropertyQuery, 1, key);
 542     sqlite3_bind_int(writePropertyQuery, 2, value);
 543     execSelect(writePropertyQuery);
 544   }
 545
 546
 547   FGPositioned* loadFromStmt(sqlite3_stmt_ptr query);
 548
 549   FGAirport* loadAirport(sqlite_int64 rowId,
 550                          FGPositioned::Type ty,
 551                          const string& id, const string& name, const SGGeod& pos)
 552   {
 553     reset(loadAirportStmt);
 554     sqlite3_bind_int64(loadAirportStmt, 1, rowId);
 555     execSelect1(loadAirportStmt);
 556     bool hasMetar = sqlite3_column_int(loadAirportStmt, 0);
 557     return new FGAirport(rowId, id, pos, name, hasMetar, ty);
 558   }
 559
 560   FGRunwayBase* loadRunway(sqlite3_int64 rowId, FGPositioned::Type ty,
 561                            const string& id, const SGGeod& pos, PositionedID apt)
 562   {
 563     reset(loadRunwayStmt);
 564     sqlite3_bind_int(loadRunwayStmt, 1, rowId);
 565     execSelect1(loadRunwayStmt);
 566
 567     double heading = sqlite3_column_double(loadRunwayStmt, 0);
 568     double lengthM = sqlite3_column_int(loadRunwayStmt, 1);
 569     double widthM = sqlite3_column_double(loadRunwayStmt, 2);
 570     int surface = sqlite3_column_int(loadRunwayStmt, 3);
 571
 572     if (ty == FGPositioned::TAXIWAY) {
 573       return new FGTaxiway(rowId, id, pos, heading, lengthM, widthM, surface);
 574     } else {
 575       double displacedThreshold = sqlite3_column_double(loadRunwayStmt, 4);
 576       double stopway = sqlite3_column_double(loadRunwayStmt, 5);
 577       PositionedID reciprocal = sqlite3_column_int64(loadRunwayStmt, 6);
 578       PositionedID ils = sqlite3_column_int64(loadRunwayStmt, 7);
 579       FGRunway* r = new FGRunway(rowId, apt, id, pos, heading, lengthM, widthM,
 580                           displacedThreshold, stopway, surface, false);
 581
 582       if (reciprocal > 0) {
 583         r->setReciprocalRunway(reciprocal);
 584       }
 585
 586       if (ils > 0) {
 587         r->setILS(ils);
 588       }
 589
 590       return r;
 591     }
 592   }
 593
 594   CommStation* loadComm(sqlite3_int64 rowId, FGPositioned::Type ty,
 595                         const string& id, const string& name,
 596                         const SGGeod& pos,
 597                         PositionedID airport)
 598   {
 599     reset(loadCommStation);
 600     sqlite3_bind_int64(loadCommStation, 1, rowId);
 601     execSelect1(loadCommStation);
 602
 603     int range = sqlite3_column_int(loadCommStation, 0);
 604     int freqKhz = sqlite3_column_int(loadCommStation, 1);
 605
 606     CommStation* c = new CommStation(rowId, id, ty, pos, freqKhz, range);
 607     c->setAirport(airport);
 608     return c;
 609   }
 610
 611   FGPositioned* loadNav(sqlite3_int64 rowId,
 612                        FGPositioned::Type ty, const string& id,
 613                        const string& name, const SGGeod& pos)
 614   {
 615     reset(loadNavaid);
 616     sqlite3_bind_int64(loadNavaid, 1, rowId);
 617     execSelect1(loadNavaid);
 618
 619     PositionedID runway = sqlite3_column_int64(loadNavaid, 3);
 620     // marker beacons are light-weight
 621     if ((ty == FGPositioned::OM) || (ty == FGPositioned::IM) ||
 622         (ty == FGPositioned::MM))
 623     {
 624       return new FGMarkerBeaconRecord(rowId, ty, runway, pos);
 625     }
 626
 627     int rangeNm = sqlite3_column_int(loadNavaid, 0),
 628       freq = sqlite3_column_int(loadNavaid, 1);
 629     double mulituse = sqlite3_column_double(loadNavaid, 2);
 630     //sqlite3_int64 colocated = sqlite3_column_int64(loadNavaid, 4);
 631
 632     return new FGNavRecord(rowId, ty, id, name, pos, freq, rangeNm, mulituse, runway);
 633   }
 634
 635   PositionedID insertPositioned(FGPositioned::Type ty, const string& ident,
 636                                 const string& name, const SGGeod& pos, PositionedID apt,
 637                                 bool spatialIndex)
 638   {
 639     SGVec3d cartPos(SGVec3d::fromGeod(pos));
 640
 641     reset(insertPositionedQuery);
 642     sqlite3_bind_int(insertPositionedQuery, 1, ty);
 643     sqlite_bind_stdstring(insertPositionedQuery, 2, ident);
 644     sqlite_bind_stdstring(insertPositionedQuery, 3, name);
 645     sqlite3_bind_int64(insertPositionedQuery, 4, apt);
 646     sqlite3_bind_double(insertPositionedQuery, 5, pos.getLongitudeDeg());
 647     sqlite3_bind_double(insertPositionedQuery, 6, pos.getLatitudeDeg());
 648     sqlite3_bind_double(insertPositionedQuery, 7, pos.getElevationM());
 649
 650     if (spatialIndex) {
 651       Octree::Leaf* octreeLeaf = Octree::global_spatialOctree->findLeafForPos(cartPos);
 652       assert(intersects(octreeLeaf->bbox(), cartPos));
 653       sqlite3_bind_int64(insertPositionedQuery, 8, octreeLeaf->guid());
 654     } else {
 655       sqlite3_bind_null(insertPositionedQuery, 8);
 656     }
 657
 658     sqlite3_bind_double(insertPositionedQuery, 9, cartPos.x());
 659     sqlite3_bind_double(insertPositionedQuery, 10, cartPos.y());
 660     sqlite3_bind_double(insertPositionedQuery, 11, cartPos.z());
 661
 662     PositionedID r = execInsert(insertPositionedQuery);
 663     return r;
 664   }
 665
 666   FGPositioned::List findAllByString(const string& s, const string& column,
 667                                      FGPositioned::Filter* filter, bool exact)
 668   {
 669     string query = s;
 670     if (!exact) query += "*";
 671
 672   // build up SQL query text
 673     string matchTerm = exact ? "=?1" : " LIKE ?1";
 674     string sql = "SELECT rowid FROM positioned WHERE " + column + matchTerm;
 675     if (filter) {
 676       sql += AND_TYPED;
 677     }
 678
 679   // find or prepare a suitable statement frrm the SQL
 680     sqlite3_stmt_ptr stmt = findByStringDict[sql];
 681     if (!stmt) {
 682       stmt = prepare(sql);
 683       findByStringDict[sql] = stmt;
 684     }
 685
 686     reset(stmt);
 687     sqlite_bind_stdstring(stmt, 1, query);
 688     if (filter) {
 689       sqlite3_bind_int(stmt, 2, filter->minType());
 690       sqlite3_bind_int(stmt, 3, filter->maxType());
 691     }
 692
 693     FGPositioned::List result;
 694   // run the prepared SQL
 695     while (stepSelect(stmt))
 696     {
 697       FGPositioned* pos = outer->loadById(sqlite3_column_int64(stmt, 0));
 698       if (filter && !filter->pass(pos)) {
 699         continue;
 700       }
 701
 702       result.push_back(pos);
 703     }
 704
 705     return result;
 706   }
 707
 708   PositionedIDVec selectIds(sqlite3_stmt_ptr query)
 709   {
 710     PositionedIDVec result;
 711     while (stepSelect(query)) {
 712       result.push_back(sqlite3_column_int64(query, 0));
 713     }
 714     return result;
 715   }
 716
 717   double runwayLengthFt(PositionedID rwy)
 718   {
 719     reset(runwayLengthFtQuery);
 720     sqlite3_bind_int64(runwayLengthFtQuery, 1, rwy);
 721     execSelect1(runwayLengthFtQuery);
 722     return sqlite3_column_double(runwayLengthFtQuery, 0);
 723   }
 724
 725   void flushDeferredOctreeUpdates()
 726   {
 727     BOOST_FOREACH(Octree::Branch* nd, deferredOctreeUpdates) {
 728       reset(updateOctreeChildren);
 729       sqlite3_bind_int64(updateOctreeChildren, 1, nd->guid());
 730       sqlite3_bind_int(updateOctreeChildren, 2, nd->childMask());
 731       execUpdate(updateOctreeChildren);
 732     }
 733
 734     deferredOctreeUpdates.clear();
 735   }
 736
 737   NavDataCache* outer;
 738   sqlite3* db;
 739   SGPath path;
 740
 741   /// the actual cache of ID -> instances. This holds an owning reference,
 742   /// so once items are in the cache they will never be deleted until
 743   /// the cache drops its reference
 744   PositionedCache cache;
 745   unsigned int cacheHits, cacheMisses;
 746
 747   SGPath aptDatPath, metarDatPath, navDatPath, fixDatPath,
 748   carrierDatPath, airwayDatPath;
 749
 750   sqlite3_stmt_ptr readPropertyQuery, writePropertyQuery,
 751     stampFileCache, statCacheCheck,
 752     loadAirportStmt, loadCommStation, loadPositioned, loadNavaid,
 753     loadRunwayStmt;
 754   sqlite3_stmt_ptr writePropertyMulti, clearProperty;
 755
 756   sqlite3_stmt_ptr insertPositionedQuery, insertAirport, insertTower, insertRunway,
 757   insertCommStation, insertNavaid;
 758   sqlite3_stmt_ptr setAirportMetar, setRunwayReciprocal, setRunwayILS,
 759     setAirportPos, updateRunwayThreshold, updateILS;
 760
 761   sqlite3_stmt_ptr findClosestWithIdent;
 762 // octree (spatial index) related queries
 763   sqlite3_stmt_ptr getOctreeChildren, insertOctree, updateOctreeChildren,
 764     getOctreeLeafChildren;
 765
 766   sqlite3_stmt_ptr searchAirports;
 767   sqlite3_stmt_ptr findCommByFreq, findNavsByFreq,
 768   findNavsByFreqNoPos;
 769   sqlite3_stmt_ptr getAirportItems, getAirportItemByIdent;
 770   sqlite3_stmt_ptr findAirportRunway,
 771     findILS;
 772
 773   sqlite3_stmt_ptr runwayLengthFtQuery;
 774
 775 // airways
 776   sqlite3_stmt_ptr findAirway, insertAirwayEdge, isPosInAirway, airwayEdgesFrom,
 777   insertAirway;
 778
 779 // since there's many permutations of ident/name queries, we create
 780 // them programtically, but cache the exact query by its raw SQL once
 781 // used.
 782   std::map<string, sqlite3_stmt_ptr> findByStringDict;
 783
 784   typedef std::vector<sqlite3_stmt_ptr> StmtVec;
 785   StmtVec prepared;
 786
 787   std::set<Octree::Branch*> deferredOctreeUpdates;
 788 };
 789
 790   //////////////////////////////////////////////////////////////////////
 791
 792 FGPositioned* NavDataCache::NavDataCachePrivate::loadFromStmt(sqlite3_stmt_ptr query)
 793 {
 794   execSelect1(query);
 795   sqlite3_int64 rowid = sqlite3_column_int64(query, 0);
 796   FGPositioned::Type ty = (FGPositioned::Type) sqlite3_column_int(query, 1);
 797
 798   string ident = (char*) sqlite3_column_text(query, 2);
 799   string name = (char*) sqlite3_column_text(query, 3);
 800   sqlite3_int64 aptId = sqlite3_column_int64(query, 4);
 801   double lon = sqlite3_column_double(query, 5);
 802   double lat = sqlite3_column_double(query, 6);
 803   double elev = sqlite3_column_double(query, 7);
 804   SGGeod pos = SGGeod::fromDegM(lon, lat, elev);
 805
 806   switch (ty) {
 807     case FGPositioned::AIRPORT:
 808     case FGPositioned::SEAPORT:
 809     case FGPositioned::HELIPORT:
 810       return loadAirport(rowid, ty, ident, name, pos);
 811
 812     case FGPositioned::TOWER:
 813       return new AirportTower(rowid, aptId, ident, pos);
 814
 815     case FGPositioned::RUNWAY:
 816     case FGPositioned::TAXIWAY:
 817       return loadRunway(rowid, ty, ident, pos, aptId);
 818
 819     case FGPositioned::LOC:
 820     case FGPositioned::VOR:
 821     case FGPositioned::GS:
 822     case FGPositioned::ILS:
 823     case FGPositioned::NDB:
 824     case FGPositioned::OM:
 825     case FGPositioned::MM:
 826     case FGPositioned::IM:
 827     case FGPositioned::DME:
 828     case FGPositioned::TACAN:
 829     case FGPositioned::MOBILE_TACAN:
 830     {
 831       if (aptId > 0) {
 832         FGAirport* apt = (FGAirport*) outer->loadById(aptId);
 833         if (apt->validateILSData()) {
 834           SG_LOG(SG_NAVCACHE, SG_INFO, "re-loaded ILS data for " << apt->ident());
 835           // queried data above is probably invalid, force us to go around again
 836           // (the next time through, validateILSData will return false)
 837           return outer->loadById(rowid);
 838         }
 839       }
 840
 841       return loadNav(rowid, ty, ident, name, pos);
 842     }
 843
 844     case FGPositioned::FIX:
 845       return new FGFix(rowid, ident, pos);
 846
 847     case FGPositioned::WAYPOINT:
 848     {
 849       FGPositioned* wpt = new FGPositioned(rowid, FGPositioned::WAYPOINT, ident, pos);
 850       return wpt;
 851     }
 852
 853     case FGPositioned::FREQ_GROUND:
 854     case FGPositioned::FREQ_TOWER:
 855     case FGPositioned::FREQ_ATIS:
 856     case FGPositioned::FREQ_AWOS:
 857     case FGPositioned::FREQ_APP_DEP:
 858     case FGPositioned::FREQ_ENROUTE:
 859     case FGPositioned::FREQ_CLEARANCE:
 860     case FGPositioned::FREQ_UNICOM:
 861       return loadComm(rowid, ty, ident, name, pos, aptId);
 862
 863     default:
 864       return NULL;
 865   }
 866 }
 867
 868
 869 static NavDataCache* static_instance = NULL;
 870
 871 NavDataCache::NavDataCache()
 872 {
 873   const int MAX_TRIES = 3;
 874   SGPath homePath(globals->get_fg_home());
 875   homePath.append("navdata.cache");
 876
 877   for (int t=0; t < MAX_TRIES; ++t) {
 878     try {
 879       d.reset(new NavDataCachePrivate(homePath, this));
 880       d->init();
 881       //d->checkCacheFile();
 882     // reached this point with no exception, success
 883       break;
 884     } catch (sg_exception& e) {
 885       SG_LOG(SG_NAVCACHE, SG_WARN, "NavCache: init failed:" << e.what()
 886              << " (attempt " << t << ")");
 887       homePath.remove();
 888       d.reset();
 889     }
 890   } // of retry loop
 891
 892   double RADIUS_EARTH_M = 7000 * 1000.0; // 7000km is plenty
 893   SGVec3d earthExtent(RADIUS_EARTH_M, RADIUS_EARTH_M, RADIUS_EARTH_M);
 894   Octree::global_spatialOctree =
 895     new Octree::Branch(SGBox<double>(-earthExtent, earthExtent), 1);
 896
 897   d->aptDatPath = SGPath(globals->get_fg_root());
 898   d->aptDatPath.append("Airports/apt.dat.gz");
 899
 900   d->metarDatPath = SGPath(globals->get_fg_root());
 901   d->metarDatPath.append("Airports/metar.dat.gz");
 902
 903   d->navDatPath = SGPath(globals->get_fg_root());
 904   d->navDatPath.append("Navaids/nav.dat.gz");
 905
 906   d->fixDatPath = SGPath(globals->get_fg_root());
 907   d->fixDatPath.append("Navaids/fix.dat.gz");
 908
 909   d->carrierDatPath = SGPath(globals->get_fg_root());
 910   d->carrierDatPath.append("Navaids/carrier_nav.dat.gz");
 911
 912   d->airwayDatPath = SGPath(globals->get_fg_root());
 913   d->airwayDatPath.append("Navaids/awy.dat.gz");
 914 }
 915
 916 NavDataCache::~NavDataCache()
 917 {
 918   assert(static_instance == this);
 919   static_instance = NULL;
 920   SG_LOG(SG_NAVCACHE, SG_INFO, "closing the navcache");
 921   d.reset();
 922 }
 923
 924 NavDataCache* NavDataCache::instance()
 925 {
 926   if (!static_instance) {
 927     static_instance = new NavDataCache;
 928   }
 929
 930   return static_instance;
 931 }
 932
 933 bool NavDataCache::isRebuildRequired()
 934 {
 935   if (isCachedFileModified(d->aptDatPath) ||
 936       isCachedFileModified(d->metarDatPath) ||
 937       isCachedFileModified(d->navDatPath) ||
 938       isCachedFileModified(d->fixDatPath) ||
 939       isCachedFileModified(d->airwayDatPath))
 940   {
 941     SG_LOG(SG_NAVCACHE, SG_INFO, "NavCache: rebuild required");
 942     return true;
 943   }
 944
 945   SG_LOG(SG_NAVCACHE, SG_INFO, "NavCache: no rebuild required");
 946   return false;
 947 }
 948
 949 void NavDataCache::rebuild()
 950 {
 951   try {
 952     d->runSQL("BEGIN");
 953     d->runSQL("DELETE FROM positioned");
 954     d->runSQL("DELETE FROM airport");
 955     d->runSQL("DELETE FROM runway");
 956     d->runSQL("DELETE FROM navaid");
 957     d->runSQL("DELETE FROM comm");
 958     d->runSQL("DELETE FROM octree");
 959     d->runSQL("DELETE FROM airway");
 960     d->runSQL("DELETE FROM airway_edge");
 961
 962   // initialise the root octree node
 963     d->runSQL("INSERT INTO octree (rowid, children) VALUES (1, 0)");
 964
 965     SGTimeStamp st;
 966     st.stamp();
 967
 968     airportDBLoad(d->aptDatPath);
 969     SG_LOG(SG_NAVCACHE, SG_INFO, "apt.dat load took:" << st.elapsedMSec());
 970
 971     metarDataLoad(d->metarDatPath);
 972     stampCacheFile(d->aptDatPath);
 973     stampCacheFile(d->metarDatPath);
 974
 975     st.stamp();
 976     loadFixes(d->fixDatPath);
 977     stampCacheFile(d->fixDatPath);
 978     SG_LOG(SG_NAVCACHE, SG_INFO, "fix.dat load took:" << st.elapsedMSec());
 979
 980     st.stamp();
 981     navDBInit(d->navDatPath);
 982     stampCacheFile(d->navDatPath);
 983     SG_LOG(SG_NAVCACHE, SG_INFO, "nav.dat load took:" << st.elapsedMSec());
 984
 985     loadCarrierNav(d->carrierDatPath);
 986     stampCacheFile(d->carrierDatPath);
 987
 988     st.stamp();
 989     Airway::load(d->airwayDatPath);
 990     stampCacheFile(d->airwayDatPath);
 991     SG_LOG(SG_NAVCACHE, SG_INFO, "awy.dat load took:" << st.elapsedMSec());
 992
 993     d->flushDeferredOctreeUpdates();
 994
 995     d->runSQL("COMMIT");
 996   } catch (sg_exception& e) {
 997     SG_LOG(SG_NAVCACHE, SG_ALERT, "caught exception rebuilding navCache:" << e.what());
 998   // abandon the DB transation completely
 999     d->runSQL("ROLLBACK");
1000   }
1001 }
1002
1003 int NavDataCache::readIntProperty(const string& key)
1004 {
1005   d->reset(d->readPropertyQuery);
1006   sqlite_bind_stdstring(d->readPropertyQuery, 1, key);
1007
1008   if (d->execSelect(d->readPropertyQuery)) {
1009     return sqlite3_column_int(d->readPropertyQuery, 0);
1010   } else {
1011     SG_LOG(SG_NAVCACHE, SG_WARN, "readIntProperty: unknown:" << key);
1012     return 0; // no such property
1013   }
1014 }
1015
1016 double NavDataCache::readDoubleProperty(const string& key)
1017 {
1018   d->reset(d->readPropertyQuery);
1019   sqlite_bind_stdstring(d->readPropertyQuery, 1, key);
1020   if (d->execSelect(d->readPropertyQuery)) {
1021     return sqlite3_column_double(d->readPropertyQuery, 0);
1022   } else {
1023     SG_LOG(SG_NAVCACHE, SG_WARN, "readDoubleProperty: unknown:" << key);
1024     return 0.0; // no such property
1025   }
1026 }
1027
1028 string NavDataCache::readStringProperty(const string& key)
1029 {
1030   d->reset(d->readPropertyQuery);
1031   sqlite_bind_stdstring(d->readPropertyQuery, 1, key);
1032   if (d->execSelect(d->readPropertyQuery)) {
1033     return (char*) sqlite3_column_text(d->readPropertyQuery, 0);
1034   } else {
1035     SG_LOG(SG_NAVCACHE, SG_WARN, "readStringProperty: unknown:" << key);
1036     return string(); // no such property
1037   }
1038 }
1039
1040 void NavDataCache::writeIntProperty(const string& key, int value)
1041 {
1042   d->writeIntProperty(key, value);
1043 }
1044
1045 void NavDataCache::writeStringProperty(const string& key, const string& value)
1046 {
1047   d->reset(d->writePropertyQuery);
1048   sqlite_bind_stdstring(d->writePropertyQuery, 1, key);
1049   sqlite_bind_stdstring(d->writePropertyQuery, 2, value);
1050   d->execSelect(d->writePropertyQuery);
1051 }
1052
1053 void NavDataCache::writeDoubleProperty(const string& key, const double& value)
1054 {
1055   d->reset(d->writePropertyQuery);
1056   sqlite_bind_stdstring(d->writePropertyQuery, 1, key);
1057   sqlite3_bind_double(d->writePropertyQuery, 2, value);
1058   d->execSelect(d->writePropertyQuery);
1059 }
1060
1061 string_list NavDataCache::readStringListProperty(const string& key)
1062 {
1063   d->reset(d->readPropertyQuery);
1064   sqlite_bind_stdstring(d->readPropertyQuery, 1, key);
1065   string_list result;
1066   while (d->stepSelect(d->readPropertyQuery)) {
1067     result.push_back((char*) sqlite3_column_text(d->readPropertyQuery, 0));
1068   }
1069
1070   return result;
1071 }
1072
1073 void NavDataCache::writeStringListProperty(const string& key, const string_list& values)
1074 {
1075   d->reset(d->clearProperty);
1076   sqlite_bind_stdstring(d->clearProperty, 1, key);
1077   d->execUpdate(d->clearProperty);
1078
1079   BOOST_FOREACH(string value, values) {
1080     d->reset(d->writePropertyMulti);
1081     sqlite_bind_stdstring(d->writePropertyMulti, 1, key);
1082     sqlite_bind_stdstring(d->writePropertyMulti, 2, value);
1083     d->execInsert(d->writePropertyMulti);
1084   }
1085 }
1086
1087 bool NavDataCache::isCachedFileModified(const SGPath& path) const
1088 {
1089   if (!path.exists()) {
1090     throw sg_io_exception("isCachedFileModified: Missing file:" + path.str());
1091   }
1092
1093   d->reset(d->statCacheCheck);
1094   sqlite_bind_temp_stdstring(d->statCacheCheck, 1, path.str());
1095   if (d->execSelect(d->statCacheCheck)) {
1096     time_t modtime = sqlite3_column_int64(d->statCacheCheck, 0);
1097     return (modtime != path.modTime());
1098   } else {
1099     return true;
1100   }
1101 }
1102
1103 void NavDataCache::stampCacheFile(const SGPath& path)
1104 {
1105   d->reset(d->stampFileCache);
1106   sqlite_bind_temp_stdstring(d->stampFileCache, 1, path.str());
1107   sqlite3_bind_int64(d->stampFileCache, 2, path.modTime());
1108   d->execInsert(d->stampFileCache);
1109 }
1110
1111
1112 FGPositioned* NavDataCache::loadById(PositionedID rowid)
1113 {
1114   if (rowid == 0) {
1115     return NULL;
1116   }
1117
1118   PositionedCache::iterator it = d->cache.find(rowid);
1119   if (it != d->cache.end()) {
1120     d->cacheHits++;
1121     return it->second; // cache it
1122   }
1123
1124   d->reset(d->loadPositioned);
1125   sqlite3_bind_int64(d->loadPositioned, 1, rowid);
1126   FGPositioned* pos = d->loadFromStmt(d->loadPositioned);
1127
1128   d->cache.insert(it, PositionedCache::value_type(rowid, pos));
1129   d->cacheMisses++;
1130
1131   return pos;
1132 }
1133
1134 PositionedID NavDataCache::insertAirport(FGPositioned::Type ty, const string& ident,
1135                                          const string& name)
1136 {
1137   // airports have their pos computed based on the avergae runway centres
1138   // so the pos isn't available immediately. Pass a dummy pos and avoid
1139   // doing spatial indexing until later
1140   sqlite3_int64 rowId = d->insertPositioned(ty, ident, name, SGGeod(),
1141                                             0 /* airport */,
1142                                             false /* spatial index */);
1143
1144   d->reset(d->insertAirport);
1145   sqlite3_bind_int64(d->insertAirport, 1, rowId);
1146   d->execInsert(d->insertAirport);
1147
1148   return rowId;
1149 }
1150
1151 void NavDataCache::updatePosition(PositionedID item, const SGGeod &pos)
1152 {
1153   SGVec3d cartPos(SGVec3d::fromGeod(pos));
1154
1155   d->reset(d->setAirportPos);
1156   sqlite3_bind_int(d->setAirportPos, 1, item);
1157   sqlite3_bind_double(d->setAirportPos, 2, pos.getLongitudeDeg());
1158   sqlite3_bind_double(d->setAirportPos, 3, pos.getLatitudeDeg());
1159   sqlite3_bind_double(d->setAirportPos, 4, pos.getElevationM());
1160
1161   Octree::Leaf* octreeLeaf = Octree::global_spatialOctree->findLeafForPos(cartPos);
1162   sqlite3_bind_int64(d->setAirportPos, 5, octreeLeaf->guid());
1163
1164   sqlite3_bind_double(d->setAirportPos, 6, cartPos.x());
1165   sqlite3_bind_double(d->setAirportPos, 7, cartPos.y());
1166   sqlite3_bind_double(d->setAirportPos, 8, cartPos.z());
1167
1168
1169   d->execUpdate(d->setAirportPos);
1170 }
1171
1172 void NavDataCache::insertTower(PositionedID airportId, const SGGeod& pos)
1173 {
1174   d->insertPositioned(FGPositioned::TOWER, string(), string(),
1175                       pos, airportId, true /* spatial index */);
1176 }
1177
1178 PositionedID
1179 NavDataCache::insertRunway(FGPositioned::Type ty, const string& ident,
1180                            const SGGeod& pos, PositionedID apt,
1181                            double heading, double length, double width, double displacedThreshold,
1182                            double stopway, int surfaceCode)
1183 {
1184   // only runways are spatially indexed; don't bother indexing taxiways
1185   // or pavements
1186   bool spatialIndex = (ty == FGPositioned::RUNWAY);
1187
1188   sqlite3_int64 rowId = d->insertPositioned(ty, cleanRunwayNo(ident), "", pos, apt,
1189                                             spatialIndex);
1190   d->reset(d->insertRunway);
1191   sqlite3_bind_int64(d->insertRunway, 1, rowId);
1192   sqlite3_bind_double(d->insertRunway, 2, heading);
1193   sqlite3_bind_double(d->insertRunway, 3, length);
1194   sqlite3_bind_double(d->insertRunway, 4, width);
1195   sqlite3_bind_int(d->insertRunway, 5, surfaceCode);
1196   sqlite3_bind_double(d->insertRunway, 6, displacedThreshold);
1197   sqlite3_bind_double(d->insertRunway, 7, stopway);
1198
1199   return d->execInsert(d->insertRunway);
1200 }
1201
1202 void NavDataCache::setRunwayReciprocal(PositionedID runway, PositionedID recip)
1203 {
1204   d->reset(d->setRunwayReciprocal);
1205   sqlite3_bind_int64(d->setRunwayReciprocal, 1, runway);
1206   sqlite3_bind_int64(d->setRunwayReciprocal, 2, recip);
1207   d->execUpdate(d->setRunwayReciprocal);
1208
1209 // and the opposite direction too!
1210   d->reset(d->setRunwayReciprocal);
1211   sqlite3_bind_int64(d->setRunwayReciprocal, 2, runway);
1212   sqlite3_bind_int64(d->setRunwayReciprocal, 1, recip);
1213   d->execUpdate(d->setRunwayReciprocal);
1214 }
1215
1216 void NavDataCache::setRunwayILS(PositionedID runway, PositionedID ils)
1217 {
1218   d->reset(d->setRunwayILS);
1219   sqlite3_bind_int64(d->setRunwayILS, 1, runway);
1220   sqlite3_bind_int64(d->setRunwayILS, 2, ils);
1221   d->execUpdate(d->setRunwayILS);
1222 }
1223
1224 void NavDataCache::updateRunwayThreshold(PositionedID runwayID, const SGGeod &aThreshold,
1225                                   double aHeading, double aDisplacedThreshold,
1226                                   double aStopway)
1227 {
1228 // update the runway information
1229   d->reset(d->updateRunwayThreshold);
1230   sqlite3_bind_int64(d->updateRunwayThreshold, 1, runwayID);
1231   sqlite3_bind_double(d->updateRunwayThreshold, 2, aHeading);
1232   sqlite3_bind_double(d->updateRunwayThreshold, 3, aDisplacedThreshold);
1233   sqlite3_bind_double(d->updateRunwayThreshold, 4, aStopway);
1234   d->execUpdate(d->updateRunwayThreshold);
1235
1236 // compute the new runway center, based on the threshold lat/lon and length,
1237   double offsetFt = (0.5 * d->runwayLengthFt(runwayID));
1238   SGGeod newCenter;
1239   double dummy;
1240   SGGeodesy::direct(aThreshold, aHeading, offsetFt * SG_FEET_TO_METER, newCenter, dummy);
1241
1242 // now update the positional data
1243   updatePosition(runwayID, newCenter);
1244 }
1245
1246 PositionedID
1247 NavDataCache::insertNavaid(FGPositioned::Type ty, const string& ident,
1248                           const string& name, const SGGeod& pos,
1249                            int freq, int range, double multiuse,
1250                            PositionedID apt, PositionedID runway)
1251 {
1252   bool spatialIndex = true;
1253   if (ty == FGPositioned::MOBILE_TACAN) {
1254     spatialIndex = false;
1255   }
1256
1257   sqlite3_int64 rowId = d->insertPositioned(ty, ident, name, pos, apt,
1258                                             spatialIndex);
1259   d->reset(d->insertNavaid);
1260   sqlite3_bind_int64(d->insertNavaid, 1, rowId);
1261   sqlite3_bind_int(d->insertNavaid, 2, freq);
1262   sqlite3_bind_int(d->insertNavaid, 3, range);
1263   sqlite3_bind_double(d->insertNavaid, 4, multiuse);
1264   sqlite3_bind_int64(d->insertNavaid, 5, runway);
1265   return d->execInsert(d->insertNavaid);
1266 }
1267
1268 void NavDataCache::updateILS(PositionedID ils, const SGGeod& newPos, double aHdg)
1269 {
1270   d->reset(d->updateILS);
1271   sqlite3_bind_int64(d->updateILS, 1, ils);
1272   sqlite3_bind_double(d->updateILS, 2, aHdg);
1273   d->execUpdate(d->updateILS);
1274   updatePosition(ils, newPos);
1275 }
1276
1277 PositionedID NavDataCache::insertCommStation(FGPositioned::Type ty,
1278                                              const string& name, const SGGeod& pos, int freq, int range,
1279                                              PositionedID apt)
1280 {
1281   sqlite3_int64 rowId = d->insertPositioned(ty, "", name, pos, apt, true);
1282   d->reset(d->insertCommStation);
1283   sqlite3_bind_int64(d->insertCommStation, 1, rowId);
1284   sqlite3_bind_int(d->insertCommStation, 2, freq);
1285   sqlite3_bind_int(d->insertCommStation, 3, range);
1286   return d->execInsert(d->insertCommStation);
1287 }
1288
1289 PositionedID NavDataCache::insertFix(const std::string& ident, const SGGeod& aPos)
1290 {
1291   return d->insertPositioned(FGPositioned::FIX, ident, string(), aPos, 0, true);
1292 }
1293
1294 PositionedID NavDataCache::createUserWaypoint(const std::string& ident, const SGGeod& aPos)
1295 {
1296   return d->insertPositioned(FGPositioned::WAYPOINT, ident, string(), aPos, 0,
1297                              true /* spatial index */);
1298 }
1299
1300 void NavDataCache::setAirportMetar(const string& icao, bool hasMetar)
1301 {
1302   d->reset(d->setAirportMetar);
1303   sqlite_bind_stdstring(d->setAirportMetar, 1, icao);
1304   sqlite3_bind_int(d->setAirportMetar, 2, hasMetar);
1305   d->execUpdate(d->setAirportMetar);
1306 }
1307
1308 FGPositioned::List NavDataCache::findAllWithIdent(const string& s,
1309                                                   FGPositioned::Filter* filter, bool exact)
1310 {
1311   return d->findAllByString(s, "ident", filter, exact);
1312 }
1313
1314 FGPositioned::List NavDataCache::findAllWithName(const string& s,
1315                                                   FGPositioned::Filter* filter, bool exact)
1316 {
1317   return d->findAllByString(s, "name", filter, exact);
1318 }
1319
1320 FGPositionedRef NavDataCache::findClosestWithIdent(const string& aIdent,
1321                                                    const SGGeod& aPos, FGPositioned::Filter* aFilter)
1322 {
1323   d->reset(d->findClosestWithIdent);
1324   sqlite_bind_stdstring(d->findClosestWithIdent, 1, aIdent);
1325   if (aFilter) {
1326     sqlite3_bind_int(d->findClosestWithIdent, 2, aFilter->minType());
1327     sqlite3_bind_int(d->findClosestWithIdent, 3, aFilter->maxType());
1328   } else { // full type range
1329     sqlite3_bind_int(d->findClosestWithIdent, 2, FGPositioned::INVALID);
1330     sqlite3_bind_int(d->findClosestWithIdent, 3, FGPositioned::LAST_TYPE);
1331   }
1332
1333   SGVec3d cartPos(SGVec3d::fromGeod(aPos));
1334   sqlite3_bind_double(d->findClosestWithIdent, 4, cartPos.x());
1335   sqlite3_bind_double(d->findClosestWithIdent, 5, cartPos.y());
1336   sqlite3_bind_double(d->findClosestWithIdent, 6, cartPos.z());
1337
1338   while (d->stepSelect(d->findClosestWithIdent)) {
1339     FGPositioned* pos = loadById(sqlite3_column_int64(d->findClosestWithIdent, 0));
1340     if (aFilter && !aFilter->pass(pos)) {
1341       continue;
1342     }
1343
1344     return pos;
1345   }
1346
1347   return NULL; // no matches at all
1348 }
1349
1350
1351 int NavDataCache::getOctreeBranchChildren(int64_t octreeNodeId)
1352 {
1353   d->reset(d->getOctreeChildren);
1354   sqlite3_bind_int64(d->getOctreeChildren, 1, octreeNodeId);
1355   d->execSelect1(d->getOctreeChildren);
1356   return sqlite3_column_int(d->getOctreeChildren, 0);
1357 }
1358
1359 void NavDataCache::defineOctreeNode(Octree::Branch* pr, Octree::Node* nd)
1360 {
1361   d->reset(d->insertOctree);
1362   sqlite3_bind_int64(d->insertOctree, 1, nd->guid());
1363   d->execInsert(d->insertOctree);
1364
1365 #ifdef LAZY_OCTREE_UPDATES
1366   d->deferredOctreeUpdates.insert(pr);
1367 #else
1368   // lowest three bits of node ID are 0..7 index of the child in the parent
1369   int childIndex = nd->guid() & 0x07;
1370
1371   d->reset(d->updateOctreeChildren);
1372   sqlite3_bind_int64(d->updateOctreeChildren, 1, pr->guid());
1373 // mask has bit N set where child N exists
1374   int childMask = 1 << childIndex;
1375   sqlite3_bind_int(d->updateOctreeChildren, 2, childMask);
1376   d->execUpdate(d->updateOctreeChildren);
1377 #endif
1378 }
1379
1380 TypedPositionedVec
1381 NavDataCache::getOctreeLeafChildren(int64_t octreeNodeId)
1382 {
1383   d->reset(d->getOctreeLeafChildren);
1384   sqlite3_bind_int64(d->getOctreeLeafChildren, 1, octreeNodeId);
1385
1386   TypedPositionedVec r;
1387   while (d->stepSelect(d->getOctreeLeafChildren)) {
1388     FGPositioned::Type ty = static_cast<FGPositioned::Type>
1389       (sqlite3_column_int(d->getOctreeLeafChildren, 1));
1390     r.push_back(std::make_pair(ty,
1391                 sqlite3_column_int64(d->getOctreeLeafChildren, 0)));
1392   }
1393
1394   return r;
1395 }
1396
1397
1398 /**
1399  * A special purpose helper (used by FGAirport::searchNamesAndIdents) to
1400  * implement the AirportList dialog. It's unfortunate that it needs to reside
1401  * here, but for now it's least ugly solution.
1402  */
1403 char** NavDataCache::searchAirportNamesAndIdents(const std::string& aFilter)
1404 {
1405   d->reset(d->searchAirports);
1406   string s = "%" + aFilter + "%";
1407   sqlite_bind_stdstring(d->searchAirports, 1, s);
1408
1409   unsigned int numMatches = 0, numAllocated = 16;
1410   char** result = (char**) malloc(sizeof(char*) * numAllocated);
1411
1412   while (d->stepSelect(d->searchAirports)) {
1413     if ((numMatches + 1) >= numAllocated) {
1414       numAllocated <<= 1; // double in size!
1415     // reallocate results array
1416       char** nresult = (char**) malloc(sizeof(char*) * numAllocated);
1417       memcpy(nresult, result, sizeof(char*) * numMatches);
1418       free(result);
1419       result = nresult;
1420     }
1421
1422     // nasty code to avoid excessive string copying and allocations.
1423     // We format results as follows (note whitespace!):
1424     //   ' name-of-airport-chars   (ident)'
1425     // so the total length is:
1426     //    1 + strlen(name) + 4 + strlen(icao) + 1 + 1 (for the null)
1427     // which gives a grand total of 7 + name-length + icao-length.
1428     // note the ident can be three letters (non-ICAO local strip), four
1429     // (default ICAO) or more (extended format ICAO)
1430     int nameLength = sqlite3_column_bytes(d->searchAirports, 1);
1431     int icaoLength = sqlite3_column_bytes(d->searchAirports, 0);
1432     char* entry = (char*) malloc(7 + nameLength + icaoLength);
1433     char* dst = entry;
1434     *dst++ = ' ';
1435     memcpy(dst, sqlite3_column_text(d->searchAirports, 1), nameLength);
1436     dst += nameLength;
1437     *dst++ = ' ';
1438     *dst++ = ' ';
1439     *dst++ = ' ';
1440     *dst++ = '(';
1441     memcpy(dst, sqlite3_column_text(d->searchAirports, 0), icaoLength);
1442     dst += icaoLength;
1443     *dst++ = ')';
1444     *dst++ = 0;
1445
1446     result[numMatches++] = entry;
1447   }
1448
1449   result[numMatches] = NULL; // end of list marker
1450   return result;
1451 }
1452
1453 FGPositionedRef
1454 NavDataCache::findCommByFreq(int freqKhz, const SGGeod& aPos, FGPositioned::Filter* aFilter)
1455 {
1456   d->reset(d->findCommByFreq);
1457   sqlite3_bind_int(d->findCommByFreq, 1, freqKhz);
1458   if (aFilter) {
1459     sqlite3_bind_int(d->findCommByFreq, 2, aFilter->minType());
1460     sqlite3_bind_int(d->findCommByFreq, 3, aFilter->maxType());
1461   } else { // full type range
1462     sqlite3_bind_int(d->findCommByFreq, 2, FGPositioned::FREQ_GROUND);
1463     sqlite3_bind_int(d->findCommByFreq, 3, FGPositioned::FREQ_UNICOM);
1464   }
1465
1466   SGVec3d cartPos(SGVec3d::fromGeod(aPos));
1467   sqlite3_bind_double(d->findCommByFreq, 4, cartPos.x());
1468   sqlite3_bind_double(d->findCommByFreq, 5, cartPos.y());
1469   sqlite3_bind_double(d->findCommByFreq, 6, cartPos.z());
1470
1471   if (!d->execSelect(d->findCommByFreq)) {
1472     return NULL;
1473   }
1474
1475   return loadById(sqlite3_column_int64(d->findCommByFreq, 0));
1476 }
1477
1478 PositionedIDVec
1479 NavDataCache::findNavaidsByFreq(int freqKhz, const SGGeod& aPos, FGPositioned::Filter* aFilter)
1480 {
1481   d->reset(d->findNavsByFreq);
1482   sqlite3_bind_int(d->findNavsByFreq, 1, freqKhz);
1483   if (aFilter) {
1484     sqlite3_bind_int(d->findNavsByFreq, 2, aFilter->minType());
1485     sqlite3_bind_int(d->findNavsByFreq, 3, aFilter->maxType());
1486   } else { // full type range
1487     sqlite3_bind_int(d->findNavsByFreq, 2, FGPositioned::NDB);
1488     sqlite3_bind_int(d->findNavsByFreq, 3, FGPositioned::GS);
1489   }
1490
1491   SGVec3d cartPos(SGVec3d::fromGeod(aPos));
1492   sqlite3_bind_double(d->findNavsByFreq, 4, cartPos.x());
1493   sqlite3_bind_double(d->findNavsByFreq, 5, cartPos.y());
1494   sqlite3_bind_double(d->findNavsByFreq, 6, cartPos.z());
1495
1496   return d->selectIds(d->findNavsByFreq);
1497 }
1498
1499 PositionedIDVec
1500 NavDataCache::findNavaidsByFreq(int freqKhz, FGPositioned::Filter* aFilter)
1501 {
1502   d->reset(d->findNavsByFreqNoPos);
1503   sqlite3_bind_int(d->findNavsByFreqNoPos, 1, freqKhz);
1504   if (aFilter) {
1505     sqlite3_bind_int(d->findNavsByFreqNoPos, 2, aFilter->minType());
1506     sqlite3_bind_int(d->findNavsByFreqNoPos, 3, aFilter->maxType());
1507   } else { // full type range
1508     sqlite3_bind_int(d->findNavsByFreqNoPos, 2, FGPositioned::NDB);
1509     sqlite3_bind_int(d->findNavsByFreqNoPos, 3, FGPositioned::GS);
1510   }
1511
1512   return d->selectIds(d->findNavsByFreqNoPos);
1513 }
1514
1515 PositionedIDVec
1516 NavDataCache::airportItemsOfType(PositionedID apt,FGPositioned::Type ty,
1517                                  FGPositioned::Type maxTy)
1518 {
1519   if (maxTy == FGPositioned::INVALID) {
1520     maxTy = ty; // single-type range
1521   }
1522
1523   d->reset(d->getAirportItems);
1524   sqlite3_bind_int64(d->getAirportItems, 1, apt);
1525   sqlite3_bind_int(d->getAirportItems, 2, ty);
1526   sqlite3_bind_int(d->getAirportItems, 3, maxTy);
1527
1528   return d->selectIds(d->getAirportItems);
1529 }
1530
1531 PositionedID
1532 NavDataCache::airportItemWithIdent(PositionedID apt, FGPositioned::Type ty,
1533                                    const std::string& ident)
1534 {
1535   d->reset(d->getAirportItemByIdent);
1536   sqlite3_bind_int64(d->getAirportItemByIdent, 1, apt);
1537   sqlite_bind_stdstring(d->getAirportItemByIdent, 2, ident);
1538   sqlite3_bind_int(d->getAirportItemByIdent, 3, ty);
1539
1540   if (!d->execSelect(d->getAirportItemByIdent)) {
1541     return 0;
1542   }
1543
1544   return sqlite3_column_int64(d->getAirportItemByIdent, 0);
1545 }
1546
1547 AirportRunwayPair
1548 NavDataCache::findAirportRunway(const std::string& aName)
1549 {
1550   if (aName.empty()) {
1551     return AirportRunwayPair();
1552   }
1553
1554   string_list parts = simgear::strutils::split(aName);
1555   if (parts.size() < 2) {
1556     SG_LOG(SG_NAVCACHE, SG_WARN, "findAirportRunway: malformed name:" << aName);
1557     return AirportRunwayPair();
1558   }
1559
1560   d->reset(d->findAirportRunway);
1561   sqlite_bind_stdstring(d->findAirportRunway, 1, parts[0]);
1562   sqlite_bind_stdstring(d->findAirportRunway, 2, parts[1]);
1563   if (!d->execSelect(d->findAirportRunway)) {
1564     SG_LOG(SG_NAVCACHE, SG_WARN, "findAirportRunway: unknown airport/runway:" << aName);
1565     return AirportRunwayPair();
1566   }
1567
1568   // success, extract the IDs and continue
1569   return AirportRunwayPair(sqlite3_column_int64(d->findAirportRunway, 0),
1570                            sqlite3_column_int64(d->findAirportRunway, 1));
1571 }
1572
1573 PositionedID
1574 NavDataCache::findILS(PositionedID airport, const string& runway, const string& navIdent)
1575 {
1576   d->reset(d->findILS);
1577   sqlite_bind_stdstring(d->findILS, 1, navIdent);
1578   sqlite3_bind_int64(d->findILS, 2, airport);
1579   sqlite_bind_stdstring(d->findILS, 3, runway);
1580
1581   if (!d->execSelect(d->findILS)) {
1582     return 0;
1583   }
1584
1585   return sqlite3_column_int64(d->findILS, 0);
1586 }
1587
1588 int NavDataCache::findAirway(int network, const string& aName)
1589 {
1590   d->reset(d->findAirway);
1591   sqlite3_bind_int(d->findAirway, 1, network);
1592   sqlite_bind_stdstring(d->findAirway, 2, aName);
1593   if (d->execSelect(d->findAirway)) {
1594     // already exists
1595     return sqlite3_column_int(d->findAirway, 0);
1596   }
1597
1598   d->reset(d->insertAirway);
1599   sqlite_bind_stdstring(d->insertAirway, 1, aName);
1600   sqlite3_bind_int(d->insertAirway, 2, network);
1601   return d->execInsert(d->insertAirway);
1602 }
1603
1604 void NavDataCache::insertEdge(int network, int airwayID, PositionedID from, PositionedID to)
1605 {
1606   // assume all edges are bidirectional for the moment
1607   for (int i=0; i<2; ++i) {
1608     d->reset(d->insertAirwayEdge);
1609     sqlite3_bind_int(d->insertAirwayEdge, 1, network);
1610     sqlite3_bind_int(d->insertAirwayEdge, 2, airwayID);
1611     sqlite3_bind_int64(d->insertAirwayEdge, 3, from);
1612     sqlite3_bind_int64(d->insertAirwayEdge, 4, to);
1613     d->execInsert(d->insertAirwayEdge);
1614
1615     std::swap(from, to);
1616   }
1617 }
1618
1619 bool NavDataCache::isInAirwayNetwork(int network, PositionedID pos)
1620 {
1621   d->reset(d->isPosInAirway);
1622   sqlite3_bind_int(d->isPosInAirway, 1, network);
1623   sqlite3_bind_int64(d->isPosInAirway, 2, pos);
1624   bool ok = d->execSelect(d->isPosInAirway);
1625   return ok;
1626 }
1627
1628 AirwayEdgeVec NavDataCache::airwayEdgesFrom(int network, PositionedID pos)
1629 {
1630   d->reset(d->airwayEdgesFrom);
1631   sqlite3_bind_int(d->airwayEdgesFrom, 1, network);
1632   sqlite3_bind_int64(d->airwayEdgesFrom, 2, pos);
1633
1634   AirwayEdgeVec result;
1635   while (d->stepSelect(d->airwayEdgesFrom)) {
1636     result.push_back(AirwayEdge(
1637                      sqlite3_column_int(d->airwayEdgesFrom, 0),
1638                      sqlite3_column_int64(d->airwayEdgesFrom, 1)
1639                      ));
1640   }
1641   return result;
1642 }
1643
1644 } // of namespace flightgear
1645