src/Navaids/NavDataCache.cxx

   1 // NavDataCache.cxx - defines a unified binary cache for navigation
   2 // data, parsed from various text / XML sources.
   3
   4 // Written by James Turner, started 2012.
   5 //
   6 // Copyright (C) 2012  James Turner
   7 //
   8 // This program is free software; you can redistribute it and/or
   9 // modify it under the terms of the GNU General Public License as
  10 // published by the Free Software Foundation; either version 2 of the
  11 // License, or (at your option) any later version.
  12 //
  13 // This program is distributed in the hope that it will be useful, but
  14 // WITHOUT ANY WARRANTY; without even the implied warranty of
  15 // MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
  16 // General Public License for more details.
  17 //
  18 // You should have received a copy of the GNU General Public License
  19 // along with this program; if not, write to the Free Software
  20 // Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA  02110-1301, USA.
  21
  22 #ifdef HAVE_CONFIG_H
  23 # include "config.h"
  24 #endif
  25
  26 // to ensure compatability between sqlite3_int64 and PositionedID,
  27 // force the type used by sqlite to match PositionedID explicitly
  28 #define SQLITE_INT64_TYPE int64_t
  29 #define SQLITE_UINT64_TYPE uint64_t
  30
  31 #include "NavDataCache.hxx"
  32
  33 // std
  34 #include <map>
  35 #include <cassert>
  36 #include <stdint.h> // for int64_t
  37 // boost
  38 #include <boost/foreach.hpp>
  39
  40 #include "sqlite3.h"
  41
  42 // SimGear
  43 #include <simgear/structure/exception.hxx>
  44 #include <simgear/debug/logstream.hxx>
  45 #include <simgear/bucket/newbucket.hxx>
  46 #include <simgear/misc/sg_path.hxx>
  47 #include <simgear/misc/strutils.hxx>
  48
  49 #include <Main/globals.hxx>
  50 #include "markerbeacon.hxx"
  51 #include "navrecord.hxx"
  52 #include <Airports/simple.hxx>
  53 #include <Airports/runways.hxx>
  54 #include <ATC/CommStation.hxx>
  55 #include "fix.hxx"
  56 #include <Navaids/fixlist.hxx>
  57 #include <Navaids/navdb.hxx>
  58 #include "PositionedOctree.hxx"
  59 #include <Airports/apt_loader.hxx>
  60 #include <Navaids/airways.hxx>
  61
  62 using std::string;
  63
  64 #define SG_NAVCACHE SG_GENERAL
  65 //#define LAZY_OCTREE_UPDATES 1
  66
  67 namespace {
  68
  69 const int SCHEMA_VERSION = 3;
  70
  71 // bind a std::string to a sqlite statement. The std::string must live the
  72 // entire duration of the statement execution - do not pass a temporary
  73 // std::string, or the compiler may delete it, freeing the C-string storage,
  74 // and causing subtle memory corruption bugs!
  75 void sqlite_bind_stdstring(sqlite3_stmt* stmt, int value, const std::string& s)
  76 {
  77   sqlite3_bind_text(stmt, value, s.c_str(), s.length(), SQLITE_STATIC);
  78 }
  79
  80 // variant of the above, which does not care about the lifetime of the
  81 // passed std::string
  82 void sqlite_bind_temp_stdstring(sqlite3_stmt* stmt, int value, const std::string& s)
  83 {
  84   sqlite3_bind_text(stmt, value, s.c_str(), s.length(), SQLITE_TRANSIENT);
  85 }
  86
  87 typedef sqlite3_stmt* sqlite3_stmt_ptr;
  88
  89 void f_distanceCartSqrFunction(sqlite3_context* ctx, int argc, sqlite3_value* argv[])
  90 {
  91   if (argc != 6) {
  92     return;
  93   }
  94
  95   SGVec3d posA(sqlite3_value_double(argv[0]),
  96                sqlite3_value_double(argv[1]),
  97                sqlite3_value_double(argv[2]));
  98
  99   SGVec3d posB(sqlite3_value_double(argv[3]),
 100                sqlite3_value_double(argv[4]),
 101                sqlite3_value_double(argv[5]));
 102   sqlite3_result_double(ctx, distSqr(posA, posB));
 103 }
 104
 105
 106 static string cleanRunwayNo(const string& aRwyNo)
 107 {
 108   if (aRwyNo[0] == 'x') {
 109     return string(); // no ident for taxiways
 110   }
 111
 112   string result(aRwyNo);
 113   // canonicalise runway ident
 114   if ((aRwyNo.size() == 1) || !isdigit(aRwyNo[1])) {
 115     result = "0" + aRwyNo;
 116   }
 117
 118   // trim off trailing garbage
 119   if (result.size() > 2) {
 120     char suffix = toupper(result[2]);
 121     if (suffix == 'X') {
 122       result = result.substr(0, 2);
 123     }
 124   }
 125
 126   return result;
 127 }
 128
 129 } // anonymous namespace
 130
 131 namespace flightgear
 132 {
 133
 134 typedef std::map<PositionedID, FGPositionedRef> PositionedCache;
 135
 136 class AirportTower : public FGPositioned
 137 {
 138 public:
 139   AirportTower(PositionedID& guid, PositionedID airport,
 140                const string& ident, const SGGeod& pos) :
 141     FGPositioned(guid, FGPositioned::TOWER, ident, pos)
 142   {
 143   }
 144 };
 145
 146 class NavDataCache::NavDataCachePrivate
 147 {
 148 public:
 149   NavDataCachePrivate(const SGPath& p, NavDataCache* o) :
 150     outer(o),
 151     db(NULL),
 152     path(p),
 153     cacheHits(0),
 154     cacheMisses(0)
 155   {
 156   }
 157
 158   ~NavDataCachePrivate()
 159   {
 160     BOOST_FOREACH(sqlite3_stmt_ptr stmt, prepared) {
 161       sqlite3_finalize(stmt);
 162     }
 163     prepared.clear();
 164
 165     sqlite3_close(db);
 166   }
 167
 168   void init()
 169   {
 170     SG_LOG(SG_NAVCACHE, SG_INFO, "NavCache at:" << path);
 171     sqlite3_open_v2(path.c_str(), &db,
 172                     SQLITE_OPEN_READWRITE | SQLITE_OPEN_CREATE, NULL);
 173
 174
 175     sqlite3_stmt_ptr checkTables =
 176       prepare("SELECT count(*) FROM sqlite_master WHERE name='properties'");
 177
 178     sqlite3_create_function(db, "distanceCartSqr", 6, SQLITE_ANY, NULL,
 179                             f_distanceCartSqrFunction, NULL, NULL);
 180
 181     execSelect(checkTables);
 182     bool didCreate = false;
 183     if (sqlite3_column_int(checkTables, 0) == 0) {
 184       SG_LOG(SG_NAVCACHE, SG_INFO, "will create tables");
 185       initTables();
 186       didCreate = true;
 187     }
 188
 189     readPropertyQuery = prepare("SELECT value FROM properties WHERE key=?");
 190     writePropertyQuery = prepare("INSERT OR REPLACE INTO properties "
 191                                  "(key, value) VALUES (?,?)");
 192
 193     if (didCreate) {
 194       writeIntProperty("schema-version", SCHEMA_VERSION);
 195     } else {
 196       int schemaVersion = outer->readIntProperty("schema-version");
 197       if (schemaVersion != SCHEMA_VERSION) {
 198         SG_LOG(SG_NAVCACHE, SG_INFO, "Navcache schema mismatch, will rebuild");
 199         throw sg_exception("Navcache schema has changed");
 200       }
 201     }
 202
 203     prepareQueries();
 204   }
 205
 206   void checkCacheFile()
 207   {
 208     SG_LOG(SG_NAVCACHE, SG_INFO, "running DB integrity check");
 209     SGTimeStamp st;
 210     st.stamp();
 211
 212     sqlite3_stmt_ptr stmt = prepare("PRAGMA integrity_check(1)");
 213     if (!execSelect(stmt)) {
 214       throw sg_exception("DB integrity check failed to run");
 215     }
 216
 217     string v = (char*) sqlite3_column_text(stmt, 0);
 218     if (v != "ok") {
 219       throw sg_exception("DB integrity check returned:" + v);
 220     }
 221
 222     SG_LOG(SG_NAVCACHE, SG_INFO, "NavDataCache integrity check took:" << st.elapsedMSec());
 223     finalize(stmt);
 224   }
 225
 226   void callSqlite(int result, const string& sql)
 227   {
 228     if (result == SQLITE_OK)
 229       return; // all good
 230
 231     string errMsg;
 232     if (result == SQLITE_MISUSE) {
 233       errMsg = "Sqlite API abuse";
 234       SG_LOG(SG_NAVCACHE, SG_ALERT, "Sqlite API abuse");
 235     } else {
 236       errMsg = sqlite3_errmsg(db);
 237       SG_LOG(SG_NAVCACHE, SG_ALERT, "Sqlite error:" << errMsg << " running:\n\t" << sql);
 238     }
 239
 240     throw sg_exception("Sqlite error:" + errMsg, sql);
 241   }
 242
 243   void runSQL(const string& sql)
 244   {
 245     sqlite3_stmt_ptr stmt;
 246     callSqlite(sqlite3_prepare_v2(db, sql.c_str(), sql.length(), &stmt, NULL), sql);
 247
 248     try {
 249       execSelect(stmt);
 250     } catch (sg_exception& e) {
 251       sqlite3_finalize(stmt);
 252       throw; // re-throw
 253     }
 254
 255     sqlite3_finalize(stmt);
 256   }
 257
 258   sqlite3_stmt_ptr prepare(const string& sql)
 259   {
 260     sqlite3_stmt_ptr stmt;
 261     callSqlite(sqlite3_prepare_v2(db, sql.c_str(), sql.length(), &stmt, NULL), sql);
 262     prepared.push_back(stmt);
 263     return stmt;
 264   }
 265
 266   void finalize(sqlite3_stmt_ptr s)
 267   {
 268     StmtVec::iterator it = std::find(prepared.begin(), prepared.end(), s);
 269     if (it == prepared.end()) {
 270       throw sg_exception("Finalising statement that was not prepared");
 271     }
 272
 273     prepared.erase(it);
 274     sqlite3_finalize(s);
 275   }
 276
 277   void reset(sqlite3_stmt_ptr stmt)
 278   {
 279     assert(stmt);
 280     if (sqlite3_reset(stmt) != SQLITE_OK) {
 281       string errMsg = sqlite3_errmsg(db);
 282       SG_LOG(SG_NAVCACHE, SG_ALERT, "Sqlite error resetting:" << errMsg);
 283       throw sg_exception("Sqlite error resetting:" + errMsg, sqlite3_sql(stmt));
 284     }
 285   }
 286
 287   bool execSelect(sqlite3_stmt_ptr stmt)
 288   {
 289     return stepSelect(stmt);
 290   }
 291
 292   bool stepSelect(sqlite3_stmt_ptr stmt)
 293   {
 294     int result = sqlite3_step(stmt);
 295     if (result == SQLITE_ROW) {
 296       return true; // at least one result row
 297     }
 298
 299     if (result == SQLITE_DONE) {
 300       return false; // no result rows
 301     }
 302
 303     string errMsg;
 304     if (result == SQLITE_MISUSE) {
 305       errMsg = "Sqlite API abuse";
 306       SG_LOG(SG_NAVCACHE, SG_ALERT, "Sqlite API abuse");
 307     } else {
 308       errMsg = sqlite3_errmsg(db);
 309       SG_LOG(SG_NAVCACHE, SG_ALERT, "Sqlite error:" << errMsg
 310              << " while running:\n\t" << sqlite3_sql(stmt));
 311     }
 312
 313     throw sg_exception("Sqlite error:" + errMsg, sqlite3_sql(stmt));
 314   }
 315
 316   void execSelect1(sqlite3_stmt_ptr stmt)
 317   {
 318     if (!execSelect(stmt)) {
 319       SG_LOG(SG_NAVCACHE, SG_WARN, "empty SELECT running:\n\t" << sqlite3_sql(stmt));
 320       throw sg_exception("no results returned for select", sqlite3_sql(stmt));
 321     }
 322   }
 323
 324   sqlite3_int64 execInsert(sqlite3_stmt_ptr stmt)
 325   {
 326     execSelect(stmt);
 327     return sqlite3_last_insert_rowid(db);
 328   }
 329
 330   void execUpdate(sqlite3_stmt_ptr stmt)
 331   {
 332     execSelect(stmt);
 333   }
 334
 335   void initTables()
 336   {
 337     runSQL("CREATE TABLE properties ("
 338            "key VARCHAR,"
 339            "value VARCHAR"
 340            ")");
 341
 342     runSQL("CREATE TABLE stat_cache ("
 343            "path VARCHAR unique,"
 344            "stamp INT"
 345            ")");
 346
 347     runSQL("CREATE TABLE positioned ("
 348            "type INT,"
 349            "ident VARCHAR collate nocase,"
 350            "name VARCHAR collate nocase,"
 351            "airport INT64,"
 352            "lon FLOAT,"
 353            "lat FLOAT,"
 354            "elev_m FLOAT,"
 355            "octree_node INT,"
 356            "cart_x FLOAT,"
 357            "cart_y FLOAT,"
 358            "cart_z FLOAT"
 359            ")");
 360
 361     runSQL("CREATE INDEX pos_octree ON positioned(octree_node)");
 362     runSQL("CREATE INDEX pos_ident ON positioned(ident collate nocase)");
 363     runSQL("CREATE INDEX pos_name ON positioned(name collate nocase)");
 364     // allow efficient querying of 'all ATIS at this airport' or
 365     // 'all towers at this airport'
 366     runSQL("CREATE INDEX pos_apt_type ON positioned(airport, type)");
 367
 368     runSQL("CREATE TABLE airport ("
 369            "has_metar BOOL"
 370            ")"
 371            );
 372
 373     runSQL("CREATE TABLE comm ("
 374            "freq_khz INT,"
 375            "range_nm INT"
 376            ")"
 377            );
 378
 379     runSQL("CREATE INDEX comm_freq ON comm(freq_khz)");
 380
 381     runSQL("CREATE TABLE runway ("
 382            "heading FLOAT,"
 383            "length_ft FLOAT,"
 384            "width_m FLOAT,"
 385            "surface INT,"
 386            "displaced_threshold FLOAT,"
 387            "stopway FLOAT,"
 388            "reciprocal INT64,"
 389            "ils INT64"
 390            ")"
 391            );
 392
 393     runSQL("CREATE TABLE navaid ("
 394            "freq INT,"
 395            "range_nm INT,"
 396            "multiuse FLOAT,"
 397            "runway INT64,"
 398            "colocated INT64"
 399            ")"
 400            );
 401
 402     runSQL("CREATE INDEX navaid_freq ON navaid(freq)");
 403
 404     runSQL("CREATE TABLE octree (children INT)");
 405
 406     runSQL("CREATE TABLE airway ("
 407            "ident VARCHAR collate nocase,"
 408            "network INT" // high-level or low-level
 409            ")");
 410
 411     runSQL("CREATE INDEX airway_ident ON airway(ident)");
 412
 413     runSQL("CREATE TABLE airway_edge ("
 414            "network INT,"
 415            "airway INT64,"
 416            "a INT64,"
 417            "b INT64"
 418            ")");
 419
 420     runSQL("CREATE INDEX airway_edge_from ON airway_edge(a)");
 421   }
 422
 423   void prepareQueries()
 424   {
 425 #define POSITIONED_COLS "rowid, type, ident, name, airport, lon, lat, elev_m, octree_node"
 426 #define AND_TYPED "AND type>=?2 AND type <=?3"
 427     statCacheCheck = prepare("SELECT stamp FROM stat_cache WHERE path=?");
 428     stampFileCache = prepare("INSERT OR REPLACE INTO stat_cache "
 429                              "(path, stamp) VALUES (?,?)");
 430
 431     loadPositioned = prepare("SELECT " POSITIONED_COLS " FROM positioned WHERE rowid=?");
 432     loadAirportStmt = prepare("SELECT has_metar FROM airport WHERE rowid=?");
 433     loadNavaid = prepare("SELECT range_nm, freq, multiuse, runway, colocated FROM navaid WHERE rowid=?");
 434     loadCommStation = prepare("SELECT freq_khz, range_nm FROM comm WHERE rowid=?");
 435     loadRunwayStmt = prepare("SELECT heading, length_ft, width_m, surface, displaced_threshold,"
 436                              "stopway, reciprocal, ils FROM runway WHERE rowid=?1");
 437
 438     getAirportItems = prepare("SELECT rowid FROM positioned WHERE airport=?1 " AND_TYPED);
 439
 440
 441     setAirportMetar = prepare("UPDATE airport SET has_metar=?2 WHERE rowid="
 442                               "(SELECT rowid FROM positioned WHERE ident=?1 AND type>=?3 AND type <=?4)");
 443     sqlite3_bind_int(setAirportMetar, 3, FGPositioned::AIRPORT);
 444     sqlite3_bind_int(setAirportMetar, 4, FGPositioned::SEAPORT);
 445
 446     setRunwayReciprocal = prepare("UPDATE runway SET reciprocal=?2 WHERE rowid=?1");
 447     setRunwayILS = prepare("UPDATE runway SET ils=?2 WHERE rowid=?1");
 448     updateRunwayThreshold = prepare("UPDATE runway SET heading=?2, displaced_threshold=?3, stopway=?4 WHERE rowid=?1");
 449
 450     insertPositionedQuery = prepare("INSERT INTO positioned "
 451                                     "(type, ident, name, airport, lon, lat, elev_m, octree_node, "
 452                                     "cart_x, cart_y, cart_z)"
 453                                     " VALUES (?1, ?2, ?3, ?4, ?5, ?6, ?7, ?8, ?9, ?10, ?11)");
 454
 455     setAirportPos = prepare("UPDATE positioned SET lon=?2, lat=?3, elev_m=?4, octree_node=?5, "
 456                             "cart_x=?6, cart_y=?7, cart_z=?8 WHERE rowid=?1");
 457     insertAirport = prepare("INSERT INTO airport (rowid, has_metar) VALUES (?, ?)");
 458     insertNavaid = prepare("INSERT INTO navaid (rowid, freq, range_nm, multiuse, runway, colocated)"
 459                            " VALUES (?1, ?2, ?3, ?4, ?5, ?6)");
 460     updateILS = prepare("UPDATE navaid SET multiuse=?2 WHERE rowid=?1");
 461
 462     insertCommStation = prepare("INSERT INTO comm (rowid, freq_khz, range_nm)"
 463                                 " VALUES (?, ?, ?)");
 464     insertRunway = prepare("INSERT INTO runway "
 465                            "(rowid, heading, length_ft, width_m, surface, displaced_threshold, stopway, reciprocal)"
 466                            " VALUES (?1, ?2, ?3, ?4, ?5, ?6, ?7, ?8)");
 467     runwayLengthFtQuery = prepare("SELECT length_ft FROM runway WHERE rowid=?1");
 468
 469   // query statement
 470     findClosestWithIdent = prepare("SELECT rowid FROM positioned WHERE ident=?1 "
 471                                    AND_TYPED " ORDER BY distanceCartSqr(cart_x, cart_y, cart_z, ?4, ?5, ?6)");
 472
 473     findCommByFreq = prepare("SELECT positioned.rowid FROM positioned, comm WHERE "
 474                              "positioned.rowid=comm.rowid AND freq_khz=?1 "
 475                              AND_TYPED " ORDER BY distanceCartSqr(cart_x, cart_y, cart_z, ?4, ?5, ?6)");
 476
 477     findNavsByFreq = prepare("SELECT positioned.rowid FROM positioned, navaid WHERE "
 478                              "positioned.rowid=navaid.rowid "
 479                              "AND navaid.freq=?1 " AND_TYPED
 480                              " ORDER BY distanceCartSqr(cart_x, cart_y, cart_z, ?4, ?5, ?6)");
 481
 482     findNavsByFreqNoPos = prepare("SELECT positioned.rowid FROM positioned, navaid WHERE "
 483                                   "positioned.rowid=navaid.rowid AND freq=?1 " AND_TYPED);
 484
 485   // for an octree branch, return the child octree nodes which exist,
 486   // described as a bit-mask
 487     getOctreeChildren = prepare("SELECT children FROM octree WHERE rowid=?1");
 488
 489 #ifdef LAZY_OCTREE_UPDATES
 490     updateOctreeChildren = prepare("UPDATE octree SET children=?2 WHERE rowid=?1");
 491 #else
 492   // mask the new child value into the existing one
 493     updateOctreeChildren = prepare("UPDATE octree SET children=(?2 | children) WHERE rowid=?1");
 494 #endif
 495
 496   // define a new octree node (with no children)
 497     insertOctree = prepare("INSERT INTO octree (rowid, children) VALUES (?1, 0)");
 498
 499     getOctreeLeafChildren = prepare("SELECT rowid, type FROM positioned WHERE octree_node=?1");
 500
 501     searchAirports = prepare("SELECT ident, name FROM positioned WHERE (name LIKE ?1 OR ident LIKE ?1) " AND_TYPED);
 502     sqlite3_bind_int(searchAirports, 2, FGPositioned::AIRPORT);
 503     sqlite3_bind_int(searchAirports, 3, FGPositioned::SEAPORT);
 504
 505     getAirportItemByIdent = prepare("SELECT rowid FROM positioned WHERE airport=?1 AND ident=?2 AND type=?3");
 506
 507     findAirportRunway = prepare("SELECT airport, rowid FROM positioned WHERE ident=?2 AND type=?3 AND airport="
 508                                 "(SELECT rowid FROM positioned WHERE type=?4 AND ident=?1)");
 509     sqlite3_bind_int(findAirportRunway, 3, FGPositioned::RUNWAY);
 510     sqlite3_bind_int(findAirportRunway, 4, FGPositioned::AIRPORT);
 511
 512     // three-way join to get the navaid ident and runway ident in a single select.
 513     // we're joining positioned to itself by the navaid runway, with the complication
 514     // that we need to join the navaids table to get the runway ID.
 515     // we also need to filter by type to excluse glideslope (GS) matches
 516     findILS = prepare("SELECT nav.rowid FROM positioned AS nav, positioned AS rwy, navaid WHERE "
 517                       "nav.ident=?1 AND nav.airport=?2 AND rwy.ident=?3 "
 518                       "AND rwy.rowid = navaid.runway AND navaid.rowid=nav.rowid "
 519                       "AND (nav.type=?4 OR nav.type=?5)");
 520
 521     sqlite3_bind_int(findILS, 4, FGPositioned::ILS);
 522     sqlite3_bind_int(findILS, 5, FGPositioned::LOC);
 523
 524     findAirway = prepare("SELECT rowid FROM airway WHERE network=?1 AND ident=?2");
 525     insertAirway = prepare("INSERT INTO airway (ident, network) "
 526                            "VALUES (?1, ?2)");
 527
 528     insertAirwayEdge = prepare("INSERT INTO airway_edge (network, airway, a, b) "
 529                                "VALUES (?1, ?2, ?3, ?4)");
 530
 531     isPosInAirway = prepare("SELECT rowid FROM airway_edge WHERE network=?1 AND a=?2");
 532
 533     airwayEdgesFrom = prepare("SELECT airway, b FROM airway_edge WHERE network=?1 AND a=?2");
 534   }
 535
 536   void writeIntProperty(const string& key, int value)
 537   {
 538     sqlite_bind_stdstring(writePropertyQuery, 1, key);
 539     sqlite3_bind_int(writePropertyQuery, 2, value);
 540     execSelect(writePropertyQuery);
 541   }
 542
 543
 544   FGPositioned* loadFromStmt(sqlite3_stmt_ptr query);
 545
 546   FGAirport* loadAirport(sqlite_int64 rowId,
 547                          FGPositioned::Type ty,
 548                          const string& id, const string& name, const SGGeod& pos)
 549   {
 550     reset(loadAirportStmt);
 551     sqlite3_bind_int64(loadAirportStmt, 1, rowId);
 552     execSelect1(loadAirportStmt);
 553     bool hasMetar = sqlite3_column_int(loadAirportStmt, 0);
 554     return new FGAirport(rowId, id, pos, name, hasMetar, ty);
 555   }
 556
 557   FGRunwayBase* loadRunway(sqlite3_int64 rowId, FGPositioned::Type ty,
 558                            const string& id, const SGGeod& pos, PositionedID apt)
 559   {
 560     reset(loadRunwayStmt);
 561     sqlite3_bind_int(loadRunwayStmt, 1, rowId);
 562     execSelect1(loadRunwayStmt);
 563
 564     double heading = sqlite3_column_double(loadRunwayStmt, 0);
 565     double lengthM = sqlite3_column_int(loadRunwayStmt, 1);
 566     double widthM = sqlite3_column_double(loadRunwayStmt, 2);
 567     int surface = sqlite3_column_int(loadRunwayStmt, 3);
 568
 569     if (ty == FGPositioned::TAXIWAY) {
 570       return new FGTaxiway(rowId, id, pos, heading, lengthM, widthM, surface);
 571     } else {
 572       double displacedThreshold = sqlite3_column_double(loadRunwayStmt, 4);
 573       double stopway = sqlite3_column_double(loadRunwayStmt, 5);
 574       PositionedID reciprocal = sqlite3_column_int64(loadRunwayStmt, 6);
 575       PositionedID ils = sqlite3_column_int64(loadRunwayStmt, 7);
 576       FGRunway* r = new FGRunway(rowId, apt, id, pos, heading, lengthM, widthM,
 577                           displacedThreshold, stopway, surface, false);
 578
 579       if (reciprocal > 0) {
 580         r->setReciprocalRunway(reciprocal);
 581       }
 582
 583       if (ils > 0) {
 584         r->setILS(ils);
 585       }
 586
 587       return r;
 588     }
 589   }
 590
 591   CommStation* loadComm(sqlite3_int64 rowId, FGPositioned::Type ty,
 592                         const string& id, const string& name,
 593                         const SGGeod& pos,
 594                         PositionedID airport)
 595   {
 596     reset(loadCommStation);
 597     sqlite3_bind_int64(loadCommStation, 1, rowId);
 598     execSelect1(loadCommStation);
 599
 600     int range = sqlite3_column_int(loadCommStation, 0);
 601     int freqKhz = sqlite3_column_int(loadCommStation, 1);
 602
 603     CommStation* c = new CommStation(rowId, id, ty, pos, freqKhz, range);
 604     c->setAirport(airport);
 605     return c;
 606   }
 607
 608   FGPositioned* loadNav(sqlite3_int64 rowId,
 609                        FGPositioned::Type ty, const string& id,
 610                        const string& name, const SGGeod& pos)
 611   {
 612     reset(loadNavaid);
 613     sqlite3_bind_int64(loadNavaid, 1, rowId);
 614     execSelect1(loadNavaid);
 615
 616     PositionedID runway = sqlite3_column_int64(loadNavaid, 3);
 617     // marker beacons are light-weight
 618     if ((ty == FGPositioned::OM) || (ty == FGPositioned::IM) ||
 619         (ty == FGPositioned::MM))
 620     {
 621       return new FGMarkerBeaconRecord(rowId, ty, runway, pos);
 622     }
 623
 624     int rangeNm = sqlite3_column_int(loadNavaid, 0),
 625       freq = sqlite3_column_int(loadNavaid, 1);
 626     double mulituse = sqlite3_column_double(loadNavaid, 2);
 627     //sqlite3_int64 colocated = sqlite3_column_int64(loadNavaid, 4);
 628
 629     return new FGNavRecord(rowId, ty, id, name, pos, freq, rangeNm, mulituse, runway);
 630   }
 631
 632   PositionedID insertPositioned(FGPositioned::Type ty, const string& ident,
 633                                 const string& name, const SGGeod& pos, PositionedID apt,
 634                                 bool spatialIndex)
 635   {
 636     SGVec3d cartPos(SGVec3d::fromGeod(pos));
 637
 638     reset(insertPositionedQuery);
 639     sqlite3_bind_int(insertPositionedQuery, 1, ty);
 640     sqlite_bind_stdstring(insertPositionedQuery, 2, ident);
 641     sqlite_bind_stdstring(insertPositionedQuery, 3, name);
 642     sqlite3_bind_int64(insertPositionedQuery, 4, apt);
 643     sqlite3_bind_double(insertPositionedQuery, 5, pos.getLongitudeDeg());
 644     sqlite3_bind_double(insertPositionedQuery, 6, pos.getLatitudeDeg());
 645     sqlite3_bind_double(insertPositionedQuery, 7, pos.getElevationM());
 646
 647     if (spatialIndex) {
 648       Octree::Leaf* octreeLeaf = Octree::global_spatialOctree->findLeafForPos(cartPos);
 649       assert(intersects(octreeLeaf->bbox(), cartPos));
 650       sqlite3_bind_int64(insertPositionedQuery, 8, octreeLeaf->guid());
 651     } else {
 652       sqlite3_bind_null(insertPositionedQuery, 8);
 653     }
 654
 655     sqlite3_bind_double(insertPositionedQuery, 9, cartPos.x());
 656     sqlite3_bind_double(insertPositionedQuery, 10, cartPos.y());
 657     sqlite3_bind_double(insertPositionedQuery, 11, cartPos.z());
 658
 659     PositionedID r = execInsert(insertPositionedQuery);
 660     return r;
 661   }
 662
 663   FGPositioned::List findAllByString(const string& s, const string& column,
 664                                      FGPositioned::Filter* filter, bool exact)
 665   {
 666     string query = s;
 667     if (!exact) query += "*";
 668
 669   // build up SQL query text
 670     string matchTerm = exact ? "=?1" : " LIKE ?1";
 671     string sql = "SELECT rowid FROM positioned WHERE " + column + matchTerm;
 672     if (filter) {
 673       sql += AND_TYPED;
 674     }
 675
 676   // find or prepare a suitable statement frrm the SQL
 677     sqlite3_stmt_ptr stmt = findByStringDict[sql];
 678     if (!stmt) {
 679       stmt = prepare(sql);
 680       findByStringDict[sql] = stmt;
 681     }
 682
 683     reset(stmt);
 684     sqlite_bind_stdstring(stmt, 1, query);
 685     if (filter) {
 686       sqlite3_bind_int(stmt, 2, filter->minType());
 687       sqlite3_bind_int(stmt, 3, filter->maxType());
 688     }
 689
 690     FGPositioned::List result;
 691   // run the prepared SQL
 692     while (stepSelect(stmt))
 693     {
 694       FGPositioned* pos = outer->loadById(sqlite3_column_int64(stmt, 0));
 695       if (filter && !filter->pass(pos)) {
 696         continue;
 697       }
 698
 699       result.push_back(pos);
 700     }
 701
 702     return result;
 703   }
 704
 705   PositionedIDVec selectIds(sqlite3_stmt_ptr query)
 706   {
 707     PositionedIDVec result;
 708     while (stepSelect(query)) {
 709       result.push_back(sqlite3_column_int64(query, 0));
 710     }
 711     return result;
 712   }
 713
 714   double runwayLengthFt(PositionedID rwy)
 715   {
 716     reset(runwayLengthFtQuery);
 717     sqlite3_bind_int64(runwayLengthFtQuery, 1, rwy);
 718     execSelect1(runwayLengthFtQuery);
 719     return sqlite3_column_double(runwayLengthFtQuery, 0);
 720   }
 721
 722   void flushDeferredOctreeUpdates()
 723   {
 724     BOOST_FOREACH(Octree::Branch* nd, deferredOctreeUpdates) {
 725       reset(updateOctreeChildren);
 726       sqlite3_bind_int64(updateOctreeChildren, 1, nd->guid());
 727       sqlite3_bind_int(updateOctreeChildren, 2, nd->childMask());
 728       execUpdate(updateOctreeChildren);
 729     }
 730
 731     deferredOctreeUpdates.clear();
 732   }
 733
 734   NavDataCache* outer;
 735   sqlite3* db;
 736   SGPath path;
 737
 738   /// the actual cache of ID -> instances. This holds an owning reference,
 739   /// so once items are in the cache they will never be deleted until
 740   /// the cache drops its reference
 741   PositionedCache cache;
 742   unsigned int cacheHits, cacheMisses;
 743
 744   SGPath aptDatPath, metarDatPath, navDatPath, fixDatPath,
 745   carrierDatPath, airwayDatPath;
 746
 747   sqlite3_stmt_ptr readPropertyQuery, writePropertyQuery,
 748     stampFileCache, statCacheCheck,
 749     loadAirportStmt, loadCommStation, loadPositioned, loadNavaid,
 750     loadRunwayStmt;
 751
 752   sqlite3_stmt_ptr insertPositionedQuery, insertAirport, insertTower, insertRunway,
 753   insertCommStation, insertNavaid;
 754   sqlite3_stmt_ptr setAirportMetar, setRunwayReciprocal, setRunwayILS,
 755     setAirportPos, updateRunwayThreshold, updateILS;
 756
 757   sqlite3_stmt_ptr findClosestWithIdent;
 758 // octree (spatial index) related queries
 759   sqlite3_stmt_ptr getOctreeChildren, insertOctree, updateOctreeChildren,
 760     getOctreeLeafChildren;
 761
 762   sqlite3_stmt_ptr searchAirports;
 763   sqlite3_stmt_ptr findCommByFreq, findNavsByFreq,
 764   findNavsByFreqNoPos;
 765   sqlite3_stmt_ptr getAirportItems, getAirportItemByIdent;
 766   sqlite3_stmt_ptr findAirportRunway,
 767     findILS;
 768
 769   sqlite3_stmt_ptr runwayLengthFtQuery;
 770
 771 // airways
 772   sqlite3_stmt_ptr findAirway, insertAirwayEdge, isPosInAirway, airwayEdgesFrom,
 773   insertAirway;
 774
 775 // since there's many permutations of ident/name queries, we create
 776 // them programtically, but cache the exact query by its raw SQL once
 777 // used.
 778   std::map<string, sqlite3_stmt_ptr> findByStringDict;
 779
 780   typedef std::vector<sqlite3_stmt_ptr> StmtVec;
 781   StmtVec prepared;
 782
 783   std::set<Octree::Branch*> deferredOctreeUpdates;
 784 };
 785
 786   //////////////////////////////////////////////////////////////////////
 787
 788 FGPositioned* NavDataCache::NavDataCachePrivate::loadFromStmt(sqlite3_stmt_ptr query)
 789 {
 790   execSelect1(query);
 791   sqlite3_int64 rowid = sqlite3_column_int64(query, 0);
 792   FGPositioned::Type ty = (FGPositioned::Type) sqlite3_column_int(query, 1);
 793
 794   string ident = (char*) sqlite3_column_text(query, 2);
 795   string name = (char*) sqlite3_column_text(query, 3);
 796   sqlite3_int64 aptId = sqlite3_column_int64(query, 4);
 797   double lon = sqlite3_column_double(query, 5);
 798   double lat = sqlite3_column_double(query, 6);
 799   double elev = sqlite3_column_double(query, 7);
 800   SGGeod pos = SGGeod::fromDegM(lon, lat, elev);
 801
 802   switch (ty) {
 803     case FGPositioned::AIRPORT:
 804     case FGPositioned::SEAPORT:
 805     case FGPositioned::HELIPORT:
 806       return loadAirport(rowid, ty, ident, name, pos);
 807
 808     case FGPositioned::TOWER:
 809       return new AirportTower(rowid, aptId, ident, pos);
 810
 811     case FGPositioned::RUNWAY:
 812     case FGPositioned::TAXIWAY:
 813       return loadRunway(rowid, ty, ident, pos, aptId);
 814
 815     case FGPositioned::LOC:
 816     case FGPositioned::VOR:
 817     case FGPositioned::GS:
 818     case FGPositioned::ILS:
 819     case FGPositioned::NDB:
 820     case FGPositioned::OM:
 821     case FGPositioned::MM:
 822     case FGPositioned::IM:
 823     case FGPositioned::DME:
 824     case FGPositioned::TACAN:
 825     case FGPositioned::MOBILE_TACAN:
 826     {
 827       if (aptId > 0) {
 828         FGAirport* apt = (FGAirport*) outer->loadById(aptId);
 829         if (apt->validateILSData()) {
 830           SG_LOG(SG_NAVCACHE, SG_INFO, "re-loaded ILS data for " << apt->ident());
 831           // queried data above is probably invalid, force us to go around again
 832           // (the next time through, validateILSData will return false)
 833           return outer->loadById(rowid);
 834         }
 835       }
 836
 837       return loadNav(rowid, ty, ident, name, pos);
 838     }
 839
 840     case FGPositioned::FIX:
 841       return new FGFix(rowid, ident, pos);
 842
 843     case FGPositioned::WAYPOINT:
 844     {
 845       FGPositioned* wpt = new FGPositioned(rowid, FGPositioned::WAYPOINT, ident, pos);
 846       return wpt;
 847     }
 848
 849     case FGPositioned::FREQ_GROUND:
 850     case FGPositioned::FREQ_TOWER:
 851     case FGPositioned::FREQ_ATIS:
 852     case FGPositioned::FREQ_AWOS:
 853     case FGPositioned::FREQ_APP_DEP:
 854     case FGPositioned::FREQ_ENROUTE:
 855     case FGPositioned::FREQ_CLEARANCE:
 856     case FGPositioned::FREQ_UNICOM:
 857       return loadComm(rowid, ty, ident, name, pos, aptId);
 858
 859     default:
 860       return NULL;
 861   }
 862 }
 863
 864
 865 static NavDataCache* static_instance = NULL;
 866
 867 NavDataCache::NavDataCache()
 868 {
 869   const int MAX_TRIES = 3;
 870   SGPath homePath(globals->get_fg_home());
 871   homePath.append("navdata.cache");
 872
 873   for (int t=0; t < MAX_TRIES; ++t) {
 874     try {
 875       d.reset(new NavDataCachePrivate(homePath, this));
 876       d->init();
 877       //d->checkCacheFile();
 878     // reached this point with no exception, success
 879       break;
 880     } catch (sg_exception& e) {
 881       SG_LOG(SG_NAVCACHE, SG_WARN, "NavCache: init failed:" << e.what()
 882              << " (attempt " << t << ")");
 883       homePath.remove();
 884       d.reset();
 885     }
 886   } // of retry loop
 887
 888   double RADIUS_EARTH_M = 7000 * 1000.0; // 7000km is plenty
 889   SGVec3d earthExtent(RADIUS_EARTH_M, RADIUS_EARTH_M, RADIUS_EARTH_M);
 890   Octree::global_spatialOctree =
 891     new Octree::Branch(SGBox<double>(-earthExtent, earthExtent), 1);
 892
 893   d->aptDatPath = SGPath(globals->get_fg_root());
 894   d->aptDatPath.append("Airports/apt.dat.gz");
 895
 896   d->metarDatPath = SGPath(globals->get_fg_root());
 897   d->metarDatPath.append("Airports/metar.dat.gz");
 898
 899   d->navDatPath = SGPath(globals->get_fg_root());
 900   d->navDatPath.append("Navaids/nav.dat.gz");
 901
 902   d->fixDatPath = SGPath(globals->get_fg_root());
 903   d->fixDatPath.append("Navaids/fix.dat.gz");
 904
 905   d->carrierDatPath = SGPath(globals->get_fg_root());
 906   d->carrierDatPath.append("Navaids/carrier_nav.dat.gz");
 907
 908   d->airwayDatPath = SGPath(globals->get_fg_root());
 909   d->airwayDatPath.append("Navaids/awy.dat.gz");
 910 }
 911
 912 NavDataCache::~NavDataCache()
 913 {
 914   assert(static_instance == this);
 915   static_instance = NULL;
 916   SG_LOG(SG_NAVCACHE, SG_INFO, "closing the navcache");
 917   d.reset();
 918 }
 919
 920 NavDataCache* NavDataCache::instance()
 921 {
 922   if (!static_instance) {
 923     static_instance = new NavDataCache;
 924   }
 925
 926   return static_instance;
 927 }
 928
 929 bool NavDataCache::isRebuildRequired()
 930 {
 931   if (isCachedFileModified(d->aptDatPath) ||
 932       isCachedFileModified(d->metarDatPath) ||
 933       isCachedFileModified(d->navDatPath) ||
 934       isCachedFileModified(d->fixDatPath) ||
 935       isCachedFileModified(d->airwayDatPath))
 936   {
 937     SG_LOG(SG_NAVCACHE, SG_INFO, "NavCache: rebuild required");
 938     return true;
 939   }
 940
 941   SG_LOG(SG_NAVCACHE, SG_INFO, "NavCache: no rebuild required");
 942   return false;
 943 }
 944
 945 void NavDataCache::rebuild()
 946 {
 947   try {
 948     d->runSQL("BEGIN");
 949     d->runSQL("DELETE FROM positioned");
 950     d->runSQL("DELETE FROM airport");
 951     d->runSQL("DELETE FROM runway");
 952     d->runSQL("DELETE FROM navaid");
 953     d->runSQL("DELETE FROM comm");
 954     d->runSQL("DELETE FROM octree");
 955     d->runSQL("DELETE FROM airway");
 956     d->runSQL("DELETE FROM airway_edge");
 957
 958   // initialise the root octree node
 959     d->runSQL("INSERT INTO octree (rowid, children) VALUES (1, 0)");
 960
 961     SGTimeStamp st;
 962     st.stamp();
 963
 964     airportDBLoad(d->aptDatPath);
 965     SG_LOG(SG_NAVCACHE, SG_INFO, "apt.dat load took:" << st.elapsedMSec());
 966
 967     metarDataLoad(d->metarDatPath);
 968     stampCacheFile(d->aptDatPath);
 969     stampCacheFile(d->metarDatPath);
 970
 971     st.stamp();
 972     loadFixes(d->fixDatPath);
 973     stampCacheFile(d->fixDatPath);
 974     SG_LOG(SG_NAVCACHE, SG_INFO, "fix.dat load took:" << st.elapsedMSec());
 975
 976     st.stamp();
 977     navDBInit(d->navDatPath);
 978     stampCacheFile(d->navDatPath);
 979     SG_LOG(SG_NAVCACHE, SG_INFO, "nav.dat load took:" << st.elapsedMSec());
 980
 981     loadCarrierNav(d->carrierDatPath);
 982     stampCacheFile(d->carrierDatPath);
 983
 984     st.stamp();
 985     Airway::load(d->airwayDatPath);
 986     stampCacheFile(d->airwayDatPath);
 987     SG_LOG(SG_NAVCACHE, SG_INFO, "awy.dat load took:" << st.elapsedMSec());
 988
 989     d->flushDeferredOctreeUpdates();
 990
 991     d->runSQL("COMMIT");
 992   } catch (sg_exception& e) {
 993     SG_LOG(SG_NAVCACHE, SG_ALERT, "caught exception rebuilding navCache:" << e.what());
 994   // abandon the DB transation completely
 995     d->runSQL("ROLLBACK");
 996   }
 997 }
 998
 999 int NavDataCache::readIntProperty(const string& key)
1000 {
1001   d->reset(d->readPropertyQuery);
1002   sqlite_bind_stdstring(d->readPropertyQuery, 1, key);
1003
1004   if (d->execSelect(d->readPropertyQuery)) {
1005     return sqlite3_column_int(d->readPropertyQuery, 0);
1006   } else {
1007     SG_LOG(SG_NAVCACHE, SG_WARN, "readIntProperty: unknown:" << key);
1008     return 0; // no such property
1009   }
1010 }
1011
1012 double NavDataCache::readDoubleProperty(const string& key)
1013 {
1014   d->reset(d->readPropertyQuery);
1015   sqlite_bind_stdstring(d->readPropertyQuery, 1, key);
1016   if (d->execSelect(d->readPropertyQuery)) {
1017     return sqlite3_column_double(d->readPropertyQuery, 0);
1018   } else {
1019     SG_LOG(SG_NAVCACHE, SG_WARN, "readDoubleProperty: unknown:" << key);
1020     return 0.0; // no such property
1021   }
1022 }
1023
1024 string NavDataCache::readStringProperty(const string& key)
1025 {
1026   d->reset(d->readPropertyQuery);
1027   sqlite_bind_stdstring(d->readPropertyQuery, 1, key);
1028   if (d->execSelect(d->readPropertyQuery)) {
1029     return (char*) sqlite3_column_text(d->readPropertyQuery, 0);
1030   } else {
1031     SG_LOG(SG_NAVCACHE, SG_WARN, "readStringProperty: unknown:" << key);
1032     return string(); // no such property
1033   }
1034 }
1035
1036 void NavDataCache::writeIntProperty(const string& key, int value)
1037 {
1038   d->writeIntProperty(key, value);
1039 }
1040
1041 void NavDataCache::writeStringProperty(const string& key, const string& value)
1042 {
1043   d->reset(d->writePropertyQuery);
1044   sqlite_bind_stdstring(d->writePropertyQuery, 1, key);
1045   sqlite_bind_stdstring(d->writePropertyQuery, 2, value);
1046   d->execSelect(d->writePropertyQuery);
1047 }
1048
1049 void NavDataCache::writeDoubleProperty(const string& key, const double& value)
1050 {
1051   d->reset(d->writePropertyQuery);
1052   sqlite_bind_stdstring(d->writePropertyQuery, 1, key);
1053   sqlite3_bind_double(d->writePropertyQuery, 2, value);
1054   d->execSelect(d->writePropertyQuery);
1055 }
1056
1057
1058 bool NavDataCache::isCachedFileModified(const SGPath& path) const
1059 {
1060   if (!path.exists()) {
1061     throw sg_io_exception("isCachedFileModified: Missing file:" + path.str());
1062   }
1063
1064   d->reset(d->statCacheCheck);
1065   sqlite_bind_temp_stdstring(d->statCacheCheck, 1, path.str());
1066   if (d->execSelect(d->statCacheCheck)) {
1067     time_t modtime = sqlite3_column_int64(d->statCacheCheck, 0);
1068     return (modtime != path.modTime());
1069   } else {
1070     return true;
1071   }
1072 }
1073
1074 void NavDataCache::stampCacheFile(const SGPath& path)
1075 {
1076   d->reset(d->stampFileCache);
1077   sqlite_bind_temp_stdstring(d->stampFileCache, 1, path.str());
1078   sqlite3_bind_int64(d->stampFileCache, 2, path.modTime());
1079   d->execInsert(d->stampFileCache);
1080 }
1081
1082
1083 FGPositioned* NavDataCache::loadById(PositionedID rowid)
1084 {
1085   if (rowid == 0) {
1086     return NULL;
1087   }
1088
1089   PositionedCache::iterator it = d->cache.find(rowid);
1090   if (it != d->cache.end()) {
1091     d->cacheHits++;
1092     return it->second; // cache it
1093   }
1094
1095   d->reset(d->loadPositioned);
1096   sqlite3_bind_int64(d->loadPositioned, 1, rowid);
1097   FGPositioned* pos = d->loadFromStmt(d->loadPositioned);
1098
1099   d->cache.insert(it, PositionedCache::value_type(rowid, pos));
1100   d->cacheMisses++;
1101
1102   return pos;
1103 }
1104
1105 PositionedID NavDataCache::insertAirport(FGPositioned::Type ty, const string& ident,
1106                                          const string& name)
1107 {
1108   // airports have their pos computed based on the avergae runway centres
1109   // so the pos isn't available immediately. Pass a dummy pos and avoid
1110   // doing spatial indexing until later
1111   sqlite3_int64 rowId = d->insertPositioned(ty, ident, name, SGGeod(),
1112                                             0 /* airport */,
1113                                             false /* spatial index */);
1114
1115   d->reset(d->insertAirport);
1116   sqlite3_bind_int64(d->insertAirport, 1, rowId);
1117   d->execInsert(d->insertAirport);
1118
1119   return rowId;
1120 }
1121
1122 void NavDataCache::updatePosition(PositionedID item, const SGGeod &pos)
1123 {
1124   SGVec3d cartPos(SGVec3d::fromGeod(pos));
1125
1126   d->reset(d->setAirportPos);
1127   sqlite3_bind_int(d->setAirportPos, 1, item);
1128   sqlite3_bind_double(d->setAirportPos, 2, pos.getLongitudeDeg());
1129   sqlite3_bind_double(d->setAirportPos, 3, pos.getLatitudeDeg());
1130   sqlite3_bind_double(d->setAirportPos, 4, pos.getElevationM());
1131
1132   Octree::Leaf* octreeLeaf = Octree::global_spatialOctree->findLeafForPos(cartPos);
1133   sqlite3_bind_int64(d->setAirportPos, 5, octreeLeaf->guid());
1134
1135   sqlite3_bind_double(d->setAirportPos, 6, cartPos.x());
1136   sqlite3_bind_double(d->setAirportPos, 7, cartPos.y());
1137   sqlite3_bind_double(d->setAirportPos, 8, cartPos.z());
1138
1139
1140   d->execUpdate(d->setAirportPos);
1141 }
1142
1143 void NavDataCache::insertTower(PositionedID airportId, const SGGeod& pos)
1144 {
1145   d->insertPositioned(FGPositioned::TOWER, string(), string(),
1146                       pos, airportId, true /* spatial index */);
1147 }
1148
1149 PositionedID
1150 NavDataCache::insertRunway(FGPositioned::Type ty, const string& ident,
1151                            const SGGeod& pos, PositionedID apt,
1152                            double heading, double length, double width, double displacedThreshold,
1153                            double stopway, int surfaceCode)
1154 {
1155   // only runways are spatially indexed; don't bother indexing taxiways
1156   // or pavements
1157   bool spatialIndex = (ty == FGPositioned::RUNWAY);
1158
1159   sqlite3_int64 rowId = d->insertPositioned(ty, cleanRunwayNo(ident), "", pos, apt,
1160                                             spatialIndex);
1161   d->reset(d->insertRunway);
1162   sqlite3_bind_int64(d->insertRunway, 1, rowId);
1163   sqlite3_bind_double(d->insertRunway, 2, heading);
1164   sqlite3_bind_double(d->insertRunway, 3, length);
1165   sqlite3_bind_double(d->insertRunway, 4, width);
1166   sqlite3_bind_int(d->insertRunway, 5, surfaceCode);
1167   sqlite3_bind_double(d->insertRunway, 6, displacedThreshold);
1168   sqlite3_bind_double(d->insertRunway, 7, stopway);
1169
1170   return d->execInsert(d->insertRunway);
1171 }
1172
1173 void NavDataCache::setRunwayReciprocal(PositionedID runway, PositionedID recip)
1174 {
1175   d->reset(d->setRunwayReciprocal);
1176   sqlite3_bind_int64(d->setRunwayReciprocal, 1, runway);
1177   sqlite3_bind_int64(d->setRunwayReciprocal, 2, recip);
1178   d->execUpdate(d->setRunwayReciprocal);
1179
1180 // and the opposite direction too!
1181   d->reset(d->setRunwayReciprocal);
1182   sqlite3_bind_int64(d->setRunwayReciprocal, 2, runway);
1183   sqlite3_bind_int64(d->setRunwayReciprocal, 1, recip);
1184   d->execUpdate(d->setRunwayReciprocal);
1185 }
1186
1187 void NavDataCache::setRunwayILS(PositionedID runway, PositionedID ils)
1188 {
1189   d->reset(d->setRunwayILS);
1190   sqlite3_bind_int64(d->setRunwayILS, 1, runway);
1191   sqlite3_bind_int64(d->setRunwayILS, 2, ils);
1192   d->execUpdate(d->setRunwayILS);
1193 }
1194
1195 void NavDataCache::updateRunwayThreshold(PositionedID runwayID, const SGGeod &aThreshold,
1196                                   double aHeading, double aDisplacedThreshold,
1197                                   double aStopway)
1198 {
1199 // update the runway information
1200   d->reset(d->updateRunwayThreshold);
1201   sqlite3_bind_int64(d->updateRunwayThreshold, 1, runwayID);
1202   sqlite3_bind_double(d->updateRunwayThreshold, 2, aHeading);
1203   sqlite3_bind_double(d->updateRunwayThreshold, 3, aDisplacedThreshold);
1204   sqlite3_bind_double(d->updateRunwayThreshold, 4, aStopway);
1205   d->execUpdate(d->updateRunwayThreshold);
1206
1207 // compute the new runway center, based on the threshold lat/lon and length,
1208   double offsetFt = (0.5 * d->runwayLengthFt(runwayID));
1209   SGGeod newCenter;
1210   double dummy;
1211   SGGeodesy::direct(aThreshold, aHeading, offsetFt * SG_FEET_TO_METER, newCenter, dummy);
1212
1213 // now update the positional data
1214   updatePosition(runwayID, newCenter);
1215 }
1216
1217 PositionedID
1218 NavDataCache::insertNavaid(FGPositioned::Type ty, const string& ident,
1219                           const string& name, const SGGeod& pos,
1220                            int freq, int range, double multiuse,
1221                            PositionedID apt, PositionedID runway)
1222 {
1223   bool spatialIndex = true;
1224   if (ty == FGPositioned::MOBILE_TACAN) {
1225     spatialIndex = false;
1226   }
1227
1228   sqlite3_int64 rowId = d->insertPositioned(ty, ident, name, pos, apt,
1229                                             spatialIndex);
1230   d->reset(d->insertNavaid);
1231   sqlite3_bind_int64(d->insertNavaid, 1, rowId);
1232   sqlite3_bind_int(d->insertNavaid, 2, freq);
1233   sqlite3_bind_int(d->insertNavaid, 3, range);
1234   sqlite3_bind_double(d->insertNavaid, 4, multiuse);
1235   sqlite3_bind_int64(d->insertNavaid, 5, runway);
1236   return d->execInsert(d->insertNavaid);
1237 }
1238
1239 void NavDataCache::updateILS(PositionedID ils, const SGGeod& newPos, double aHdg)
1240 {
1241   d->reset(d->updateILS);
1242   sqlite3_bind_int64(d->updateILS, 1, ils);
1243   sqlite3_bind_double(d->updateILS, 2, aHdg);
1244   d->execUpdate(d->updateILS);
1245   updatePosition(ils, newPos);
1246 }
1247
1248 PositionedID NavDataCache::insertCommStation(FGPositioned::Type ty,
1249                                              const string& name, const SGGeod& pos, int freq, int range,
1250                                              PositionedID apt)
1251 {
1252   sqlite3_int64 rowId = d->insertPositioned(ty, "", name, pos, apt, true);
1253   d->reset(d->insertCommStation);
1254   sqlite3_bind_int64(d->insertCommStation, 1, rowId);
1255   sqlite3_bind_int(d->insertCommStation, 2, freq);
1256   sqlite3_bind_int(d->insertCommStation, 3, range);
1257   return d->execInsert(d->insertCommStation);
1258 }
1259
1260 PositionedID NavDataCache::insertFix(const std::string& ident, const SGGeod& aPos)
1261 {
1262   return d->insertPositioned(FGPositioned::FIX, ident, string(), aPos, 0, true);
1263 }
1264
1265 PositionedID NavDataCache::createUserWaypoint(const std::string& ident, const SGGeod& aPos)
1266 {
1267   return d->insertPositioned(FGPositioned::WAYPOINT, ident, string(), aPos, 0,
1268                              true /* spatial index */);
1269 }
1270
1271 void NavDataCache::setAirportMetar(const string& icao, bool hasMetar)
1272 {
1273   d->reset(d->setAirportMetar);
1274   sqlite_bind_stdstring(d->setAirportMetar, 1, icao);
1275   sqlite3_bind_int(d->setAirportMetar, 2, hasMetar);
1276   d->execUpdate(d->setAirportMetar);
1277 }
1278
1279 FGPositioned::List NavDataCache::findAllWithIdent(const string& s,
1280                                                   FGPositioned::Filter* filter, bool exact)
1281 {
1282   return d->findAllByString(s, "ident", filter, exact);
1283 }
1284
1285 FGPositioned::List NavDataCache::findAllWithName(const string& s,
1286                                                   FGPositioned::Filter* filter, bool exact)
1287 {
1288   return d->findAllByString(s, "name", filter, exact);
1289 }
1290
1291 FGPositionedRef NavDataCache::findClosestWithIdent(const string& aIdent,
1292                                                    const SGGeod& aPos, FGPositioned::Filter* aFilter)
1293 {
1294   d->reset(d->findClosestWithIdent);
1295   sqlite_bind_stdstring(d->findClosestWithIdent, 1, aIdent);
1296   if (aFilter) {
1297     sqlite3_bind_int(d->findClosestWithIdent, 2, aFilter->minType());
1298     sqlite3_bind_int(d->findClosestWithIdent, 3, aFilter->maxType());
1299   } else { // full type range
1300     sqlite3_bind_int(d->findClosestWithIdent, 2, FGPositioned::INVALID);
1301     sqlite3_bind_int(d->findClosestWithIdent, 3, FGPositioned::LAST_TYPE);
1302   }
1303
1304   SGVec3d cartPos(SGVec3d::fromGeod(aPos));
1305   sqlite3_bind_double(d->findClosestWithIdent, 4, cartPos.x());
1306   sqlite3_bind_double(d->findClosestWithIdent, 5, cartPos.y());
1307   sqlite3_bind_double(d->findClosestWithIdent, 6, cartPos.z());
1308
1309   while (d->stepSelect(d->findClosestWithIdent)) {
1310     FGPositioned* pos = loadById(sqlite3_column_int64(d->findClosestWithIdent, 0));
1311     if (aFilter && !aFilter->pass(pos)) {
1312       continue;
1313     }
1314
1315     return pos;
1316   }
1317
1318   return NULL; // no matches at all
1319 }
1320
1321
1322 int NavDataCache::getOctreeBranchChildren(int64_t octreeNodeId)
1323 {
1324   d->reset(d->getOctreeChildren);
1325   sqlite3_bind_int64(d->getOctreeChildren, 1, octreeNodeId);
1326   d->execSelect1(d->getOctreeChildren);
1327   return sqlite3_column_int(d->getOctreeChildren, 0);
1328 }
1329
1330 void NavDataCache::defineOctreeNode(Octree::Branch* pr, Octree::Node* nd)
1331 {
1332   d->reset(d->insertOctree);
1333   sqlite3_bind_int64(d->insertOctree, 1, nd->guid());
1334   d->execInsert(d->insertOctree);
1335
1336 #ifdef LAZY_OCTREE_UPDATES
1337   d->deferredOctreeUpdates.insert(pr);
1338 #else
1339   // lowest three bits of node ID are 0..7 index of the child in the parent
1340   int childIndex = nd->guid() & 0x07;
1341
1342   d->reset(d->updateOctreeChildren);
1343   sqlite3_bind_int64(d->updateOctreeChildren, 1, pr->guid());
1344 // mask has bit N set where child N exists
1345   int childMask = 1 << childIndex;
1346   sqlite3_bind_int(d->updateOctreeChildren, 2, childMask);
1347   d->execUpdate(d->updateOctreeChildren);
1348 #endif
1349 }
1350
1351 TypedPositionedVec
1352 NavDataCache::getOctreeLeafChildren(int64_t octreeNodeId)
1353 {
1354   d->reset(d->getOctreeLeafChildren);
1355   sqlite3_bind_int64(d->getOctreeLeafChildren, 1, octreeNodeId);
1356
1357   TypedPositionedVec r;
1358   while (d->stepSelect(d->getOctreeLeafChildren)) {
1359     FGPositioned::Type ty = static_cast<FGPositioned::Type>
1360       (sqlite3_column_int(d->getOctreeLeafChildren, 1));
1361     r.push_back(std::make_pair(ty,
1362                 sqlite3_column_int64(d->getOctreeLeafChildren, 0)));
1363   }
1364
1365   return r;
1366 }
1367
1368
1369 /**
1370  * A special purpose helper (used by FGAirport::searchNamesAndIdents) to
1371  * implement the AirportList dialog. It's unfortunate that it needs to reside
1372  * here, but for now it's least ugly solution.
1373  */
1374 char** NavDataCache::searchAirportNamesAndIdents(const std::string& aFilter)
1375 {
1376   d->reset(d->searchAirports);
1377   string s = "%" + aFilter + "%";
1378   sqlite_bind_stdstring(d->searchAirports, 1, s);
1379
1380   unsigned int numMatches = 0, numAllocated = 16;
1381   char** result = (char**) malloc(sizeof(char*) * numAllocated);
1382
1383   while (d->stepSelect(d->searchAirports)) {
1384     if ((numMatches + 1) >= numAllocated) {
1385       numAllocated <<= 1; // double in size!
1386     // reallocate results array
1387       char** nresult = (char**) malloc(sizeof(char*) * numAllocated);
1388       memcpy(nresult, result, sizeof(char*) * numMatches);
1389       free(result);
1390       result = nresult;
1391     }
1392
1393     // nasty code to avoid excessive string copying and allocations.
1394     // We format results as follows (note whitespace!):
1395     //   ' name-of-airport-chars   (ident)'
1396     // so the total length is:
1397     //    1 + strlen(name) + 4 + strlen(icao) + 1 + 1 (for the null)
1398     // which gives a grand total of 7 + name-length + icao-length.
1399     // note the ident can be three letters (non-ICAO local strip), four
1400     // (default ICAO) or more (extended format ICAO)
1401     int nameLength = sqlite3_column_bytes(d->searchAirports, 1);
1402     int icaoLength = sqlite3_column_bytes(d->searchAirports, 0);
1403     char* entry = (char*) malloc(7 + nameLength + icaoLength);
1404     char* dst = entry;
1405     *dst++ = ' ';
1406     memcpy(dst, sqlite3_column_text(d->searchAirports, 1), nameLength);
1407     dst += nameLength;
1408     *dst++ = ' ';
1409     *dst++ = ' ';
1410     *dst++ = ' ';
1411     *dst++ = '(';
1412     memcpy(dst, sqlite3_column_text(d->searchAirports, 0), icaoLength);
1413     dst += icaoLength;
1414     *dst++ = ')';
1415     *dst++ = 0;
1416
1417     result[numMatches++] = entry;
1418   }
1419
1420   result[numMatches] = NULL; // end of list marker
1421   return result;
1422 }
1423
1424 FGPositionedRef
1425 NavDataCache::findCommByFreq(int freqKhz, const SGGeod& aPos, FGPositioned::Filter* aFilter)
1426 {
1427   d->reset(d->findCommByFreq);
1428   sqlite3_bind_int(d->findCommByFreq, 1, freqKhz);
1429   if (aFilter) {
1430     sqlite3_bind_int(d->findCommByFreq, 2, aFilter->minType());
1431     sqlite3_bind_int(d->findCommByFreq, 3, aFilter->maxType());
1432   } else { // full type range
1433     sqlite3_bind_int(d->findCommByFreq, 2, FGPositioned::FREQ_GROUND);
1434     sqlite3_bind_int(d->findCommByFreq, 3, FGPositioned::FREQ_UNICOM);
1435   }
1436
1437   SGVec3d cartPos(SGVec3d::fromGeod(aPos));
1438   sqlite3_bind_double(d->findCommByFreq, 4, cartPos.x());
1439   sqlite3_bind_double(d->findCommByFreq, 5, cartPos.y());
1440   sqlite3_bind_double(d->findCommByFreq, 6, cartPos.z());
1441
1442   if (!d->execSelect(d->findCommByFreq)) {
1443     return NULL;
1444   }
1445
1446   return loadById(sqlite3_column_int64(d->findCommByFreq, 0));
1447 }
1448
1449 PositionedIDVec
1450 NavDataCache::findNavaidsByFreq(int freqKhz, const SGGeod& aPos, FGPositioned::Filter* aFilter)
1451 {
1452   d->reset(d->findNavsByFreq);
1453   sqlite3_bind_int(d->findNavsByFreq, 1, freqKhz);
1454   if (aFilter) {
1455     sqlite3_bind_int(d->findNavsByFreq, 2, aFilter->minType());
1456     sqlite3_bind_int(d->findNavsByFreq, 3, aFilter->maxType());
1457   } else { // full type range
1458     sqlite3_bind_int(d->findNavsByFreq, 2, FGPositioned::NDB);
1459     sqlite3_bind_int(d->findNavsByFreq, 3, FGPositioned::GS);
1460   }
1461
1462   SGVec3d cartPos(SGVec3d::fromGeod(aPos));
1463   sqlite3_bind_double(d->findNavsByFreq, 4, cartPos.x());
1464   sqlite3_bind_double(d->findNavsByFreq, 5, cartPos.y());
1465   sqlite3_bind_double(d->findNavsByFreq, 6, cartPos.z());
1466
1467   return d->selectIds(d->findNavsByFreq);
1468 }
1469
1470 PositionedIDVec
1471 NavDataCache::findNavaidsByFreq(int freqKhz, FGPositioned::Filter* aFilter)
1472 {
1473   d->reset(d->findNavsByFreqNoPos);
1474   sqlite3_bind_int(d->findNavsByFreqNoPos, 1, freqKhz);
1475   if (aFilter) {
1476     sqlite3_bind_int(d->findNavsByFreqNoPos, 2, aFilter->minType());
1477     sqlite3_bind_int(d->findNavsByFreqNoPos, 3, aFilter->maxType());
1478   } else { // full type range
1479     sqlite3_bind_int(d->findNavsByFreqNoPos, 2, FGPositioned::NDB);
1480     sqlite3_bind_int(d->findNavsByFreqNoPos, 3, FGPositioned::GS);
1481   }
1482
1483   return d->selectIds(d->findNavsByFreqNoPos);
1484 }
1485
1486 PositionedIDVec
1487 NavDataCache::airportItemsOfType(PositionedID apt,FGPositioned::Type ty,
1488                                  FGPositioned::Type maxTy)
1489 {
1490   if (maxTy == FGPositioned::INVALID) {
1491     maxTy = ty; // single-type range
1492   }
1493
1494   d->reset(d->getAirportItems);
1495   sqlite3_bind_int64(d->getAirportItems, 1, apt);
1496   sqlite3_bind_int(d->getAirportItems, 2, ty);
1497   sqlite3_bind_int(d->getAirportItems, 3, maxTy);
1498
1499   return d->selectIds(d->getAirportItems);
1500 }
1501
1502 PositionedID
1503 NavDataCache::airportItemWithIdent(PositionedID apt, FGPositioned::Type ty,
1504                                    const std::string& ident)
1505 {
1506   d->reset(d->getAirportItemByIdent);
1507   sqlite3_bind_int64(d->getAirportItemByIdent, 1, apt);
1508   sqlite_bind_stdstring(d->getAirportItemByIdent, 2, ident);
1509   sqlite3_bind_int(d->getAirportItemByIdent, 3, ty);
1510
1511   if (!d->execSelect(d->getAirportItemByIdent)) {
1512     return 0;
1513   }
1514
1515   return sqlite3_column_int64(d->getAirportItemByIdent, 0);
1516 }
1517
1518 AirportRunwayPair
1519 NavDataCache::findAirportRunway(const std::string& aName)
1520 {
1521   if (aName.empty()) {
1522     return AirportRunwayPair();
1523   }
1524
1525   string_list parts = simgear::strutils::split(aName);
1526   if (parts.size() < 2) {
1527     SG_LOG(SG_NAVCACHE, SG_WARN, "findAirportRunway: malformed name:" << aName);
1528     return AirportRunwayPair();
1529   }
1530
1531   d->reset(d->findAirportRunway);
1532   sqlite_bind_stdstring(d->findAirportRunway, 1, parts[0]);
1533   sqlite_bind_stdstring(d->findAirportRunway, 2, parts[1]);
1534   if (!d->execSelect(d->findAirportRunway)) {
1535     SG_LOG(SG_NAVCACHE, SG_WARN, "findAirportRunway: unknown airport/runway:" << aName);
1536     return AirportRunwayPair();
1537   }
1538
1539   // success, extract the IDs and continue
1540   return AirportRunwayPair(sqlite3_column_int64(d->findAirportRunway, 0),
1541                            sqlite3_column_int64(d->findAirportRunway, 1));
1542 }
1543
1544 PositionedID
1545 NavDataCache::findILS(PositionedID airport, const string& runway, const string& navIdent)
1546 {
1547   d->reset(d->findILS);
1548   sqlite_bind_stdstring(d->findILS, 1, navIdent);
1549   sqlite3_bind_int64(d->findILS, 2, airport);
1550   sqlite_bind_stdstring(d->findILS, 3, runway);
1551
1552   if (!d->execSelect(d->findILS)) {
1553     return 0;
1554   }
1555
1556   return sqlite3_column_int64(d->findILS, 0);
1557 }
1558
1559 int NavDataCache::findAirway(int network, const string& aName)
1560 {
1561   d->reset(d->findAirway);
1562   sqlite3_bind_int(d->findAirway, 1, network);
1563   sqlite_bind_stdstring(d->findAirway, 2, aName);
1564   if (d->execSelect(d->findAirway)) {
1565     // already exists
1566     return sqlite3_column_int(d->findAirway, 0);
1567   }
1568
1569   d->reset(d->insertAirway);
1570   sqlite_bind_stdstring(d->insertAirway, 1, aName);
1571   sqlite3_bind_int(d->insertAirway, 2, network);
1572   return d->execInsert(d->insertAirway);
1573 }
1574
1575 void NavDataCache::insertEdge(int network, int airwayID, PositionedID from, PositionedID to)
1576 {
1577   // assume all edges are bidirectional for the moment
1578   for (int i=0; i<2; ++i) {
1579     d->reset(d->insertAirwayEdge);
1580     sqlite3_bind_int(d->insertAirwayEdge, 1, network);
1581     sqlite3_bind_int(d->insertAirwayEdge, 2, airwayID);
1582     sqlite3_bind_int64(d->insertAirwayEdge, 3, from);
1583     sqlite3_bind_int64(d->insertAirwayEdge, 4, to);
1584     d->execInsert(d->insertAirwayEdge);
1585
1586     std::swap(from, to);
1587   }
1588 }
1589
1590 bool NavDataCache::isInAirwayNetwork(int network, PositionedID pos)
1591 {
1592   d->reset(d->isPosInAirway);
1593   sqlite3_bind_int(d->isPosInAirway, 1, network);
1594   sqlite3_bind_int64(d->isPosInAirway, 2, pos);
1595   bool ok = d->execSelect(d->isPosInAirway);
1596   return ok;
1597 }
1598
1599 AirwayEdgeVec NavDataCache::airwayEdgesFrom(int network, PositionedID pos)
1600 {
1601   d->reset(d->airwayEdgesFrom);
1602   sqlite3_bind_int(d->airwayEdgesFrom, 1, network);
1603   sqlite3_bind_int64(d->airwayEdgesFrom, 2, pos);
1604
1605   AirwayEdgeVec result;
1606   while (d->stepSelect(d->airwayEdgesFrom)) {
1607     result.push_back(AirwayEdge(
1608                      sqlite3_column_int(d->airwayEdgesFrom, 0),
1609                      sqlite3_column_int64(d->airwayEdgesFrom, 1)
1610                      ));
1611   }
1612   return result;
1613 }
1614
1615 } // of namespace flightgear
1616