src/Navaids/NavDataCache.cxx

   1 // NavDataCache.cxx - defines a unified binary cache for navigation
   2 // data, parsed from various text / XML sources.
   3
   4 // Written by James Turner, started 2012.
   5 //
   6 // Copyright (C) 2012  James Turner
   7 //
   8 // This program is free software; you can redistribute it and/or
   9 // modify it under the terms of the GNU General Public License as
  10 // published by the Free Software Foundation; either version 2 of the
  11 // License, or (at your option) any later version.
  12 //
  13 // This program is distributed in the hope that it will be useful, but
  14 // WITHOUT ANY WARRANTY; without even the implied warranty of
  15 // MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
  16 // General Public License for more details.
  17 //
  18 // You should have received a copy of the GNU General Public License
  19 // along with this program; if not, write to the Free Software
  20 // Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA  02110-1301, USA.
  21
  22 #ifdef HAVE_CONFIG_H
  23 # include "config.h"
  24 #endif
  25
  26 // to ensure compatability between sqlite3_int64 and PositionedID,
  27 // force the type used by sqlite to match PositionedID explicitly
  28 #define SQLITE_INT64_TYPE int64_t
  29 #define SQLITE_UINT64_TYPE uint64_t
  30
  31 #include "NavDataCache.hxx"
  32
  33 // std
  34 #include <map>
  35 #include <cassert>
  36 #include <stdint.h> // for int64_t
  37 // boost
  38 #include <boost/foreach.hpp>
  39
  40 #include "sqlite3.h"
  41
  42 // SimGear
  43 #include <simgear/structure/exception.hxx>
  44 #include <simgear/debug/logstream.hxx>
  45 #include <simgear/bucket/newbucket.hxx>
  46 #include <simgear/misc/sg_path.hxx>
  47 #include <simgear/misc/strutils.hxx>
  48 #include <simgear/threads/SGThread.hxx>
  49 #include <simgear/threads/SGGuard.hxx>
  50
  51 #include <Main/globals.hxx>
  52 #include "markerbeacon.hxx"
  53 #include "navrecord.hxx"
  54 #include <Airports/airport.hxx>
  55 #include <Airports/runways.hxx>
  56 #include <ATC/CommStation.hxx>
  57 #include "fix.hxx"
  58 #include <Navaids/fixlist.hxx>
  59 #include <Navaids/navdb.hxx>
  60 #include "PositionedOctree.hxx"
  61 #include <Airports/apt_loader.hxx>
  62 #include <Navaids/airways.hxx>
  63 #include "poidb.hxx"
  64 #include <Airports/parking.hxx>
  65 #include <Airports/gnnode.hxx>
  66
  67 using std::string;
  68
  69 #define SG_NAVCACHE SG_NAVAID
  70 //#define LAZY_OCTREE_UPDATES 1
  71
  72 namespace {
  73
  74 const int MAX_RETRIES = 10;
  75 const int SCHEMA_VERSION = 8;
  76 const int CACHE_SIZE_KBYTES= 16000;
  77
  78 // bind a std::string to a sqlite statement. The std::string must live the
  79 // entire duration of the statement execution - do not pass a temporary
  80 // std::string, or the compiler may delete it, freeing the C-string storage,
  81 // and causing subtle memory corruption bugs!
  82 void sqlite_bind_stdstring(sqlite3_stmt* stmt, int value, const std::string& s)
  83 {
  84   sqlite3_bind_text(stmt, value, s.c_str(), s.length(), SQLITE_STATIC);
  85 }
  86
  87 // variant of the above, which does not care about the lifetime of the
  88 // passed std::string
  89 void sqlite_bind_temp_stdstring(sqlite3_stmt* stmt, int value, const std::string& s)
  90 {
  91   sqlite3_bind_text(stmt, value, s.c_str(), s.length(), SQLITE_TRANSIENT);
  92 }
  93
  94 typedef sqlite3_stmt* sqlite3_stmt_ptr;
  95
  96 void f_distanceCartSqrFunction(sqlite3_context* ctx, int argc, sqlite3_value* argv[])
  97 {
  98   if (argc != 6) {
  99     return;
 100   }
 101
 102   SGVec3d posA(sqlite3_value_double(argv[0]),
 103                sqlite3_value_double(argv[1]),
 104                sqlite3_value_double(argv[2]));
 105
 106   SGVec3d posB(sqlite3_value_double(argv[3]),
 107                sqlite3_value_double(argv[4]),
 108                sqlite3_value_double(argv[5]));
 109   sqlite3_result_double(ctx, distSqr(posA, posB));
 110 }
 111
 112
 113 static string cleanRunwayNo(const string& aRwyNo)
 114 {
 115   if (aRwyNo[0] == 'x') {
 116     return string(); // no ident for taxiways
 117   }
 118
 119   string result(aRwyNo);
 120   // canonicalise runway ident
 121   if ((aRwyNo.size() == 1) || !isdigit(aRwyNo[1])) {
 122     result = "0" + aRwyNo;
 123   }
 124
 125   // trim off trailing garbage
 126   if (result.size() > 2) {
 127     char suffix = toupper(result[2]);
 128     if (suffix == 'X') {
 129       result = result.substr(0, 2);
 130     }
 131   }
 132
 133   return result;
 134 }
 135
 136 } // anonymous namespace
 137
 138 namespace flightgear
 139 {
 140
 141 /**
 142  * Thread encapsulating a cache rebuild. This is not used to parallelise
 143  * the rebuild - we must still wait until completion before doing other
 144  * startup, since many things rely on a complete cache. The thread is used
 145  * so we don't block the main event loop for an unacceptable duration,
 146  * which causes 'not responding' / spinning beachballs on Windows & Mac
 147  */
 148 class RebuildThread : public SGThread
 149 {
 150 public:
 151   RebuildThread(NavDataCache* cache) :
 152   _cache(cache),
 153   _isFinished(false)
 154   {
 155
 156   }
 157
 158   bool isFinished() const
 159   {
 160     SGGuard<SGMutex> g(_lock);
 161     return _isFinished;
 162   }
 163
 164   virtual void run()
 165   {
 166     SGTimeStamp st;
 167     st.stamp();
 168     _cache->doRebuild();
 169     SG_LOG(SG_NAVCACHE, SG_INFO, "cache rebuild took:" << st.elapsedMSec() << "msec");
 170
 171     SGGuard<SGMutex> g(_lock);
 172     _isFinished = true;
 173   }
 174 private:
 175   NavDataCache* _cache;
 176   mutable SGMutex _lock;
 177   bool _isFinished;
 178 };
 179
 180 ////////////////////////////////////////////////////////////////////////////
 181
 182 typedef std::map<PositionedID, FGPositionedRef> PositionedCache;
 183
 184 class AirportTower : public FGPositioned
 185 {
 186 public:
 187   AirportTower(PositionedID& guid, PositionedID airport,
 188                const string& ident, const SGGeod& pos) :
 189     FGPositioned(guid, FGPositioned::TOWER, ident, pos)
 190   {
 191   }
 192 };
 193
 194 class NavDataCache::NavDataCachePrivate
 195 {
 196 public:
 197   NavDataCachePrivate(const SGPath& p, NavDataCache* o) :
 198     outer(o),
 199     db(NULL),
 200     path(p),
 201     cacheHits(0),
 202     cacheMisses(0),
 203     transactionLevel(0),
 204     transactionAborted(false)
 205   {
 206   }
 207
 208   ~NavDataCachePrivate()
 209   {
 210     close();
 211   }
 212
 213   void init()
 214   {
 215     SG_LOG(SG_NAVCACHE, SG_INFO, "NavCache at:" << path);
 216
 217         // see http://code.google.com/p/flightgear-bugs/issues/detail?id=1055
 218         // for the logic here. Sigh.
 219         std::string pathUtf8 = simgear::strutils::convertWindowsLocal8BitToUtf8(path.str());
 220     sqlite3_open_v2(pathUtf8.c_str(), &db,
 221                     SQLITE_OPEN_READWRITE | SQLITE_OPEN_CREATE, NULL);
 222
 223
 224     sqlite3_stmt_ptr checkTables =
 225       prepare("SELECT count(*) FROM sqlite_master WHERE name='properties'");
 226
 227     sqlite3_create_function(db, "distanceCartSqr", 6, SQLITE_ANY, NULL,
 228                             f_distanceCartSqrFunction, NULL, NULL);
 229
 230     execSelect(checkTables);
 231     bool didCreate = false;
 232     if (sqlite3_column_int(checkTables, 0) == 0) {
 233       SG_LOG(SG_NAVCACHE, SG_INFO, "will create tables");
 234       initTables();
 235       didCreate = true;
 236     }
 237
 238     readPropertyQuery = prepare("SELECT value FROM properties WHERE key=?");
 239     writePropertyQuery = prepare("INSERT INTO properties (key, value) VALUES (?,?)");
 240     clearProperty = prepare("DELETE FROM properties WHERE key=?1");
 241
 242     if (didCreate) {
 243       writeIntProperty("schema-version", SCHEMA_VERSION);
 244     } else {
 245       int schemaVersion = outer->readIntProperty("schema-version");
 246       if (schemaVersion != SCHEMA_VERSION) {
 247         SG_LOG(SG_NAVCACHE, SG_INFO, "Navcache schema mismatch, will rebuild");
 248         throw sg_exception("Navcache schema has changed");
 249       }
 250     }
 251
 252     // see http://www.sqlite.org/pragma.html#pragma_cache_size
 253     // for the details, small cache would cause thrashing.
 254     std::ostringstream q;
 255     q << "PRAGMA cache_size=-" << CACHE_SIZE_KBYTES << ";";
 256     runSQL(q.str());
 257     prepareQueries();
 258   }
 259
 260   void close()
 261   {
 262     BOOST_FOREACH(sqlite3_stmt_ptr stmt, prepared) {
 263       sqlite3_finalize(stmt);
 264     }
 265     prepared.clear();
 266     sqlite3_close(db);
 267   }
 268
 269   void checkCacheFile()
 270   {
 271     SG_LOG(SG_NAVCACHE, SG_INFO, "running DB integrity check");
 272     SGTimeStamp st;
 273     st.stamp();
 274
 275     sqlite3_stmt_ptr stmt = prepare("PRAGMA quick_check(1)");
 276     if (!execSelect(stmt)) {
 277       throw sg_exception("DB integrity check failed to run");
 278     }
 279
 280     string v = (char*) sqlite3_column_text(stmt, 0);
 281     if (v != "ok") {
 282       throw sg_exception("DB integrity check returned:" + v);
 283     }
 284
 285     SG_LOG(SG_NAVCACHE, SG_INFO, "NavDataCache integrity check took:" << st.elapsedMSec());
 286     finalize(stmt);
 287   }
 288
 289   void callSqlite(int result, const string& sql)
 290   {
 291     if (result == SQLITE_OK)
 292       return; // all good
 293
 294     string errMsg;
 295     if (result == SQLITE_MISUSE) {
 296       errMsg = "Sqlite API abuse";
 297       SG_LOG(SG_NAVCACHE, SG_ALERT, "Sqlite API abuse");
 298     } else {
 299       errMsg = sqlite3_errmsg(db);
 300       SG_LOG(SG_NAVCACHE, SG_ALERT, "Sqlite error:" << errMsg << " running:\n\t" << sql);
 301     }
 302
 303     throw sg_exception("Sqlite error:" + errMsg, sql);
 304   }
 305
 306   void runSQL(const string& sql)
 307   {
 308     sqlite3_stmt_ptr stmt;
 309     callSqlite(sqlite3_prepare_v2(db, sql.c_str(), sql.length(), &stmt, NULL), sql);
 310
 311     try {
 312       execSelect(stmt);
 313     } catch (sg_exception&) {
 314       sqlite3_finalize(stmt);
 315       throw; // re-throw
 316     }
 317
 318     sqlite3_finalize(stmt);
 319   }
 320
 321   sqlite3_stmt_ptr prepare(const string& sql)
 322   {
 323     sqlite3_stmt_ptr stmt;
 324     callSqlite(sqlite3_prepare_v2(db, sql.c_str(), sql.length(), &stmt, NULL), sql);
 325     prepared.push_back(stmt);
 326     return stmt;
 327   }
 328
 329   void finalize(sqlite3_stmt_ptr s)
 330   {
 331     StmtVec::iterator it = std::find(prepared.begin(), prepared.end(), s);
 332     if (it == prepared.end()) {
 333       throw sg_exception("Finalising statement that was not prepared");
 334     }
 335
 336     prepared.erase(it);
 337     sqlite3_finalize(s);
 338   }
 339
 340   void reset(sqlite3_stmt_ptr stmt)
 341   {
 342     assert(stmt);
 343     if (sqlite3_reset(stmt) != SQLITE_OK) {
 344       string errMsg = sqlite3_errmsg(db);
 345       SG_LOG(SG_NAVCACHE, SG_ALERT, "Sqlite error resetting:" << errMsg);
 346       throw sg_exception("Sqlite error resetting:" + errMsg, sqlite3_sql(stmt));
 347     }
 348   }
 349
 350   bool execSelect(sqlite3_stmt_ptr stmt)
 351   {
 352     return stepSelect(stmt);
 353   }
 354
 355   bool stepSelect(sqlite3_stmt_ptr stmt)
 356   {
 357     int retries = 0;
 358     int result;
 359     while (retries < MAX_RETRIES) {
 360       result = sqlite3_step(stmt);
 361       if (result == SQLITE_ROW) {
 362         return true; // at least one result row
 363       }
 364
 365       if (result == SQLITE_DONE) {
 366         return false; // no result rows
 367       }
 368
 369       if (result != SQLITE_BUSY) {
 370         break;
 371       }
 372
 373       SG_LOG(SG_NAVCACHE, SG_ALERT, "NavCache contention on select, will retry:" << retries);
 374       SGTimeStamp::sleepForMSec(++retries * 10);
 375     } // of retry loop for DB locked
 376
 377     if (retries >= MAX_RETRIES) {
 378       SG_LOG(SG_NAVCACHE, SG_ALERT, "exceeded maximum number of SQLITE_BUSY retries");
 379       return false;
 380     }
 381
 382     string errMsg;
 383     if (result == SQLITE_MISUSE) {
 384       errMsg = "Sqlite API abuse";
 385       SG_LOG(SG_NAVCACHE, SG_ALERT, "Sqlite API abuse");
 386     } else {
 387       errMsg = sqlite3_errmsg(db);
 388       SG_LOG(SG_NAVCACHE, SG_ALERT, "Sqlite error:" << errMsg << " (" << result
 389              << ") while running:\n\t" << sqlite3_sql(stmt));
 390     }
 391
 392     throw sg_exception("Sqlite error:" + errMsg, sqlite3_sql(stmt));
 393   }
 394
 395   void execSelect1(sqlite3_stmt_ptr stmt)
 396   {
 397     if (!execSelect(stmt)) {
 398       SG_LOG(SG_NAVCACHE, SG_WARN, "empty SELECT running:\n\t" << sqlite3_sql(stmt));
 399       throw sg_exception("no results returned for select", sqlite3_sql(stmt));
 400     }
 401   }
 402
 403   sqlite3_int64 execInsert(sqlite3_stmt_ptr stmt)
 404   {
 405     execSelect(stmt);
 406     sqlite3_int64 rowid = sqlite3_last_insert_rowid(db);
 407     reset(stmt);
 408     return rowid;
 409   }
 410
 411   void execUpdate(sqlite3_stmt_ptr stmt)
 412   {
 413     execSelect(stmt);
 414     reset(stmt);
 415   }
 416
 417   void initTables()
 418   {
 419     runSQL("CREATE TABLE properties ("
 420            "key VARCHAR,"
 421            "value VARCHAR"
 422            ")");
 423
 424     runSQL("CREATE TABLE stat_cache ("
 425            "path VARCHAR unique,"
 426            "stamp INT"
 427            ")");
 428
 429     runSQL("CREATE TABLE positioned ("
 430            "type INT,"
 431            "ident VARCHAR collate nocase,"
 432            "name VARCHAR collate nocase,"
 433            "airport INT64,"
 434            "lon FLOAT,"
 435            "lat FLOAT,"
 436            "elev_m FLOAT,"
 437            "octree_node INT,"
 438            "cart_x FLOAT,"
 439            "cart_y FLOAT,"
 440            "cart_z FLOAT"
 441            ")");
 442
 443     runSQL("CREATE INDEX pos_octree ON positioned(octree_node)");
 444     runSQL("CREATE INDEX pos_ident ON positioned(ident collate nocase)");
 445     runSQL("CREATE INDEX pos_name ON positioned(name collate nocase)");
 446     // allow efficient querying of 'all ATIS at this airport' or
 447     // 'all towers at this airport'
 448     runSQL("CREATE INDEX pos_apt_type ON positioned(airport, type)");
 449
 450     runSQL("CREATE TABLE airport ("
 451            "has_metar BOOL"
 452            ")"
 453            );
 454
 455     runSQL("CREATE TABLE comm ("
 456            "freq_khz INT,"
 457            "range_nm INT"
 458            ")"
 459            );
 460
 461     runSQL("CREATE INDEX comm_freq ON comm(freq_khz)");
 462
 463     runSQL("CREATE TABLE runway ("
 464            "heading FLOAT,"
 465            "length_ft FLOAT,"
 466            "width_m FLOAT,"
 467            "surface INT,"
 468            "displaced_threshold FLOAT,"
 469            "stopway FLOAT,"
 470            "reciprocal INT64,"
 471            "ils INT64"
 472            ")"
 473            );
 474
 475     runSQL("CREATE TABLE navaid ("
 476            "freq INT,"
 477            "range_nm INT,"
 478            "multiuse FLOAT,"
 479            "runway INT64,"
 480            "colocated INT64"
 481            ")"
 482            );
 483
 484     runSQL("CREATE INDEX navaid_freq ON navaid(freq)");
 485
 486     runSQL("CREATE TABLE octree (children INT)");
 487
 488     runSQL("CREATE TABLE airway ("
 489            "ident VARCHAR collate nocase,"
 490            "network INT" // high-level or low-level
 491            ")");
 492
 493     runSQL("CREATE INDEX airway_ident ON airway(ident)");
 494
 495     runSQL("CREATE TABLE airway_edge ("
 496            "network INT,"
 497            "airway INT64,"
 498            "a INT64,"
 499            "b INT64"
 500            ")");
 501
 502     runSQL("CREATE INDEX airway_edge_from ON airway_edge(a)");
 503
 504     runSQL("CREATE TABLE taxi_node ("
 505            "hold_type INT,"
 506            "on_runway BOOL,"
 507            "pushback BOOL"
 508            ")");
 509
 510     runSQL("CREATE TABLE parking ("
 511            "heading FLOAT,"
 512            "radius INT,"
 513            "gate_type VARCHAR,"
 514            "airlines VARCHAR,"
 515            "pushback INT64"
 516            ")");
 517
 518     runSQL("CREATE TABLE groundnet_edge ("
 519            "airport INT64,"
 520            "a INT64,"
 521            "b INT64"
 522            ")");
 523
 524     runSQL("CREATE INDEX groundnet_edge_airport ON groundnet_edge(airport)");
 525     runSQL("CREATE INDEX groundnet_edge_from ON groundnet_edge(a)");
 526   }
 527
 528   void prepareQueries()
 529   {
 530     writePropertyMulti = prepare("INSERT INTO properties (key, value) VALUES(?1,?2)");
 531
 532     beginTransactionStmt = prepare("BEGIN");
 533     commitTransactionStmt = prepare("COMMIT");
 534     rollbackTransactionStmt = prepare("ROLLBACK");
 535
 536
 537 #define POSITIONED_COLS "rowid, type, ident, name, airport, lon, lat, elev_m, octree_node"
 538 #define AND_TYPED "AND type>=?2 AND type <=?3"
 539     statCacheCheck = prepare("SELECT stamp FROM stat_cache WHERE path=?");
 540     stampFileCache = prepare("INSERT OR REPLACE INTO stat_cache "
 541                              "(path, stamp) VALUES (?,?)");
 542
 543     loadPositioned = prepare("SELECT " POSITIONED_COLS " FROM positioned WHERE rowid=?");
 544     loadAirportStmt = prepare("SELECT has_metar FROM airport WHERE rowid=?");
 545     loadNavaid = prepare("SELECT range_nm, freq, multiuse, runway, colocated FROM navaid WHERE rowid=?");
 546     loadCommStation = prepare("SELECT freq_khz, range_nm FROM comm WHERE rowid=?");
 547     loadRunwayStmt = prepare("SELECT heading, length_ft, width_m, surface, displaced_threshold,"
 548                              "stopway, reciprocal, ils FROM runway WHERE rowid=?1");
 549
 550     getAirportItems = prepare("SELECT rowid FROM positioned WHERE airport=?1 " AND_TYPED);
 551
 552
 553     setAirportMetar = prepare("UPDATE airport SET has_metar=?2 WHERE rowid="
 554                               "(SELECT rowid FROM positioned WHERE ident=?1 AND type>=?3 AND type <=?4)");
 555     sqlite3_bind_int(setAirportMetar, 3, FGPositioned::AIRPORT);
 556     sqlite3_bind_int(setAirportMetar, 4, FGPositioned::SEAPORT);
 557
 558     setRunwayReciprocal = prepare("UPDATE runway SET reciprocal=?2 WHERE rowid=?1");
 559     setRunwayILS = prepare("UPDATE runway SET ils=?2 WHERE rowid=?1");
 560     setNavaidColocated = prepare("UPDATE navaid SET colocated=?2 WHERE rowid=?1");
 561     updateRunwayThreshold = prepare("UPDATE runway SET heading=?2, displaced_threshold=?3, stopway=?4 WHERE rowid=?1");
 562
 563     insertPositionedQuery = prepare("INSERT INTO positioned "
 564                                     "(type, ident, name, airport, lon, lat, elev_m, octree_node, "
 565                                     "cart_x, cart_y, cart_z)"
 566                                     " VALUES (?1, ?2, ?3, ?4, ?5, ?6, ?7, ?8, ?9, ?10, ?11)");
 567
 568     setAirportPos = prepare("UPDATE positioned SET lon=?2, lat=?3, elev_m=?4, octree_node=?5, "
 569                             "cart_x=?6, cart_y=?7, cart_z=?8 WHERE rowid=?1");
 570     insertAirport = prepare("INSERT INTO airport (rowid, has_metar) VALUES (?, ?)");
 571     insertNavaid = prepare("INSERT INTO navaid (rowid, freq, range_nm, multiuse, runway, colocated)"
 572                            " VALUES (?1, ?2, ?3, ?4, ?5, ?6)");
 573     updateILS = prepare("UPDATE navaid SET multiuse=?2 WHERE rowid=?1");
 574
 575     insertCommStation = prepare("INSERT INTO comm (rowid, freq_khz, range_nm)"
 576                                 " VALUES (?, ?, ?)");
 577     insertRunway = prepare("INSERT INTO runway "
 578                            "(rowid, heading, length_ft, width_m, surface, displaced_threshold, stopway, reciprocal)"
 579                            " VALUES (?1, ?2, ?3, ?4, ?5, ?6, ?7, ?8)");
 580     runwayLengthFtQuery = prepare("SELECT length_ft FROM runway WHERE rowid=?1");
 581
 582     removePOIQuery = prepare("DELETE FROM positioned WHERE type=?1 AND ident=?2");
 583
 584   // query statement
 585     findClosestWithIdent = prepare("SELECT rowid FROM positioned WHERE ident=?1 "
 586                                    AND_TYPED " ORDER BY distanceCartSqr(cart_x, cart_y, cart_z, ?4, ?5, ?6)");
 587
 588     findCommByFreq = prepare("SELECT positioned.rowid FROM positioned, comm WHERE "
 589                              "positioned.rowid=comm.rowid AND freq_khz=?1 "
 590                              AND_TYPED " ORDER BY distanceCartSqr(cart_x, cart_y, cart_z, ?4, ?5, ?6)");
 591
 592     findNavsByFreq = prepare("SELECT positioned.rowid FROM positioned, navaid WHERE "
 593                              "positioned.rowid=navaid.rowid "
 594                              "AND navaid.freq=?1 " AND_TYPED
 595                              " ORDER BY distanceCartSqr(cart_x, cart_y, cart_z, ?4, ?5, ?6)");
 596
 597     findNavsByFreqNoPos = prepare("SELECT positioned.rowid FROM positioned, navaid WHERE "
 598                                   "positioned.rowid=navaid.rowid AND freq=?1 " AND_TYPED);
 599
 600     findNavaidForRunway = prepare("SELECT positioned.rowid FROM positioned, navaid WHERE "
 601                                   "positioned.rowid=navaid.rowid AND runway=?1 AND type=?2");
 602
 603   // for an octree branch, return the child octree nodes which exist,
 604   // described as a bit-mask
 605     getOctreeChildren = prepare("SELECT children FROM octree WHERE rowid=?1");
 606
 607 #ifdef LAZY_OCTREE_UPDATES
 608     updateOctreeChildren = prepare("UPDATE octree SET children=?2 WHERE rowid=?1");
 609 #else
 610   // mask the new child value into the existing one
 611     updateOctreeChildren = prepare("UPDATE octree SET children=(?2 | children) WHERE rowid=?1");
 612 #endif
 613
 614   // define a new octree node (with no children)
 615     insertOctree = prepare("INSERT INTO octree (rowid, children) VALUES (?1, 0)");
 616
 617     getOctreeLeafChildren = prepare("SELECT rowid, type FROM positioned WHERE octree_node=?1");
 618
 619     searchAirports = prepare("SELECT ident, name FROM positioned WHERE (name LIKE ?1 OR ident LIKE ?1) " AND_TYPED);
 620     sqlite3_bind_int(searchAirports, 2, FGPositioned::AIRPORT);
 621     sqlite3_bind_int(searchAirports, 3, FGPositioned::SEAPORT);
 622
 623     getAirportItemByIdent = prepare("SELECT rowid FROM positioned WHERE airport=?1 AND ident=?2 AND type=?3");
 624
 625     findAirportRunway = prepare("SELECT airport, rowid FROM positioned WHERE ident=?2 AND type=?3 AND airport="
 626                                 "(SELECT rowid FROM positioned WHERE type=?4 AND ident=?1)");
 627     sqlite3_bind_int(findAirportRunway, 3, FGPositioned::RUNWAY);
 628     sqlite3_bind_int(findAirportRunway, 4, FGPositioned::AIRPORT);
 629
 630     // three-way join to get the navaid ident and runway ident in a single select.
 631     // we're joining positioned to itself by the navaid runway, with the complication
 632     // that we need to join the navaids table to get the runway ID.
 633     // we also need to filter by type to excluse glideslope (GS) matches
 634     findILS = prepare("SELECT nav.rowid FROM positioned AS nav, positioned AS rwy, navaid WHERE "
 635                       "nav.ident=?1 AND nav.airport=?2 AND rwy.ident=?3 "
 636                       "AND rwy.rowid = navaid.runway AND navaid.rowid=nav.rowid "
 637                       "AND (nav.type=?4 OR nav.type=?5)");
 638
 639     sqlite3_bind_int(findILS, 4, FGPositioned::ILS);
 640     sqlite3_bind_int(findILS, 5, FGPositioned::LOC);
 641
 642   // airways
 643     findAirway = prepare("SELECT rowid FROM airway WHERE network=?1 AND ident=?2");
 644     insertAirway = prepare("INSERT INTO airway (ident, network) "
 645                            "VALUES (?1, ?2)");
 646
 647     insertAirwayEdge = prepare("INSERT INTO airway_edge (network, airway, a, b) "
 648                                "VALUES (?1, ?2, ?3, ?4)");
 649
 650     isPosInAirway = prepare("SELECT rowid FROM airway_edge WHERE network=?1 AND a=?2");
 651
 652     airwayEdgesFrom = prepare("SELECT airway, b FROM airway_edge WHERE network=?1 AND a=?2");
 653
 654   // parking / taxi-node graph
 655     insertTaxiNode = prepare("INSERT INTO taxi_node (rowid, hold_type, on_runway, pushback) VALUES(?1, ?2, ?3, 0)");
 656     insertParkingPos = prepare("INSERT INTO parking (rowid, heading, radius, gate_type, airlines) "
 657                                "VALUES (?1, ?2, ?3, ?4, ?5)");
 658     setParkingPushBack = prepare("UPDATE parking SET pushback=?2 WHERE rowid=?1");
 659
 660     loadTaxiNodeStmt = prepare("SELECT hold_type, on_runway FROM taxi_node WHERE rowid=?1");
 661     loadParkingPos = prepare("SELECT heading, radius, gate_type, airlines, pushback FROM parking WHERE rowid=?1");
 662     taxiEdgesFrom = prepare("SELECT b FROM groundnet_edge WHERE a=?1");
 663     pushbackEdgesFrom = prepare("SELECT b FROM groundnet_edge, taxi_node WHERE "
 664                                 "a=?1 AND groundnet_edge.b = taxi_node.rowid AND pushback=1");
 665
 666     insertTaxiEdge = prepare("INSERT INTO groundnet_edge (airport, a,b) VALUES(?1, ?2, ?3)");
 667
 668     markTaxiNodeAsPushback = prepare("UPDATE taxi_node SET pushback=1 WHERE rowid=?1");
 669     airportTaxiNodes = prepare("SELECT rowid FROM positioned WHERE (type=?2 OR type=?3) AND airport=?1");
 670     sqlite3_bind_int(airportTaxiNodes, 2, FGPositioned::PARKING);
 671     sqlite3_bind_int(airportTaxiNodes, 3, FGPositioned::TAXI_NODE);
 672
 673     airportPushbackNodes = prepare("SELECT positioned.rowid FROM positioned, taxi_node WHERE "\
 674                                    "airport=?1 AND positioned.rowid=taxi_node.rowid AND pushback=1 "
 675                                    "AND (type=?2 OR type=?3)");
 676     sqlite3_bind_int(airportPushbackNodes, 2, FGPositioned::PARKING);
 677     sqlite3_bind_int(airportPushbackNodes, 3, FGPositioned::TAXI_NODE);
 678
 679     findNearestTaxiNode = prepare("SELECT positioned.rowid FROM positioned, taxi_node WHERE "
 680                                   "positioned.rowid = taxi_node.rowid AND airport=?1 "
 681                                   "ORDER BY distanceCartSqr(cart_x, cart_y, cart_z, ?2, ?3, ?4) "
 682                                   "LIMIT 1");
 683
 684     findNearestRunwayTaxiNode = prepare("SELECT positioned.rowid FROM positioned, taxi_node WHERE "
 685                                         "positioned.rowid = taxi_node.rowid AND airport=?1 "
 686                                         "AND on_runway=1 "
 687                                         "ORDER BY distanceCartSqr(cart_x, cart_y, cart_z, ?2, ?3, ?4) ");
 688
 689     findAirportParking = prepare("SELECT positioned.rowid FROM positioned, parking WHERE "
 690                                  "airport=?1 AND type=?4 AND "
 691                                  "radius >= ?2 AND gate_type = ?3 AND "
 692                                  "parking.rowid=positioned.rowid");
 693     sqlite3_bind_int(findAirportParking, 4, FGPositioned::PARKING);
 694   }
 695
 696   void writeIntProperty(const string& key, int value)
 697   {
 698     sqlite_bind_stdstring(clearProperty, 1, key);
 699     execUpdate(clearProperty);
 700
 701     sqlite_bind_stdstring(writePropertyQuery, 1, key);
 702     sqlite3_bind_int(writePropertyQuery, 2, value);
 703     execUpdate(writePropertyQuery);
 704   }
 705
 706
 707   FGPositioned* loadById(sqlite_int64 rowId);
 708
 709   FGAirport* loadAirport(sqlite_int64 rowId,
 710                          FGPositioned::Type ty,
 711                          const string& id, const string& name, const SGGeod& pos)
 712   {
 713     sqlite3_bind_int64(loadAirportStmt, 1, rowId);
 714     execSelect1(loadAirportStmt);
 715     bool hasMetar = (sqlite3_column_int(loadAirportStmt, 0) > 0);
 716     reset(loadAirportStmt);
 717
 718     return new FGAirport(rowId, id, pos, name, hasMetar, ty);
 719   }
 720
 721   FGRunwayBase* loadRunway(sqlite3_int64 rowId, FGPositioned::Type ty,
 722                            const string& id, const SGGeod& pos, PositionedID apt)
 723   {
 724     sqlite3_bind_int(loadRunwayStmt, 1, rowId);
 725     execSelect1(loadRunwayStmt);
 726
 727     double heading = sqlite3_column_double(loadRunwayStmt, 0);
 728     double lengthM = sqlite3_column_int(loadRunwayStmt, 1);
 729     double widthM = sqlite3_column_double(loadRunwayStmt, 2);
 730     int surface = sqlite3_column_int(loadRunwayStmt, 3);
 731
 732     if (ty == FGPositioned::TAXIWAY) {
 733       reset(loadRunwayStmt);
 734       return new FGTaxiway(rowId, id, pos, heading, lengthM, widthM, surface);
 735     } else if (ty == FGPositioned::HELIPAD) {
 736         reset(loadRunwayStmt);
 737         return new FGHelipad(rowId, apt, id, pos, heading, lengthM, widthM, surface);
 738     } else {
 739       double displacedThreshold = sqlite3_column_double(loadRunwayStmt, 4);
 740       double stopway = sqlite3_column_double(loadRunwayStmt, 5);
 741       PositionedID reciprocal = sqlite3_column_int64(loadRunwayStmt, 6);
 742       PositionedID ils = sqlite3_column_int64(loadRunwayStmt, 7);
 743       FGRunway* r = new FGRunway(rowId, apt, id, pos, heading, lengthM, widthM,
 744                           displacedThreshold, stopway, surface);
 745
 746       if (reciprocal > 0) {
 747         r->setReciprocalRunway(reciprocal);
 748       }
 749
 750       if (ils > 0) {
 751         r->setILS(ils);
 752       }
 753
 754       reset(loadRunwayStmt);
 755       return r;
 756     }
 757   }
 758
 759   CommStation* loadComm(sqlite3_int64 rowId, FGPositioned::Type ty,
 760                         const string& id, const string& name,
 761                         const SGGeod& pos,
 762                         PositionedID airport)
 763   {
 764     sqlite3_bind_int64(loadCommStation, 1, rowId);
 765     execSelect1(loadCommStation);
 766
 767     int range = sqlite3_column_int(loadCommStation, 0);
 768     int freqKhz = sqlite3_column_int(loadCommStation, 1);
 769     reset(loadCommStation);
 770
 771     CommStation* c = new CommStation(rowId, name, ty, pos, freqKhz, range);
 772     c->setAirport(airport);
 773     return c;
 774   }
 775
 776   FGPositioned* loadNav(sqlite3_int64 rowId,
 777                        FGPositioned::Type ty, const string& id,
 778                        const string& name, const SGGeod& pos)
 779   {
 780     sqlite3_bind_int64(loadNavaid, 1, rowId);
 781     execSelect1(loadNavaid);
 782
 783     PositionedID runway = sqlite3_column_int64(loadNavaid, 3);
 784     // marker beacons are light-weight
 785     if ((ty == FGPositioned::OM) || (ty == FGPositioned::IM) ||
 786         (ty == FGPositioned::MM))
 787     {
 788       reset(loadNavaid);
 789       return new FGMarkerBeaconRecord(rowId, ty, runway, pos);
 790     }
 791
 792     int rangeNm = sqlite3_column_int(loadNavaid, 0),
 793     freq = sqlite3_column_int(loadNavaid, 1);
 794     double mulituse = sqlite3_column_double(loadNavaid, 2);
 795     PositionedID colocated = sqlite3_column_int64(loadNavaid, 4);
 796     reset(loadNavaid);
 797
 798     FGNavRecord* n = new FGNavRecord(rowId, ty, id, name, pos, freq, rangeNm, mulituse, runway);
 799     if (colocated) {
 800         n->setColocatedDME(colocated);
 801     }
 802
 803     return n;
 804   }
 805
 806   FGPositioned* loadParking(sqlite3_int64 rowId,
 807                             const string& name, const SGGeod& pos,
 808                             PositionedID airport)
 809   {
 810     sqlite3_bind_int64(loadParkingPos, 1, rowId);
 811     execSelect1(loadParkingPos);
 812
 813     double heading = sqlite3_column_double(loadParkingPos, 0);
 814     int radius = sqlite3_column_int(loadParkingPos, 1);
 815     string aircraftType((char*) sqlite3_column_text(loadParkingPos, 2));
 816     string airlines((char*) sqlite3_column_text(loadParkingPos, 3));
 817     PositionedID pushBack = sqlite3_column_int64(loadParkingPos, 4);
 818     reset(loadParkingPos);
 819
 820     return new FGParking(rowId, pos, heading, radius, name, aircraftType, airlines, pushBack);
 821   }
 822
 823   FGPositioned* loadTaxiNode(sqlite3_int64 rowId, const SGGeod& pos,
 824                              PositionedID airport)
 825   {
 826     sqlite3_bind_int64(loadTaxiNodeStmt, 1, rowId);
 827     execSelect1(loadTaxiNodeStmt);
 828
 829     int hold_type = sqlite3_column_int(loadTaxiNodeStmt, 0);
 830     bool onRunway = sqlite3_column_int(loadTaxiNodeStmt, 1);
 831     reset(loadTaxiNodeStmt);
 832
 833     return new FGTaxiNode(rowId, pos, onRunway, hold_type);
 834   }
 835
 836   PositionedID insertPositioned(FGPositioned::Type ty, const string& ident,
 837                                 const string& name, const SGGeod& pos, PositionedID apt,
 838                                 bool spatialIndex)
 839   {
 840     SGVec3d cartPos(SGVec3d::fromGeod(pos));
 841
 842     sqlite3_bind_int(insertPositionedQuery, 1, ty);
 843     sqlite_bind_stdstring(insertPositionedQuery, 2, ident);
 844     sqlite_bind_stdstring(insertPositionedQuery, 3, name);
 845     sqlite3_bind_int64(insertPositionedQuery, 4, apt);
 846     sqlite3_bind_double(insertPositionedQuery, 5, pos.getLongitudeDeg());
 847     sqlite3_bind_double(insertPositionedQuery, 6, pos.getLatitudeDeg());
 848     sqlite3_bind_double(insertPositionedQuery, 7, pos.getElevationM());
 849
 850     if (spatialIndex) {
 851       Octree::Leaf* octreeLeaf = Octree::global_spatialOctree->findLeafForPos(cartPos);
 852       assert(intersects(octreeLeaf->bbox(), cartPos));
 853       sqlite3_bind_int64(insertPositionedQuery, 8, octreeLeaf->guid());
 854     } else {
 855       sqlite3_bind_null(insertPositionedQuery, 8);
 856     }
 857
 858     sqlite3_bind_double(insertPositionedQuery, 9, cartPos.x());
 859     sqlite3_bind_double(insertPositionedQuery, 10, cartPos.y());
 860     sqlite3_bind_double(insertPositionedQuery, 11, cartPos.z());
 861
 862     PositionedID r = execInsert(insertPositionedQuery);
 863     return r;
 864   }
 865
 866   FGPositionedList findAllByString(const string& s, const string& column,
 867                                      FGPositioned::Filter* filter, bool exact)
 868   {
 869     string query = s;
 870     if (!exact) query += "%";
 871
 872   // build up SQL query text
 873     string matchTerm = exact ? "=?1" : " LIKE ?1";
 874     string sql = "SELECT rowid FROM positioned WHERE " + column + matchTerm;
 875     if (filter) {
 876       sql += " " AND_TYPED;
 877     }
 878
 879   // find or prepare a suitable statement frrm the SQL
 880     sqlite3_stmt_ptr stmt = findByStringDict[sql];
 881     if (!stmt) {
 882       stmt = prepare(sql);
 883       findByStringDict[sql] = stmt;
 884     }
 885
 886     sqlite_bind_stdstring(stmt, 1, query);
 887     if (filter) {
 888       sqlite3_bind_int(stmt, 2, filter->minType());
 889       sqlite3_bind_int(stmt, 3, filter->maxType());
 890     }
 891
 892     FGPositionedList result;
 893   // run the prepared SQL
 894     while (stepSelect(stmt))
 895     {
 896       FGPositioned* pos = outer->loadById(sqlite3_column_int64(stmt, 0));
 897       if (filter && !filter->pass(pos)) {
 898         continue;
 899       }
 900
 901       result.push_back(pos);
 902     }
 903
 904     reset(stmt);
 905     return result;
 906   }
 907
 908   PositionedIDVec selectIds(sqlite3_stmt_ptr query)
 909   {
 910     PositionedIDVec result;
 911     while (stepSelect(query)) {
 912       result.push_back(sqlite3_column_int64(query, 0));
 913     }
 914     reset(query);
 915     return result;
 916   }
 917
 918   double runwayLengthFt(PositionedID rwy)
 919   {
 920     sqlite3_bind_int64(runwayLengthFtQuery, 1, rwy);
 921     execSelect1(runwayLengthFtQuery);
 922     double length = sqlite3_column_double(runwayLengthFtQuery, 0);
 923     reset(runwayLengthFtQuery);
 924     return length;
 925   }
 926
 927   void flushDeferredOctreeUpdates()
 928   {
 929     BOOST_FOREACH(Octree::Branch* nd, deferredOctreeUpdates) {
 930       sqlite3_bind_int64(updateOctreeChildren, 1, nd->guid());
 931       sqlite3_bind_int(updateOctreeChildren, 2, nd->childMask());
 932       execUpdate(updateOctreeChildren);
 933     }
 934
 935     deferredOctreeUpdates.clear();
 936   }
 937
 938   void removePositionedWithIdent(FGPositioned::Type ty, const std::string& aIdent)
 939   {
 940     sqlite3_bind_int(removePOIQuery, 1, ty);
 941     sqlite_bind_stdstring(removePOIQuery, 2, aIdent);
 942     execUpdate(removePOIQuery);
 943     reset(removePOIQuery);
 944   }
 945
 946   NavDataCache* outer;
 947   sqlite3* db;
 948   SGPath path;
 949
 950   /// the actual cache of ID -> instances. This holds an owning reference,
 951   /// so once items are in the cache they will never be deleted until
 952   /// the cache drops its reference
 953   PositionedCache cache;
 954   unsigned int cacheHits, cacheMisses;
 955
 956   /**
 957    * record the levels of open transaction objects we have
 958    */
 959   unsigned int transactionLevel;
 960   bool transactionAborted;
 961   sqlite3_stmt_ptr beginTransactionStmt, commitTransactionStmt, rollbackTransactionStmt;
 962
 963   SGPath aptDatPath, metarDatPath, navDatPath, fixDatPath, poiDatPath,
 964   carrierDatPath, airwayDatPath;
 965
 966   sqlite3_stmt_ptr readPropertyQuery, writePropertyQuery,
 967     stampFileCache, statCacheCheck,
 968     loadAirportStmt, loadCommStation, loadPositioned, loadNavaid,
 969     loadRunwayStmt;
 970   sqlite3_stmt_ptr writePropertyMulti, clearProperty;
 971
 972   sqlite3_stmt_ptr insertPositionedQuery, insertAirport, insertTower, insertRunway,
 973   insertCommStation, insertNavaid;
 974   sqlite3_stmt_ptr setAirportMetar, setRunwayReciprocal, setRunwayILS, setNavaidColocated,
 975     setAirportPos, updateRunwayThreshold, updateILS;
 976   sqlite3_stmt_ptr removePOIQuery;
 977
 978   sqlite3_stmt_ptr findClosestWithIdent;
 979 // octree (spatial index) related queries
 980   sqlite3_stmt_ptr getOctreeChildren, insertOctree, updateOctreeChildren,
 981     getOctreeLeafChildren;
 982
 983   sqlite3_stmt_ptr searchAirports;
 984   sqlite3_stmt_ptr findCommByFreq, findNavsByFreq,
 985   findNavsByFreqNoPos, findNavaidForRunway;
 986   sqlite3_stmt_ptr getAirportItems, getAirportItemByIdent;
 987   sqlite3_stmt_ptr findAirportRunway,
 988     findILS;
 989
 990   sqlite3_stmt_ptr runwayLengthFtQuery;
 991
 992 // airways
 993   sqlite3_stmt_ptr findAirway, insertAirwayEdge, isPosInAirway, airwayEdgesFrom,
 994   insertAirway;
 995
 996 // groundnet (parking, taxi node graph)
 997   sqlite3_stmt_ptr loadTaxiNodeStmt, loadParkingPos, insertTaxiNode, insertParkingPos;
 998   sqlite3_stmt_ptr taxiEdgesFrom, pushbackEdgesFrom, insertTaxiEdge, markTaxiNodeAsPushback,
 999     airportTaxiNodes, airportPushbackNodes, findNearestTaxiNode, findAirportParking,
1000     setParkingPushBack, findNearestRunwayTaxiNode;
1001
1002 // since there's many permutations of ident/name queries, we create
1003 // them programtically, but cache the exact query by its raw SQL once
1004 // used.
1005   std::map<string, sqlite3_stmt_ptr> findByStringDict;
1006
1007   typedef std::vector<sqlite3_stmt_ptr> StmtVec;
1008   StmtVec prepared;
1009
1010   std::set<Octree::Branch*> deferredOctreeUpdates;
1011
1012   // if we're performing a rebuild, the thread that is doing the work.
1013   // otherwise, NULL
1014   std::auto_ptr<RebuildThread> rebuilder;
1015 };
1016
1017   //////////////////////////////////////////////////////////////////////
1018
1019 FGPositioned* NavDataCache::NavDataCachePrivate::loadById(sqlite3_int64 rowid)
1020 {
1021
1022   sqlite3_bind_int64(loadPositioned, 1, rowid);
1023   execSelect1(loadPositioned);
1024
1025   assert(rowid == sqlite3_column_int64(loadPositioned, 0));
1026   FGPositioned::Type ty = (FGPositioned::Type) sqlite3_column_int(loadPositioned, 1);
1027
1028   string ident = (char*) sqlite3_column_text(loadPositioned, 2);
1029   string name = (char*) sqlite3_column_text(loadPositioned, 3);
1030   sqlite3_int64 aptId = sqlite3_column_int64(loadPositioned, 4);
1031   double lon = sqlite3_column_double(loadPositioned, 5);
1032   double lat = sqlite3_column_double(loadPositioned, 6);
1033   double elev = sqlite3_column_double(loadPositioned, 7);
1034   SGGeod pos = SGGeod::fromDegM(lon, lat, elev);
1035
1036   reset(loadPositioned);
1037
1038   switch (ty) {
1039     case FGPositioned::AIRPORT:
1040     case FGPositioned::SEAPORT:
1041     case FGPositioned::HELIPORT:
1042       return loadAirport(rowid, ty, ident, name, pos);
1043
1044     case FGPositioned::TOWER:
1045       return new AirportTower(rowid, aptId, ident, pos);
1046
1047     case FGPositioned::RUNWAY:
1048     case FGPositioned::HELIPAD:
1049     case FGPositioned::TAXIWAY:
1050       return loadRunway(rowid, ty, ident, pos, aptId);
1051
1052     case FGPositioned::LOC:
1053     case FGPositioned::VOR:
1054     case FGPositioned::GS:
1055     case FGPositioned::ILS:
1056     case FGPositioned::NDB:
1057     case FGPositioned::OM:
1058     case FGPositioned::MM:
1059     case FGPositioned::IM:
1060     case FGPositioned::DME:
1061     case FGPositioned::TACAN:
1062     case FGPositioned::MOBILE_TACAN:
1063     {
1064       if (aptId > 0) {
1065         FGAirport* apt = FGPositioned::loadById<FGAirport>(aptId);
1066         if (apt->validateILSData()) {
1067           SG_LOG(SG_NAVCACHE, SG_INFO, "re-loaded ILS data for " << apt->ident());
1068           // queried data above is probably invalid, force us to go around again
1069           // (the next time through, validateILSData will return false)
1070           return outer->loadById(rowid);
1071         }
1072       }
1073
1074       return loadNav(rowid, ty, ident, name, pos);
1075     }
1076
1077     case FGPositioned::FIX:
1078       return new FGFix(rowid, ident, pos);
1079
1080     case FGPositioned::WAYPOINT:
1081     case FGPositioned::COUNTRY:
1082     case FGPositioned::CITY:
1083     case FGPositioned::TOWN:
1084     case FGPositioned::VILLAGE:
1085     {
1086         FGPositioned* wpt = new FGPositioned(rowid, ty, ident, pos);
1087       return wpt;
1088     }
1089
1090     case FGPositioned::FREQ_GROUND:
1091     case FGPositioned::FREQ_TOWER:
1092     case FGPositioned::FREQ_ATIS:
1093     case FGPositioned::FREQ_AWOS:
1094     case FGPositioned::FREQ_APP_DEP:
1095     case FGPositioned::FREQ_ENROUTE:
1096     case FGPositioned::FREQ_CLEARANCE:
1097     case FGPositioned::FREQ_UNICOM:
1098       return loadComm(rowid, ty, ident, name, pos, aptId);
1099
1100     case FGPositioned::TAXI_NODE:
1101       return loadTaxiNode(rowid, pos, aptId);
1102
1103     case FGPositioned::PARKING:
1104       return loadParking(rowid, ident, pos, aptId);
1105
1106     default:
1107       return NULL;
1108   }
1109 }
1110
1111
1112 static NavDataCache* static_instance = NULL;
1113
1114 NavDataCache::NavDataCache()
1115 {
1116   const int MAX_TRIES = 3;
1117   SGPath homePath(globals->get_fg_home());
1118
1119   std::ostringstream os;
1120   string_list versionParts = simgear::strutils::split(VERSION, ".");
1121   if (versionParts.size() < 2) {
1122     os << "navdata.cache";
1123   } else {
1124     os << "navdata_" << versionParts[0] << "_" << versionParts[1] << ".cache";
1125   }
1126
1127   homePath.append(os.str());
1128
1129   for (int t=0; t < MAX_TRIES; ++t) {
1130     try {
1131       d.reset(new NavDataCachePrivate(homePath, this));
1132       d->init();
1133       //d->checkCacheFile();
1134     // reached this point with no exception, success
1135       break;
1136     } catch (sg_exception& e) {
1137       SG_LOG(SG_NAVCACHE, t == 0 ? SG_WARN : SG_ALERT, "NavCache: init failed:" << e.what()
1138              << " (attempt " << t << ")");
1139       d.reset();
1140       homePath.remove();
1141     }
1142   } // of retry loop
1143
1144   double RADIUS_EARTH_M = 7000 * 1000.0; // 7000km is plenty
1145   SGVec3d earthExtent(RADIUS_EARTH_M, RADIUS_EARTH_M, RADIUS_EARTH_M);
1146   Octree::global_spatialOctree =
1147     new Octree::Branch(SGBox<double>(-earthExtent, earthExtent), 1);
1148
1149   d->aptDatPath = SGPath(globals->get_fg_root());
1150   d->aptDatPath.append("Airports/apt.dat.gz");
1151
1152   d->metarDatPath = SGPath(globals->get_fg_root());
1153   d->metarDatPath.append("Airports/metar.dat.gz");
1154
1155   d->navDatPath = SGPath(globals->get_fg_root());
1156   d->navDatPath.append("Navaids/nav.dat.gz");
1157
1158   d->fixDatPath = SGPath(globals->get_fg_root());
1159   d->fixDatPath.append("Navaids/fix.dat.gz");
1160
1161   d->poiDatPath = SGPath(globals->get_fg_root());
1162   d->poiDatPath.append("Navaids/poi.dat.gz");
1163
1164   d->carrierDatPath = SGPath(globals->get_fg_root());
1165   d->carrierDatPath.append("Navaids/carrier_nav.dat.gz");
1166
1167   d->airwayDatPath = SGPath(globals->get_fg_root());
1168   d->airwayDatPath.append("Navaids/awy.dat.gz");
1169 }
1170
1171 NavDataCache::~NavDataCache()
1172 {
1173   assert(static_instance == this);
1174   static_instance = NULL;
1175   SG_LOG(SG_NAVCACHE, SG_INFO, "closing the navcache");
1176   d.reset();
1177 }
1178
1179 NavDataCache* NavDataCache::instance()
1180 {
1181   if (!static_instance) {
1182     static_instance = new NavDataCache;
1183   }
1184
1185   return static_instance;
1186 }
1187
1188 bool NavDataCache::isRebuildRequired()
1189 {
1190   if (isCachedFileModified(d->aptDatPath) ||
1191       isCachedFileModified(d->metarDatPath) ||
1192       isCachedFileModified(d->navDatPath) ||
1193       isCachedFileModified(d->fixDatPath) ||
1194       isCachedFileModified(d->poiDatPath) ||
1195       isCachedFileModified(d->airwayDatPath))
1196   {
1197     SG_LOG(SG_NAVCACHE, SG_INFO, "NavCache: main cache rebuild required");
1198     return true;
1199   }
1200
1201   string sceneryPaths = simgear::strutils::join(globals->get_fg_scenery(), ";");
1202   if (readStringProperty("scenery_paths") != sceneryPaths) {
1203     SG_LOG(SG_NAVCACHE, SG_INFO, "NavCache: scenery paths changed, main cache rebuild required");
1204     return true;
1205   }
1206
1207   SG_LOG(SG_NAVCACHE, SG_INFO, "NavCache: no main cache rebuild required");
1208   return false;
1209 }
1210
1211 bool NavDataCache::rebuild()
1212 {
1213   if (!d->rebuilder.get()) {
1214     d->rebuilder.reset(new RebuildThread(this));
1215     d->rebuilder->start();
1216   }
1217
1218 // poll the rebuild thread
1219   bool fin = d->rebuilder->isFinished();
1220   if (fin) {
1221     d->rebuilder.reset(); // all done!
1222   }
1223   return fin;
1224 }
1225
1226 void NavDataCache::doRebuild()
1227 {
1228   try {
1229     d->close(); // completely close the sqlite object
1230     d->path.remove(); // remove the file on disk
1231     d->init(); // star again from scratch
1232
1233     Transaction txn(this);
1234   // initialise the root octree node
1235     d->runSQL("INSERT INTO octree (rowid, children) VALUES (1, 0)");
1236
1237     SGTimeStamp st;
1238     st.stamp();
1239
1240     airportDBLoad(d->aptDatPath);
1241     SG_LOG(SG_NAVCACHE, SG_INFO, "apt.dat load took:" << st.elapsedMSec());
1242
1243     metarDataLoad(d->metarDatPath);
1244     stampCacheFile(d->aptDatPath);
1245     stampCacheFile(d->metarDatPath);
1246
1247     st.stamp();
1248     loadFixes(d->fixDatPath);
1249     stampCacheFile(d->fixDatPath);
1250     SG_LOG(SG_NAVCACHE, SG_INFO, "fix.dat load took:" << st.elapsedMSec());
1251
1252     st.stamp();
1253     navDBInit(d->navDatPath);
1254     stampCacheFile(d->navDatPath);
1255     SG_LOG(SG_NAVCACHE, SG_INFO, "nav.dat load took:" << st.elapsedMSec());
1256
1257     st.stamp();
1258     poiDBInit(d->poiDatPath);
1259     stampCacheFile(d->poiDatPath);
1260     SG_LOG(SG_NAVCACHE, SG_INFO, "poi.dat load took:" << st.elapsedMSec());
1261
1262     loadCarrierNav(d->carrierDatPath);
1263     stampCacheFile(d->carrierDatPath);
1264
1265     st.stamp();
1266     Airway::load(d->airwayDatPath);
1267     stampCacheFile(d->airwayDatPath);
1268     SG_LOG(SG_NAVCACHE, SG_INFO, "awy.dat load took:" << st.elapsedMSec());
1269
1270     d->flushDeferredOctreeUpdates();
1271
1272     string sceneryPaths = simgear::strutils::join(globals->get_fg_scenery(), ";");
1273     writeStringProperty("scenery_paths", sceneryPaths);
1274
1275     txn.commit();
1276   } catch (sg_exception& e) {
1277     SG_LOG(SG_NAVCACHE, SG_ALERT, "caught exception rebuilding navCache:" << e.what());
1278   }
1279 }
1280
1281 int NavDataCache::readIntProperty(const string& key)
1282 {
1283   sqlite_bind_stdstring(d->readPropertyQuery, 1, key);
1284   int result = 0;
1285
1286   if (d->execSelect(d->readPropertyQuery)) {
1287     result = sqlite3_column_int(d->readPropertyQuery, 0);
1288   } else {
1289     SG_LOG(SG_NAVCACHE, SG_WARN, "readIntProperty: unknown:" << key);
1290   }
1291
1292   d->reset(d->readPropertyQuery);
1293   return result;
1294 }
1295
1296 double NavDataCache::readDoubleProperty(const string& key)
1297 {
1298   sqlite_bind_stdstring(d->readPropertyQuery, 1, key);
1299   double result = 0.0;
1300   if (d->execSelect(d->readPropertyQuery)) {
1301     result = sqlite3_column_double(d->readPropertyQuery, 0);
1302   } else {
1303     SG_LOG(SG_NAVCACHE, SG_WARN, "readDoubleProperty: unknown:" << key);
1304   }
1305
1306   d->reset(d->readPropertyQuery);
1307   return result;
1308 }
1309
1310 string NavDataCache::readStringProperty(const string& key)
1311 {
1312   sqlite_bind_stdstring(d->readPropertyQuery, 1, key);
1313   string result;
1314   if (d->execSelect(d->readPropertyQuery)) {
1315     result = (char*) sqlite3_column_text(d->readPropertyQuery, 0);
1316   } else {
1317     SG_LOG(SG_NAVCACHE, SG_WARN, "readStringProperty: unknown:" << key);
1318   }
1319
1320   d->reset(d->readPropertyQuery);
1321   return result;
1322 }
1323
1324 void NavDataCache::writeIntProperty(const string& key, int value)
1325 {
1326   d->writeIntProperty(key, value);
1327 }
1328
1329 void NavDataCache::writeStringProperty(const string& key, const string& value)
1330 {
1331   sqlite_bind_stdstring(d->clearProperty, 1, key);
1332   d->execUpdate(d->clearProperty);
1333
1334   sqlite_bind_stdstring(d->writePropertyQuery, 1, key);
1335   sqlite_bind_stdstring(d->writePropertyQuery, 2, value);
1336   d->execUpdate(d->writePropertyQuery);
1337 }
1338
1339 void NavDataCache::writeDoubleProperty(const string& key, const double& value)
1340 {
1341   sqlite_bind_stdstring(d->clearProperty, 1, key);
1342   d->execUpdate(d->clearProperty);
1343
1344   sqlite_bind_stdstring(d->writePropertyQuery, 1, key);
1345   sqlite3_bind_double(d->writePropertyQuery, 2, value);
1346   d->execUpdate(d->writePropertyQuery);
1347 }
1348
1349 string_list NavDataCache::readStringListProperty(const string& key)
1350 {
1351   sqlite_bind_stdstring(d->readPropertyQuery, 1, key);
1352   string_list result;
1353   while (d->stepSelect(d->readPropertyQuery)) {
1354     result.push_back((char*) sqlite3_column_text(d->readPropertyQuery, 0));
1355   }
1356   d->reset(d->readPropertyQuery);
1357
1358   return result;
1359 }
1360
1361 void NavDataCache::writeStringListProperty(const string& key, const string_list& values)
1362 {
1363   sqlite_bind_stdstring(d->clearProperty, 1, key);
1364   d->execUpdate(d->clearProperty);
1365
1366   BOOST_FOREACH(string value, values) {
1367     sqlite_bind_stdstring(d->writePropertyMulti, 1, key);
1368     sqlite_bind_stdstring(d->writePropertyMulti, 2, value);
1369     d->execInsert(d->writePropertyMulti);
1370   }
1371 }
1372
1373 bool NavDataCache::isCachedFileModified(const SGPath& path) const
1374 {
1375   if (!path.exists()) {
1376     throw sg_io_exception("isCachedFileModified: Missing file:" + path.str());
1377   }
1378
1379   sqlite_bind_temp_stdstring(d->statCacheCheck, 1, path.str());
1380   bool isModified = true;
1381
1382   if (d->execSelect(d->statCacheCheck)) {
1383     time_t modtime = sqlite3_column_int64(d->statCacheCheck, 0);
1384     time_t delta = std::labs(modtime - path.modTime());
1385     if (delta != 0)
1386     {
1387       SG_LOG(SG_NAVCACHE, SG_DEBUG, "NavCache: rebuild required for " << path << ". Timestamps: " << modtime << " != " << path.modTime());
1388       if (delta < 30)
1389       {
1390           // File system time stamp has slightly changed. It's unlikely that the user has managed to change a file, start fgfs,
1391           // and then changed file again within x seconds - so it's suspicious...
1392           SG_LOG(SG_NAVCACHE, SG_ALERT, "NavCache: suspicious file timestamp change. Please report this to FlightGear. "
1393                   << "Delta: " << delta << ", Timestamps: " << modtime << ", " << path.modTime() << ", path: " << path);
1394       }
1395     }
1396     else
1397     {
1398       SG_LOG(SG_NAVCACHE, SG_DEBUG, "NavCache: no rebuild required for " << path);
1399     }
1400
1401     isModified = (delta != 0);
1402   } else {
1403     SG_LOG(SG_NAVCACHE, SG_DEBUG, "NavCache: initial build required for " << path);
1404   }
1405
1406   d->reset(d->statCacheCheck);
1407   return isModified;
1408 }
1409
1410 void NavDataCache::stampCacheFile(const SGPath& path)
1411 {
1412   sqlite_bind_temp_stdstring(d->stampFileCache, 1, path.str());
1413   sqlite3_bind_int64(d->stampFileCache, 2, path.modTime());
1414   d->execInsert(d->stampFileCache);
1415 }
1416
1417 void NavDataCache::beginTransaction()
1418 {
1419   if (d->transactionLevel == 0) {
1420     d->transactionAborted = false;
1421     d->stepSelect(d->beginTransactionStmt);
1422     sqlite3_reset(d->beginTransactionStmt);
1423   }
1424
1425   ++d->transactionLevel;
1426 }
1427
1428 void NavDataCache::commitTransaction()
1429 {
1430   assert(d->transactionLevel > 0);
1431   if (--d->transactionLevel == 0) {
1432     // if a nested transaction aborted, we might end up here, but must
1433     // still abort the entire transaction. That's bad, but safer than
1434     // committing.
1435     sqlite3_stmt_ptr q = d->transactionAborted ? d->rollbackTransactionStmt : d->commitTransactionStmt;
1436
1437     int retries = 0;
1438     int result;
1439     while (retries < MAX_RETRIES) {
1440       result = sqlite3_step(q);
1441       if (result == SQLITE_DONE) {
1442         break;
1443       }
1444
1445       // see http://www.sqlite.org/c3ref/get_autocommit.html for a hint
1446       // what's going on here: autocommit in inactive inside BEGIN, so if
1447       // it's active, the DB was rolled-back
1448       if (sqlite3_get_autocommit(d->db)) {
1449         SG_LOG(SG_NAVCACHE, SG_ALERT, "commit: was rolled back!" << retries);
1450         d->transactionAborted = true;
1451         break;
1452       }
1453
1454       if (result != SQLITE_BUSY) {
1455         break;
1456       }
1457
1458       SGTimeStamp::sleepForMSec(++retries * 10);
1459       SG_LOG(SG_NAVCACHE, SG_ALERT, "NavCache contention on commit, will retry:" << retries);
1460     } // of retry loop for DB busy
1461
1462     string errMsg;
1463     if (result != SQLITE_DONE) {
1464       errMsg = sqlite3_errmsg(d->db);
1465       SG_LOG(SG_NAVCACHE, SG_ALERT, "Sqlite error:" << errMsg << " for  " << result
1466              << " while running:\n\t" << sqlite3_sql(q));
1467     }
1468
1469     sqlite3_reset(q);
1470   }
1471 }
1472
1473 void NavDataCache::abortTransaction()
1474 {
1475   SG_LOG(SG_NAVCACHE, SG_WARN, "NavCache: aborting transaction");
1476
1477   assert(d->transactionLevel > 0);
1478   if (--d->transactionLevel == 0) {
1479     d->stepSelect(d->rollbackTransactionStmt);
1480     sqlite3_reset(d->rollbackTransactionStmt);
1481   }
1482
1483   d->transactionAborted = true;
1484 }
1485
1486 FGPositionedRef NavDataCache::loadById(PositionedID rowid)
1487 {
1488   if (rowid == 0) {
1489     return NULL;
1490   }
1491
1492   PositionedCache::iterator it = d->cache.find(rowid);
1493   if (it != d->cache.end()) {
1494     d->cacheHits++;
1495     return it->second; // cache it
1496   }
1497
1498   FGPositioned* pos = d->loadById(rowid);
1499   d->cache.insert(it, PositionedCache::value_type(rowid, pos));
1500   d->cacheMisses++;
1501   return pos;
1502 }
1503
1504 PositionedID NavDataCache::insertAirport(FGPositioned::Type ty, const string& ident,
1505                                          const string& name)
1506 {
1507   // airports have their pos computed based on the avergae runway centres
1508   // so the pos isn't available immediately. Pass a dummy pos and avoid
1509   // doing spatial indexing until later
1510   sqlite3_int64 rowId = d->insertPositioned(ty, ident, name, SGGeod(),
1511                                             0 /* airport */,
1512                                             false /* spatial index */);
1513
1514   sqlite3_bind_int64(d->insertAirport, 1, rowId);
1515   d->execInsert(d->insertAirport);
1516
1517   return rowId;
1518 }
1519
1520 void NavDataCache::updatePosition(PositionedID item, const SGGeod &pos)
1521 {
1522   if (d->cache.find(item) != d->cache.end()) {
1523     SG_LOG(SG_NAVCACHE, SG_DEBUG, "updating position of an item in the cache");
1524     d->cache[item]->modifyPosition(pos);
1525   }
1526
1527   SGVec3d cartPos(SGVec3d::fromGeod(pos));
1528
1529   sqlite3_bind_int(d->setAirportPos, 1, item);
1530   sqlite3_bind_double(d->setAirportPos, 2, pos.getLongitudeDeg());
1531   sqlite3_bind_double(d->setAirportPos, 3, pos.getLatitudeDeg());
1532   sqlite3_bind_double(d->setAirportPos, 4, pos.getElevationM());
1533
1534 // bug 905; the octree leaf may change here, but the leaf may already be
1535 // loaded, and caching its children. (Either the old or new leaf!). Worse,
1536 // we may be called here as a result of loading one of those leaf's children.
1537 // instead of dealing with all those possibilites, such as modifying
1538 // the in-memory leaf's STL child container, we simply leave the runtime
1539 // structures alone. This is fine providing items do no move very far, since
1540 // all the spatial searches ultimately use the items' real cartesian position,
1541 // which was updated above.
1542   Octree::Leaf* octreeLeaf = Octree::global_spatialOctree->findLeafForPos(cartPos);
1543   sqlite3_bind_int64(d->setAirportPos, 5, octreeLeaf->guid());
1544
1545   sqlite3_bind_double(d->setAirportPos, 6, cartPos.x());
1546   sqlite3_bind_double(d->setAirportPos, 7, cartPos.y());
1547   sqlite3_bind_double(d->setAirportPos, 8, cartPos.z());
1548
1549
1550   d->execUpdate(d->setAirportPos);
1551 }
1552
1553 void NavDataCache::insertTower(PositionedID airportId, const SGGeod& pos)
1554 {
1555   d->insertPositioned(FGPositioned::TOWER, string(), string(),
1556                       pos, airportId, true /* spatial index */);
1557 }
1558
1559 PositionedID
1560 NavDataCache::insertRunway(FGPositioned::Type ty, const string& ident,
1561                            const SGGeod& pos, PositionedID apt,
1562                            double heading, double length, double width, double displacedThreshold,
1563                            double stopway, int surfaceCode)
1564 {
1565   // only runways are spatially indexed; don't bother indexing taxiways
1566   // or pavements
1567   bool spatialIndex = ( ty == FGPositioned::RUNWAY || ty == FGPositioned::HELIPAD);
1568
1569   sqlite3_int64 rowId = d->insertPositioned(ty, cleanRunwayNo(ident), "", pos, apt,
1570                                             spatialIndex);
1571   sqlite3_bind_int64(d->insertRunway, 1, rowId);
1572   sqlite3_bind_double(d->insertRunway, 2, heading);
1573   sqlite3_bind_double(d->insertRunway, 3, length);
1574   sqlite3_bind_double(d->insertRunway, 4, width);
1575   sqlite3_bind_int(d->insertRunway, 5, surfaceCode);
1576   sqlite3_bind_double(d->insertRunway, 6, displacedThreshold);
1577   sqlite3_bind_double(d->insertRunway, 7, stopway);
1578
1579   return d->execInsert(d->insertRunway);
1580 }
1581
1582 void NavDataCache::setRunwayReciprocal(PositionedID runway, PositionedID recip)
1583 {
1584   sqlite3_bind_int64(d->setRunwayReciprocal, 1, runway);
1585   sqlite3_bind_int64(d->setRunwayReciprocal, 2, recip);
1586   d->execUpdate(d->setRunwayReciprocal);
1587
1588 // and the opposite direction too!
1589   sqlite3_bind_int64(d->setRunwayReciprocal, 2, runway);
1590   sqlite3_bind_int64(d->setRunwayReciprocal, 1, recip);
1591   d->execUpdate(d->setRunwayReciprocal);
1592 }
1593
1594 void NavDataCache::setRunwayILS(PositionedID runway, PositionedID ils)
1595 {
1596   sqlite3_bind_int64(d->setRunwayILS, 1, runway);
1597   sqlite3_bind_int64(d->setRunwayILS, 2, ils);
1598   d->execUpdate(d->setRunwayILS);
1599
1600   // and the in-memory one
1601   if (d->cache.find(runway) != d->cache.end()) {
1602     FGRunway* instance = (FGRunway*) d->cache[runway].ptr();
1603     instance->setILS(ils);
1604   }
1605 }
1606
1607 void NavDataCache::updateRunwayThreshold(PositionedID runwayID, const SGGeod &aThreshold,
1608                                   double aHeading, double aDisplacedThreshold,
1609                                   double aStopway)
1610 {
1611 // update the runway information
1612   sqlite3_bind_int64(d->updateRunwayThreshold, 1, runwayID);
1613   sqlite3_bind_double(d->updateRunwayThreshold, 2, aHeading);
1614   sqlite3_bind_double(d->updateRunwayThreshold, 3, aDisplacedThreshold);
1615   sqlite3_bind_double(d->updateRunwayThreshold, 4, aStopway);
1616   d->execUpdate(d->updateRunwayThreshold);
1617
1618   // now update the positional data
1619   updatePosition(runwayID, aThreshold);
1620 }
1621
1622 PositionedID
1623 NavDataCache::insertNavaid(FGPositioned::Type ty, const string& ident,
1624                           const string& name, const SGGeod& pos,
1625                            int freq, int range, double multiuse,
1626                            PositionedID apt, PositionedID runway)
1627 {
1628   bool spatialIndex = true;
1629   if (ty == FGPositioned::MOBILE_TACAN) {
1630     spatialIndex = false;
1631   }
1632
1633   sqlite3_int64 rowId = d->insertPositioned(ty, ident, name, pos, apt,
1634                                             spatialIndex);
1635   sqlite3_bind_int64(d->insertNavaid, 1, rowId);
1636   sqlite3_bind_int(d->insertNavaid, 2, freq);
1637   sqlite3_bind_int(d->insertNavaid, 3, range);
1638   sqlite3_bind_double(d->insertNavaid, 4, multiuse);
1639   sqlite3_bind_int64(d->insertNavaid, 5, runway);
1640   sqlite3_bind_int64(d->insertNavaid, 6, 0);
1641   return d->execInsert(d->insertNavaid);
1642 }
1643
1644 void NavDataCache::setNavaidColocated(PositionedID navaid, PositionedID colocatedDME)
1645 {
1646   // Update DB entries...
1647   sqlite3_bind_int64(d->setNavaidColocated, 1, navaid);
1648   sqlite3_bind_int64(d->setNavaidColocated, 2, colocatedDME);
1649   d->execUpdate(d->setNavaidColocated);
1650
1651   // ...and the in-memory copy of the navrecord
1652   if (d->cache.find(navaid) != d->cache.end()) {
1653     FGNavRecord* rec = (FGNavRecord*) d->cache[navaid].get();
1654     rec->setColocatedDME(colocatedDME);
1655   }
1656 }
1657
1658 void NavDataCache::updateILS(PositionedID ils, const SGGeod& newPos, double aHdg)
1659 {
1660   sqlite3_bind_int64(d->updateILS, 1, ils);
1661   sqlite3_bind_double(d->updateILS, 2, aHdg);
1662   d->execUpdate(d->updateILS);
1663   updatePosition(ils, newPos);
1664 }
1665
1666 PositionedID NavDataCache::insertCommStation(FGPositioned::Type ty,
1667                                              const string& name, const SGGeod& pos, int freq, int range,
1668                                              PositionedID apt)
1669 {
1670   sqlite3_int64 rowId = d->insertPositioned(ty, "", name, pos, apt, true);
1671   sqlite3_bind_int64(d->insertCommStation, 1, rowId);
1672   sqlite3_bind_int(d->insertCommStation, 2, freq);
1673   sqlite3_bind_int(d->insertCommStation, 3, range);
1674   return d->execInsert(d->insertCommStation);
1675 }
1676
1677 PositionedID NavDataCache::insertFix(const std::string& ident, const SGGeod& aPos)
1678 {
1679   return d->insertPositioned(FGPositioned::FIX, ident, string(), aPos, 0, true);
1680 }
1681
1682 PositionedID NavDataCache::createPOI(FGPositioned::Type ty, const std::string& ident, const SGGeod& aPos)
1683 {
1684   return d->insertPositioned(ty, ident, string(), aPos, 0,
1685                              true /* spatial index */);
1686 }
1687
1688 void NavDataCache::removePOI(FGPositioned::Type ty, const std::string& aIdent)
1689 {
1690   d->removePositionedWithIdent(ty, aIdent);
1691   // should remove from the live cache too?
1692 }
1693
1694 void NavDataCache::setAirportMetar(const string& icao, bool hasMetar)
1695 {
1696   sqlite_bind_stdstring(d->setAirportMetar, 1, icao);
1697   sqlite3_bind_int(d->setAirportMetar, 2, hasMetar);
1698   d->execUpdate(d->setAirportMetar);
1699 }
1700
1701 //------------------------------------------------------------------------------
1702 FGPositionedList NavDataCache::findAllWithIdent( const string& s,
1703                                                  FGPositioned::Filter* filter,
1704                                                  bool exact )
1705 {
1706   return d->findAllByString(s, "ident", filter, exact);
1707 }
1708
1709 //------------------------------------------------------------------------------
1710 FGPositionedList NavDataCache::findAllWithName( const string& s,
1711                                                 FGPositioned::Filter* filter,
1712                                                 bool exact )
1713 {
1714   return d->findAllByString(s, "name", filter, exact);
1715 }
1716
1717 //------------------------------------------------------------------------------
1718 FGPositionedRef NavDataCache::findClosestWithIdent( const string& aIdent,
1719                                                     const SGGeod& aPos,
1720                                                     FGPositioned::Filter* aFilter )
1721 {
1722   sqlite_bind_stdstring(d->findClosestWithIdent, 1, aIdent);
1723   if (aFilter) {
1724     sqlite3_bind_int(d->findClosestWithIdent, 2, aFilter->minType());
1725     sqlite3_bind_int(d->findClosestWithIdent, 3, aFilter->maxType());
1726   } else { // full type range
1727     sqlite3_bind_int(d->findClosestWithIdent, 2, FGPositioned::INVALID);
1728     sqlite3_bind_int(d->findClosestWithIdent, 3, FGPositioned::LAST_TYPE);
1729   }
1730
1731   SGVec3d cartPos(SGVec3d::fromGeod(aPos));
1732   sqlite3_bind_double(d->findClosestWithIdent, 4, cartPos.x());
1733   sqlite3_bind_double(d->findClosestWithIdent, 5, cartPos.y());
1734   sqlite3_bind_double(d->findClosestWithIdent, 6, cartPos.z());
1735
1736   FGPositionedRef result;
1737
1738   while (d->stepSelect(d->findClosestWithIdent)) {
1739     FGPositioned* pos = loadById(sqlite3_column_int64(d->findClosestWithIdent, 0));
1740     if (aFilter && !aFilter->pass(pos)) {
1741       continue;
1742     }
1743
1744     result = pos;
1745     break;
1746   }
1747
1748   d->reset(d->findClosestWithIdent);
1749   return result;
1750 }
1751
1752
1753 int NavDataCache::getOctreeBranchChildren(int64_t octreeNodeId)
1754 {
1755   sqlite3_bind_int64(d->getOctreeChildren, 1, octreeNodeId);
1756   d->execSelect1(d->getOctreeChildren);
1757   int children = sqlite3_column_int(d->getOctreeChildren, 0);
1758   d->reset(d->getOctreeChildren);
1759   return children;
1760 }
1761
1762 void NavDataCache::defineOctreeNode(Octree::Branch* pr, Octree::Node* nd)
1763 {
1764   sqlite3_bind_int64(d->insertOctree, 1, nd->guid());
1765   d->execInsert(d->insertOctree);
1766
1767 #ifdef LAZY_OCTREE_UPDATES
1768   d->deferredOctreeUpdates.insert(pr);
1769 #else
1770   // lowest three bits of node ID are 0..7 index of the child in the parent
1771   int childIndex = nd->guid() & 0x07;
1772
1773   sqlite3_bind_int64(d->updateOctreeChildren, 1, pr->guid());
1774 // mask has bit N set where child N exists
1775   int childMask = 1 << childIndex;
1776   sqlite3_bind_int(d->updateOctreeChildren, 2, childMask);
1777   d->execUpdate(d->updateOctreeChildren);
1778 #endif
1779 }
1780
1781 TypedPositionedVec
1782 NavDataCache::getOctreeLeafChildren(int64_t octreeNodeId)
1783 {
1784   sqlite3_bind_int64(d->getOctreeLeafChildren, 1, octreeNodeId);
1785
1786   TypedPositionedVec r;
1787   while (d->stepSelect(d->getOctreeLeafChildren)) {
1788     FGPositioned::Type ty = static_cast<FGPositioned::Type>
1789       (sqlite3_column_int(d->getOctreeLeafChildren, 1));
1790     r.push_back(std::make_pair(ty,
1791                 sqlite3_column_int64(d->getOctreeLeafChildren, 0)));
1792   }
1793
1794   d->reset(d->getOctreeLeafChildren);
1795   return r;
1796 }
1797
1798
1799 /**
1800  * A special purpose helper (used by FGAirport::searchNamesAndIdents) to
1801  * implement the AirportList dialog. It's unfortunate that it needs to reside
1802  * here, but for now it's least ugly solution.
1803  */
1804 char** NavDataCache::searchAirportNamesAndIdents(const std::string& aFilter)
1805 {
1806   string s = "%" + aFilter + "%";
1807   sqlite_bind_stdstring(d->searchAirports, 1, s);
1808
1809   unsigned int numMatches = 0, numAllocated = 16;
1810   char** result = (char**) malloc(sizeof(char*) * numAllocated);
1811
1812   while (d->stepSelect(d->searchAirports)) {
1813     if ((numMatches + 1) >= numAllocated) {
1814       numAllocated <<= 1; // double in size!
1815     // reallocate results array
1816       char** nresult = (char**) malloc(sizeof(char*) * numAllocated);
1817       memcpy(nresult, result, sizeof(char*) * numMatches);
1818       free(result);
1819       result = nresult;
1820     }
1821
1822     // nasty code to avoid excessive string copying and allocations.
1823     // We format results as follows (note whitespace!):
1824     //   ' name-of-airport-chars   (ident)'
1825     // so the total length is:
1826     //    1 + strlen(name) + 4 + strlen(icao) + 1 + 1 (for the null)
1827     // which gives a grand total of 7 + name-length + icao-length.
1828     // note the ident can be three letters (non-ICAO local strip), four
1829     // (default ICAO) or more (extended format ICAO)
1830     int nameLength = sqlite3_column_bytes(d->searchAirports, 1);
1831     int icaoLength = sqlite3_column_bytes(d->searchAirports, 0);
1832     char* entry = (char*) malloc(7 + nameLength + icaoLength);
1833     char* dst = entry;
1834     *dst++ = ' ';
1835     memcpy(dst, sqlite3_column_text(d->searchAirports, 1), nameLength);
1836     dst += nameLength;
1837     *dst++ = ' ';
1838     *dst++ = ' ';
1839     *dst++ = ' ';
1840     *dst++ = '(';
1841     memcpy(dst, sqlite3_column_text(d->searchAirports, 0), icaoLength);
1842     dst += icaoLength;
1843     *dst++ = ')';
1844     *dst++ = 0;
1845
1846     result[numMatches++] = entry;
1847   }
1848
1849   result[numMatches] = NULL; // end of list marker
1850   d->reset(d->searchAirports);
1851   return result;
1852 }
1853
1854 FGPositionedRef
1855 NavDataCache::findCommByFreq(int freqKhz, const SGGeod& aPos, FGPositioned::Filter* aFilter)
1856 {
1857   sqlite3_bind_int(d->findCommByFreq, 1, freqKhz);
1858   if (aFilter) {
1859     sqlite3_bind_int(d->findCommByFreq, 2, aFilter->minType());
1860     sqlite3_bind_int(d->findCommByFreq, 3, aFilter->maxType());
1861   } else { // full type range
1862     sqlite3_bind_int(d->findCommByFreq, 2, FGPositioned::FREQ_GROUND);
1863     sqlite3_bind_int(d->findCommByFreq, 3, FGPositioned::FREQ_UNICOM);
1864   }
1865
1866   SGVec3d cartPos(SGVec3d::fromGeod(aPos));
1867   sqlite3_bind_double(d->findCommByFreq, 4, cartPos.x());
1868   sqlite3_bind_double(d->findCommByFreq, 5, cartPos.y());
1869   sqlite3_bind_double(d->findCommByFreq, 6, cartPos.z());
1870   FGPositionedRef result;
1871
1872   while (d->execSelect(d->findCommByFreq)) {
1873     FGPositioned* p = loadById(sqlite3_column_int64(d->findCommByFreq, 0));
1874     if (aFilter && !aFilter->pass(p)) {
1875       continue;
1876     }
1877
1878     result = p;
1879     break;
1880   }
1881
1882   d->reset(d->findCommByFreq);
1883   return result;
1884 }
1885
1886 PositionedIDVec
1887 NavDataCache::findNavaidsByFreq(int freqKhz, const SGGeod& aPos, FGPositioned::Filter* aFilter)
1888 {
1889   sqlite3_bind_int(d->findNavsByFreq, 1, freqKhz);
1890   if (aFilter) {
1891     sqlite3_bind_int(d->findNavsByFreq, 2, aFilter->minType());
1892     sqlite3_bind_int(d->findNavsByFreq, 3, aFilter->maxType());
1893   } else { // full type range
1894     sqlite3_bind_int(d->findNavsByFreq, 2, FGPositioned::NDB);
1895     sqlite3_bind_int(d->findNavsByFreq, 3, FGPositioned::GS);
1896   }
1897
1898   SGVec3d cartPos(SGVec3d::fromGeod(aPos));
1899   sqlite3_bind_double(d->findNavsByFreq, 4, cartPos.x());
1900   sqlite3_bind_double(d->findNavsByFreq, 5, cartPos.y());
1901   sqlite3_bind_double(d->findNavsByFreq, 6, cartPos.z());
1902
1903   return d->selectIds(d->findNavsByFreq);
1904 }
1905
1906 PositionedIDVec
1907 NavDataCache::findNavaidsByFreq(int freqKhz, FGPositioned::Filter* aFilter)
1908 {
1909   sqlite3_bind_int(d->findNavsByFreqNoPos, 1, freqKhz);
1910   if (aFilter) {
1911     sqlite3_bind_int(d->findNavsByFreqNoPos, 2, aFilter->minType());
1912     sqlite3_bind_int(d->findNavsByFreqNoPos, 3, aFilter->maxType());
1913   } else { // full type range
1914     sqlite3_bind_int(d->findNavsByFreqNoPos, 2, FGPositioned::NDB);
1915     sqlite3_bind_int(d->findNavsByFreqNoPos, 3, FGPositioned::GS);
1916   }
1917
1918   return d->selectIds(d->findNavsByFreqNoPos);
1919 }
1920
1921 PositionedIDVec
1922 NavDataCache::airportItemsOfType(PositionedID apt,FGPositioned::Type ty,
1923                                  FGPositioned::Type maxTy)
1924 {
1925   if (maxTy == FGPositioned::INVALID) {
1926     maxTy = ty; // single-type range
1927   }
1928
1929   sqlite3_bind_int64(d->getAirportItems, 1, apt);
1930   sqlite3_bind_int(d->getAirportItems, 2, ty);
1931   sqlite3_bind_int(d->getAirportItems, 3, maxTy);
1932
1933   return d->selectIds(d->getAirportItems);
1934 }
1935
1936 PositionedID
1937 NavDataCache::airportItemWithIdent(PositionedID apt, FGPositioned::Type ty,
1938                                    const std::string& ident)
1939 {
1940   sqlite3_bind_int64(d->getAirportItemByIdent, 1, apt);
1941   sqlite_bind_stdstring(d->getAirportItemByIdent, 2, ident);
1942   sqlite3_bind_int(d->getAirportItemByIdent, 3, ty);
1943   PositionedID result = 0;
1944
1945   if (d->execSelect(d->getAirportItemByIdent)) {
1946     result = sqlite3_column_int64(d->getAirportItemByIdent, 0);
1947   }
1948
1949   d->reset(d->getAirportItemByIdent);
1950   return result;
1951 }
1952
1953 AirportRunwayPair
1954 NavDataCache::findAirportRunway(const std::string& aName)
1955 {
1956   if (aName.empty()) {
1957     return AirportRunwayPair();
1958   }
1959
1960   string_list parts = simgear::strutils::split(aName);
1961   if (parts.size() < 2) {
1962     SG_LOG(SG_NAVCACHE, SG_WARN, "findAirportRunway: malformed name:" << aName);
1963     return AirportRunwayPair();
1964   }
1965
1966   AirportRunwayPair result;
1967   sqlite_bind_stdstring(d->findAirportRunway, 1, parts[0]);
1968   sqlite_bind_stdstring(d->findAirportRunway, 2, parts[1]);
1969
1970   if (d->execSelect(d->findAirportRunway)) {
1971     result = AirportRunwayPair(sqlite3_column_int64(d->findAirportRunway, 0),
1972                       sqlite3_column_int64(d->findAirportRunway, 1));
1973
1974   } else {
1975     SG_LOG(SG_NAVCACHE, SG_WARN, "findAirportRunway: unknown airport/runway:" << aName);
1976   }
1977
1978   d->reset(d->findAirportRunway);
1979   return result;
1980 }
1981
1982 PositionedID
1983 NavDataCache::findILS(PositionedID airport, const string& runway, const string& navIdent)
1984 {
1985   sqlite_bind_stdstring(d->findILS, 1, navIdent);
1986   sqlite3_bind_int64(d->findILS, 2, airport);
1987   sqlite_bind_stdstring(d->findILS, 3, runway);
1988   PositionedID result = 0;
1989   if (d->execSelect(d->findILS)) {
1990     result = sqlite3_column_int64(d->findILS, 0);
1991   }
1992
1993   d->reset(d->findILS);
1994   return result;
1995 }
1996
1997 int NavDataCache::findAirway(int network, const string& aName)
1998 {
1999   sqlite3_bind_int(d->findAirway, 1, network);
2000   sqlite_bind_stdstring(d->findAirway, 2, aName);
2001
2002   int airway = 0;
2003   if (d->execSelect(d->findAirway)) {
2004     // already exists
2005     airway = sqlite3_column_int(d->findAirway, 0);
2006   } else {
2007     sqlite_bind_stdstring(d->insertAirway, 1, aName);
2008     sqlite3_bind_int(d->insertAirway, 2, network);
2009     airway = d->execInsert(d->insertAirway);
2010   }
2011
2012   d->reset(d->findAirway);
2013   return airway;
2014 }
2015
2016 void NavDataCache::insertEdge(int network, int airwayID, PositionedID from, PositionedID to)
2017 {
2018   // assume all edges are bidirectional for the moment
2019   for (int i=0; i<2; ++i) {
2020     sqlite3_bind_int(d->insertAirwayEdge, 1, network);
2021     sqlite3_bind_int(d->insertAirwayEdge, 2, airwayID);
2022     sqlite3_bind_int64(d->insertAirwayEdge, 3, from);
2023     sqlite3_bind_int64(d->insertAirwayEdge, 4, to);
2024     d->execInsert(d->insertAirwayEdge);
2025
2026     std::swap(from, to);
2027   }
2028 }
2029
2030 bool NavDataCache::isInAirwayNetwork(int network, PositionedID pos)
2031 {
2032   sqlite3_bind_int(d->isPosInAirway, 1, network);
2033   sqlite3_bind_int64(d->isPosInAirway, 2, pos);
2034   bool ok = d->execSelect(d->isPosInAirway);
2035   d->reset(d->isPosInAirway);
2036
2037   return ok;
2038 }
2039
2040 AirwayEdgeVec NavDataCache::airwayEdgesFrom(int network, PositionedID pos)
2041 {
2042   sqlite3_bind_int(d->airwayEdgesFrom, 1, network);
2043   sqlite3_bind_int64(d->airwayEdgesFrom, 2, pos);
2044
2045   AirwayEdgeVec result;
2046   while (d->stepSelect(d->airwayEdgesFrom)) {
2047     result.push_back(AirwayEdge(
2048                      sqlite3_column_int(d->airwayEdgesFrom, 0),
2049                      sqlite3_column_int64(d->airwayEdgesFrom, 1)
2050                      ));
2051   }
2052
2053   d->reset(d->airwayEdgesFrom);
2054   return result;
2055 }
2056
2057 PositionedID NavDataCache::findNavaidForRunway(PositionedID runway, FGPositioned::Type ty)
2058 {
2059   sqlite3_bind_int64(d->findNavaidForRunway, 1, runway);
2060   sqlite3_bind_int(d->findNavaidForRunway, 2, ty);
2061
2062   PositionedID result = 0;
2063   if (d->execSelect(d->findNavaidForRunway)) {
2064     result = sqlite3_column_int64(d->findNavaidForRunway, 0);
2065   }
2066
2067   d->reset(d->findNavaidForRunway);
2068   return result;
2069 }
2070
2071 PositionedID
2072 NavDataCache::insertParking(const std::string& name, const SGGeod& aPos,
2073                             PositionedID aAirport,
2074                            double aHeading, int aRadius, const std::string& aAircraftType,
2075                            const std::string& aAirlines)
2076 {
2077   sqlite3_int64 rowId = d->insertPositioned(FGPositioned::PARKING, name, "", aPos, aAirport, false);
2078
2079 // we need to insert a row into the taxi_node table, otherwise we can't maintain
2080 // the appropriate pushback flag.
2081   sqlite3_bind_int64(d->insertTaxiNode, 1, rowId);
2082   sqlite3_bind_int(d->insertTaxiNode, 2, 0);
2083   sqlite3_bind_int(d->insertTaxiNode, 3, 0);
2084   d->execInsert(d->insertTaxiNode);
2085
2086   sqlite3_bind_int64(d->insertParkingPos, 1, rowId);
2087   sqlite3_bind_double(d->insertParkingPos, 2, aHeading);
2088   sqlite3_bind_int(d->insertParkingPos, 3, aRadius);
2089   sqlite_bind_stdstring(d->insertParkingPos, 4, aAircraftType);
2090   sqlite_bind_stdstring(d->insertParkingPos, 5, aAirlines);
2091   return d->execInsert(d->insertParkingPos);
2092 }
2093
2094 void NavDataCache::setParkingPushBackRoute(PositionedID parking, PositionedID pushBackNode)
2095 {
2096   sqlite3_bind_int64(d->setParkingPushBack, 1, parking);
2097   sqlite3_bind_int64(d->setParkingPushBack, 2, pushBackNode);
2098   d->execUpdate(d->setParkingPushBack);
2099 }
2100
2101 PositionedID
2102 NavDataCache::insertTaxiNode(const SGGeod& aPos, PositionedID aAirport, int aHoldType, bool aOnRunway)
2103 {
2104   sqlite3_int64 rowId = d->insertPositioned(FGPositioned::TAXI_NODE, string(), string(), aPos, aAirport, false);
2105   sqlite3_bind_int64(d->insertTaxiNode, 1, rowId);
2106   sqlite3_bind_int(d->insertTaxiNode, 2, aHoldType);
2107   sqlite3_bind_int(d->insertTaxiNode, 3, aOnRunway);
2108   return d->execInsert(d->insertTaxiNode);
2109 }
2110
2111 void NavDataCache::insertGroundnetEdge(PositionedID aAirport, PositionedID from, PositionedID to)
2112 {
2113   sqlite3_bind_int64(d->insertTaxiEdge, 1, aAirport);
2114   sqlite3_bind_int64(d->insertTaxiEdge, 2, from);
2115   sqlite3_bind_int64(d->insertTaxiEdge, 3, to);
2116   d->execInsert(d->insertTaxiEdge);
2117 }
2118
2119 PositionedIDVec NavDataCache::groundNetNodes(PositionedID aAirport, bool onlyPushback)
2120 {
2121   sqlite3_stmt_ptr q = onlyPushback ? d->airportPushbackNodes : d->airportTaxiNodes;
2122   sqlite3_bind_int64(q, 1, aAirport);
2123   return d->selectIds(q);
2124 }
2125
2126 void NavDataCache::markGroundnetAsPushback(PositionedID nodeId)
2127 {
2128   sqlite3_bind_int64(d->markTaxiNodeAsPushback, 1, nodeId);
2129   d->execUpdate(d->markTaxiNodeAsPushback);
2130 }
2131
2132 static double headingDifferenceDeg(double crs1, double crs2)
2133 {
2134   double diff =  crs2 - crs1;
2135   SG_NORMALIZE_RANGE(diff, -180.0, 180.0);
2136   return diff;
2137 }
2138
2139 PositionedID NavDataCache::findGroundNetNode(PositionedID airport, const SGGeod& aPos,
2140                                              bool onRunway, FGRunway* aRunway)
2141 {
2142   sqlite3_stmt_ptr q = onRunway ? d->findNearestRunwayTaxiNode : d->findNearestTaxiNode;
2143   sqlite3_bind_int64(q, 1, airport);
2144
2145   SGVec3d cartPos(SGVec3d::fromGeod(aPos));
2146   sqlite3_bind_double(q, 2, cartPos.x());
2147   sqlite3_bind_double(q, 3, cartPos.y());
2148   sqlite3_bind_double(q, 4, cartPos.z());
2149
2150   PositionedID result = 0;
2151   while (d->execSelect(q)) {
2152     PositionedID id = sqlite3_column_int64(q, 0);
2153     if (!aRunway) {
2154       result = id;
2155       break;
2156     }
2157
2158   // ensure found node lies on the runway
2159     FGPositionedRef node = loadById(id);
2160     double course = SGGeodesy::courseDeg(node->geod(), aRunway->end());
2161     if (fabs(headingDifferenceDeg(course, aRunway->headingDeg())) < 3.0 ) {
2162       result = id;
2163       break;
2164     }
2165   }
2166
2167   d->reset(q);
2168   return result;
2169 }
2170
2171 PositionedIDVec NavDataCache::groundNetEdgesFrom(PositionedID pos, bool onlyPushback)
2172 {
2173   sqlite3_stmt_ptr q = onlyPushback ? d->pushbackEdgesFrom : d->taxiEdgesFrom;
2174   sqlite3_bind_int64(q, 1, pos);
2175   return d->selectIds(q);
2176 }
2177
2178 PositionedIDVec NavDataCache::findAirportParking(PositionedID airport, const std::string& flightType,
2179                                    int radius)
2180 {
2181   sqlite3_bind_int64(d->findAirportParking, 1, airport);
2182   sqlite3_bind_int(d->findAirportParking, 2, radius);
2183   sqlite_bind_stdstring(d->findAirportParking, 3, flightType);
2184
2185   return d->selectIds(d->findAirportParking);
2186 }
2187
2188 void NavDataCache::dropGroundnetFor(PositionedID aAirport)
2189 {
2190   sqlite3_stmt_ptr q = d->prepare("DELETE FROM parking WHERE rowid IN (SELECT rowid FROM positioned WHERE type=?1 AND airport=?2)");
2191   sqlite3_bind_int(q, 1, FGPositioned::PARKING);
2192   sqlite3_bind_int64(q, 2, aAirport);
2193   d->execUpdate(q);
2194
2195   q = d->prepare("DELETE FROM taxi_node WHERE rowid IN (SELECT rowid FROM positioned WHERE (type=?1 OR type=?2) AND airport=?3)");
2196   sqlite3_bind_int(q, 1, FGPositioned::TAXI_NODE);
2197   sqlite3_bind_int(q, 2, FGPositioned::PARKING);
2198   sqlite3_bind_int64(q, 3, aAirport);
2199   d->execUpdate(q);
2200
2201   q = d->prepare("DELETE FROM positioned WHERE (type=?1 OR type=?2) AND airport=?3");
2202   sqlite3_bind_int(q, 1, FGPositioned::TAXI_NODE);
2203   sqlite3_bind_int(q, 2, FGPositioned::PARKING);
2204   sqlite3_bind_int64(q, 3, aAirport);
2205   d->execUpdate(q);
2206
2207   q = d->prepare("DELETE FROM groundnet_edge WHERE airport=?1");
2208   sqlite3_bind_int64(q, 1, aAirport);
2209   d->execUpdate(q);
2210 }
2211
2212 /////////////////////////////////////////////////////////////////////////////////////////
2213 // Transaction RAII object
2214
2215 NavDataCache::Transaction::Transaction(NavDataCache* cache) :
2216     _instance(cache),
2217     _committed(false)
2218 {
2219     assert(cache);
2220     _instance->beginTransaction();
2221 }
2222
2223 NavDataCache::Transaction::~Transaction()
2224 {
2225     if (!_committed) {
2226         SG_LOG(SG_NAVCACHE, SG_INFO, "aborting cache transaction!");
2227         _instance->abortTransaction();
2228     }
2229 }
2230
2231 void NavDataCache::Transaction::commit()
2232 {
2233     assert(!_committed);
2234     _committed = true;
2235     _instance->commitTransaction();
2236 }
2237
2238 } // of namespace flightgear
2239