test.py

   1 #!/usr/bin/env python
   2
   3 """Automated tests of the apt-dht functionality.
   4
   5 This script runs several automatic tests of some of the functionality in
   6 the apt-dht program.
   7
   8 @type tests: C{dictionary}
   9 @var tests: all of the tests that can be run.
  10     The keys are the test names (strings) which are used on the command-line
  11     to identify the tests (can not be 'all' or 'help'). The values are tuples
  12     with four elements: a description of the test (C{string}), the bootstrap
  13     nodes to start (C{dictionary}), the downloaders to start (C{dictionary},
  14     and the apt-get commands to run (C{list}).
  15
  16     The bootstrap nodes keys are integers, which must be in the range 1-9.
  17     The values are the dictionary of string formatting values for creating
  18     the apt-dht configuration file (see L{apt_dht_conf_template} below).
  19
  20     The downloaders keys are also integers in the range 1-99. The values are
  21     the dictionary of string formatting values for creating the apt-dht
  22     configuration file (see L{apt_dht_conf_template} below).
  23
  24     The apt-get commands' list elements are tuples with 2 elements: the
  25     downloader to run the command on, and the list of command-line
  26     arguments to specify to the apt-get program.
  27
  28 @type CWD: C{string}
  29 @var CWD: the working directory the script was run from
  30 @type apt_conf_template: C{string}
  31 @var apt_conf_template: the template to use for the apt.conf file
  32
  33 """
  34
  35 from time import sleep, time
  36 import sys, os, signal
  37 from traceback import print_exc
  38 from os.path import exists
  39
  40 tests = {'1': ('Start a single bootstrap and downloader, test updating and downloading ' +
  41              'using HTTP only.',
  42              {1: {}},
  43              {1: {}},
  44              [(1, ['update']),
  45               (1, ['install', 'aboot-base']),
  46               (1, ['install', 'aap-doc']),
  47               (1, ['install', 'ada-reference-manual']),
  48               (1, ['install', 'aspectj-doc']),
  49               (1, ['install', 'fop-doc']),
  50               (1, ['install', 'jswat-doc']),
  51               (1, ['install', 'asis-doc']),
  52               (1, ['install', 'bison-doc']),
  53               (1, ['install', 'crash-whitepaper']),
  54               (1, ['install', 'doc-iana']),
  55               ]),
  56
  57          '2': ('Start a single bootstrap and 2 downloaders to test downloading from a peer.',
  58                {1: {}},
  59                {1: {},
  60                 2: {}},
  61                [(1, ['update']),
  62                 (2, ['update']),
  63                 (1, ['install', 'aboot-base']),
  64                 (2, ['install', 'aboot-base']),
  65                 (1, ['install', 'aap-doc']),
  66                 (1, ['install', 'ada-reference-manual']),
  67                 (1, ['install', 'fop-doc']),
  68                 (1, ['install', 'jswat-doc']),
  69                 (1, ['install', 'bison-doc']),
  70                 (1, ['install', 'crash-whitepaper']),
  71                 (2, ['install', 'aap-doc']),
  72                 (2, ['install', 'ada-reference-manual']),
  73                 (2, ['install', 'fop-doc']),
  74                 (2, ['install', 'jswat-doc']),
  75                 (2, ['install', 'bison-doc']),
  76                 (2, ['install', 'crash-whitepaper']),
  77                 ]),
  78
  79          '3': ('Start a single bootstrap and 6 downloaders, to test downloading' +
  80                ' speeds from each other.',
  81                {1: {}},
  82                {1: {},
  83                 2: {},
  84                 3: {},
  85                 4: {},
  86                 5: {},
  87                 6: {}},
  88                [(1, ['update']),
  89                 (1, ['install', 'aboot-base']),
  90                 (1, ['install', 'ada-reference-manual']),
  91                 (1, ['install', 'fop-doc']),
  92                 (1, ['install', 'doc-iana']),
  93                 (2, ['update']),
  94                 (2, ['install', 'aboot-base']),
  95                 (2, ['install', 'ada-reference-manual']),
  96                 (2, ['install', 'fop-doc']),
  97                 (2, ['install', 'doc-iana']),
  98                 (3, ['update']),
  99                 (3, ['install', 'aboot-base']),
 100                 (3, ['install', 'ada-reference-manual']),
 101                 (3, ['install', 'fop-doc']),
 102                 (3, ['install', 'doc-iana']),
 103                 (4, ['update']),
 104                 (4, ['install', 'aboot-base']),
 105                 (4, ['install', 'ada-reference-manual']),
 106                 (4, ['install', 'fop-doc']),
 107                 (4, ['install', 'doc-iana']),
 108                 (5, ['update']),
 109                 (5, ['install', 'aboot-base']),
 110                 (5, ['install', 'ada-reference-manual']),
 111                 (5, ['install', 'fop-doc']),
 112                 (5, ['install', 'doc-iana']),
 113                 (6, ['update']),
 114                 (6, ['install', 'aboot-base']),
 115                 (6, ['install', 'ada-reference-manual']),
 116                 (6, ['install', 'fop-doc']),
 117                 (6, ['install', 'doc-iana']),
 118                 ]),
 119
 120          '4': ('Start a single bootstrap and 1 downloader, requesting the same' +
 121                ' packages multiple times to test caching.',
 122                {1: {}},
 123                {1: {}},
 124                [(1, ['update']),
 125                 (1, ['install', 'aboot-base']),
 126                 (1, ['install', 'ada-reference-manual']),
 127                 (1, ['install', 'fop-doc']),
 128                 (1, ['install', 'doc-iana']),
 129                 (1, ['update']),
 130                 (1, ['install', 'aboot-base']),
 131                 (1, ['install', 'ada-reference-manual']),
 132                 (1, ['install', 'fop-doc']),
 133                 (1, ['install', 'doc-iana']),
 134                 (1, ['update']),
 135                 (1, ['install', 'aboot-base']),
 136                 (1, ['install', 'ada-reference-manual']),
 137                 (1, ['install', 'fop-doc']),
 138                 (1, ['install', 'doc-iana']),
 139                 ]),
 140
 141          '5': ('Start a single bootstrap and 6 downloaders, update all to test' +
 142                ' that they can all see each other.',
 143                {1: {}},
 144                {1: ([], {'suites': 'contrib non-free'}),
 145                 2: ([], {'suites': 'contrib non-free'}),
 146                 3: ([], {'suites': 'contrib non-free'}),
 147                 4: ([], {'suites': 'contrib non-free'}),
 148                 5: ([], {'suites': 'contrib non-free'}),
 149                 6: ([], {'suites': 'contrib non-free'})},
 150                [(1, ['update']),
 151                 (2, ['update']),
 152                 (3, ['update']),
 153                 (4, ['update']),
 154                 (5, ['update']),
 155                 (6, ['update']),
 156                 ]),
 157
 158         '6': ('Test caching with multiple apt-get updates.',
 159              {1: {}},
 160              {1: {}},
 161              [(1, ['update']),
 162               (1, ['update']),
 163               (1, ['update']),
 164               (1, ['update']),
 165               ]),
 166
 167         '7': ('Test pipelining of multiple simultaneous downloads.',
 168              {1: {}},
 169              {1: {}},
 170              [(1, ['update']),
 171               (1, ['install', 'aboot-base', 'aap-doc', 'ada-reference-manual',
 172                    'aspectj-doc', 'fop-doc', 'jswat-doc', 'asis-doc',
 173                    'bison-doc', 'crash-whitepaper', 'doc-iana',
 174                    'bash-doc', 'apt-howto-common', 'autotools-dev',
 175                    'aptitude-doc-en', 'armagetron-common', 'asr-manpages',
 176                    'atomix-data', 'alcovebook-sgml-doc', 'alamin-doc',
 177                    'aegis-doc', 'afbackup-common', 'airstrike-common',
 178                    ]),
 179               ]),
 180
 181         '8': ('Test pipelining of multiple simultaneous downloads with many peers.',
 182              {1: {}},
 183              {1: {},
 184               2: {},
 185               3: {},
 186               4: {},
 187               5: {},
 188               6: {}},
 189              [(1, ['update']),
 190               (1, ['install', 'aboot-base', 'aap-doc', 'ada-reference-manual',
 191                    'aspectj-doc', 'fop-doc', 'jswat-doc', 'asis-doc',
 192                    'bison-doc', 'crash-whitepaper', 'doc-iana',
 193                    'bash-doc', 'apt-howto-common', 'autotools-dev',
 194                    'aptitude-doc-en', 'armagetron-common', 'asr-manpages',
 195                    'atomix-data', 'alcovebook-sgml-doc', 'alamin-doc',
 196                    'aegis-doc', 'afbackup-common', 'airstrike-common',
 197                    ]),
 198               (2, ['update']),
 199               (2, ['install', 'aboot-base', 'aap-doc', 'ada-reference-manual',
 200                    'aspectj-doc', 'fop-doc', 'jswat-doc', 'asis-doc',
 201                    'bison-doc', 'crash-whitepaper', 'doc-iana',
 202                    'bash-doc', 'apt-howto-common', 'autotools-dev',
 203                    'aptitude-doc-en', 'armagetron-common', 'asr-manpages',
 204                    'atomix-data', 'alcovebook-sgml-doc', 'alamin-doc',
 205                    'aegis-doc', 'afbackup-common', 'airstrike-common',
 206                    ]),
 207               (3, ['update']),
 208               (3, ['install', 'aboot-base', 'aap-doc', 'ada-reference-manual',
 209                    'aspectj-doc', 'fop-doc', 'jswat-doc', 'asis-doc',
 210                    'bison-doc', 'crash-whitepaper', 'doc-iana',
 211                    'bash-doc', 'apt-howto-common', 'autotools-dev',
 212                    'aptitude-doc-en', 'armagetron-common', 'asr-manpages',
 213                    'atomix-data', 'alcovebook-sgml-doc', 'alamin-doc',
 214                    'aegis-doc', 'afbackup-common', 'airstrike-common',
 215                    ]),
 216               (4, ['update']),
 217               (4, ['install', 'aboot-base', 'aap-doc', 'ada-reference-manual',
 218                    'aspectj-doc', 'fop-doc', 'jswat-doc', 'asis-doc',
 219                    'bison-doc', 'crash-whitepaper', 'doc-iana',
 220                    'bash-doc', 'apt-howto-common', 'autotools-dev',
 221                    'aptitude-doc-en', 'armagetron-common', 'asr-manpages',
 222                    'atomix-data', 'alcovebook-sgml-doc', 'alamin-doc',
 223                    'aegis-doc', 'afbackup-common', 'airstrike-common',
 224                    ]),
 225               (5, ['update']),
 226               (5, ['install', 'aboot-base', 'aap-doc', 'ada-reference-manual',
 227                    'aspectj-doc', 'fop-doc', 'jswat-doc', 'asis-doc',
 228                    'bison-doc', 'crash-whitepaper', 'doc-iana',
 229                    'bash-doc', 'apt-howto-common', 'autotools-dev',
 230                    'aptitude-doc-en', 'armagetron-common', 'asr-manpages',
 231                    'atomix-data', 'alcovebook-sgml-doc', 'alamin-doc',
 232                    'aegis-doc', 'afbackup-common', 'airstrike-common',
 233                    ]),
 234               (6, ['update']),
 235               (6, ['install', 'aboot-base', 'aap-doc', 'ada-reference-manual',
 236                    'aspectj-doc', 'fop-doc', 'jswat-doc', 'asis-doc',
 237                    'bison-doc', 'crash-whitepaper', 'doc-iana',
 238                    'bash-doc', 'apt-howto-common', 'autotools-dev',
 239                    'aptitude-doc-en', 'armagetron-common', 'asr-manpages',
 240                    'atomix-data', 'alcovebook-sgml-doc', 'alamin-doc',
 241                    'aegis-doc', 'afbackup-common', 'airstrike-common',
 242                    ]),
 243               ]),
 244
 245          }
 246
 247 assert 'all' not in tests
 248 assert 'help' not in tests
 249
 250 CWD = os.getcwd()
 251 apt_conf_template = """
 252 {
 253   // Location of the state dir
 254   State "var/lib/apt/"
 255   {
 256      Lists "lists/";
 257      xstatus "xstatus";
 258      userstatus "status.user";
 259      cdroms "cdroms.list";
 260   };
 261
 262   // Location of the cache dir
 263   Cache "var/cache/apt/" {
 264      Archives "archives/";
 265      srcpkgcache "srcpkgcache.bin";
 266      pkgcache "pkgcache.bin";
 267   };
 268
 269   // Config files
 270   Etc "etc/apt/" {
 271      SourceList "sources.list";
 272      Main "apt.conf";
 273      Preferences "preferences";
 274      Parts "apt.conf.d/";
 275   };
 276
 277   // Locations of binaries
 278   Bin {
 279      methods "/usr/lib/apt/methods/";
 280      gzip "/bin/gzip";
 281      gpg  "/usr/bin/gpgv";
 282      dpkg "/usr/bin/dpkg --simulate";
 283      dpkg-source "/usr/bin/dpkg-source";
 284      dpkg-buildpackage "/usr/bin/dpkg-buildpackage";
 285      apt-get "/usr/bin/apt-get";
 286      apt-cache "/usr/bin/apt-cache";
 287   };
 288 };
 289
 290 /* Options you can set to see some debugging text They correspond to names
 291    of classes in the source code */
 292 Debug
 293 {
 294   pkgProblemResolver "false";
 295   pkgDepCache::AutoInstall "false"; // what packages apt install to satify dependencies
 296   pkgAcquire "false";
 297   pkgAcquire::Worker "false";
 298   pkgAcquire::Auth "false";
 299   pkgDPkgPM "false";
 300   pkgDPkgProgressReporting "false";
 301   pkgOrderList "false";
 302   BuildDeps "false";
 303
 304   pkgInitialize "false";   // This one will dump the configuration space
 305   NoLocking "false";
 306   Acquire::Ftp "false";    // Show ftp command traffic
 307   Acquire::Http "false";   // Show http command traffic
 308   Acquire::Debtorrent "false";   // Show http command traffic
 309   Acquire::gpgv "false";   // Show the gpgv traffic
 310   aptcdrom "false";        // Show found package files
 311   IdentCdrom "false";
 312
 313 }
 314 """
 315 apt_dht_conf_template = """
 316 [DEFAULT]
 317
 318 # Port to listen on for all requests (TCP and UDP)
 319 PORT = %(PORT)s
 320
 321 # Directory to store the downloaded files in
 322 CACHE_DIR = %(CACHE_DIR)s
 323
 324 # Other directories containing packages to share with others
 325 # WARNING: all files in these directories will be hashed and available
 326 #          for everybody to download
 327 # OTHER_DIRS =
 328
 329 # User name to try and run as
 330 # USERNAME =
 331
 332 # Whether it's OK to use an IP addres from a known local/private range
 333 LOCAL_OK = yes
 334
 335 # Unload the packages cache after an interval of inactivity this long.
 336 # The packages cache uses a lot of memory, and only takes a few seconds
 337 # to reload when a new request arrives.
 338 UNLOAD_PACKAGES_CACHE = 5m
 339
 340 # Refresh the DHT keys after this much time has passed.
 341 # This should be a time slightly less than the DHT's KEY_EXPIRE value.
 342 KEY_REFRESH = 57m
 343
 344 # Which DHT implementation to use.
 345 # It must be possile to do "from <DHT>.DHT import DHT" to get a class that
 346 # implements the IDHT interface.
 347 DHT = apt_dht_Khashmir
 348
 349 # Whether to only run the DHT (for providing only a bootstrap node)
 350 DHT-ONLY = %(DHT-ONLY)s
 351
 352 [apt_dht_Khashmir]
 353 # bootstrap nodes to contact to join the DHT
 354 BOOTSTRAP = %(BOOTSTRAP)s
 355
 356 # whether this node is a bootstrap node
 357 BOOTSTRAP_NODE = %(BOOTSTRAP_NODE)s
 358
 359 # Kademlia "K" constant, this should be an even number
 360 K = 8
 361
 362 # SHA1 is 160 bits long
 363 HASH_LENGTH = 160
 364
 365 # checkpoint every this many seconds
 366 CHECKPOINT_INTERVAL = 5m
 367
 368 # concurrent xmlrpc calls per find node/value request!
 369 CONCURRENT_REQS = 4
 370
 371 # how many hosts to post to
 372 STORE_REDUNDANCY = 3
 373
 374 # how many times in a row a node can fail to respond before it's booted from the routing table
 375 MAX_FAILURES = 3
 376
 377 # never ping a node more often than this
 378 MIN_PING_INTERVAL = 15m
 379
 380 # refresh buckets that haven't been touched in this long
 381 BUCKET_STALENESS = 1h
 382
 383 # expire entries older than this
 384 KEY_EXPIRE = 1h
 385
 386 # whether to spew info about the requests/responses in the protocol
 387 SPEW = yes
 388 """
 389
 390 def rmrf(top):
 391     """Remove all the files and directories below a top-level one.
 392
 393     @type top: C{string}
 394     @param top: the top-level directory to start at
 395
 396     """
 397
 398     for root, dirs, files in os.walk(top, topdown=False):
 399         for name in files:
 400             os.remove(os.path.join(root, name))
 401         for name in dirs:
 402             os.rmdir(os.path.join(root, name))
 403
 404 def join(dir):
 405     """Join together a list of directories into a path string.
 406
 407     @type dir: C{list} of C{string}
 408     @param dir: the path to join together
 409     @rtype: C{string}
 410     @return: the joined together path
 411
 412     """
 413
 414     joined = ''
 415     for i in dir:
 416         joined = os.path.join(joined, i)
 417     return joined
 418
 419 def makedirs(dir):
 420     """Create all the directories to make a path.
 421
 422     @type dir: C{list} of C{string}
 423     @param dir: the path to create
 424
 425     """
 426     if not os.path.exists(join(dir)):
 427         os.makedirs(join(dir))
 428
 429 def touch(path):
 430     """Create an empty file.
 431
 432     @type path: C{list} of C{string}
 433     @param path: the path to create
 434
 435     """
 436
 437     f = open(join(path), 'w')
 438     f.close()
 439
 440 def start(cmd, args, work_dir = None):
 441     """Fork and start a background process running.
 442
 443     @type cmd: C{string}
 444     @param cmd: the name of the command to run
 445     @type args: C{list} of C{string}
 446     @param args: the argument to pass to the command
 447     @type work_dir: C{string}
 448     @param work_dir: the directory to change to to execute the child process in
 449         (optional, defaults to the current directory)
 450     @rtype: C{int}
 451     @return: the PID of the forked process
 452
 453     """
 454
 455     new_cmd = [cmd] + args
 456     pid = os.spawnvp(os.P_NOWAIT, new_cmd[0], new_cmd)
 457     return pid
 458
 459 def stop(pid):
 460     """Stop a forked background process that is running.
 461
 462     @type pid: C{int}
 463     @param pid: the PID of the process to stop
 464     @rtype: C{int}
 465     @return: the return status code from the child
 466
 467     """
 468
 469     # First try a keyboard interrupt
 470     os.kill(pid, signal.SIGINT)
 471     for i in xrange(5):
 472         sleep(1)
 473         (r_pid, r_value) = os.waitpid(pid, os.WNOHANG)
 474         if r_pid:
 475             return r_value
 476
 477     # Try a keyboard interrupt again, just in case
 478     os.kill(pid, signal.SIGINT)
 479     for i in xrange(5):
 480         sleep(1)
 481         (r_pid, r_value) = os.waitpid(pid, os.WNOHANG)
 482         if r_pid:
 483             return r_value
 484
 485     # Try a terminate
 486     os.kill(pid, signal.SIGTERM)
 487     for i in xrange(5):
 488         sleep(1)
 489         (r_pid, r_value) = os.waitpid(pid, os.WNOHANG)
 490         if r_pid:
 491             return r_value
 492
 493     # Finally a kill, don't return until killed
 494     os.kill(pid, signal.SIGKILL)
 495     while not r_pid:
 496         sleep(1)
 497         (r_pid, r_value) = os.waitpid(pid, os.WNOHANG)
 498
 499     return r_value
 500
 501 def apt_get(num_down, cmd):
 502     """Start an apt-get process in the background.
 503
 504     The default argument specified to the apt-get invocation are
 505     'apt-get -d -q -c <conf_file>'. Any additional arguments (including
 506     the apt-get action to use) should be specified.
 507
 508     @type num_down: C{int}
 509     @param num_down: the number of the downloader to use
 510     @type cmd: C{list} of C{string}
 511     @param cmd: the arguments to pass to the apt-get process
 512     @rtype: C{int}
 513     @return: the PID of the background process
 514
 515     """
 516
 517     print '*************** apt-get (' + str(num_down) + ') ' + ' '.join(cmd) + ' ****************'
 518     apt_conf = join([down_dir(num_down), 'etc', 'apt', 'apt.conf'])
 519     dpkg_status = join([down_dir(num_down), 'var', 'lib', 'dpkg', 'status'])
 520     args = ['-d', '-c', apt_conf, '-o', 'Dir::state::status='+dpkg_status] + cmd
 521     pid = start('apt-get', args)
 522     return pid
 523
 524 def bootstrap_address(num_boot):
 525     """Determine the bootstrap address to use for a node.
 526
 527     @type num_boot: C{int}
 528     @param num_boot: the number of the bootstrap node
 529     @rtype: C{string}
 530     @return: the bootstrap address to use
 531
 532     """
 533
 534     return 'localhost:1' + str(num_boot) + '969'
 535
 536 def down_dir(num_down):
 537     """Determine the working directory to use for a downloader.
 538
 539     @type num_down: C{int}
 540     @param num_down: the number of the downloader
 541     @rtype: C{string}
 542     @return: the downloader's directory
 543
 544     """
 545
 546     return os.path.join(CWD,'downloader' + str(num_down))
 547
 548 def boot_dir(num_boot):
 549     """Determine the working directory to use for a bootstrap node.
 550
 551     @type num_boot: C{int}
 552     @param num_boot: the number of the bootstrap node
 553     @rtype: C{string}
 554     @return: the bootstrap node's directory
 555
 556     """
 557
 558     return os.path.join(CWD,'bootstrap' + str(num_boot))
 559
 560 def start_downloader(bootstrap_addresses, num_down, options = {},
 561                      mirror = 'ftp.us.debian.org/debian',
 562                      suites = 'main contrib non-free', clean = True):
 563     """Initialize a new downloader process.
 564
 565     The default arguments specified to the downloader invocation are
 566     the configuration directory, apt port, minport, maxport and the
 567     maximum upload rate.
 568     Any additional arguments needed should be specified by L{options}.
 569
 570     @type num_down: C{int}
 571     @param num_down: the number of the downloader to use
 572     @type options: C{dictionary}
 573     @param options: the dictionary of string formatting values for creating
 574         the apt-dht configuration file (see L{apt_dht_conf_template} above).
 575         (optional, defaults to only using the default arguments)
 576     @type mirror: C{string}
 577     @param mirror: the Debian mirror to use
 578         (optional, defaults to 'ftp.us.debian.org/debian')
 579     @type suites: C{string}
 580     @param suites: space separated list of suites to download
 581         (optional, defaults to 'main contrib non-free')
 582     @type clean: C{boolean}
 583     @param clean: whether to remove any previous downloader files
 584         (optional, defaults to removing them)
 585     @rtype: C{int}
 586     @return: the PID of the downloader process
 587
 588     """
 589
 590     assert num_down < 100
 591
 592     print '************************** Starting Downloader ' + str(num_down) + ' **************************'
 593
 594     downloader_dir = down_dir(num_down)
 595
 596     if clean:
 597         try:
 598             rmrf(downloader_dir)
 599         except:
 600             pass
 601
 602         # Create the directory structure needed by apt
 603         makedirs([downloader_dir, 'etc', 'apt', 'apt.conf.d'])
 604         makedirs([downloader_dir, 'var', 'lib', 'apt', 'lists', 'partial'])
 605         makedirs([downloader_dir, 'var', 'lib', 'dpkg'])
 606         makedirs([downloader_dir, 'var', 'cache', 'apt', 'archives', 'partial'])
 607         touch([downloader_dir, 'var', 'lib', 'apt', 'lists', 'lock'])
 608         touch([downloader_dir, 'var', 'lib', 'dpkg', 'lock'])
 609         touch([downloader_dir, 'var', 'lib', 'dpkg', 'status'])
 610         touch([downloader_dir, 'var', 'cache', 'apt', 'archives', 'lock'])
 611
 612         # Create apt's config files
 613         f = open(join([downloader_dir, 'etc', 'apt', 'sources.list']), 'w')
 614         f.write('deb http://localhost:1%02d77/%s/ stable %s\n' % (num_down, mirror, suites))
 615         f.close()
 616
 617         f = open(join([downloader_dir, 'etc', 'apt', 'apt.conf']), 'w')
 618         f.write('Dir "' + downloader_dir + '"')
 619         f.write(apt_conf_template)
 620         f.close()
 621
 622     defaults = {'PORT': '1%02d77' % num_down,
 623                 'CACHE_DIR': downloader_dir,
 624                 'DHT-ONLY': 'no',
 625                 'BOOTSTRAP': bootstrap_addresses,
 626                 'BOOTSTRAP_NODE': 'no'}
 627
 628     for k in options:
 629         defaults[k] = options[k]
 630     f = open(join([downloader_dir, 'apt-dht.conf']), 'w')
 631     f.write(apt_dht_conf_template % defaults)
 632     f.close()
 633
 634     pid = start('python', [join([sys.path[0], 'apt-dht.py']),
 635                            '--config-file=' + join([downloader_dir, 'apt-dht.conf']),
 636                            '--log-file=' + join([downloader_dir, 'apt-dht.log']),],
 637                 downloader_dir)
 638     return pid
 639
 640 def start_bootstrap(bootstrap_addresses, num_boot, options = [], clean = True):
 641     """Initialize a new bootstrap node process.
 642
 643     The default arguments specified to the apt-dht invocation are
 644     the state file and port to use. Any additional arguments needed
 645     should be specified by L{options}.
 646
 647     @type num_boot: C{int}
 648     @param num_boot: the number of the bootstrap node to use
 649     @type options: C{list} of C{string}
 650     @param options: the arguments to pass to the bootstrap node
 651         (optional, defaults to only using the default arguments)
 652     @type clean: C{boolean}
 653     @param clean: whether to remove any previous bootstrap node files
 654         (optional, defaults to removing them)
 655     @rtype: C{int}
 656     @return: the PID of the downloader process
 657
 658     """
 659
 660     assert num_boot < 10
 661
 662     print '************************** Starting Bootstrap ' + str(num_boot) + ' **************************'
 663
 664     bootstrap_dir = boot_dir(num_boot)
 665
 666     if clean:
 667         try:
 668             rmrf(bootstrap_dir)
 669         except:
 670             pass
 671
 672     makedirs([bootstrap_dir])
 673
 674     defaults = {'PORT': '1%d969' % num_boot,
 675                 'CACHE_DIR': bootstrap_dir,
 676                 'DHT-ONLY': 'yes',
 677                 'BOOTSTRAP': bootstrap_addresses,
 678                 'BOOTSTRAP_NODE': 'yes'}
 679
 680     for k in options:
 681         defaults[k] = options[k]
 682     f = open(join([bootstrap_dir, 'apt-dht.conf']), 'w')
 683     f.write(apt_dht_conf_template % defaults)
 684     f.close()
 685
 686     pid = start('python', [join([sys.path[0], 'apt-dht.py']),
 687                            '--config-file=' + join([bootstrap_dir, 'apt-dht.conf']),
 688                            '--log-file=' + join([bootstrap_dir, 'apt-dht.log']),],
 689                 bootstrap_dir)
 690
 691     return pid
 692
 693 def run_test(bootstraps, downloaders, apt_get_queue):
 694     """Run a single test.
 695
 696     @type bootstraps: C{dictionary} of {C{int}: C{list} of C{string}}
 697     @param bootstraps: the bootstrap nodes to start, keys are the bootstrap numbers and
 698         values are the list of options to invoke the bootstrap node with
 699     @type downloaders: C{dictionary} of {C{int}: (C{int}, C{list} of C{string})}
 700     @param downloaders: the downloaders to start, keys are the downloader numbers and
 701         values are the list of options to invoke the downloader with
 702     @type apt_get_queue: C{list} of (C{int}, C{list} of C{string})
 703     @param apt_get_queue: the apt-get downloader to use and commands to execute
 704     @rtype: C{list} of (C{float}, C{int})
 705     @return: the execution time and returned status code for each element of apt_get_queue
 706
 707     """
 708
 709     running_bootstraps = {}
 710     running_downloaders = {}
 711     running_apt_get = {}
 712     apt_get_results = []
 713
 714     try:
 715         boot_keys = bootstraps.keys()
 716         boot_keys.sort()
 717         bootstrap_addresses = bootstrap_address(boot_keys[0])
 718         for i in xrange(1, len(boot_keys)):
 719             bootstrap_addresses += '\n      ' + bootstrap_address(boot_keys[i])
 720
 721         for k, v in bootstraps.items():
 722             running_bootstraps[k] = start_bootstrap(bootstrap_addresses, k, v)
 723
 724         sleep(5)
 725
 726         for k, v in downloaders.items():
 727             running_downloaders[k] = start_downloader(bootstrap_addresses, k, v)
 728
 729         sleep(5)
 730
 731         for (num_down, cmd) in apt_get_queue:
 732             running_apt_get[num_down] = apt_get(num_down, cmd)
 733             start_time = time()
 734             (pid, r_value) = os.waitpid(running_apt_get[num_down], 0)
 735             elapsed = time() - start_time
 736             del running_apt_get[num_down]
 737             r_value = r_value / 256
 738             apt_get_results.append((elapsed, r_value))
 739
 740             if r_value == 0:
 741                 print '********** apt-get completed successfully in ' +  str(elapsed) + ' sec. *****************'
 742             else:
 743                 print '********** apt-get finished with status ' + str(r_value) + ' in ' +  str(elapsed) + ' sec. ************'
 744
 745             sleep(5)
 746
 747     except:
 748         print '************************** Exception occurred **************************'
 749         print_exc()
 750         print '************************** will attempt to shut down *******************'
 751
 752     print '*********************** shutting down the apt-gets *******************'
 753     for k, v in running_apt_get.items():
 754         try:
 755             print 'apt-get', k, stop(v)
 756         except:
 757             print '************************** Exception occurred **************************'
 758             print_exc()
 759
 760     sleep(5)
 761
 762     print '*********************** shutting down the downloaders *******************'
 763     for k, v in running_downloaders.items():
 764         try:
 765             print 'downloader', k, stop(v)
 766         except:
 767             print '************************** Exception occurred **************************'
 768             print_exc()
 769
 770     sleep(5)
 771
 772     print '************************** shutting down the bootstraps *******************'
 773     for k, v in running_bootstraps.items():
 774         try:
 775             print 'bootstrap', k, stop(v)
 776         except:
 777             print '************************** Exception occurred **************************'
 778             print_exc()
 779
 780     print '************************** Test Results *******************'
 781     i = -1
 782     for (num_down, cmd) in apt_get_queue:
 783         i += 1
 784         s = str(num_down) + ': "apt-get ' + ' '.join(cmd) + '" '
 785         if len(apt_get_results) > i:
 786             (elapsed, r_value) = apt_get_results[i]
 787             s += 'took ' + str(elapsed) + ' secs (' + str(r_value) + ')'
 788         else:
 789             s += 'did not complete'
 790         print s
 791
 792     return apt_get_results
 793
 794 def get_usage():
 795     """Get the usage information to display to the user.
 796
 797     @rtype: C{string}
 798     @return: the usage information to display
 799
 800     """
 801
 802     s = 'Usage: ' + sys.argv[0] + ' (all|<test>|help)\n\n'
 803     s += '  all    - run all the tests\n'
 804     s += '  help   - display this usage information\n'
 805     s += '  <test> - run the <test> test (see list below for valid tests)\n\n'
 806
 807     t = tests.items()
 808     t.sort()
 809     for k, v in t:
 810         s += 'test "' + str(k) + '" - ' + v[0] + '\n'
 811
 812     return s
 813
 814 if __name__ == '__main__':
 815     if len(sys.argv) != 2:
 816         print get_usage()
 817     elif sys.argv[1] == 'all':
 818         for k, v in tests.items():
 819             run_test(v[1], v[2], v[3])
 820     elif sys.argv[1] in tests:
 821         v = tests[sys.argv[1]]
 822         run_test(v[1], v[2], v[3])
 823     elif sys.argv[1] == 'help':
 824         print get_usage()
 825     else:
 826         print 'Unknown test to run:', sys.argv[1], '\n'
 827         print get_usage()
 828