0.2.1/robots.txt

   1 #\r
   2 # Thanx to Mr. Jungwirth for his hint to create this file (was a bit lost in my mind...)\r
   3 #\r
   4 User-agent: *\r
   5 Disallow: /css/\r
   6 Disallow: /inc/\r
   7 Disallow: /images/\r
   8 Disallow: /sql-upgrades/\r
   9 Disallow: /templates/\r
  10 Disallow: /upgrade.php\r
  11 Disallow: /install.php\r
  12 Disallow: /cms/index/wht/impressum\r
  13 \r
  14 User-agent: *\r
  15 Disallow: /cms/index/wht/impressum\r
  16 \r
  17 User-agent: grub-client\r
  18 Disallow: /\r
  19 \r
  20 User-agent: grub\r
  21 Disallow: /\r
  22 \r
  23 User-agent: looksmart\r
  24 Disallow: /\r
  25 \r
  26 User-agent: WebZip\r
  27 Disallow: /\r
  28 \r
  29 User-agent: larbin\r
  30 Disallow: /\r
  31 \r
  32 User-agent: b2w/0.1\r
  33 Disallow: /\r
  34 \r
  35 User-agent: psbot\r
  36 Disallow: /\r
  37 \r
  38 User-agent: Python-urllib\r
  39 Disallow: /\r
  40 \r
  41 User-agent: NetMechanic\r
  42 Disallow: /\r
  43 \r
  44 User-agent: URL_Spider_Pro\r
  45 Disallow: /\r
  46 \r
  47 User-agent: CherryPicker\r
  48 Disallow: /\r
  49 \r
  50 User-agent: EmailCollector\r
  51 Disallow: /\r
  52 \r
  53 User-agent: EmailSiphon\r
  54 Disallow: /\r
  55 \r
  56 User-agent: WebBandit\r
  57 Disallow: /\r
  58 \r
  59 User-agent: EmailWolf\r
  60 Disallow: /\r
  61 \r
  62 User-agent: ExtractorPro\r
  63 Disallow: /\r
  64 \r
  65 User-agent: CopyRightCheck\r
  66 Disallow: /\r
  67 \r
  68 User-agent: Crescent\r
  69 Disallow: /\r
  70 \r
  71 User-agent: SiteSnagger\r
  72 Disallow: /\r
  73 \r
  74 User-agent: ProWebWalker\r
  75 Disallow: /\r
  76 \r
  77 User-agent: CheeseBot\r
  78 Disallow: /\r
  79 \r
  80 User-agent: LNSpiderguy\r
  81 Disallow: /\r
  82 \r
  83 User-agent: ia_archiver\r
  84 Disallow: /\r
  85 \r
  86 User-agent: ia_archiver/1.6\r
  87 Disallow: /\r
  88 \r
  89 User-agent: Teleport\r
  90 Disallow: /\r
  91 \r
  92 User-agent: TeleportPro\r
  93 Disallow: /\r
  94 \r
  95 User-agent: MIIxpc\r
  96 Disallow: /\r
  97 \r
  98 User-agent: Telesoft\r
  99 Disallow: /\r
 100 \r
 101 User-agent: Website Quester\r
 102 Disallow: /\r
 103 \r
 104 User-agent: moget/2.1\r
 105 Disallow: /\r
 106 \r
 107 User-agent: WebZip/4.0\r
 108 Disallow: /\r
 109 \r
 110 User-agent: WebStripper\r
 111 Disallow: /\r
 112 \r
 113 User-agent: WebSauger\r
 114 Disallow: /\r
 115 \r
 116 User-agent: WebCopier\r
 117 Disallow: /\r
 118 \r
 119 User-agent: NetAnts\r
 120 Disallow: /\r
 121 \r
 122 User-agent: Mister PiX\r
 123 Disallow: /\r
 124 \r
 125 User-agent: WebAuto\r
 126 Disallow: /\r
 127 \r
 128 User-agent: TheNomad\r
 129 Disallow: /\r
 130 \r
 131 User-agent: WWW-Collector-E\r
 132 Disallow: /\r
 133 \r
 134 User-agent: RMA\r
 135 Disallow: /\r
 136 \r
 137 User-agent: libWeb/clsHTTP\r
 138 Disallow: /\r
 139 \r
 140 User-agent: asterias\r
 141 Disallow: /\r
 142 \r
 143 User-agent: httplib\r
 144 Disallow: /\r
 145 \r
 146 User-agent: turingos\r
 147 Disallow: /\r
 148 \r
 149 User-agent: spanner\r
 150 Disallow: /\r
 151 \r
 152 User-agent: InfoNaviRobot\r
 153 Disallow: /\r
 154 \r
 155 User-agent: Harvest/1.5\r
 156 Disallow: /\r
 157 \r
 158 User-agent: Bullseye/1.0\r
 159 Disallow: /\r
 160 \r
 161 User-agent: Mozilla/4.0 (compatible; BullsEye; Windows 95)\r
 162 Disallow: /\r
 163 \r
 164 User-agent: Crescent Internet ToolPak HTTP OLE Control v.1.0\r
 165 Disallow: /\r
 166 \r
 167 User-agent: CherryPickerSE/1.0\r
 168 Disallow: /\r
 169 \r
 170 User-agent: CherryPickerElite/1.0\r
 171 Disallow: /\r
 172 \r
 173 User-agent: WebBandit/3.50\r
 174 Disallow: /\r
 175 \r
 176 User-agent: NICErsPRO\r
 177 Disallow: /\r
 178 \r
 179 User-agent: Microsoft URL Control - 5.01.4511\r
 180 Disallow: /\r
 181 \r
 182 User-agent: DittoSpyder\r
 183 Disallow: /\r
 184 \r
 185 User-agent: Foobot\r
 186 Disallow: /\r
 187 \r
 188 User-agent: WebmasterWorldForumBot\r
 189 Disallow: /\r
 190 \r
 191 User-agent: SpankBot\r
 192 Disallow: /\r
 193 \r
 194 User-agent: BotALot\r
 195 Disallow: /\r
 196 \r
 197 User-agent: lwp-trivial/1.34\r
 198 Disallow: /\r
 199 \r
 200 User-agent: lwp-trivial\r
 201 Disallow: /\r
 202 \r
 203 User-agent: BunnySlippers\r
 204 Disallow: /\r
 205 \r
 206 User-agent: Microsoft URL Control - 6.00.8169\r
 207 Disallow: /\r
 208 \r
 209 User-agent: URLy Warning\r
 210 Disallow: /\r
 211 \r
 212 User-agent: Wget/1.6\r
 213 Disallow: /\r
 214 \r
 215 User-agent: Wget/1.5.3\r
 216 Disallow: /\r
 217 \r
 218 User-agent: Wget\r
 219 Disallow: /\r
 220 \r
 221 User-agent: LinkWalker\r
 222 Disallow: /\r
 223 \r
 224 User-agent: cosmos\r
 225 Disallow: /\r
 226 \r
 227 User-agent: moget\r
 228 Disallow: /\r
 229 \r
 230 User-agent: hloader\r
 231 Disallow: /\r
 232 \r
 233 User-agent: humanlinks\r
 234 Disallow: /\r
 235 \r
 236 User-agent: LinkextractorPro\r
 237 Disallow: /\r
 238 \r
 239 User-agent: Offline Explorer\r
 240 Disallow: /\r
 241 \r
 242 User-agent: Mata Hari\r
 243 Disallow: /\r
 244 \r
 245 User-agent: LexiBot\r
 246 Disallow: /\r
 247 \r
 248 User-agent: Web Image Collector\r
 249 Disallow: /\r
 250 \r
 251 User-agent: The Intraformant\r
 252 Disallow: /\r
 253 \r
 254 User-agent: True_Robot/1.0\r
 255 Disallow: /\r
 256 \r
 257 User-agent: True_Robot\r
 258 Disallow: /\r
 259 \r
 260 User-agent: BlowFish/1.0\r
 261 Disallow: /\r
 262 \r
 263 User-agent: JennyBot\r
 264 Disallow: /\r
 265 \r
 266 User-agent: MIIxpc/4.2\r
 267 Disallow: /\r
 268 \r
 269 User-agent: BuiltBotTough\r
 270 Disallow: /\r
 271 \r
 272 User-agent: ProPowerBot/2.14\r
 273 Disallow: /\r
 274 \r
 275 User-agent: BackDoorBot/1.0\r
 276 Disallow: /\r
 277 \r
 278 User-agent: toCrawl/UrlDispatcher\r
 279 Disallow: /\r
 280 \r
 281 User-agent: WebEnhancer\r
 282 Disallow: /\r
 283 \r
 284 User-agent: suzuran\r
 285 Disallow: /\r
 286 \r
 287 User-agent: VCI WebViewer VCI WebViewer Win32\r
 288 Disallow: /\r
 289 \r
 290 User-agent: VCI\r
 291 Disallow: /\r
 292 \r
 293 User-agent: Szukacz/1.4 \r
 294 Disallow: /\r
 295 \r
 296 User-agent: QueryN Metasearch\r
 297 Disallow: /\r
 298 \r
 299 User-agent: Openfind data gathere\r
 300 Disallow: /\r
 301 \r
 302 User-agent: Openfind \r
 303 Disallow: /\r
 304 \r
 305 User-agent: Xenu's Link Sleuth 1.1c\r
 306 Disallow: /\r
 307 \r
 308 User-agent: Xenu's\r
 309 Disallow: /\r
 310 \r
 311 User-agent: Zeus\r
 312 Disallow: /\r
 313 \r
 314 User-agent: RepoMonkey Bait & Tackle/v1.01\r
 315 Disallow: /\r
 316 \r
 317 User-agent: RepoMonkey\r
 318 Disallow: /\r
 319 \r
 320 User-agent: Microsoft URL Control\r
 321 Disallow: /\r
 322 \r
 323 User-agent: Openbot\r
 324 Disallow: /\r
 325 \r
 326 User-agent: URL Control\r
 327 Disallow: /\r
 328 \r
 329 User-agent: Zeus Link Scout\r
 330 Disallow: /\r
 331 \r
 332 User-agent: Zeus 32297 Webster Pro V2.9 Win32\r
 333 Disallow: /\r
 334 \r
 335 User-agent: Webster Pro\r
 336 Disallow: /\r
 337 \r
 338 User-agent: EroCrawler\r
 339 Disallow: /\r
 340 \r
 341 User-agent: LinkScan/8.1a Unix\r
 342 Disallow: /\r
 343 \r
 344 User-agent: Keyword Density/0.9\r
 345 Disallow: /\r
 346 \r
 347 User-agent: Kenjin Spider\r
 348 Disallow: /\r
 349 \r
 350 User-agent: Iron33/1.0.2\r
 351 Disallow: /\r
 352 \r
 353 User-agent: Bookmark search tool\r
 354 Disallow: /\r
 355 \r
 356 User-agent: GetRight/4.2\r
 357 Disallow: /\r
 358 \r
 359 User-agent: FairAd Client\r
 360 Disallow: /\r
 361 \r
 362 User-agent: Gaisbot\r
 363 Disallow: /\r
 364 \r
 365 User-agent: Aqua_Products\r
 366 Disallow: /\r
 367 \r
 368 User-agent: Radiation Retriever 1.1\r
 369 Disallow: /\r
 370 \r
 371 User-agent: Flaming AttackBot\r
 372 Disallow: /\r
 373 \r
 374 User-agent: Oracle Ultra Search\r
 375 Disallow: /\r
 376 \r
 377 User-agent: MSIECrawler\r
 378 Disallow: /\r
 379 \r
 380 User-agent: PerMan\r
 381 Disallow: /\r
 382 \r
 383 User-agent: searchpreview\r
 384 Disallow: /\r
 385 \r
 386 User-agent: *\r
 387 Disallow: /guestbook\r
 388 \r
 389 User-agent: Googlebot\r
 390 Disallow: /guestbook\r
 391 \r
 392 User-agent: *\r
 393 Disallow: /blacklist.txt\r
 394 \r
 395 User-agent: Googlebot\r
 396 Disallow: /blacklist.txt\r
 397 \r
 398 User-agent: *\r
 399 Disallow: /whitelist.txt\r
 400 \r
 401 User-agent: Googlebot\r
 402 Disallow: /whitelist.txt\r