robots.txt

   1 #
   2 # Thanx to Mr. Jungwirth for his hint to create this file (was a bit lost in my mind...)
   3 #
   4 User-agent: *
   5 Disallow: /css/
   6 Disallow: /inc/
   7 Disallow: /images/
   8 Disallow: /templates/
   9 Disallow: /install.php
  10 Disallow: /cms/index/wht/impressum
  11
  12 User-agent: Googlebot
  13 Disallow: /css/
  14 Disallow: /inc/
  15 Disallow: /images/
  16 Disallow: /templates/
  17 Disallow: /install.php
  18 Disallow: /cms/index/wht/impressum
  19
  20 User-agent: grub-client
  21 Disallow: /
  22
  23 User-agent: grub
  24 Disallow: /
  25
  26 User-agent: looksmart
  27 Disallow: /
  28
  29 User-agent: WebZip
  30 Disallow: /
  31
  32 User-agent: larbin
  33 Disallow: /
  34
  35 User-agent: b2w/0.1
  36 Disallow: /
  37
  38 User-agent: psbot
  39 Disallow: /
  40
  41 User-agent: Python-urllib
  42 Disallow: /
  43
  44 User-agent: NetMechanic
  45 Disallow: /
  46
  47 User-agent: URL_Spider_Pro
  48 Disallow: /
  49
  50 User-agent: CherryPicker
  51 Disallow: /
  52
  53 User-agent: EmailCollector
  54 Disallow: /
  55
  56 User-agent: EmailSiphon
  57 Disallow: /
  58
  59 User-agent: WebBandit
  60 Disallow: /
  61
  62 User-agent: EmailWolf
  63 Disallow: /
  64
  65 User-agent: ExtractorPro
  66 Disallow: /
  67
  68 User-agent: CopyRightCheck
  69 Disallow: /
  70
  71 User-agent: Crescent
  72 Disallow: /
  73
  74 User-agent: SiteSnagger
  75 Disallow: /
  76
  77 User-agent: ProWebWalker
  78 Disallow: /
  79
  80 User-agent: CheeseBot
  81 Disallow: /
  82
  83 User-agent: LNSpiderguy
  84 Disallow: /
  85
  86 User-agent: ia_archiver
  87 Disallow: /
  88
  89 User-agent: ia_archiver/1.6
  90 Disallow: /
  91
  92 User-agent: Teleport
  93 Disallow: /
  94
  95 User-agent: TeleportPro
  96 Disallow: /
  97
  98 User-agent: MIIxpc
  99 Disallow: /
 100
 101 User-agent: Telesoft
 102 Disallow: /
 103
 104 User-agent: Website Quester
 105 Disallow: /
 106
 107 User-agent: moget/2.1
 108 Disallow: /
 109
 110 User-agent: WebZip/4.0
 111 Disallow: /
 112
 113 User-agent: WebStripper
 114 Disallow: /
 115
 116 User-agent: WebSauger
 117 Disallow: /
 118
 119 User-agent: WebCopier
 120 Disallow: /
 121
 122 User-agent: NetAnts
 123 Disallow: /
 124
 125 User-agent: Mister PiX
 126 Disallow: /
 127
 128 User-agent: WebAuto
 129 Disallow: /
 130
 131 User-agent: TheNomad
 132 Disallow: /
 133
 134 User-agent: WWW-Collector-E
 135 Disallow: /
 136
 137 User-agent: RMA
 138 Disallow: /
 139
 140 User-agent: libWeb/clsHTTP
 141 Disallow: /
 142
 143 User-agent: asterias
 144 Disallow: /
 145
 146 User-agent: httplib
 147 Disallow: /
 148
 149 User-agent: turingos
 150 Disallow: /
 151
 152 User-agent: spanner
 153 Disallow: /
 154
 155 User-agent: InfoNaviRobot
 156 Disallow: /
 157
 158 User-agent: Harvest/1.5
 159 Disallow: /
 160
 161 User-agent: Bullseye/1.0
 162 Disallow: /
 163
 164 User-agent: Mozilla/4.0 (compatible; BullsEye; Windows 95)
 165 Disallow: /
 166
 167 User-agent: Crescent Internet ToolPak HTTP OLE Control v.1.0
 168 Disallow: /
 169
 170 User-agent: CherryPickerSE/1.0
 171 Disallow: /
 172
 173 User-agent: CherryPickerElite/1.0
 174 Disallow: /
 175
 176 User-agent: WebBandit/3.50
 177 Disallow: /
 178
 179 User-agent: NICErsPRO
 180 Disallow: /
 181
 182 User-agent: Microsoft URL Control - 5.01.4511
 183 Disallow: /
 184
 185 User-agent: DittoSpyder
 186 Disallow: /
 187
 188 User-agent: Foobot
 189 Disallow: /
 190
 191 User-agent: WebmasterWorldForumBot
 192 Disallow: /
 193
 194 User-agent: SpankBot
 195 Disallow: /
 196
 197 User-agent: BotALot
 198 Disallow: /
 199
 200 User-agent: lwp-trivial/1.34
 201 Disallow: /
 202
 203 User-agent: lwp-trivial
 204 Disallow: /
 205
 206 User-agent: BunnySlippers
 207 Disallow: /
 208
 209 User-agent: Microsoft URL Control - 6.00.8169
 210 Disallow: /
 211
 212 User-agent: URLy Warning
 213 Disallow: /
 214
 215 User-agent: Wget/1.6
 216 Disallow: /
 217
 218 User-agent: Wget/1.5.3
 219 Disallow: /
 220
 221 User-agent: Wget
 222 Disallow: /
 223
 224 User-agent: LinkWalker
 225 Disallow: /
 226
 227 User-agent: cosmos
 228 Disallow: /
 229
 230 User-agent: moget
 231 Disallow: /
 232
 233 User-agent: hloader
 234 Disallow: /
 235
 236 User-agent: humanlinks
 237 Disallow: /
 238
 239 User-agent: LinkextractorPro
 240 Disallow: /
 241
 242 User-agent: Offline Explorer
 243 Disallow: /
 244
 245 User-agent: Mata Hari
 246 Disallow: /
 247
 248 User-agent: LexiBot
 249 Disallow: /
 250
 251 User-agent: Web Image Collector
 252 Disallow: /
 253
 254 User-agent: The Intraformant
 255 Disallow: /
 256
 257 User-agent: True_Robot/1.0
 258 Disallow: /
 259
 260 User-agent: True_Robot
 261 Disallow: /
 262
 263 User-agent: BlowFish/1.0
 264 Disallow: /
 265
 266 User-agent: JennyBot
 267 Disallow: /
 268
 269 User-agent: MIIxpc/4.2
 270 Disallow: /
 271
 272 User-agent: BuiltBotTough
 273 Disallow: /
 274
 275 User-agent: ProPowerBot/2.14
 276 Disallow: /
 277
 278 User-agent: BackDoorBot/1.0
 279 Disallow: /
 280
 281 User-agent: toCrawl/UrlDispatcher
 282 Disallow: /
 283
 284 User-agent: WebEnhancer
 285 Disallow: /
 286
 287 User-agent: suzuran
 288 Disallow: /
 289
 290 User-agent: VCI WebViewer VCI WebViewer Win32
 291 Disallow: /
 292
 293 User-agent: VCI
 294 Disallow: /
 295
 296 User-agent: Szukacz/1.4
 297 Disallow: /
 298
 299 User-agent: QueryN Metasearch
 300 Disallow: /
 301
 302 User-agent: Openfind data gathere
 303 Disallow: /
 304
 305 User-agent: Openfind
 306 Disallow: /
 307
 308 User-agent: Xenu's Link Sleuth 1.1c
 309 Disallow: /
 310
 311 User-agent: Xenu's
 312 Disallow: /
 313
 314 User-agent: Zeus
 315 Disallow: /
 316
 317 User-agent: RepoMonkey Bait & Tackle/v1.01
 318 Disallow: /
 319
 320 User-agent: RepoMonkey
 321 Disallow: /
 322
 323 User-agent: Microsoft URL Control
 324 Disallow: /
 325
 326 User-agent: Openbot
 327 Disallow: /
 328
 329 User-agent: URL Control
 330 Disallow: /
 331
 332 User-agent: Zeus Link Scout
 333 Disallow: /
 334
 335 User-agent: Zeus 32297 Webster Pro V2.9 Win32
 336 Disallow: /
 337
 338 User-agent: Webster Pro
 339 Disallow: /
 340
 341 User-agent: EroCrawler
 342 Disallow: /
 343
 344 User-agent: LinkScan/8.1a Unix
 345 Disallow: /
 346
 347 User-agent: Keyword Density/0.9
 348 Disallow: /
 349
 350 User-agent: Kenjin Spider
 351 Disallow: /
 352
 353 User-agent: Iron33/1.0.2
 354 Disallow: /
 355
 356 User-agent: Bookmark search tool
 357 Disallow: /
 358
 359 User-agent: GetRight/4.2
 360 Disallow: /
 361
 362 User-agent: FairAd Client
 363 Disallow: /
 364
 365 User-agent: Gaisbot
 366 Disallow: /
 367
 368 User-agent: Aqua_Products
 369 Disallow: /
 370
 371 User-agent: Radiation Retriever 1.1
 372 Disallow: /
 373
 374 User-agent: Flaming AttackBot
 375 Disallow: /
 376
 377 User-agent: Oracle Ultra Search
 378 Disallow: /
 379
 380 User-agent: MSIECrawler
 381 Disallow: /
 382
 383 User-agent: PerMan
 384 Disallow: /
 385
 386 User-agent: searchpreview
 387 Disallow: /
 388
 389 # This is for my webpages
 390 User-agent: *
 391 Disallow: /guestbook/
 392 Disallow: /blacklist.txt
 393 Disallow: /whitelist.txt
 394
 395 User-agent: Googlebot
 396 Disallow: /guestbook/
 397 Disallow: /blacklist.txt
 398 Disallow: /whitelist.txt