Hi there, I have a regexp for such trigger terms, I used those to filter "very" clean queries.
Those terms below are in English, Dutch, German, Italian, French and Spanish, this list is
NOT complete. It is good to extend this list by names of popular actors etc.
If you translate some of them, you will get even more terms.
Or crawl this: http://www.sex-lexis.com/ and extract the categories.
Cheers, Nadine.
#elsif($_=~m/(www.|http:|°|sex|å|™|ˆ|…|›|samen|piesel|piss|feuchte|xxx|‹|¸|¬|®|¶|·|erotic|samenstau|xxx|<|>|porn|erotik|penis|pussy|hentai|pimelchen|site:|¿½|½|\+|swingerclub|cock|fuck|fkk|Coño|inurl:|nude|sexo|anal|mamada|maduras|polla|neuken|slet|hure|pijpen|beffen|bums|kontje|fotz|uschi|titte|rocco
siffredi|clara morgan|bite|erection|erektion|adult|cock|heisse|milf|sesso|pompini|scopare|cazzo|figa|Adult|Babes|Erotik|Geile|Liveshows|Teens|adult|aktbild|aktbilder|aktfoto|aktfotografie|aktmodell|aktphotos|amateur|amateuramateur|amateurbilder|amateure|amateurvideos|babes|bang|behaarte|blonde|bordelle|cams|defloration|ebony|ejakulation|erotikforum|erotikgeschichten|erotikshop|erotische|feucht|feuchte|fkk|frau|frauen|frauenakt|free|gedehnt|gefesselt|geil|geil.|geiler|gepiercte|girl|girls|hairy|hausfrau|hostessen|hängebrüste|höschen|intim|latex|lesbe|lesben|lesbian|livecamchat|lolita|luder|lustschmerz|manga|mature|mollige|nackig|nackige|nacktbild|nacktfotos|naked|nasse|oma|omas|pantyhose|parkplatz|partnertausch|penetration|pervers|pornodarsteller|pornodarstellerin|pralle|privatfotos|prostituierte|pärchenclub|rasieren|rasiert|reife|sadomaso|samenerguss|saugen|schlucken|schwangere|schwul|seitensprung|seitensprünge|selbstbefriedigung|spannen|spritzen|steifen|straßenstrich|strip|stripshow|striptease|striptese|strumpfhosen|swingen|swingerclub|teen|teenies|teens|toy|toys|transen|transexuell|transsexuelle|transvestiten|vagina|vibratoren|windeln|xxl|Anal|Analsex|Blasen|Blowjob|Blowjobs|Bukkake|Bumsen|Cum|Cumshot|Cumshots|Erotiksuchmaschine|Facials|Fick|Ficken|Hentai|Livesex|Muschis|Oralsex|Porno|Pornofilme|Pornos|SEX|Schwanz|Schwänze|Sex|Sexcam|Sexchat|Sexfilme|Sexportal|Sexsuche|Sexsuchmaschine|Sperma|Spermaspiele|Titten|XXX|abgespritzt|abspritzen|adultvideos|aersche|amateureamateur|amateurefkk|amateureprivat|amateurevoyeur|amateurewww|amateurpornos|amateurprivate|amateurreal|amateursvoyeur|anal|analdehnung|analsex|analsexbilder|analverkehr|arsch|arschbilder|arschfick|arschficken|arschficker|arschfotzen|arschlecken|arschloch|ass|autobahnsex|bdsm|bisex|blasen|blowjob|bondage|boobs|bordell|brüste|bummsen|bumsen|bumsenficken|busen|busenbilder|busenfick|callgirls|camsex|cock|cocks|cum|cumshot|dearschfick|dildo|dildos|dildospiele|dreilochstute|eroticfotos|erotik|erotikbilder|erotikcam|erotikchat|erotikclips|erotikdownloads|erotikfilme|erotikfotos|erotikgalerie|erotikgalerien|erotikgallerien|erotikkontakt|erotikkontakte|erotikseite|erotikseiten|erotiktreffen|erotikvideo|erotikvideos|faustfick|faustficken|fetisch|fetischbilder|fetish|fick|fickarsch|fickbilder|fickbilderwww|ficken|fickende|fickenfrauen|fickengeile|fickengratis|fickenparkplatz|fickensex|fickenversaute|fickenvotzen|fickenwww|fickfick|fickfilme|fickfotos|fickporno|ficksau|fickt|fickte|fickvideo|fickwer|fiken|fingern|fisting|fkkbilder|flirtchat|fotosex|fotze|fotzen|fotzenbilder|fotzenschleim|fozen|freeporno|freesex|fuck|fucking|fussfetisch|gangbang|gangbangs|gay|gefickt|geficktgefesselt|geile|gesichtsbesamung|girlnude|girlsnaked|girlwebcam|granny|gratisporno|gratissex|gratissexbilder|gratissexfilm|gruppensex|gynosex|hardcore|hardcorefilme|hardcoreporno|hardcorepornobilder|hardcoresex|hartporno|hausfrauensex|hentai|hobbyhure|hobbyhuren|hobbynutten|huren|hängetitten|interracial|kitzler|klitoris|lecken|lesbenfotos|lesbenporno|lesbensex|lesbensexbilder|livecam|livesex|livesexcams|lolitas|masturbation|megabusen|moepse|moese|moesen|muschi|muschicam|muschie|muschis|mädchengeile|mädchenmollige|mädchenrohrstock|möpse|möse|mösen|mösenbilder|mösensaft|nackt|nacktbilder|nackte|nacktfoto|natursekt|naturtitten|negerfotzen|nude|nutte|nutten|nymphomanin|omasex|onanieren|oralsex|oralsexbilder|oralverkehr|parkplatzerotik|parkplatzsex|parkplatztreff|parkplatztreffs|penis|pimel|pimmel|pimpern|piss|pisse|pissen|pissende|poppen|porn|porno|pornobilder|pornofilm|pornofilme|pornofotos|pornogalerien|pornografie|pornographische|pornogratis|pornomovies|pornophotos|pornopics|pornos|pornosammlung|pornoseiten|pornostar|pornovideos|privatcam|privathausfrauen|privatpaare|privatporno|privatsex|privatwebcam|pussi|pussies|pussy|rammeln|riesenbusen|riesenpenis|riesenschwanz|rosette|rudelbumsen|schamlippen|scheide|schlampen|schwaenze|schwanz|schwanzgeil|schwanzlutschen|schwanzlutscher|schweinereien|schwänze|sex|sexamateur|sexamateure|sexbilder|sexblider|sexcam|sexcams|sexchat|sexchats|sexfilm|sexfilme|sexfoto|sexfotos|sexgalerien|sexgallerie|sexgame|sexgirl|sexhompages|sexkontakt|sexkontakte|sexmagazine|sexmovies|sexpage|sexparkplätze|sexphotos|sexpics|sexpictures|sexseite|sexseiten|sexspiele|sexstellungen|sexsuchmaschine|sexszenen|sextoys|sextreff|sextreffs|sexvideo|sexvideos|sexvidios|sexy|sexygirls|shemale|softporno|spanner|spannerbilder|sperm|sperma|spermaschlucken|storyfick|strassenstrich|stripteas|swinger|teenboy|teenporno|teensex|teensexbilder|telefonsex|tit|titen|tits|titte|titten|tittenfick|titts|twinks|versaute|voegeln|votze|votzen|voyeur|voyeuramateur|voyeurbilder|voyeure|wichsbilder|wichsen|wichste|wichsvorlagen|wixen|xxx|zeichentrickporno|Anal|Asiatiques|Baise|Blondes|Cul|Gratuit|Grosse|NUE|PORNO|Partouze|Photos|Pornographie|SEXE|Seins|Sex|Sexe|VIDEO|VIDÉOS|Vidéos|XXX|adult|adulte|adultere|adultes|africaine|africaines|amateur|amateurs|amatrice|amatrices|anal|anale|animal|animee|anus|arabe|asia|asian|asiatique|ass|avale|avaleuse|baise|baisees|baisent|baiser|baises|bdsm|beur|beure|beurette|bisex|bite|bites|bizarre|black|blackette|blacks|blond|blondasse|blonde|blondes|blondinette|blowjob|bondage|boob|bourgeoise|boy|boys|branle|branlette|brune|brunes|brunette|bukkake|busty|chaleur|charme|chate|chates|chattes|chaudasse|chaude|chaudes|chiennasses|chienne|clito|clitoris|cochon|cochonne|cochonnes|cock|cocks|cocu|coquette|coquin|coquine|coquines|coquins|couille|couple|couples|cuir|cul|culbuter|culotte|culottes|culs|cum|cunnilingus|defonce|depucelage|dick|dilatation|dildo|défoncer|ebony|ejaculation|enceinte|enceintes|encule|enculee|enculer|epilation|erection|erotic|erotique|erotisme|escorte|exhib|exhibe|exhiber|exhibition|exhibitionniste|extreme|facial|fantasme|fat|fellation|fellations|femme|femmes|fesse|fessee|fesses|fetichisme|fetish|fetishiste|fille|filles|fist|fisting|foutre|friends|fuck|fucked|fucking|garce|gay|gays|girl|girls|gode|godemichet|gosse|gouine|gouinne|grandir|granny|gratis|gros|grosse|grosses|hairy|hard|hardcore|hardeuses|hentai|hetero|homo|homosexuel|hot|humide|jouir|kamasutra|latex|latinas|lesbian|lesbians|lesbienne|lesbiennes|levrette|licking|lingerie|lolita|lèchent|male|maso|massage|masturbation|masturbe|mature|metisse|mouille|mure|naked|naughty|nibard|nibards|nichon|nichons|noire|nude|nue|nues|nurse|nylon|nympho|nymphomane|orgasm|orgasme|orgie|orgy|partition|partouse|partouze|party|penetration|penis|pipe|pipi|pisse|pisseuse|playboy|poil|poilu|poilue|poilues|poitrine|porn|porno|pornographie|pornographique|pornos|preteen|pucelle|pussy|putain|pute|putes|queue|rasée|rousse|sado|salope|salopes|saloppes|scato|secretaire|sein|seins|sex|sexe|sexy|shemale|slut|sm|sodomie|sodomisee|sodomiser|soubrette|soumission|sperm|sperme|string|striptease|succeuse|suce|suceuse|suceuses|suck|teen|teens|tit|tits|trans|transexuel|travestie|triolisme|trou|uro|vagin|vaginale|video|videos|vidéo|vidéos|vieille|vieilles|vierge|voyeur|voyeurisme|vulve|vulves|woman|women|x|xxx|young|z|érotique)/i){
}
-----Ursprüngliche Nachricht-----
Von: Andrzej Bialecki [mailto:ab@getopt.org]
Gesendet: Dienstag, 21. Oktober 2008 00:29
An: nutch-user@lucene.apache.org
Betreff: Re: Extensive web crawl
Webmaster wrote:
> Hi Otis,
>
> So far so good..
[...]
Thank you for sharing this information with us! This sounds exciting.
> When this next round of fetching is done I'm going to inject 10m valid urls
> from my fresh fetch lists and crawl to a depth of 10 to see what happens.
> My guess is it will return about 200m urls, this should be an adequate
> stress test of my sad cluster of outdated machines :)
>
> I am however still looking into filtering the results for adult content
> before I move it off the hadoop cluster and put it on the distributed search
> nodes local file systems.
In my experience a simple word-list based classifier works well enough,
or a rule-based classifier similar in concept to SpamAssassin. This
tends to mark 80+ % of adult pages. You may want to keep them in CrawlDb
to prevent their re-discovery, just mark them with something that
prevents indexing and/or generating.
Also, often a good strategy to collect higher-quality pages first is to
concentrate only on plain-looking URLs, i.e. without too many strange
characters, or all-numerical subdirectories, or too many non-letter
characters.
--
Best regards,
Andrzej Bialecki <><
___. ___ ___ ___ _ _ __________________________________
[__ || __|__/|__||\/| Information Retrieval, Semantic Web
___|||__|| \| || | Embedded Unix, System Integration
http://www.sigram.com Contact: info at sigram dot com
|