Tokenisierung

[Bomberus]

• Quellen, Forschungsgruppe Snowballstemmer
• NER Implementierung (Stanford Server Socket)
• Chunking

[retkowski]

http://www.nltk.org/howto/stem.html
https://stackoverflow.com/questions/10554052/what-are-the-major-differences-and-benefits-of-porter-and-lancaster-stemming-alg

Wir sollten Porter, Porter2/EnglishStemmer (Snowball Stemmer) und Lancaster erwähnen/vergleichen
Snowball ist eigentlich kein eigener Stemmer, nur eine Sprache fürs Stemming.

Hier noch das offizielle Porter-Paper, vielleicht lassen sich auch noch andere finden:
http://www.cs.odu.edu/~jbollen/IR04/readings/readings5.pdf