Text encoding unknown or inconsistent

[kbenoit]

Example 1:

> txt <- unrtf("http://kenbenoit.net/files/Hungarian.rtf")
trying URL 'http://kenbenoit.net/files/Hungarian.rtf'
Content type 'application/rtf' length 1003 bytes
==================================================
downloaded 1003 bytes

> cat(iconv(txt, from = "ISO-8859-2", "UTF-8"))
###  Translation from RTF performed by UnRTF, version 0.21.9 
### font table contains 0 fonts total
### invalid font number 0

-----------------
Nem tudjuk, mikor kezddhetnek meg Nagy-Britanniával a kilépési tárgyalások, csak azt, mikor kell befejezdniük - közölte Donald Tusk, az Európai Tanács elnöke. Jean-Claude Juncker, az Európai Bizottság elnöke bízik abban, hogy a brit parlamenti választások eredménye nem lesz hatással a Brexitrl szóló tárgyalásokra, így azok minél hamarabb megkezddnek Nagy-Britannia az Európai Unió között. A német külügyminiszter szerint a brit választás eredménye a Brexit elutasítását tükrözi. 

The first line should be:

Nem tudjuk, mikor kezdődhetnek 

(the long "ő" is obliterated in the conversion)

[kbenoit]

Example 2:

For this text:

This file contains emoji

👍 (thumbs up)

😀 (smile)

I get:

> cat(unrtf("http://kenbenoit.net/files/emoji.rtf"))
trying URL 'http://kenbenoit.net/files/emoji.rtf'
Content type 'application/rtf' length 518 bytes
==================================================
downloaded 518 bytes

###  Translation from RTF performed by UnRTF, version 0.21.9 
### font table contains 0 fonts total
### invalid font number 0

-----------------
This file contains emoji

### invalid font number 1
### invalid font number 0
 (thumbs up)

### invalid font number 1
### invalid font number 0
 (smile)

[kbenoit]

The latest push didn't fix it ... I cannot get this to work in bash unrtf either. Although the man page refers to using iconv for encoding handling, it doesn't seem to provide options for this. HTML conversion works but that's because the extended chars are escaped rather than encoded.

[jeroen]

Google reveals that many people have the same problem withunrtf not properly recoding. Their webpage also states:

Recent development has concentrated on conversion to HTML, as it can in turn be converted to other formats. Support for features when converting to other file formats using unrtf varies.

I suppose this is one of the reasons they recommend html. Looks like other wrappers also take the approach of going via html to extract text.

[kbenoit]

I'm coming to the same conclusion. this almost works - it preserves the Hungarian-only accents but mangles other parts of the text.

> library(unrtf)
> txt <- unrtf("http://kenbenoit.net/files/Hungarian.rtf", "html")
trying URL 'http://kenbenoit.net/files/Hungarian.rtf'
Content type 'application/rtf' length 1003 bytes
==================================================
downloaded 1003 bytes

> library(readtext)
> readtext:::get_html(txt)
                                                                                                                                                                                                                                                                                                                                                                                                                                                                                    text
1 Nem tudjuk, mikor kezdő meg Nagy-Britanniával a kilépési tárgyalások, csak azt, mikor kell befejezőük - közölte Donald Tusk, az Európai Tanács elnöke. Jean-Claude Juncker, az Európai Bizottság elnöke bízik abban, hogy a brit parlamenti választások eredménye nem lesz hatással a Brexitrő szóló tárgyalásokra, így azok minél hamarabb megkezdő Nagy-Britannia az Európai Unió között. A német külügyminiszter szerint a brit választás eredménye a Brexit elutasítását tükrözi. 

Remember, should be:

Nem tudjuk, mikor kezdődhetnek meg Nagy-Britanniával a kilépési tárgyalások, csak azt, mikor kell befejeződniük - közölte Donald Tusk, az Európai Tanács elnöke. Jean-Claude Juncker, az Európai Bizottság elnöke bízik abban, hogy a brit parlamenti választások eredménye nem lesz hatással a Brexitről szóló tárgyalásokra, így azok minél hamarabb megkezdődnek Nagy-Britannia az Európai Unió között. A német külügyminiszter szerint a brit választás eredménye a Brexit elutasítását tükrözi.