7

当我在 Windows 下用非本地字符解析 R 代码时，这些字符似乎变成了它们的 Unicode 表示，例如

Encoding('ğ')
# [1] "UTF-8"
parse(text="'ğ'")
# expression('<U+011F>')
parse(text="'ğ'", encoding='UTF-8')
# expression('<U+011F>')
deparse(parse(text="'ğ'")[1])
# [1] "expression(\"<U+011F>\")"
eval(parse(text="'ğ'"))
# [1] "<U+011F>"

由于我的语言环境是简体中文，我可以用中文字符解析代码而不会出现这样的问题，例如

parse(text="'你好'")
# expression('你好')

我的问题是，我怎样才能保留像这个例子中的字母这样的字符ğ？或者至少在表达之后如何“重建”原始字符deparse()？

我的会话信息：

> sessionInfo()
R version 2.15.2 (2012-10-26)
Platform: i386-w64-mingw32/i386 (32-bit)

locale:
[1] LC_COLLATE=Chinese (Simplified)_People's Republic of China.936 
[2] LC_CTYPE=Chinese (Simplified)_People's Republic of China.936   
[3] LC_MONETARY=Chinese (Simplified)_People's Republic of China.936
[4] LC_NUMERIC=C                                                   
[5] LC_TIME=Chinese (Simplified)_People's Republic of China.936    

attached base packages:
[1] stats     graphics  grDevices utils     datasets  methods   base
4

2 回答 2

4

我很高兴看到更简单的表面，但这是一个开始。

eval.utags <- function(x) {
    op <- options("useFancyQuotes")
    on.exit(options(useFancyQuotes=op))
    options(useFancyQuotes=FALSE) # so dQuote/sQuote use ascii quotes

    # replace u-tag with u-escape, e.g., <U+12FF> --> \\u12FF
    with.uescapes <- gsub('<U\\+([[:xdigit:]]+)>', '\\\\u\\1', x)

    # find first quote char ('"' or "'"), if any
    # pick appropriate quote fun, dQuote or sQuote
    first.quote <- regmatches(with.uescapes, regexpr("\'|\"", with.uescapes))
    quote.fun <- if (identical(first.quote, "'")) dQuote else sQuote

    # parse/eval quoted characters 
    eval(parse(text=quote.fun(with.uescapes))) 
}
x <- '<U+011f><U+4f60><U+597d>abc'
y <- eval.utags(x)
y
# [1] "ğ你好abc"
Encoding(y)
# "UTF-8"

编辑：

如果您的原始字符串可能具有要按原样保留的文字 unicode 标记子字符串，则在将其传递给 之前parse，具有等效 unicode 标记的gsub所有实例， ."<U+""<U+003c><U+0055><U+002b>"

x <- "'Щ<U+1234>'"
y <- eval(parse(text=gsub('<U\\+', '<U+003c><U+0055><U+002b>', x)))
# [1] "<U+0429><U+003c><U+0055><U+002b>1234>"
z <- eval.utags(y)
# [1] "Щ<U+1234>"

当然，这并不是完全的证据。

这真是太可惜了，这必须如此骇人听闻。

于 2013-01-17T04:13:14.073 回答
2

问题的根源在于（引用R 安装和管理手册）：“R 支持底层操作系统可以处理的所有字符集。这些是根据当前语言环境解释的”。不幸的是，Windows没有支持 UTF-8 的语言环境。

现在，好消息是 Rgui显然支持 UTF-8（向下滚动到 2.7.0 > 国际化）。但是，R 解析器仅适用于语言环境支持的字符。因此，一个对我有用的解决方案是暂时更改 R 语言环境，Sys.setlocale()只进行解析，然后在解析时使用iconv()转换为 UTF-8：

> Sys.getlocale()
[1] "LC_COLLATE=Greek_Greece.1253;LC_CTYPE=Greek_Greece.1253;LC_MONETARY=Greek_Greece.1253;LC_NUMERIC=C;LC_TIME=Greek_Greece.1253"
> orig.locale <- Sys.getlocale("LC_CTYPE")
> parse(text="'你好'")
expression('<U+4F60><U+597D>')
> Sys.setlocale(locale="Chinese")
[1] "LC_COLLATE=Chinese (Simplified)_People's Republic of China.936;LC_CTYPE=Chinese (Simplified)_People's Republic of China.936;LC_MONETARY=Chinese (Simplified)_People's Republic of China.936;LC_NUMERIC=C;LC_TIME=Chinese (Simplified)_People's Republic of China.936"
> a <- parse(text="'你好'")
> a
expression('你好')
> Sys.setlocale(locale="Turkish")
[1] "LC_COLLATE=Turkish_Turkey.1254;LC_CTYPE=Turkish_Turkey.1254;LC_MONETARY=Turkish_Turkey.1254;LC_NUMERIC=C;LC_TIME=Turkish_Turkey.1254"
> b <- parse(text="'ğ'")
> b
expression('ğ')
> Sys.setlocale(locale=orig.locale)
[1] "LC_COLLATE=Greek_Greece.1253;LC_CTYPE=Greek_Greece.1253;LC_MONETARY=Greek_Greece.1253;LC_NUMERIC=C;LC_TIME=Greek_Greece.1253"
> a
[1] expression('ΔγΊΓ')
> b
[1] expression('π')
> ai <- iconv(a, from="CP936", to="UTF-8")
> ai
[1] "你好"
> bi <- iconv(b, from="CP1254", to="UTF-8")
> bi
[1] "ğ"

希望这可以帮助！

于 2013-01-19T22:55:49.020 回答