Recentemente a Beatriz Milz trouxe para o Slack da Curso-R uma dúvida intrigante:
[…] Quando ordeno com arrange uma coluna, tem um valor que começa com A que aparece no final da lista!
O exemplo dela envolvia ordenar uma coluna de textos de uma tabela. A ordenação
funcionava normalmente com sort(), mas não com arrange(). Veja a
demonstração a seguir:
# Tabela exemplo
df <- tibble::tibble(bebida = c(
"Cerveja",
"Cachaça",
"Água",
"Vinho",
"Gim"
))
# Tudo certo por aqui
sort(df$bebida)
#> [1] "Água" "Cachaça" "Cerveja" "Gim" "Vinho"
# Água fica por último!
dplyr::arrange(df, bebida)
#> # A tibble: 5 × 1
#> bebida
#> <chr>
#> 1 Cachaça
#> 2 Cerveja
#> 3 Gim
#> 4 Vinho
#> 5 ÁguaO nosso principal suspeito era o mesmo de qualquer problema com strings: encoding ou, em bom português, codificação. Contudo, desta vez ele não é o culpado; os caracteres do texto estão sendo interpretados e exibidos corretamente na saída de ambos os comandos, indicando que a causa da ordenação incorreta era outra.
Em busca de uma resposta, resolvi ler a documentação da função arrange(). Para
a minha surpresa, descobri que ela tem um argumento .locale cujo valor por
padrão é “o locale "C"”… Mas, o que isso significa? Normalmente vemos
problemas de locale quando lidamos com
tempo, porque essa é a opção que determina o formato de exibição das datas
(DD/MM/AAAA no Brasil, MM/DD/AAAA nos EUA, etc.). Será que ela poderia ter
alguma coisa a ver com a ordenação de textos?
Seguindo as pistas na documentação da arrange(), eventualmente cheguei na
função stringi::stri_opts_collator(), que ajusta as opções do ICU Collator.
E foi aí que tudo fez sentido.
Collation
Collation é um termo em inglês que descreve a compilação e ordenação de qualquer tipo de informação. A (surpreendente!) realidade é que cada país e idioma tem regras diferentes de ordenação alfabética, então é necessário escolher qual método de collation o R vai usar através do locale.
Para ilustrar a função do locale, imagine um problema mais simples: queremos que o R leia adequadamente uma data em alemão. Obviamente, ele não vai conseguir:
lubridate::dmy("6. März 2023")
#> Warning: All formats failed to parse. No formats found.
#> [1] NAPara corrigir isso, precisamos especificar o argumento locale, indicando para
o R que o conteúdo está escrito em alemão ("de_DE" para alemão da Alemanha):
lubridate::dmy("6. März 2023", locale = "de_DE")
#> [1] "2023-03-06"O chocante é que o mesmo vale para a ordem alfabética. Nós geralmente não percebemos que tem algo errado com o locale da collation porque as regras de ordenação são muito parecidas em todos os países, mas existem diferenças sutis que causam problemas como o da Bea.
O programa que está tomando essas decisões de locale por trás dos panos se chama
ICU; esta biblioteca do C é a base do
stringi, o motor por trás do stringr e da arrange(). Como você pode imaginar,
o locale padrão da ICU é o da linguagem C de programação, que coloca letras
acentuadas no fim do alfabeto.
Sendo assim, podemos resolver a questão do arrange() especificando o nosso
locale ("pt_BR" para português do Brasil):
dplyr::arrange(df, bebida, .locale = "pt_BR")
#> # A tibble: 5 × 1
#> bebida
#> <chr>
#> 1 Água
#> 2 Cachaça
#> 3 Cerveja
#> 4 Gim
#> 5 VinhoÉ muito interessante ler a documentação do ICU sobre collation, pois ela deixa muito claro que é absolutamente impossível criar um locale que atenda às necessidades de todos os países:
- Em lituano, o “y” fica entre o “i” e o “k”.
- No espanhol tradicional, “ch” é tratado como uma única letra entre o “c” e o “d”.
- Em dinamarquês, “Å” é considerada uma letra separada que fica depois do “Z”.
- Na Suécia, “v” e “w” são consideradas variações de uma mesma letra.
- Em dicionários alemães, “öf” vem antes de “of”, mas em listas telefônicas a ordem preferida é a contrária.
O bom é que isso também esclarece o porquê da sort() funcionar, mas a
arrange() não. Enquanto a segunda usa o locale "C" por padrão, a primeira
usa o locale americano ("en_US" para inglês dos EUA)! Apesar de o locale
americano nos causar problemas com datas, ele é muito parecido com o brasileiro
na ordem alfabética e essencialmente ignora os acentos durante a collation.
Resumo
A função arrange() pode causar problemas na hora de ordenar textos em
português. Isso ocorre porque o locale de collation padrão coloca todas as
letras acentuadas no final do alfabeto, algo muito pouco usual no nosso idioma.
A solução é especificar o argumento .locale = "pt_BR" para que ela use o
locale apropriado ao nosso alfabeto.
