O valor D para palavras que ocorrem na maioria dos documentos é próximo de 100, e para palavras que ocorrem com frequência em apenas um pequeno número de documentos, é próximo de 0. A lista de frequência do dicionário de Lenngren é classificada até pelo valor do produto deste coeficiente pela frequência média da palavra. Devido ao fato de o status teórico deste trabalho não ser claro, não consideramos apropriado classificar nosso dicionário por ele. No entanto, a sua indicação para cada palavra permite avaliar a sua especificidade para áreas temáticas individuais. Por exemplo, as palavras assustador, específico e bruto têm aproximadamente a mesma frequência (21 ocorrências por milhão de palavras), mas específico tem um coeficiente D de 66, bruto tem 18 e assustador tem 78, o que significa que a última palavra significativo para maisáreas temáticas e (ceteris paribus) tem uma grande chance de um lugar em um dicionário não especializado.

3. Estrutura do dicionário

O conceito do dicionário envolve a publicação de uma versão "papel" com uma versão eletrônica que o acompanha, que representa o dicionário de frequências em um volume mais completo. A parte de vocabulário contém as seguintes seções:

I. Vocabulário geral

● lista alfabética de lemas

● lista de frequência de lemas

● distribuição de lemas por estilos funcionais:

Ø dicionário de frequência de ficção,

vocabulário de ficção significativa vocabulário

Ø dicionário de frequência do jornalismo,

dicionário de vocabulário significativo de jornais e notícias

Ø dicionário de frequência de outros não-ficção,

vocabulário significativo

Ø dicionário de frequência de fala ao vivo,

dicionário de vocabulário significativo da língua falada viva

● lista alfabética de formas de palavras

II. Partes do discurso

● lista de frequência de substantivos

● lista de frequência de verbos

● lista de frequência de adjetivos

● lista de frequência de advérbios e predicados

● lista de frequência de pronomes (pronomes-substantivos, adjetivos, advérbios, predicativos)

● lista de frequência de lemas de partes do discurso de serviço

III. Tabelas auxiliares

● dados sobre a frequência de aulas parciais e outras informações estatísticas

4 . Nomes próprios e abreviaturas

● lista alfabética de lemas

A lista alfabética de lemas contém o nome do lema, a parte do discurso, a frequência geral do lema, o número de documentos em que ocorre e o coeficiente de variação D. A frequência total caracteriza o número de ocorrências por milhão palavras do corpus, ou ipm (instâncias por milhão de palavras). Isso é feito para facilitar a comparação da frequência de uma palavra em diferentes corpora, que podem variar bastante em tamanho. Por exemplo, se a palavra power ocorre 55 vezes em um corpus de 400.000 palavras, 364 vezes em um corpus de um milhão de palavras e 40.598 vezes em um corpus de 100.000.000 palavras em russo moderno e 55.673 vezes em um corpus grande de 135.000.000 n de NCRL, então sua frequência em ipm será 137,5, 364,0, 372,06 e 412,39, respectivamente. A lista alfabética da edição eletrônica inclui 60.000 dos lemas mais frequentes.

A lista de lemas, ordenada por frequência, inclui o nome do lema, parte do discurso, frequência geral do lema, número de documentos, fator D e distribuição de frequência por década. A lista de frequência inclui 20.000 dos lemas mais frequentes.

Dicionários de frequência de estilos funcionais são compilados com base em subcorpus de ficção, jornalismo, outros não-ficção e discurso oral. A lista inclui os 5.000 lemas mais frequentes desses subcorpus. A lista dos lemas mais típicos para cada tipo de texto foi selecionada com base na comparação da frequência de lemas nesses textos e no restante do corpus. Como métrica de comparação, foi utilizado o critério de log-verossimilhança, calculado com base na seguinte matriz:

Dicionários de vocabulário significativo para diferentes estilos funcionais incluem 500 lemas cada.

A lista alfabética de formas de palavras inclui todas as formas de palavras do corpus com frequência superior a 0,1 ipm (cerca de 15 mil no total); a frequência geral da forma da palavra é dada. As formas de palavras homônimas são marcadas com *.

Na seção "Partes da Fala", a lista de frequência dos lemas é dividida em seis sublistas: substantivos, verbos, adjetivos, advérbios e predicados, pronomes e partes auxiliares da fala. Para cada lema, sua frequência geral e classificação (número de série) são indicadas em lista geral. Cada lista contém 1 mil dos lemas mais frequentes.

Tabelas auxiliares incluem dados sobre a frequência das aulas de parte do discurso, outras categorias gramaticais, bem como informações sobre a cobertura do texto com lexemas, o comprimento médio de uma palavra, formas de palavras e frases.

O dicionário termina com uma lista alfabética de nomes próprios e abreviaturas. Os nomes próprios são separados da parte principal do vocabulário, pois formam um grupo muito menos estável estatisticamente, e sua frequência depende muito da escolha dos textos do corpus e de seu cronotopo. Em Lengren 1993, expressa-se a opinião de que a inclusão de nomes próprios em um dicionário de frequência em uma base geral inevitavelmente leva à sua obsolescência prematura.

Para obter uma lista de nomes próprios e abreviaturas a partir da concordância do corpus, foram selecionados substantivos e abreviaturas, cuja grafia em textos com letra maiúscula ultrapassou o limite de 95%, cf. Rússia, Smirnov, Usina Elétrica do Distrito Estadual, Ministério das Relações Exteriores, Código do Trabalho. O dicionário inclui a parte nuclear desta lista, numerando 3.000 das unidades mais frequentes.

De acordo com a tradição que se desenvolveu para publicações desse tipo, as páginas do dicionário contêm o título “ Fatos interessantes»: listas das palavras mais populares de vários grupos lexicais (dias da semana, condições do tempo, cores, verbos de movimento, etc.), bem como as formas de palavras mais longas e a lista de frequência de sinais de pontuação.

Aba. 3: Lista de frequência das designações de vestuário e calçado.

Como exemplo, na Tabela 3 damos as frequências dos substantivos que denotam roupas e sapatos. Como seria de esperar, a lista reflete, por um lado, a “tipicidade” dos itens de guarda-roupa ( botas de feltro ocupam apenas o 26º lugar na lista) e, por outro lado, sua “significação” ao descrever a aparência de uma pessoa em textos ( traje- uma coisa mais perceptivelmente distinta do que chuteiras).

4. Preparação de material de vocabulário

As listas básicas do dicionário de frequência foram obtidas automaticamente, utilizando-se a marcação metatextual e léxico-gramatical do corpus. Com base em informações metatextuais, listas de frequência foram construídas e comparadas entre si em amostras separadas do corpus (por estilos funcionais, no momento da criação do texto). Outro tipo de marcação, léxico-gramatical, permite estabelecer a forma original da palavra (lema), sua classe gramatical e características gramaticais como caso, número, hora, etc. não apenas formas de palavras individuais, mas também lexemas, bem como o uso de certas categorias gramaticais. Na criação deste dicionário foi utilizada uma variante da anotação léxico-gramatical do corpus com resolução automática de homonímia morfológica.

A língua russa, como língua de rica inflexão, cria dificuldades adicionais para os compiladores de um dicionário de frequências, uma vez que muitas formas de palavras em textos são homônimas (cf. forma de palavras vir a ser como forma verbal vir a ser e substantivo aço, forma de palavra jarra representando os lemas banco e jarra, Palavras como Vera e Fé). No entanto, em um dicionário de frequência, a forma de palavra original, ou lema, deve ser atribuída de forma inequívoca a qualquer forma de palavra.

Nos dicionários da geração anterior (Zasorina 1977, Lenngren 1993), a homonímia era resolvida manualmente, pois o volume do corpus processado era insignificante. É óbvio que tal solução não é adequada para um corpus 100 milhões. Ao compilar este dicionário, foi tida em conta a experiência dos colegas checos, que tiveram de refinar o analisador morfológico, reabastecer o dicionário e proceder à edição manual. Inicialmente, o corpus do NCRS foi marcado pelo analisador morfológico Mystem (Segalovich, Maslov 1998). A ambiguidade na marcação léxico-gramatical foi resolvida usando o programa de A.V. Sokirko, que usa o modelo trigrama e um subcorpus de treinamento com homonímia removida manualmente (Sokirko, Toldova 2005).

Palavras não-dicionários também apresentam um problema significativo para a lematização (Lyashevskaya et al. 2007). Se a palavra não estiver no dicionário gramatical do analisador morfológico, uma ou mais hipóteses sobre a forma original da palavra e suas características gramaticais são atribuídas a ela. Como resultado, tais “lemas” como gratidão(cf. forma da palavra gratidão), Jansny(cf. Jansen), Barclay(cf. Barclay). Enquanto isso, a parcela de formas de palavras não-dicionários no NCSL é de 3% de todos os usos de palavras e 45% da lista de formas de palavras do corpus. Para formas frequentes de palavras não-dicionários, usamos programas de pós-processamento para a marcação morfológica de NKRY, compilados por B.P. Kobritsov e G. K. Bronnikov, bem como os resultados da validação do trabalho desses programas obtidos por O.N. Lyashevskaya e D.K. Bronnikova (Lyashevskaya 2007, Bronnikova 2007). Duas abordagens para a lematização de palavras não-dicionários se mostraram as mais eficazes: agrupar hipóteses sobre o lema e o tipo de paradigma (o mais provável para uma forma de palavra é a análise que ocorre em outras formas de palavras não-dicionário, portanto , as formas de palavras “procuram” seus vizinhos no paradigma flexional) e a seleção dos gadgets mais produtivos.

Uma vez que a resolução automática de homonímia e a interpretação de formas não-dicionárias permitem um certo erro, ainda que insignificante, os homônimos incluídos nas primeiras 20 mil palavras de frequência foram submetidos a verificação manual adicional.

***

Os autores agradecem a V. A. Plungyan, A.Ya. Shaikevich, assim como E.A. Grishina, B. P. Kobritsov, E. V. Rakhilina, D. V. Sichinava e outros participantes do seminário do NCRL, que participaram da discussão dos princípios da criação de um dicionário. Agradecemos a O. Uryupina, D. e G. Bronnikovs, B. Kobritsov, funcionários da Yandex LLC A. Abroskin, N. Grigoriev, A. Sokirko por sua ajuda na coleta e processamento do material.

O.G. (comp.). Dicionário linguagem poética Marina Tsvetaeva. Em 4 volumes. M: Casa Museu de Marina Tsvetaeva, 1996.

Vinogradov V.V. (responsável ed.). Dicionário da língua de Pushkin. T. I-IV. M., 1956-1961.

Zaliznyak A.A. Dicionário de gramática da língua russa: flexão. M., 197 7 ; 4ª ed.: M.: dicionários russos, 2003.

bloqueio L.N. (ed.). Dicionário de frequência da língua russa. Moscou: língua russa, 1977 .

Lönngren Conduziu.). Dicionário de Frequências da Língua Russa Moderna [ Lönngren, Lennart. O Dicionário de Frequências do Russo Moderno. Acta Univ. Ups., Studia Slavica Upsaliensia Uppsala 32]. uppsala, 1993.

Lyashevskaya O.N. Sobre o problema da lematização de palavras não-dicionários // Linguística computacional e tecnologias inteligentes: Anais da conferência internacional "Diálogo 2007". M, 2007.

Lyashevskaya O.N., Kobritsov B.P., Sichinava D.V. Automatizando a construção de um dicionário no material de uma matriz de formas de palavras não-dicionário // Internet Mathematics 2007. Ekaterinburg, 2007.

NCRL: Corpus Nacional da Língua Russa 2003-2005: Resultados e Perspectivas. M.: Indrik, 2005.

Piotrovsky R.G., Bektaev K.B., PiotrovskayaA.A. Lingüística matemática. M.: pós-graduação, 1972.

Polyakov A.E. Electronic Dictionary of the Writer's Language (no exemplo da linguagem de A.S. Griboyedov) // Proceedings of the International Seminar Dialog-99 on Computer Linguistics and its Applications. Tarusa, 1999. M., 1999 . T. 2. S. 230-236.

Segalovich I., Maslov M.. Análise morfológica russa e síntese com a geração de modelos de flexão para palavras não descritas no dicionário // Anais do seminário internacional Diálogo "98 sobre linguística computacional e suas aplicações. Kazan, 1998. V.2. P. 547– 552.

Sokirko A.V., Toldova S.Yu. Comparação da eficácia de dois métodos para remoção de ambiguidade lexical e morfológica para a língua russa // Conferência Internacional "Corpus Linguistics 2004". S.-Pb. , 2004.

Stepanova COMER. Dicionário de frequência do vocabulário científico geral. M., 1976 .

Shaikevich A.Ya., Andryushchenko V.M., Rebetskaya NO. Dicionário estatístico da língua de Dostoiévski. M.: Línguas da cultura eslava, 2003.

Steinfeld E.A. Dicionário de Frequências da Língua Literária Russa Moderna. Tallinn, 1963 .

Čermák F. , Křen M. (ed.). Frekvenční slovník češtiny (dicionário de frequência do tcheco). Praga: NLN, 2004 .

Čermák F., Křen M. Dicionários de frequência baseados em corpus de nova geração: O caso da Checa // International Journal of Corpus Linguistics, 10, 2005. P. 453-467.

Igreja K. W. Estimativas empíricas de adaptação: a chance de duas Noriegas está mais próxima de p/2 do que de p 2 // Anais do 18º A PARTIR DE Conferência de Linguística Computacional (COLING). Saarbrücken, Alemanha, 2000. Vol. 1. P. 180-186.

Cieri Ch., Liberman M. Criação e distribuição de recursos linguísticos no Consórcio de Dados Linguísticos // Anais do LREC 02. Las Palmas, Espanha, 2002. C. 1327-1333.

Davis M. Um Dicionário de Frequências de Espanhol: Vocabulário Básico para Aprendizes. Londres–N.Y.: Routledge, 2005.

Josselson H. H. A contagem de palavras russa e análise de frequência de categorias gramaticais do russo literário padrão. Detroit: Wayne University Press, 1953.

Juilland A., Brodin D., Davidovitch C. Dicionário de Frequência de Palavras Francesas. Haia- Paris: Mouton, 1970.

Kilgarriff A. Colocando frequências no dicionário // International Journal of Lexicography, 10 (2), 1997. P. 135-155.

Sanguessuga G., Rayson P., Wilson A. Frequências de palavras escritas e Inglês falado: baseado no Corpus Nacional Britânico. Londres: Longman, 2001.

Rayson P., Garside R. Comparando corpora usando perfil de frequência // Anais do Workshop Comparando Corpora no ACL 2000. Hong Kong, 2000. P. 1-6.

Sharoff S. Criação de corpora de uso geral usando buscas automatizadas // Baroni M., Bernardini S. (eds.), WaCky! Documentos de trabalho na Web como Corpus. Bolonha: Gedit, 2006.

053-Ljashevskaja-SharovSA:_Layout 1 13.05.2008 22:07 Page 345 Anais da conferência internacional "Diálogo 2008" DICIONÁRIO DE FREQUÊNCIAS DO CORPO NACIONAL RUSSO. ( [e-mail protegido]), Instituto da Língua Russa. V.V. Vinogradov RAS Sharov S.A. ( [e-mail protegido]), Universidade de Leeds, Reino Unido O dicionário contém um dicionário básico representativo da língua russa moderna (2ª metade de XX - início do XXI séculos), providos de informações sobre a frequência de uso, distribuição estatística por textos e gêneros, e pela época de criação dos textos. O dicionário é baseado nos textos do Corpus Nacional da Língua Russa com um volume de 100 milhões de palavras. 1. Introdução Vários dicionários de frequência foram desenvolvidos para o idioma russo. O pioneiro foi o dicionário de G. Yosselson, publicado em 1953 em Detroit sobre o material da língua principalmente da Rússia pré-revolucionária. Dicionários E.A. Steinfeld (1963), L.N. Zasorina (1977), L. Lenngren (1993) e outros foram criados com base em coleções de textos relativamente pequenas (400 mil - 1 milhão de palavras) e refletem em grande parte as especificidades da língua russa do período soviético: o as frequências das palavras camarada e partido nelas são comparáveis ​​às palavras oficiais, e a palavra pente está faltando. Existem também dicionários especializados, em particular, o dicionário de E.M. Stepanova (1976), dedicado ao vocabulário científico geral. Um ramo separado dos dicionários estatísticos são os dicionários de linguagem de Pushkin, Dostoiévski, Griboyedov, Tsvetaeva (Vinogradov 1956-1961, Shaikevich et al. 2003, Polyakov 1999, Belyakov et al. 1996), que descrevem completamente a linguagem de um determinado escritor. O novo dicionário de frequência é universal. Apesar de seu último antecessor direto ter sido lançado há 15 anos (Lenngren 1993), é óbvio que muito mudou durante esse período - tanto a linguagem em si quanto a tecnologia para preparar dicionários de frequência. Nosso dicionário visa apresentar um quadro estatístico do uso da palavra moderna (1950-2005), preenchendo, em particular, a lacuna das últimas duas décadas, bem como mostrar as mudanças ocorridas na língua desde 1950. O dicionário é baseado em um corpus de 100 milhões, enquanto os dicionários anteriores contavam com material de usos de 400 mil a 1 milhão de palavras. O corpus nacional (www.ruscorpora.ru, NKRYA 2005) é mais representativo em termos de abrangência do material, pois contém uma coleção equilibrada de textos de diferentes tipos, gêneros e estilos, incluindo textos da diáspora russa. A distribuição de textos no subcorpus da língua russa moderna (desde 1950) por estilos funcionais é mostrada na Tabela 1. Os textos de não ficção pertencem a mais de 50 áreas temáticas (economia e finanças, direito, viagens, etc.), e sua tipologia varia de leis e artigos científicos a entrevistas, instruções e anúncios (mais de 100 tipos no total). Os textos de ficção incluem romances, contos, ensaios, peças de teatro, contos de fadas, ensaios, cartas literárias, etc. Ficção 36% Jornalismo 42% Outros não-ficção 17% Literatura oral 5% os primeiros 20.000 elementos não mudarão significativamente se, mantendo a proporção, substituirmos esses textos por outros ou compararmos várias subamostras do corpus. Isso é demonstrado pela experiência de compilar dicionários de frequência de outras 100 milhões de palavras. corpora nacionais como britânicos, tchecos (Leech et al. 2001, Čermák & Křen 2004) e corpora espanhóis (Davies 2005). É natural que o dicionário de frequências do NKRYA em muitos aspectos, tanto em questões tecnológicas quanto em conteúdo, seja guiado por essas amostras. 2. Tamanho do corpus e confiabilidade da amostra Os dicionários de frequência existentes para o idioma russo foram construídos em corpora relativamente pequenos: computadores de primeira geração não podiam trabalhar com corpora maiores. Curiosamente, as recomendações teóricas desenvolvidas na década de 1970 (Piotrovsky et al. 1972) também provaram que para uma descrição confiável das 1600-1700 palavras mais frequentes, é suficiente usar um corpus de 400.000 palavras. Esse argumento foi baseado no conceito de intervalo de confiança, que é amplamente utilizado em estatística e sociologia: se conhecemos o tamanho da amostra e a probabilidade experimental de um evento nesta amostra (ou seja, a frequência de uma palavra em nosso corpus), então podemos calcular o intervalo de confiança da probabilidade desse evento em toda a população (ou seja, a frequência da mesma palavra em todo o espaço linguístico). A Tabela 2 dá exemplos da frequência de palavras individuais nos dicionários de Lenngren, Zasorina e Steinfeld em comparação com as frequências do NKRS e os 150 milhões de corpus da língua russa coletados da Internet (para este último, ver Sharoff 2006). Apesar de as palavras pensar, tarefa, amor certamente pertencerem ao cerne da linguagem (elas estão entre os 200-500 lemas mais frequentes), em pequenos corpora até mesmo sua frequência difere bastante. A frequência de palavras comparativamente menos frequentes (poluição, estudo, fofo) varia ainda mais. Embora a composição do Internet Corpus seja bastante diferente do NCRL (com grande número de textos técnicos e fóruns e menor quantidade de ficção), as diferenças na frequência dessas unidades entre eles não são tão grandes. Lemma Lenngren Zasorina Steinf. Poder da Internet 202 364 138 422 428 pensar 609 1094 1058 865 818 poluição 69 1 0 9 11 tarefa 499 421 250 228 292 estudar 193 110 0 63 78 amar 415 632 995 549 610 palavras fofinhas (idade média por milhão de palavras) . Como você pode ver, as recomendações teóricas sobre um tamanho de caso suficiente nesse caso acabam não sendo muito confiáveis. A razão para isso está nas suposições iniciais sobre a distribuição normal de frequência de palavras gaussianas, segundo a qual cada palavra ocorre com a mesma frequência em todos os textos. Se a palavra ocorrer no texto uma vez, então, com uma distribuição normal, isso não afeta a probabilidade de seu uso lá uma segunda vez. Mas na realidade este não é o caso. Cada texto tem seu próprio tópico, cujas palavras neste texto serão usadas com muito mais frequência do que a média. Em um texto sobre hobbits, a palavra hobbit será usada com a mesma frequência de palavras auxiliares, o que aumentará significativamente sua frequência em um corpus que incluirá pelo menos um desses textos1. Como resultado, a lista de frequências construída com base no corpus reflete as especificidades dos textos que nela foram incluídos durante sua compilação. A Tabela 2 mostra a imperfeição dos dicionários de frequência construídos em corpora relativamente pequenos, mas o simples aumento do tamanho dos corpora também não garante a estabilidade dos resultados. Ao interpretar as listas de um dicionário de frequência, deve-se lembrar que qualquer corpus, por maior que seja, é um subconjunto finito de um conjunto potencialmente infinito de textos em um determinado idioma. Qualquer outra amostra deste subconjunto gerará uma lista ligeiramente diferente, que diferirá em seus elementos menos frequentes. Um corpus maior refletindo mais temas e estilos funcionais (Kenneth Church chamou essa situação de problema de Noriega (Church 2000), Adam Kilgarriff chamou de problema do búzio, de uma palavra inglesa relativamente rara para um tipo de molusco (Kilgarriff 1997). 346 053- Ljashevskaja -SharovSA:_Layout 1 13.05.2008 22:07 Page 347 Dicionário de Frequências do Corpus Nacional da Língua Russa pus tipo BNC ou NKRYA) oferece boa confiabilidade para os elementos mais frequentes. No entanto, um maior aumento no volume de textos em detrimento de sua diversidade (ver, por exemplo, projetos para criar Giga corpora de idiomas inglês e chinês contendo mais de um bilhão de palavras de usos de textos de notícias, Cieri & Liberman 2002) pode levar a uma menor confiabilidade da lista de frequência nesses corpora, mudando seu vocabulário para o vocabulário de notícias. Como a tarefa do dicionário de frequência não é apenas classificar palavras por sua frequência em um corpus separado, mas também determinar o núcleo lexical da língua, é necessário separar palavras que ocorrem com frequência em muitos textos daquelas cujo comportamento lexical é semelhantes às palavras de Noriega ou do hobbit, e que acidentalmente acabaram nesta ou naquela posição da lista de frequências. Assim, o Corpus Nacional Checo usa o conceito de Frequência Média Reduzida (ARF, Average Reduced Frequency), em que a frequência de uma palavra é ponderada pela distância entre os usos individuais das palavras (Čermak & Křen 2005). Muitos dicionários de frequência (Lönngren, British National Corpus, Dictionary of French Business Vocabulary) usam o coeficiente D introduzido por A. Juilland (Juilland et al. 1970), que leva em conta tanto o número de documentos em que uma palavra ocorre frequência relativa nesses documentos: onde µ é a frequência média da palavra em todo o corpus, σ é o desvio padrão dessa frequência em documentos individuais, n é o número de documentos em que essa palavra ocorre. O valor D para palavras que ocorrem na maioria dos documentos é próximo de 100, e para palavras que ocorrem com frequência em apenas um pequeno número de documentos, é próximo de 0. A lista de frequência do dicionário de Lenngren é classificada até pelo valor do produto deste coeficiente pela frequência média da palavra. Devido ao fato de o status teórico deste trabalho não ser claro, não consideramos apropriado classificar nosso dicionário por ele. No entanto, a sua indicação para cada palavra permite avaliar a sua especificidade para áreas temáticas individuais. Por exemplo, as palavras spooky, specific e raw têm aproximadamente a mesma frequência (21 ocorrências por milhão de palavras), mas o coeficiente D para specific é 66, raw é 18 e spooky é 78, o que significa que a última palavra é significativa para mais áreas temáticas e (ceteris paribus) tem uma grande chance de um lugar em um dicionário não especializado. 3. A estrutura do dicionário O conceito de dicionário envolve a publicação de uma versão "em papel" com uma versão eletrônica que o acompanha, que representa o dicionário de frequências em um volume mais completo. A parte do vocabulário contém as seguintes seções: I. Vocabulário geral ● lista alfabética de lemas ● lista de frequência de lemas ● distribuição de lemas por estilos funcionais: dicionário de frequência de ficção, dicionário de vocabulário significativo de ficção dicionário de frequência de jornalismo, dicionário de jornal significativo e vocabulário de notícias dicionário de frequência de outros não-ficção, dicionário de frequência de vocabulário significativo dicionário de fala oral ao vivo, dicionário de vocabulário significativo de fala oral viva ● lista alfabética de formas de palavras II. Partes do discurso ● lista de freqüência de substantivos ● lista de freqüência de verbos ● lista de freqüência de adjetivos ● lista de freqüência de advérbios e predicativos ● lista de freqüência de pronomes (substantivos, adjetivos, advérbios, predicados) ● lista de freqüência de lemas de partes auxiliares do discurso III . Tabelas auxiliares 053-Ljashevskaja-SharovSA:_Layout 1 13.05.2008 22:07 ● dados sobre a frequência das aulas parciais e outras informações estatísticas IV. Nomes próprios e abreviaturas ● lista alfabética de lemas A lista alfabética de lemas contém o nome do lema, a classe gramatical, a frequência geral do lema, o número de documentos em que ocorre e o coeficiente de variação D. a frequência total caracteriza o número de ocorrências por milhão de palavras do corpus, ou ipm (instâncias por milhão de palavras). Isso é feito para facilitar a comparação da frequência de uma palavra em diferentes corpora, que podem variar bastante em tamanho. Por exemplo, se a palavra power ocorre 55 vezes em um corpus de 400.000 palavras, 364 vezes em um corpus de um milhão de palavras e 40.598 vezes em um corpus de 100.000.000 palavras no idioma russo moderno e 55.673 vezes em um grande corpus de 135.000.000 palavras, então sua frequência em ipm será 137,5 , 364,0, 372,06 e 412,39, respectivamente. A lista alfabética da edição eletrônica inclui 60.000 lemas mais frequentes. A lista de lemas, ordenada por frequência, inclui o nome do lema, parte do discurso, frequência geral do lema, número de documentos, fator D e distribuição de frequência por década. A lista de frequência inclui 20.000 dos lemas mais frequentes. Dicionários de frequência de estilos funcionais são compilados com base em subcorpus de ficção, jornalismo, outros não-ficção e discurso oral. A lista inclui os 5.000 lemas mais frequentes desses subcorpus. A lista dos lemas mais típicos para cada tipo de texto foi selecionada com base na comparação da frequência de lemas nesses textos e no restante do corpus. O critério log-likelihood foi utilizado como métrica de comparação, calculada com base na seguinte matriz: fórmula (Rayson & Garside 2000): Dicionários de vocabulário significativo para diferentes estilos funcionais incluem 500 lemas cada. A lista alfabética de formas de palavras inclui todas as formas de palavras do corpus com frequência superior a 0,1 ipm (cerca de 15 mil no total); a frequência geral da forma da palavra é dada. As formas de palavras homônimas são marcadas com *. Na seção Partes da Fala, a lista de frequência dos lemas é dividida em seis sublistas: substantivos, verbos, adjetivos, advérbios e predicados, pronomes e partes funcionais da fala. Para cada lema, sua frequência geral e classificação (número de série) na lista geral são indicadas. Cada lista contém 1 mil dos lemas mais frequentes. As tabelas auxiliares incluem dados sobre a frequência das aulas de parte do discurso, outras categorias gramaticais, além de informações sobre a cobertura do texto com lexemas, comprimento médio das palavras, formas das palavras e frases. O dicionário termina com uma lista alfabética de nomes próprios e abreviaturas. Os nomes próprios são separados da parte principal do vocabulário, pois formam um grupo muito menos estável estatisticamente, e sua frequência depende muito da escolha dos textos do corpus e de seu cronotopo. Em Lengren 1993, expressa-se a opinião de que a inclusão de nomes próprios em um dicionário de frequência em uma base geral inevitavelmente leva à sua obsolescência prematura. Para obter uma lista de nomes próprios e abreviaturas a partir da concordância do corpus, foram selecionados nomes e abreviaturas, cuja grafia nos textos com letra maiúscula ultrapassou o limite de 95%, cf. Rússia, Smirnov, Usina Elétrica do Distrito Estadual, Ministério das Relações Exteriores, Código do Trabalho.2 O dicionário inclui a parte nuclear desta lista, totalizando 3.000 das unidades mais frequentes. De acordo com a tradição que se desenvolveu para publicações desse tipo, as páginas do dicionário contêm o título "Fatos interessantes": listas das palavras mais populares de vários grupos lexicais (dias da semana, fenômenos climáticos, cores, verbos de movimento , etc.) são publicados, bem como as formas de palavras mais longas e uma lista de frequência de sinais de pontuação. 2 Observamos em particular que adjetivos como Hristov, Petin, Kostroma/Kostroma pertencem ao vocabulário geral. 348 053-Ljashevskaja-SharovSA:_Layout 1 13.05.2008 22:07 Page 349 Dicionário de Frequências do Corpus Nacional da Língua Russa 6429 traje 2288 capa de chuva 4890 botas 2179 saia 3696 casaco 1904 sobretudo 3696 camisa 1894 roupa* 3410 jaqueta 1826 sapatos chapéu 2196 roupa* 3410 jaqueta 1826 sapatos 333 1633 jeans 3041 cachecol 1585 luva 2962 casaco 1522 casaco de pele 2955 calças 1356 uniforme 2840 calças 1251 boné 2686 chapéu 1235 suéter 2617 boina 1134 botas de feltro Como exemplo, na Tabela 3 damos as frequências dos substantivos que denotam roupas e sapatos. Como é de se esperar, a lista reflete, por um lado, a “tipicidade” dos elementos do guarda-roupa (botas de feltro ocupam apenas o 26º lugar na lista), e, por outro, seu “significado” na descrição da aparência de uma pessoa em textos (um terno é mais perceptivelmente um item dedicado do que botas). 4. Preparação do material vocabular As listas básicas do dicionário de frequência foram obtidas automaticamente, utilizando-se a marcação metatextual e léxico-gramatical do corpus. Com base em informações metatextuais, listas de frequência foram construídas e comparadas entre si em amostras separadas do corpus (por estilos funcionais, no momento da criação do texto). Outro tipo de marcação, o léxico-gramatical, permite estabelecer a forma original de uma palavra (lema), sua classe gramatical e características gramaticais como caso, número, tempo verbal etc.3 Isso possibilitou a coleta de dados sobre a frequência não apenas de formas de palavras individuais, mas e lexemas, bem como o uso de certas categorias gramaticais. Na criação deste dicionário foi utilizada uma variante da anotação léxico-gramatical do corpus com resolução automática de homonímia morfológica. A língua russa, como língua de rica inflexão, cria dificuldades adicionais para os compiladores do dicionário de frequências, pois muitas formas de palavras nos textos são homônimas (cf. Fé). No entanto, em um dicionário de frequência, a forma de palavra original, ou lema, deve ser atribuída de forma inequívoca a qualquer forma de palavra. Nos dicionários da geração anterior (Zasorina 1977, Lenngren 1993), a homonímia era resolvida manualmente, pois o volume do corpus processado era insignificante. É óbvio que tal solução não é adequada para um corpus 100 milhões. Ao compilar este dicionário, foi tida em conta a experiência dos colegas checos, que tiveram de refinar o analisador morfológico, reabastecer o dicionário e proceder à edição manual. Inicialmente, o corpus do NCRS foi marcado pelo analisador morfológico Mystem (Segalovich, Maslov 1998). A ambiguidade na marcação léxico-gramatical foi resolvida usando o programa de A.V. Sokirko, que usa o modelo trigrama e um subcorpus de treinamento com homonímia removida manualmente (Sokirko, Toldova 2005). Palavras não-dicionários também apresentam um problema significativo para a lematização (Lyashevskaya et al. 2007). Se a palavra não estiver no dicionário gramatical do analisador morfológico, uma ou mais hipóteses sobre a forma original da palavra e suas características gramaticais são atribuídas a ela. Como resultado, 3 Princípios de lematização e composição de partes do discurso são determinados pelo padrão morfológico do corpus (NKRYA 2005), que geralmente corresponde aos princípios do Dicionário Gramático Russo (Zaliznyak 1977). Algumas características da lematização estão relacionadas ao fato de a coleta de dados ocorrer principalmente no modo automático. Observe que apenas a marcação palavra por palavra é levada em consideração: frases fixas, preposições compostas e outras unidades lexicais não-singulares (cf. Ano Novo, durante, no entanto, entre si) não são incluídas no dicionário. 349 053-Ljashevskaja-SharovSA:_Layout 1 13.05.2008 22:07 Page 350 Lyashevskaya O.N., Sharov S.A. O dicionário inclui tais “lemas” como gratidão (cf. a forma da palavra gratidão), Jansny (cf. Jansen), Barclay (cf. Barclay). Enquanto isso, a parcela de formas de palavras não-dicionários no NCSL é de 3% de todos os usos de palavras e 45% da lista de formas de palavras do corpus. Para formas frequentes de palavras não-dicionários, programas de pós-processamento para a marcação morfológica do NKRYA, compilados por B.P. Kobritsov e G. K. Bronnikov, bem como os resultados da validação do trabalho desses programas obtidos por O.N. Lyashevskaya e D.K. Bronnikova (Lyashevskaya 2007, Bronnikova 2007). Duas abordagens para a lematização de palavras não-dicionários se mostraram as mais eficazes: agrupamento de hipóteses sobre o lema e o tipo de paradigma (o mais provável para uma forma de palavra é a análise que ocorre em outras formas de palavras não-dicionário, portanto, , as formas de palavras “procuram” seus vizinhos segundo o paradigma flexional ) e destacando os prefixos mais produtivos. Uma vez que a resolução automática de homonímia e a interpretação de formas não-dicionárias permitem um certo erro, ainda que insignificante, os homônimos incluídos nas primeiras 20 mil palavras de frequência foram submetidos a verificação manual adicional. *** Os autores agradecem a V.A. Plungyan, A.Ya. Shaikevich, assim como E.A. Grishina, B. P. Kobritsov, E. V. Rakhilina, D. V. Sichinava e outros participantes do seminário do NCRL, que participaram da discussão dos princípios da criação de um dicionário. Agradecemos a O. Uryupina, D. e G. Bronnikovs, B. Kobritsov, funcionários da Yandex LLC A. Abroskin, N. Grigoriev, A. Sokirko por sua ajuda na coleta e processamento do material. Referências 1. Bronnikova D.K. Comparação de algoritmos de lematização baseados no material do Russian National Corpus. Trabalho de graduação . M.: RGGU, 2007. 2. Belyakova I.Yu., Olovyannikova I.P., Revzina O.G. (comp.). Dicionário da linguagem poética de Marina Tsvetaeva. Em 4 volumes. M: Casa Museu de Marina Tsvetaeva, 1996. 3. Vinogradov V.V. (responsável ed.). Dicionário da língua de Pushkin. T.I - IV. M., 1956-1961. 4. Zaliznyak A.A. Dicionário de gramática da língua russa: flexão. M., 1977; 4ª ed.: M.: dicionários russos, 2003. 5. Zasorina L.N. (ed.). Dicionário de frequência da língua russa. Moscou: língua russa, 1977. 6. Löngren L. (ed.). Dicionário de Frequências da Língua Russa Moderna. Uppsala, 1993. 7. Lyashevskaya O.N. Sobre o problema da lematização de palavras não-dicionários // Linguística Computacional e Tecnologias Inteligentes: Anais da Conferência Internacional "Diálogo 2007". M, 2007. 8. Lyashevskaya O.N., Kobritsov B.P., Sichinava D.V. Automação da construção de um dicionário com base em um conjunto de formas de palavras não-dicionário // Internet Mathematics 2007. Yekaterinburg, 2007. 9. NCRL: Corpus Nacional da Língua Russa 2003-2005: Resultados e Perspectivas. M.: Indrik, 2005. 10. Piotrovsky R.G., Bektaev K.B., Piotrovskaya A.A. Linguística matemática. M.: Vysshaya Shkola, 1972. 11. Polyakov A.E. Electronic Dictionary of the Writer's Language (no exemplo da linguagem de A.S. Griboedov) // Proceedings of the International Seminar Dialog-99 on Computational Linguistics and its Applications. Tarusa, 1999. M., 1999. T. 2. S. 230-236. 12. Segalovich I., Maslov M.. Análise e síntese morfológica russa com a geração de modelos de flexão para palavras não descritas no dicionário // Anais do seminário internacional Dialog'98 sobre linguística computacional e suas aplicações. Kazan, 1998. V.2. págs. 547-552. 13. Sokirko A.V., Toldova S.Yu. Comparação da eficácia de dois métodos para remoção de ambiguidade lexical e morfológica para a língua russa // Conferência Internacional "Corpus Linguistics 2004". S.- Pb., 2004. 14. Stepanova E.M. Dicionário de frequência do vocabulário científico geral. Moscou, 1976. 15. Shaikevich A.Ya., Andryushchenko V.M., Rebetskaya N.A. Dicionário estatístico da língua de Dostoiévski. M.: Línguas da Cultura Eslava, 2003. 16. Steinfeld E.A. Dicionário de Frequências da Língua Literária Russa Moderna. Tallinn, 1963. 17. Čermák F., Křen M. (eds.). Frekvenční slovník češtiny (dicionário de frequência do tcheco). Praha: NLN, 2004. 18. Čermák F., Křen M. Nova geração de dicionários de frequência baseados em corpus: The case of Czech // International Journal of Corpus Linguistics, 10, 2005. P. 453-467. 19. Igreja K.W. Estimativas empíricas de adaptação: a chance de dois Noriegas é mais próxima de p/2 do que de p2 // Anais da 18ª Conferência de Linguística Computacional (COLING). Saarbrücken, Alemanha, 2000. Vol. 1. P. 180-186. 20. Cieri Ch., Liberman M. Criação e distribuição de recursos linguísticos no Consórcio de Dados Linguísticos // Anais do LREC 02. Las Palmas, Espanha, 2002. C. 1327-1333. 21. Davies M. A Frequency Dictionary of Spanish: Core Vocabulary for Learners. Londres-N.Y.: Routledge, 2005. 22. Josselson H.H. A contagem de palavras russa e análise de frequência de categorias gramaticais do russo literário padrão. Detroit: Wayne University Press, 1953. 23. Juilland A., Brodin D., Davidovitch C. Dicionário de Frequência de Palavras em Francês. The Hague-Paris: Mouton, 1970. 24. Kilgarriff A. Colocando frequências no dicionário // International Journal of Lexicography, 10 (2), 1997. P. 135-155. 25. Leech G., Rayson P., Wilson A. Frequências de palavras em inglês escrito e falado: baseado no British National Corpus. London: Longman, 2001. 26. Rayson P., Garside R. Comparando corpora usando perfil de frequência // Anais do Workshop Comparando Corpora no ACL 2000. Hong Kong, 2000. P. 1-6. 27. Sharoff S. Criando corpora de uso geral usando consultas automatizadas em mecanismos de busca // Baroni M., Bernardini S. (eds.), WaCky! Documentos de trabalho na Web como Corpus. Bolonha: Gedit, 2006. http://wackybook.sslmit.unibo.it. 351