O valor D das palavras que aparecem na maioria dos documentos é próximo de 100, e para palavras que aparecem com frequência em apenas um pequeno número de documentos, é próximo de 0. A lista de frequência do dicionário de Lenngren é até ordenada pelo valor de o produto deste coeficiente e a frequência média da palavra. Devido ao fato de o estatuto teórico deste trabalho não ser claro, não consideramos apropriado classificar nosso dicionário por ele. No entanto, a sua indicação para cada palavra permite avaliar a sua especificidade para cada área temática. Por exemplo, as palavras assustador, peculiar e cru têm frequência aproximadamente igual (21 ocorrências por milhão de palavras), mas o coeficiente D para específico é 66, cru é 18 e assustador é 78, o que significa que a última palavra significativo para maisáreas temáticas e (em igualdade de condições) tem grandes chances de encontrar um lugar em um dicionário não especializado.

3. Estrutura do dicionário

O conceito de dicionário envolve a publicação de uma versão “em papel” acompanhada de uma versão eletrônica, representando o dicionário de frequências em um volume mais completo. A parte do vocabulário contém as seguintes seções:

I. Vocabulário geral

● lista alfabética de lemas

● lista de frequência de lemas

● distribuição de lemas por estilos funcionais:

Ø dicionário de frequência de ficção,

Dicionário de vocabulário significativo de ficção

Ø dicionário de frequência do jornalismo,

dicionário de vocabulário significativo de jornais e notícias

Ø dicionário de frequência de outra literatura de não-ficção,

dicionário de vocabulário significativo

Ø dicionário de frequência de fala oral ao vivo,

dicionário de vocabulário significativo da fala oral ao vivo

● lista alfabética de formas de palavras

II. Partes do discurso

● lista de frequência de substantivos

● lista de verbos de frequência

● lista de frequência de adjetivos

● lista de frequência de advérbios e predicados

● lista de frequência de pronomes (pronomes nominais, adjetivos, advérbios, predicados)

● lista de frequência de lemas de classes gramaticais funcionais

III. Mesas auxiliares

● dados sobre a frequência das classes de subfala e outras informações estatísticas

4 . Nomes próprios e abreviações

● lista alfabética de lemas

A lista alfabética de lemas contém o nome do lema, a classe gramatical, a frequência geral do lema, o número de documentos em que ocorreu e o coeficiente de variação D. A frequência geral caracteriza o número de ocorrências por milhão palavras do corpus, ou ipm (instâncias por milhão de palavras). Isso é feito para facilitar a comparação de frequências de palavras em diferentes corpora, que podem variar bastante em tamanho. Por exemplo, se a palavra poder ocorre 55 vezes em um corpus de 400 mil palavras, 364 vezes em um corpus de um milhão de palavras e 40.598 vezes em um corpus de 100 milhões de palavras da língua russa moderna e 55.673 vezes em um corpus grande de 135 milhões de palavras do NKR, então sua frequência em ipm será 137,5, 364,0, 372,06 e 412,39, respectivamente. A lista alfabética da publicação eletrônica inclui 60.000 dos lemas mais frequentes.

A lista de lemas, ordenada por frequência, mostra o nome do lema, classe gramatical, frequência geral do lema, número de documentos, fator D e distribuição de frequência por década. A lista de frequências inclui os 20.000 lemas mais frequentes.

Dicionários de frequência de estilos funcionais são compilados com base em subcorpora de ficção, jornalismo, outras literaturas de não-ficção e discurso oral. A lista inclui os 5.000 lemas mais frequentes desses subcorpora. Uma lista dos lemas mais típicos para cada tipo de texto foi identificada a partir da comparação da frequência dos lemas nesses textos e no restante do corpus. Como métrica de comparação foi utilizado o critério da razão de verossimilhança (log-likelihood), calculado com base na seguinte matriz:

Dicionários de vocabulário significativo para diferentes estilos funcionais incluem 500 lemas.

A lista alfabética de formas de palavras inclui todas as formas de palavras do corpus com frequência superior a 0,1 ipm (cerca de 15 mil no total); A frequência geral da forma da palavra é fornecida. As formas de palavras homônimas são marcadas com *.

Na seção “Partes do discurso”, a lista de frequência dos lemas é dividida em seis sublistas: substantivos, verbos, adjetivos, advérbios e predicados, pronomes e classes gramaticais funcionais. Para cada lema, sua frequência geral e classificação (número ordinal) em lista geral. Cada lista contém 1 mil dos lemas mais frequentes.

Mesas auxiliares incluem dados sobre a frequência das classes de fala parcial e outras categorias gramaticais, bem como informações sobre a cobertura do texto por lexemas, o comprimento médio de uma palavra, a forma da palavra e a frase.

O dicionário termina com uma lista alfabética de nomes próprios e abreviações. Os nomes próprios são separados da parte principal do dicionário, pois formam um grupo muito menos estável estatisticamente, e sua frequência depende em grande parte da escolha dos textos do corpus e de seu cronotopo. Lenngren 1993 expressou a opinião de que a inclusão de nomes próprios no dicionário de frequências de forma geral leva inevitavelmente à sua obsolescência prematura.

Para obter uma lista de nomes próprios e abreviaturas da concordância do corpus, foram identificados substantivos e abreviaturas cuja grafia em textos com letras maiúsculas excedeu o limite de 95 por cento, cf. Rússia, Smirnov, Usina Distrital Estadual, Ministério das Relações Exteriores, Código do Trabalho. O dicionário inclui a parte nuclear desta lista, numerando as 3.000 unidades mais frequentes.

Seguindo a tradição que se desenvolveu para publicações deste tipo, as páginas do dicionário apresentam o título “ Fatos interessantes": são publicadas listas das palavras mais populares de vários grupos lexicais (dias da semana, condições do tempo, cores, verbos de movimento, etc.), bem como as formas de palavras mais longas e uma lista de frequência de sinais de pontuação.

Mesa 3: Lista de frequência das designações de vestuário e calçado.

A título de exemplo, na Tabela 3 apresentamos as frequências dos substantivos que denotam roupas e sapatos. Como seria de esperar, a lista reflete, por um lado, os elementos “típicos” do guarda-roupa ( botas de feltro ocupam apenas o 26º lugar na lista) e, por outro lado, a sua “significância” na descrição da aparência de uma pessoa nos textos ( fantasia- uma coisa mais distinta perceptivamente do que botas).

4. Preparação de material de vocabulário

As listas do dicionário de frequências básicas foram obtidas automaticamente, utilizando marcação metatextual e léxico-gramatical do corpus. Com base nas informações do metatexto, listas de frequências foram construídas e comparadas entre si em amostras separadas do corpus (por estilos funcionais, por momento de criação do texto). Outro tipo de marcação, léxico-gramatical, permite estabelecer a forma original de uma palavra (lema), sua classe gramatical e características gramaticais como caso, número, tempo verbal, etc. frequência não apenas de formas de palavras individuais, mas também de lexemas, bem como o uso de certas categorias gramaticais. Na criação deste dicionário, utilizamos uma variante da marcação léxico-gramatical do corpus com resolução automática de homonímia morfológica.

O russo, como uma língua com inflexão rica, cria dificuldades adicionais para compiladores de dicionários de frequência, uma vez que muitas formas de palavras em textos são homônimas (cf. forma de palavras tornar-se como forma verbal tornar-se e substantivo aço, forma de palavra jarra, representando os lemas banco E jarra, Palavras como fé E Fé). No entanto, em um dicionário de frequência, a forma original de uma palavra, ou lema, deve ser atribuída a qualquer forma de palavra de forma inequívoca.

Nos dicionários da geração anterior (Zasorina 1977, Lenngren 1993), a homonímia era resolvida manualmente, pois o volume do corpus processado era insignificante. Obviamente, esta solução não é adequada para um gabinete de 100 milhões de unidades. Na elaboração deste dicionário foi levada em consideração a experiência dos colegas tchecos, que tiveram que modificar o analisador morfológico, ampliar o dicionário e realizar a edição manual. Inicialmente, o corpus NCRY foi marcado com o analisador morfológico Mystem (Segalovich, Maslov 1998). A ambigüidade nas marcações lexicais e gramaticais foi resolvida usando o programa AV. Sokirko, usando o modelo trigrama e um subcorpus de treinamento com homonímia removida manualmente (Sokirko, Toldova 2005).

Palavras não pertencentes ao dicionário também representam um problema significativo para a lematização (Lyashevskaya et al. 2007). Se uma palavra não estiver no dicionário gramatical do analisador morfológico, então uma ou mais hipóteses sobre a forma original da palavra e suas características gramaticais são atribuídas a ela. Como resultado, o dicionário de frequência inclui “lemas” como grato(cf. forma de palavra gratidão), Jansny(cf. Jansen), Barclay(cf. Barclay). Enquanto isso, a participação de formas de palavras não pertencentes ao dicionário no NCRL é de 3% de todos os usos de palavras e 45% da lista de formas de palavras do corpus. Para formas de palavras não pertencentes ao dicionário de frequência, foram utilizados programas de pós-processamento para marcação morfológica do NKRJ, compilados por B.P. Kobritsov e G.K. Bronnikov, bem como os resultados da validação do trabalho destes programas obtidos por O.N. Lyashevskaya e D.K. Bronnikova (Lyashevskaya 2007, Bronnikova 2007). Duas abordagens para lematização de palavras não-dicionárias revelaram-se as mais eficazes: agrupamento de hipóteses sobre o lema e o tipo de paradigma (a análise mais provável para uma forma de palavra é considerada aquela que também é encontrada em outras palavras não-dicionárias). formas de palavras do dicionário, portanto, as formas das palavras “procuram” por vizinhos no paradigma flexional) e identificando os consoles mais produtivos.

Como a resolução automática de homonímia e a interpretação de formas não-dicionário permitem um certo erro, embora menor, os homônimos incluídos nas primeiras 20 mil palavras de frequência foram submetidos a verificação manual adicional.

***

Os autores expressam sua gratidão a V.A. Plungeanu, A.Ya. Shaikevich, bem como E.A. Grishina, B.P. Kobritsova, E.V. Rakhilina, D.V. Sichinava e outros participantes do seminário NCRY que participaram da discussão dos princípios de criação do dicionário. Agradecemos a O. Uryupina, D. e G. Bronnikovs, B. Kobritsov, funcionários da Yandex LLC A. Abroskin, N. Grigoriev, A. Sokirko por sua assistência na coleta e processamento do material.

O.G. (comp.). Dicionário linguagem poética Marina Tsvetáeva. Em 4 volumes. M: Casa-Museu de Marina Tsvetaeva, 1996.

Vinogradov V.V. (editor responsável). Dicionário da língua de Pushkin. T. I-IV. M., 1956-1961.

Zaliznyak A.A. Dicionário gramatical da língua russa: Inflexão. M., 197 7 ; 4ª ed.: M.: Dicionários Russos, 2003.

Zorina L. N. (ed.). Dicionário de frequência da língua russa. Moscou: idioma russo, 1977 .

Lönngren Liderado.). Dicionário de frequência da língua russa moderna [ Lönngren, Lennart. O Dicionário de Frequência do Russo Moderno. Acta Univ. Ups., Studia Slavica Upsaliensia Uppsala 32]. Uppsala, 1993.

Liashevskaia SOBRE.. Sobre o problema da lematização de palavras não pertencentes ao dicionário // Lingüística computacional e tecnologias inteligentes: Anais da conferência internacional “Diálogo 2007”. M, 2007.

Lyashevskaya O.N., Kobritsov B.P., Sichinava D. V. Automação da construção de dicionário com base em uma variedade de formas de palavras não pertencentes ao dicionário // Internet Mathematics 2007. Ekaterinburg, 2007.

NKRY: Corpus Nacional da Língua Russa 2003-2005: Resultados e Perspectivas. M.: Indrik, 2005.

Piotrovsky R.G., Bektaev KB, PiotrovskayaA.A.. Lingüística matemática. M.: pós-graduação, 1972.

Poliakov A.E. Dicionário eletrônico da linguagem do escritor (usando o exemplo da linguagem de A.S. Griboedov) // Anais do Seminário Internacional Diálogo-99 sobre linguística computacional e suas aplicações. Tarusa, 1999. M., 1999. T. 2. S. 230-236.

Segalovich I., Maslov M.. Análise e síntese morfológica russa com a geração de modelos de flexão para palavras não descritas no dicionário // Anais do seminário internacional Diálogo "98 sobre linguística computacional e suas aplicações. Kazan, 1998. T.2. pp. 547– 552.

Sokirko A.V., Toldova S.Yu. Comparação da eficácia de dois métodos para remover ambiguidades lexicais e morfológicas da língua russa // Conferência Internacional “Corpus Linguistics 2004”. S.-Pb. , 2004.

Stepanova COMER. Dicionário de frequência do vocabulário científico geral. M., 1976 .

Shaikevich A.Ya., Andryushchenko V.M., Rebetskaya NO. Dicionário estatístico da linguagem de Dostoiévski. M.: Línguas da cultura eslava, 2003.

Steinfeld E.A. Dicionário de frequência da língua literária russa moderna. Tallin, 1963 .

Čermák F., Křen M. (eds.). Frekvenční slovník češtiny (dicionário de frequência de tcheco). Praga: NLN, 2004 .

Čermák F., Křen M. Dicionários de frequência baseados em corpus de nova geração: O caso da Checa // Revista Internacional de Linguística de Corpus, 10, 2005, pp.

Igreja K.W. Estimativas empíricas de adaptação: a chance de dois Noriegas está mais próxima de p/2 do que de p 2 // Anais do dia 18 COM conferência sobre Lingüística Computacional (COLING). Saarbrücken, Alemanha, 2000. Vol. 1. S. 180-186.

Cieri Ch., Liberman M. Criação e distribuição de recursos linguísticos no Linguistic Data Consortium // Proceedings of LREC 02. Las Palmas, Espanha, 2002. pp.

Davies M. Um Dicionário de Frequência de Espanhol: Vocabulário Básico para Alunos. Londres – NY: Routledge, 2005.

Josselson H.H. A contagem de palavras em russo e a análise de frequência das categorias gramaticais do russo literário padrão. Detroit: Wayne University Press, 1953.

Juilland A., Brodin D., Davidovitch C. Dicionário de frequência de palavras francesas. Haia- Paris: Mouton, 1970.

Kilgarriff A. Colocando frequências no dicionário // International Journal of Lexicography, 10 (2), 1997. P. 135-155.

Sanguessuga G., Rayson P., Wilson A. Frequências de palavras escritas e Inglês falado: baseado no British National Corpus. Londres: Longman, 2001.

Rayson P., Garside R. Comparando corpora usando perfil de frequência // Proceedings of the Comparing Corpora Workshop at ACL 2000. Hong Kong, 2000. P. 1-6.

Sharoff S. Criação de corpora de uso geral usando consultas automatizadas em mecanismos de pesquisa // Baroni M., Bernardini S. (eds.), WaCky! Documentos de trabalho na Web como Corpus. Bolonha: Gedit, 2006.

053-Ljashevskaja-SharovSA:_Layout 1 13.05.2008 22:07 Página 345 Anais da conferência internacional “Diálogo 2008” DICIONÁRIO DE FREQUÊNCIA DO CORPO NACIONAL DA LÍNGUA RUSSA: CONCEITO E TECNOLOGIA DE CRIAÇÃO DICIONÁRIO DE FREQUÊNCIA DA N AÇÃO RUSSA NO CORPUS: PRINCÍPIOS E TECNOLOGIA Lyashevskaya O.N. ( [e-mail protegido]), Instituto de Língua Russa em homenagem. V.V. Vinogradov RAS Sharov S.A. ( [e-mail protegido]), Universidade de Leeds, Reino Unido O dicionário contém um dicionário básico representativo da língua russa moderna (2ª metade de XX – início do XXI séculos), munidos de informações sobre frequência de uso, distribuição estatística por texto e gênero e por época de criação dos textos. O dicionário é baseado em textos do Corpus Nacional da Língua Russa com volume de 100 milhões de palavras. 1. Introdução Vários dicionários de frequência foram desenvolvidos para a língua russa. O pioneiro foi o dicionário de G. Yosselson, publicado em 1953 em Detroit, baseado no material da língua principalmente da Rússia pré-revolucionária. Dicionários de E.A. Steinfeld (1963), L.N. Zasorina (1977), L. Lenngren (1993) e outros foram criados com base em coleções relativamente pequenas de textos (400 mil - 1 milhão de palavras) e refletem amplamente as especificidades da língua russa do período soviético: as frequências do as palavras camarada e partido nelas são comparáveis ​​a palavras funcionais, mas falta a palavra pente. Existem também dicionários especializados, nomeadamente o dicionário de E.M. Stepanova (1976), dedicado ao vocabulário científico geral. Um ramo separado dos dicionários estatísticos consiste nos dicionários da língua de Pushkin, Dostoiévski, Griboedov, Tsvetaeva (Vinogradov 1956-1961, Shaikevich et al. 2003, Polyakov 1999, Belyakova et al. 1996), que descrevem completamente a língua de um dado escritor. O novo dicionário de frequência é universal. Apesar de seu último antecessor direto ter sido lançado há 15 anos (Lenngren 1993), é óbvio que muita coisa mudou durante esse período - tanto a linguagem em si quanto a tecnologia para preparar dicionários de frequência. Nosso dicionário pretende apresentar um quadro estatístico do uso moderno das palavras (1950-2005), preenchendo, em particular, a lacuna das últimas duas décadas, e também mostrar as mudanças ocorridas na língua desde 1950. O dicionário é baseado em um corpus de 100 milhões de palavras, enquanto os dicionários anteriores se baseavam em materiais que variam de 400 mil a 1 milhão de usos de palavras. O Corpus Nacional (www.ruscorpora.ru, NKRY 2005) é mais representativo em termos de cobertura material, pois contém uma coleção equilibrada de textos de diferentes tipos, gêneros e estilos, incluindo textos de países russos no exterior. A distribuição dos textos no subcorpus da língua russa moderna (desde 1950) por estilos funcionais é mostrada na Tabela 1. Os textos de não ficção pertencem a mais de 50 áreas temáticas (economia e finanças, direito, viagens, etc.), e sua tipologia vai desde leis e artigos científicos até entrevistas, instruções e anúncios (mais de 100 tipos no total). Os textos literários incluem romances, novelas, contos, ensaios, peças de teatro, contos de fadas, ensaios, cartas literárias, etc. Ficção 36% Jornalismo 42% Outras não-ficções 17% Literatura oral 5% Tabela 1. Estilos funcionais do subcorpus da língua russa moderna O grande tamanho e o equilíbrio estilístico do corpus são um pré-requisito para o fato de que fornecerá estatísticas confiáveis resultados para as palavras mais frequentes: assim, a composição dos primeiros 20.000 elementos não mudará significativamente se, mantendo a proporção, substituirmos esses textos por outros ou compararmos diversas subamostras do corpus. Isso é demonstrado pela experiência de compilação de dicionários de frequência de outros 100 milhões 345 053-Ljashevskaja-SharovSA:_Layout 1 13/05/2008 22:07 Page 346 Lyashevskaya O.N., Sharov S.A. corpora nacionais como britânico, checo (Leech et al. 2001, Čermák & Křen 2004) e espanhol (Davies 2005). Naturalmente, o dicionário de frequências do NKR em muitos aspectos, tanto em questões tecnológicas quanto em conteúdo, é guiado por essas amostras. 2. Tamanho do corpus e confiabilidade da amostragem Os dicionários de frequência existentes para a língua russa foram construídos em corpora relativamente pequenos: os computadores da primeira geração não podiam funcionar com corpora maiores. Curiosamente, as recomendações teóricas desenvolvidas na década de 1970 (Piotrovsky et al. 1972) também provaram que para uma descrição fiável das 1600-1700 palavras mais frequentes, é suficiente utilizar um corpus de 400 mil usos de palavras. Este argumento baseou-se no conceito de intervalo de confiança, amplamente utilizado em estatística e sociologia: se conhecermos o tamanho da amostra e a probabilidade experimental de um evento nesta amostra (ou seja, a frequência de uma palavra em nosso corpus), então podemos calcular o intervalo de confiança da probabilidade deste evento em toda a população (ou seja, a frequência de uso da mesma palavra em todo o espaço linguístico). A Tabela 2 fornece exemplos de frequências de palavras individuais nos dicionários de Lenngren, Zasorina e Steinfeld em comparação com as frequências do NKRY e do corpus de 150 milhões de pessoas da língua russa coletado da Internet (para este último, consulte Sharoff 2006 ). Apesar de as palavras pensar, tarefa, amar certamente pertencerem ao núcleo da linguagem (estão entre os 200-500 lemas mais frequentes), em pequenos corpora até a sua frequência varia significativamente. A frequência de palavras relativamente menos frequentes (poluição, estudo, querido) varia ainda mais amplamente. Embora a composição do corpus da Internet seja bastante diferente do NCR (com maior número de textos e fóruns técnicos e menos ficção), as diferenças na frequência dessas unidades entre eles não são tão grandes. Lema Lenngren Zasorina Steinf. NKRY Internet power 202 364 138 422 428 pense 609 1094 1058 865 818 poluição 69 1 0 9 11 tarefa 499 421 250 228 292 estudo 193 110 0 63 78 amor 415 632 595 549 650 fofo 58 242 135 129 110 Tabela 2. Comparação de frequências de palavras individuais (média por milhão de usos de palavras). Como podemos ver, as recomendações teóricas relativas a um tamanho de caso suficiente neste caso não são muito confiáveis. A razão para isso reside nas suposições iniciais de uma distribuição gaussiana normal de frequência de palavras, segundo a qual cada palavra ocorre com a mesma frequência em todos os textos. Se uma palavra aparece uma vez no texto, então, com uma distribuição normal, isso não afeta a probabilidade de seu uso lá uma segunda vez. Mas na realidade este não é o caso. Cada texto tem seu próprio tema, cujas palavras neste texto serão usadas com muito mais frequência do que a média. Num texto sobre hobbits, a palavra hobbit será usada com a mesma frequência que muitas palavras funcionais, o que aumentará significativamente a sua frequência num corpus que incluirá pelo menos um desses textos1. Com isso, a lista de frequências construída a partir do corpus reflete as especificidades dos textos que nele foram incluídos durante sua compilação. A Tabela 2 mostra a imperfeição dos dicionários de frequência construídos em corpora relativamente pequenos, mas o simples aumento do tamanho do corpus também não garante a estabilidade dos resultados. Ao interpretar listas de dicionários de frequências, deve-se lembrar que qualquer corpus, por maior que seja, é um subconjunto finito de um conjunto potencialmente infinito de textos em um determinado idioma. Qualquer outra amostra deste subconjunto gerará uma lista ligeiramente diferente, que diferirá em seus elementos de frequência mais baixa. Um corpus maior, refletindo mais temas e estilos funcionais (cor- 1 Kenneth Church chamou essa situação de problema de Noriega (Church 2000), Adam Kilgarriff - problema do búzio, de uma palavra inglesa relativamente rara para um tipo de molusco (Kilgarriff 1997). 346.053- Ljashevskaja-SharovSA:_Layout 1 13/05/2008 22:07 Página 347 Dicionário de Frequência do Corpus Nacional da Língua Russa (pus tipo BNC ou NKRYA), oferece boa confiabilidade para a maioria dos elementos de frequência. No entanto, um novo aumento no volume de textos em detrimento da sua diversidade (ver, por exemplo, os projectos para criar Giga-corpus de inglês e chinês contendo mais de mil milhões de palavras de textos noticiosos, Cieri & Liberman 2002) poderá levam a uma menor fiabilidade da lista de frequências nesses corpora devido a uma mudança no seu vocabulário para o vocabulário noticioso. Como a tarefa de um dicionário de frequência não é simplesmente classificar as palavras pela sua frequência em um corpus específico, mas também determinar o núcleo lexical de uma língua, é necessário separar as palavras que aparecem frequentemente em muitos textos daquelas cujo comportamento lexical é semelhante a Noriega ou Hobbit, e que acidentalmente acabou em uma ou outra posição na lista de frequências. Assim, o Corpus Nacional Checo utiliza o conceito de Frequência Média Reduzida (ARF), em que a frequência de uma palavra é ponderada pela distância entre ocorrências de palavras individuais (Čermak & Křen 2005). Muitos dicionários de frequência (Lenngren, British National Corpus, French Business Dictionary) usam o coeficiente D introduzido por A. Juilland (Juilland et al. 1970), que leva em consideração tanto o número de documentos em que a palavra ocorre quanto sua frequência relativa. nestes documentos: onde µ é a frequência média de uma palavra em todo o corpus, σ é o desvio padrão desta frequência em documentos individuais, n é o número de documentos em que esta palavra ocorre. O valor D para palavras que aparecem na maioria dos documentos é próximo de 100, e para palavras que aparecem com frequência em apenas um pequeno número de documentos, é próximo de 0. A lista de frequência do dicionário de Lenngren é até ordenada pelo valor do produto deste coeficiente e a frequência média da palavra. Devido ao fato de o estatuto teórico deste trabalho não ser claro, não consideramos apropriado classificar nosso dicionário por ele. No entanto, a sua indicação para cada palavra permite avaliar a sua especificidade para cada área temática. Por exemplo, as palavras assustador, específico e cru têm frequência aproximadamente igual (21 ocorrências por milhão de palavras), mas o coeficiente D para específico é 66, cru é 18 e assustador é 78, o que significa que a última palavra é significativa para mais áreas temáticas e (em igualdade de condições) tem grandes chances de encontrar um lugar em um dicionário não especializado. 3. Estrutura do dicionário O conceito de dicionário envolve a publicação de uma versão “em papel” acompanhada de uma versão electrónica, representando o dicionário de frequências num volume mais completo. A parte do vocabulário contém as seguintes seções: I. Vocabulário geral ● lista alfabética de lemas ● lista de frequência de lemas ● distribuição de lemas por estilos funcionais: dicionário de frequência de ficção, dicionário de vocabulário significativo de ficção, dicionário de frequência de jornalismo, dicionário de vocabulário significativo de jornais e notícias, dicionário de frequência de outras não-ficções literatura, dicionário de vocabulário significativo, dicionário de frequência da fala oral ao vivo, dicionário de vocabulário significativo da fala oral ao vivo ● lista alfabética de formas de palavras II. Classes gramaticais ● lista de frequência de substantivos ● lista de frequência de verbos ● lista de frequência de adjetivos ● lista de frequência de advérbios e predicados ● lista de frequência de pronomes (pronomes nominais, adjetivos, advérbios, predicados) ● lista de frequência de lemas de classes gramaticais auxiliares III. Mesas auxiliares 347 053-Ljashevskaja-SharovSA:_Layout 1 13/05/2008 22:07 Página 348 Lyashevskaya O.N., Sharov S.A. ● dados sobre a frequência das classes de subfala e outras informações estatísticas IV. Nomes próprios e abreviaturas ● lista alfabética de lemas A lista alfabética de lemas fornece o nome do lema, parte do discurso, a frequência geral do lema, o número de documentos em que ocorreu e o coeficiente de variação D. O total frequência caracteriza o número de ocorrências por milhão de palavras do corpus, ou ipm (instâncias por milhão de palavras). Isso é feito para facilitar a comparação de frequências de palavras em diferentes corpora, que podem variar bastante em tamanho. Por exemplo, se a palavra poder ocorre 55 vezes em um corpus de 400 mil palavras, 364 vezes em um corpus de um milhão de palavras e 40.598 vezes em um corpus de 100 milhões de palavras da língua russa moderna e 55.673 vezes em um corpus grande de 135 milhões de palavras de NKRY, então sua frequência em ipm será 137,5, 364,0, 372,06 e 412,39, respectivamente. A lista alfabética da publicação eletrônica inclui 60.000 dos lemas mais frequentes. A lista de lemas, ordenada por frequência, mostra o nome do lema, classe gramatical, frequência geral do lema, número de documentos, fator D e distribuição de frequência por década. A lista de frequências inclui os 20.000 lemas mais frequentes. Dicionários de frequência de estilos funcionais são compilados com base em subcorpora de ficção, jornalismo, outras literaturas de não-ficção e discurso oral. A lista inclui os 5.000 lemas mais frequentes desses subcorpora. Uma lista dos lemas mais típicos para cada tipo de texto foi identificada a partir da comparação da frequência dos lemas nesses textos e no restante do corpus. Como métrica de comparação, foi utilizado o critério da razão de verossimilhança (log-verossimilhança), calculado com base na seguinte matriz: Subcorpus Outros textos Corpus inteiro Frequência a b a+b Tamanho c d c+d Com base nesta matriz, o valor da razão de verossimilhança G2 pode ser calculado usando a seguinte fórmula (Rayson & Garside 2000): Dicionários de vocabulário significativo para diferentes estilos funcionais incluem 500 lemas. A lista alfabética de formas de palavras inclui todas as formas de palavras do corpus com frequência superior a 0,1 ipm (cerca de 15 mil no total); A frequência geral da forma da palavra é fornecida. As formas de palavras homônimas são marcadas com *. Na seção “Partes do discurso”, a lista de frequência dos lemas é dividida em seis sublistas: substantivos, verbos, adjetivos, advérbios e predicados, pronomes e classes gramaticais auxiliares. Para cada lema, são indicadas sua frequência geral e classificação (número ordinal) na lista geral. Cada lista contém 1 mil dos lemas mais frequentes. As tabelas auxiliares incluem dados sobre a frequência das classes parcialmente verbais e outras categorias gramaticais, bem como informações sobre a cobertura do texto por lexemas, o comprimento médio de uma palavra, a forma da palavra e a frase. O dicionário termina com uma lista alfabética de nomes próprios e abreviações. Os nomes próprios são separados da parte principal do dicionário, pois formam um grupo muito menos estável estatisticamente, e sua frequência depende em grande parte da escolha dos textos do corpus e de seu cronotopo. Lenngren 1993 expressou a opinião de que a inclusão de nomes próprios no dicionário de frequências de forma geral leva inevitavelmente à sua obsolescência prematura. Para obter uma lista de nomes próprios e abreviaturas a partir da concordância do corpus, identificamos substantivos e abreviaturas cuja capitalização nos textos excedeu o limite de 95 por cento, cf. Rússia, Smirnov, Usina Distrital Estadual, Ministério das Relações Exteriores, Código do Trabalho.2 O dicionário inclui a parte nuclear desta lista, totalizando 3.000 das unidades mais frequentes. Seguindo a tradição que se desenvolveu para publicações deste tipo, nas páginas do dicionário é apresentada a seção “Fatos interessantes”: listas das palavras mais populares de vários grupos lexicais (dias da semana, fenômenos climáticos, cores, verbos de movimento, etc.), bem como as formas de palavras mais longas e uma lista de frequência de sinais de pontuação. 2 Notamos especialmente que adjetivos como Khristov, Petin, Kostromskaya/Kostromskaya pertencem ao vocabulário geral. 348 053-Ljashevskaja-SharovSA:_Layout 1 13/05/2008 22:07 Página 349 Dicionário de frequência do Corpus Nacional da Língua Russa 6429 terno 2288 capa 4890 botas 2179 saia 3696 casaco 1904 sobretudo 3696 camisa 1894 roupa * 3410 jaqueta 1 822 calçado 3396 chapéu 1668 camisa 3126 botas 1633 calças de ganga 3041 cachecol 1585 luva 2962 casaco 1522 casaco de pele 2955 calças 1356 uniforme 2840 calças 1251 boné 2686 chapéu 1235 camisola 2617 boina 1134 botas de feltro Tabela 3. Lista de frequência das designações de vestuário e calçado. A título de exemplo, na Tabela 3 apresentamos as frequências dos substantivos que denotam roupas e sapatos. Como seria de esperar, a lista reflete, por um lado, a “tipicidade” dos elementos do guarda-roupa (as botas de feltro ocupam apenas o 26º lugar na lista) e, por outro lado, o seu “significado” na descrição da aparência de uma pessoa nos textos. (um terno é um item separado mais perceptivo do que botas). 4. Preparação do material do dicionário As listas básicas do dicionário de frequências foram obtidas automaticamente, por meio de marcação metatextual e léxico-gramatical do corpus. Com base nas informações do metatexto, listas de frequências foram construídas e comparadas entre si em amostras separadas do corpus (por estilos funcionais, por momento de criação do texto). Outro tipo de marcação, léxico-gramatical, permite estabelecer a forma original de uma palavra (lema), sua classe gramatical e características gramaticais como caso, número, tempo verbal, etc.3 Isso possibilitou a coleta de dados sobre a frequência não apenas de formas de palavras individuais, mas também de lexemas, bem como o uso de certas categorias gramaticais. Na criação deste dicionário, utilizamos uma variante da marcação léxico-gramatical do corpus com resolução automática de homonímia morfológica. O russo, como uma língua com inflexão rica, cria dificuldades adicionais para compiladores de dicionários de frequência, uma vez que muitas formas de palavras em textos são homônimas (cf. a forma de palavra aço como uma forma do verbo tornar-se e o substantivo stal, a forma de palavra banco, representando os lemas banco e banco, palavras como fé e Fé). No entanto, em um dicionário de frequência, a forma original de uma palavra, ou lema, deve ser atribuída a qualquer forma de palavra de forma inequívoca. Nos dicionários da geração anterior (Zasorina 1977, Lenngren 1993), a homonímia era resolvida manualmente, pois o volume do corpus processado era insignificante. Obviamente, esta solução não é adequada para um gabinete de 100 milhões de unidades. Na elaboração deste dicionário foi levada em consideração a experiência dos colegas tchecos, que tiveram que modificar o analisador morfológico, ampliar o dicionário e realizar a edição manual. Inicialmente, o corpus NCRY foi marcado com o analisador morfológico Mystem (Segalovich, Maslov 1998). A ambigüidade nas marcações lexicais e gramaticais foi resolvida usando o programa AV. Sokirko, usando o modelo trigrama e um subcorpus de treinamento com homonímia removida manualmente (Sokirko, Toldova 2005). Palavras não pertencentes ao dicionário também representam um problema significativo para a lematização (Lyashevskaya et al. 2007). Se uma palavra não estiver no dicionário gramatical do analisador morfológico, então uma ou mais hipóteses sobre a forma original da palavra e suas características gramaticais são atribuídas a ela. Como resultado, em frequência - 3 Princípios de lematização e a composição de classes gramaticais são determinados pelo padrão morfológico do corpus (NCRY 2005), que em geral corresponde aos princípios do Dicionário Gramática da Língua Russa (Zaliznyak 1977 ). Algumas características da lematização estão relacionadas ao fato de que a coleta de dados ocorre principalmente de forma automática. Observe que apenas a marcação palavra por palavra é levada em consideração: frases fixas, preposições compostas e outras unidades lexicais não-palavras (cf. Ano Novo, durante, no entanto, umas às outras) não estão incluídas no dicionário. 349 053-Ljashevskaja-SharovSA:_Layout 1 13/05/2008 22:07 Página 350 Lyashevskaya O.N., Sharov S.A. O dicionário inclui “lemas” como grato (cf. a forma da palavra gratidão), Jansny (cf. Jansen), Barclay (cf. Barclay). Enquanto isso, a participação de formas de palavras não pertencentes ao dicionário no NCRL é de 3% de todos os usos de palavras e 45% da lista de formas de palavras do corpus. Para formas de palavras não pertencentes ao dicionário de frequência, foram utilizados programas de pós-processamento para marcação morfológica de NKRYA, compilados por B.P. Kobritsov e G.K. Bronnikov, bem como os resultados da validação do trabalho destes programas obtidos por O.N. Lyashevskaya e D.K. Bronnikova (Lyashevskaya 2007, Bronnikova 2007). Duas abordagens para lematização de palavras não-dicionárias revelaram-se as mais eficazes: agrupamento de hipóteses sobre o lema e o tipo de paradigma (a análise mais provável para uma forma de palavra é considerada aquela que também é encontrada em outras palavras não-dicionárias). formas de palavras de dicionário, portanto, as formas de palavras “procuram” vizinhos no paradigma flexional) e destacando os consoles mais produtivos. Como a resolução automática de homonímia e a interpretação de formas não-dicionário permitem um certo erro, embora insignificante, os homônimos incluídos nas primeiras 20 mil palavras de frequência foram submetidos a verificação manual adicional. *** Os autores expressam sua gratidão a V.A. Plungeanu, A.Ya. Shaikevich, bem como E.A. Grishina, B.P. Kobritsova, E.V. Rakhilina, D.V. Sichinava e outros participantes do seminário NCRY que participaram da discussão dos princípios de criação do dicionário. Agradecemos a O. Uryupina, D. e G. Bronnikovs, B. Kobritsov, funcionários da Yandex LLC A. Abroskin, N. Grigoriev, A. Sokirko por sua assistência na coleta e processamento do material. Referências 1. Bronnikova D.K. Comparação de algoritmos de lematização baseados no material do Corpus Nacional da Língua Russa. Trabalho de graduação . M.: Universidade Estatal Russa de Humanidades, 2007. 2. Belyakova I.Yu., Olovyannikova I.P., Revzina O.G. (comp.). Dicionário de linguagem poética de Marina Tsvetaeva. Em 4 volumes. M: Casa-Museu de Marina Tsvetaeva, 1996. 3. Vinogradov V.V. (editor responsável). Dicionário da língua de Pushkin. T. I – IV. M., 1956-1961. 4. Zaliznyak A.A. Dicionário gramatical da língua russa: Inflexão. Moscou, 1977; 4ª ed.: M.: Dicionários Russos, 2003. 5. Zasorina L.N. (ed.). Dicionário de frequência da língua russa. Moscou: língua russa, 1977. 6. Lönngren L. (ed.). Dicionário de frequência da língua russa moderna. Uppsala, 1993. 7. Lyashevskaya O. N. Sobre o problema da lematização de palavras não pertencentes ao dicionário // Lingüística computacional e tecnologias inteligentes: Anais da conferência internacional “Diálogo 2007”. M, 2007. 8. Lyashevskaya O.N., Kobritsov B.P., Sichinava D.V. Automação da construção de um dicionário baseado em uma série de formas de palavras não-dicionário // Internet Mathematics 2007. Ekaterinburg, 2007. 9. NKRY: Corpus Nacional da Língua Russa 2003-2005: Resultados e Perspectivas. M.: Indrik, 2005. 10. Piotrovsky R.G., Bektaev K.B., Piotrovskaya A.A.. Lingüística matemática. M.: Escola Superior, 1972. 11. Polyakov A.E. Dicionário eletrônico da linguagem do escritor (usando o exemplo da linguagem de A.S. Griboyedov) // Anais do Seminário Internacional Diálogo-99 sobre linguística computacional e suas aplicações. Tarusa, 1999. M., 1999. T. 2. S. 230-236. 12. Segalovich I., Maslov M.. Análise e síntese morfológica russa com a geração de modelos de flexão para palavras não descritas no dicionário // Anais do seminário internacional Diálogo’98 sobre linguística computacional e suas aplicações. Kazan, 1998. T.2. pp. 547–552. 13. Sokirko A.V., Toldova S.Yu. Comparação da eficácia de dois métodos para remover ambiguidades lexicais e morfológicas da língua russa // Conferência Internacional “Corpus Linguistics 2004”. S.-Pb., 2004. 14. Stepanova E.M. Dicionário de frequência do vocabulário científico geral. M., 1976. 15. Shaikevich A.Ya., Andryushchenko V.M., Rebetskaya N.A. Dicionário estatístico da linguagem de Dostoiévski. M.: Línguas da Cultura Eslava, 2003. 16. Steinfeld E.A. Dicionário de frequência da língua literária russa moderna. Tallinn, 1963. 17. Čermák F., Křen M. (eds.). Frekvenční slovník češtiny (dicionário de frequência de tcheco). Praga: NLN, 2004. 18. Čermák F., Křen M. Dicionários de frequência baseados em corpus de nova geração: O caso do tcheco // International Journal of Corpus Linguistics, 10, 2005. P. 453-467. 19. Igreja K.W. Estimativas empíricas de adaptação: a chance de dois Noriegas está mais próxima de p/2 do que p2 // Anais da 18ª Conferência de Lingüística Computacional (COLING). Saarbrücken, Alemanha, 2000. Vol. 1. S. 180-186. 20. Cieri Ch., Liberman M. Criação e distribuição de recursos linguísticos no Linguistic Data Consortium // Proceedings of LREC 02. Las Palmas, Espanha, 2002. pp. 350 053-Ljashevskaja-SharovSA:_Layout 1 13/05/2008 22:07 Página 351 Dicionário de Frequência do Corpus Nacional da Língua Russa 21. Davies M. Um Dicionário de Frequência de Espanhol: Vocabulário Básico para Alunos. Londres – NY: Routledge, 2005. 22. Josselson H.H. A contagem de palavras em russo e a análise de frequência das categorias gramaticais do russo literário padrão. Detroit: Wayne University Press, 1953. 23. Juilland A., Brodin D., Davidovitch C. Dicionário de frequência de palavras francesas. Haia-Paris: Mouton, 1970. 24. Kilgarriff A. Colocando frequências no dicionário // International Journal of Lexicography, 10 (2), 1997. P. 135-155. 25. Leech G., Rayson P., Wilson A. Frequências de palavras em inglês escrito e falado: baseado no British National Corpus. Londres: Longman, 2001. 26. Rayson P., Garside R. Comparando corpora usando perfil de frequência // Proceedings of the Comparing Corpora Workshop at ACL 2000. Hong Kong, 2000. P. 1-6. 27. Sharoff S. Criação de corpora de uso geral usando consultas automatizadas em mecanismos de pesquisa // Baroni M., Bernardini S. (eds.), WaCky! Documentos de trabalho na Web como Corpus. Bolonha: Gedit, 2006. http://wackybook.sslmit.unibo.it. 351