Morfologia e árvores de dependências

O método analyzeSyntax devolve detalhes sobre a estrutura linguística do texto indicado. Para cada token no texto, a API Natural Language fornece informações sobre a respetiva estrutura interna (morfologia) e a respetiva função na frase (sintaxe).

A morfologia é o estudo da estrutura interna das palavras. A morfologia centra-se na forma como os componentes de uma palavra (radicais, palavras-raiz, prefixos, sufixos, etc.) são organizados ou modificados para criar significados diferentes. Por exemplo, o inglês adiciona frequentemente "-s" ou "-es" ao final dos substantivos contáveis para indicar pluralidade e "-d" ou "-ed" a um verbo para indicar o pretérito. O sufixo "-mente" é adicionado aos adjetivos para criar advérbios (por exemplo, "feliz" [adjetivo] e "felizmente" [advérbio]).

A API Natural Language usa a análise morfológica para inferir informações gramaticais sobre as palavras.

A morfologia varia muito entre os idiomas. Em idiomas como o russo, as terminações das palavras indicam a função de uma palavra numa frase (por exemplo, "книга" [livro – caso nominativo] torna-se "книгу" [caso acusativo] quando é o objeto direto de um verbo). Isto significa que a ordem das palavras pode variar sem alterar o significado da frase, embora uma ordem das palavras diferente afete a adequação contextual. Os idiomas como o inglês e o mandarim, que não têm afixos que indicam a forma gramatical, dependem mais da ordem das palavras numa frase para indicar as funções respetivas das palavras. Como resultado, a análise morfológica depende muito do idioma de origem e da compreensão do que é suportado nesse idioma.

A sintaxe é o estudo da estrutura das frases. A sintaxe e a morfologia funcionam em conjunto para indicar relações gramaticais, com diferentes idiomas a dividir o trabalho entre si de forma diferente. Por exemplo, o russo usa um afixo para indicar a função de objeto direto ("у" em "книгу"), enquanto o inglês usa a ordem das palavras, em que o objeto direto segue o verbo (read the book).

A resposta analyzeSyntax devolve informações morfológicas no campo partOfSpeech e a relação sintática entre palavras no campo dependencyTree.

Classes gramaticais

Num pedido sintático, as informações morfológicas e de classe gramatical são devolvidas no campo partOfSpeech da resposta. O campo partOfSpeech contém um conjunto de subcampos com informações de classe gramatical (POS), bem como informações morfológicas mais explícitas. Estes subcampos estão listados abaixo.

• tag denota a parte do discurso através de uma etiqueta POS de grão grosso (SUBSTANTIVO, VERBO, etc.) e fornece informações de sintaxe de superfície de nível superior. As etiquetas de POS são úteis se quiser criar padrões e/ou reduzir a ambiguidade para a análise de linguagem subsequente (por exemplo, "train" etiquetado como um SUBSTANTIVO em vez de um VERBO).

• number denota o número gramatical de uma palavra. Em inglês, o sufixo "-s" é adicionado a substantivos contáveis para indicar mais do que um (por exemplo, "dog+s" indica mais do que um cão). A ausência do sufixo plural é frequentemente referida como a forma singular. Alguns idiomas, como o árabe, também têm a noção de um número dual. Este campo pode conter os seguintes valores:

  • SINGULAR denota uma quantidade.
  • PLURAL denota mais do que uma quantidade.
  • DUAL denota precisamente duas quantidades.

• person identifica a pessoa gramatical de uma palavra. Em inglês, "I/me" é a primeira pessoa do singular e refere-se à pessoa que fala (ou escreve) a expressão, enquanto "you" e "she/her and he/him" referem-se ao destinatário pretendido (ouvinte) e a outra pessoa, respetivamente. Este campo pode conter os seguintes valores:

  • A pessoa FIRST indica o orador.
  • SECOND pessoa denota o destinatário pretendido, ou seja, a pessoa com quem se está a falar.
  • THIRD pessoa denota uma pessoa que não está a falar nem a ouvir.
  • REFLEXIVE_PERSON indica, por exemplo, que o sujeito e o objeto fazem referência à mesma entidade, como em "O gato lambeu-se", em que -se se junta a um pronome para indicar reflexividade. Em russo e japonês, o reflexivo é um pronome autónomo. (por exemplo, "John loves himself" [O João ama-se a si próprio] em russo é "Джон любит себя", em que себя é "si próprio" neutro em termos de género; em japonês, é "Tarō wa zibun o aisuru" [O Tarō ama-se a si próprio] (versão romanizada), em que "zibun" é "si próprio" neutro em termos de género. Consulte o pronome reflexo.

• gender denota o género gramatical de um substantivo. Este campo pode conter os seguintes valores:

  • O FEMININE género gramatical
  • O MASCULINE género gramatical
  • O NEUTER género gramatical

• case denota o caso gramatical de uma palavra e a respetiva função numa expressão ou frase. Este campo pode conter os seguintes valores:

  • O ACCUSATIVE caso indica o objeto direto de um verbo transitivo.
  • O ADVERBIAL caso indica uma forma adverbial de um adjetivo. Tenha em atenção que o inglês usa advérbios ("well") e adjetivos ("good") separados. O sufixo -mente em português deriva advérbios de adjetivos (por exemplo, "feliz", "felizmente"), embora não seja considerado um "caso".
  • A letra COMPLEMENTIVE (chinês) indica uma palavra necessária para completar o significado de uma expressão potencial, descritiva ou resultante através de uma partícula conjuntiva.
  • O caso DATIVE indica um objeto indireto, que se refere ao referente que recebe o objeto direto. Em inglês, o objeto indireto é frequentemente indicado pela preposição "to", como na expressão "He gave the ball to Bobby", em que "Bobby" é o objeto indireto e o destinatário da bola. Por outro lado, neste exemplo em russo: Иван дал книгу маше (Ivan deu o livro à Masha), “-e” indica que “маше” é o objeto indireto e que Masha é o destinatário do livro.
  • A GENITIVE caixa indica a posse. Tenha em atenção que o inglês indica frequentemente posse através do sufixo "-'s" em vez de usar um caso genitivo. O afixo "-s" pode pode ser anexado ao final de uma expressão (por exemplo, "[The man who ran the bill up]’s wife paid a dear price for his excess."). No entanto, neste exemplo russo, "-а" marca "Антон-" como genitivo: "Где книга Антона?" (Onde está o livro de Anton?). Em russo, o caso genitivo também aparece como o complemento de palavras como "vários" e "poucos". Por exemplo: Зимой здесь мало снега ("No inverno, há pouca neve aqui"). "-a" marca "снег-" (neve) como genitivo, uma vez que é o complemento de "мало" ("pouca"). Não existe posse envolvida.
  • A caixa INSTRUMENTAL indica se um substantivo é o instrumento através do qual uma ação é concluída. Em russo, a frase em inglês "He opened the door with a key" (Ele abriu a porta com uma chave) seria: "он открыл дверь ключом", em que "-om" se junta a "ключ" (chave), indicando o caso instrumental.
  • A indicação LOCATIVE indica a utilização de uma palavra para se referir a uma localização. Inglês, não tem um caso locativo.
  • O NOMINATIVE caso está associado ao sujeito de um verbo. Em inglês, o sujeito de uma frase é indicado através da ordem das palavras e não das maiúsculas/minúsculas. Na frase "A rapariga ganhou a corrida", a expressão "a rapariga" é o sujeito, que aparece à esquerda do verbo "ganhou". Em russo, девушка (a rapariga) pode aparecer antes ou depois do verbo: "девушка выиграла гонку" ou "гонку выиграла девушка", onde o verbo é выиграла (ganhou).
  • A indicação OBLIQUE indica a utilização de uma palavra como objeto de um verbo ou uma preposição.
  • A indicação PARTITIVE case indica a "parcialidade" de uma palavra ou a falta de uma identidade específica. Um exemplo de um partitivo em inglês seria "three of my friends" (três dos meus amigos). Em russo, seria "трое моих друзей", em que "трое" significa "três de" (compare com "три друга", em que "три" significa "três").
  • O PREPOSITIONAL caso indica o objeto de uma preposição.
  • O REFLEXIVE_CASE indica a identidade de um objeto de um verbo ao respetivo sujeito. A maioria dos idiomas não usa um caso reflexivo, uma vez que esta utilização é indicada através da utilização de pronomes reflexivos especiais (como "ele próprio", "eu próprio", etc.)
  • O RELATIVE_CASE (chinês) indica o complementador de uma cláusula relativa que liga um substantivo a um verbo ou um adjetivo. Exemplos: 工作 [的] 地方 (work [] place :: "place [where I] work"). 便宜 的 餐馆 (inexpensive [] restaurants :: restaurants [that are] inexpensive).
  • O VOCATIVE caso indica um substantivo usado para se dirigir a alguém ou algo, normalmente quando se fala com essa pessoa ou coisa.

• tense denota o tempo gramatical de um verbo, que indica a referência do verbo a uma posição no tempo. Tenha em atenção que tense é distinto de aspect, que também aborda a relação de um verbo com o tempo, mas foca-se nas caraterísticas desse fluxo de tempo, em vez da respetiva posição. Os tempos IMPERFECT e PLUPERFECT em muitos idiomas referem-se com maior precisão a combinações específicas de tempo e aspeto. Este campo pode conter os seguintes valores:

  • CONDITIONAL_TENSE é um termo alternativo para o termo morfológico mais prevalente de "modo condicional". (Veja CONDITIONAL_MOOD abaixo.)
  • FUTURE denota uma ação que vai ocorrer no futuro. Tenha em atenção que, em inglês, o tempo futuro é mais frequentemente indicado adicionando a palavra "will" a uma expressão verbal.
  • PAST denota uma ação realizada no passado.
  • PRESENT denota uma ação que está a ocorrer no presente.
  • IMPERFECT denota uma ação que ocorreu no passado, mas que não foi concluída no quadro de referência desse tempo. Tenha em atenção que, em inglês, o pretérito imperfeito é mais frequentemente indicado adicionando uma forma gerundiva de um verbo ao pretérito perfeito, como em "I was walking" (Eu estava a caminhar). Um evento no pretérito imperfeito ocorre no passado, mas não está concluído relativamente a esse tempo verbal.
  • PLUPERFECT denota uma ação que ocorreu no passado e que também foi concluída no quadro de referência desse tempo. Por exemplo, "Eu tinha caminhado" ocorre no passado, mas também estava concluído no quadro de referência do pretérito perfeito.

• aspect denota o aspeto gramatical de um verbo, a sua expressão do fluxo de tempo. Ao contrário de tense, que se foca na posição de um verbo no tempo, aspect foca-se nas caraterísticas desse fluxo de tempo em que ocorre. Este campo pode conter os seguintes valores:

  • O aspeto PERFECTIVE denota um evento "concluído" porque já ocorreu totalmente no passado ou vai ocorrer totalmente no futuro.
  • O aspeto IMPERFECTIVE denota um evento incompleto, quer porque é contínuo, quer porque se repete.
  • O aspeto PROGRESSIVE indica um evento contínuo. Um aspeto progressivo é geralmente tratado como um caso especial do aspeto imperfeito mais geral (que também abrange a repetição).

• mood denota o modo gramatical de um verbo, que indica a atitude em relação a uma ação subjacente. Este campo pode conter os seguintes valores:

  • CONDITIONAL_MOOD indica uma ação que está sujeita a condições. Tenha em atenção que, em inglês, as formas verbais não são condicionais. Em alternativa, o comportamento condicional é indicado através da utilização da palavra "would" combinada com o infinitivo do verbo.
  • IMPERATIVE indica um comando ou um pedido através da segunda pessoa.
  • INDICATIVE indica uma declaração de factos, mais geralmente conhecida como "modo realis".
  • INTERROGATIVE indica uma pergunta.
  • JUSSIVE indica um comando ou um pedido através da primeira ou terceira pessoa. O inglês não tem um modo jussivo, embora as exortações que começam com um "Vamos" real ou implícito transmitam este modo jussivo.
  • SUBJUNCTIVE indica uma qualidade de incerteza relacionada com uma ação, também conhecida como um modo "irrealis" (em contraste com o modo indicativo "realis"). O inglês não tem um modo subjuntivo específico. Em vez disso, palavras como "want" (querer), "wish" (desejar), "hope" (esperar), etc., transmitem o significado do modo subjuntivo.

• voice denota a voz gramatical de um verbo, a relação entre uma ação e um sujeito e/ou um objeto. Este campo pode conter os seguintes valores:

  • A voz ACTIVE indica uma ação cujo sujeito está a realizar a ação.
  • A voz CAUSATIVE indica uma ação cujo efeito está a ser realizado no sujeito. Em inglês, não existe uma voz causativa direta. Em alternativa, essa causalidade é indicada através da utilização do verbo "make", como em "Mom made me go to school" (A minha mãe fez-me ir à escola).
  • A voz PASSIVE indica uma ação cujo efeito está a ser realizado no sujeito. Em muitos casos, um "agente" passivo não é mencionado ou é desconhecido.

• reciprocity denota a reciprocidade de uma palavra (normalmente, um pronome), indicando que o pronome se refere a um sintagma nominal noutro local da frase. Este campo pode conter os seguintes valores:

  • RECIPROCAL indica que o pronome é recíproco.
  • NON_RECIPROCAL indica que o pronome não é recíproco.

• proper indica se um substantivo faz parte de um nome próprio. Tenha em atenção que muitos nomes próprios são compostos por várias palavras. Se esta expressão for detetada como um nome próprio, cada token também é detetado como próprio. (Por exemplo, "Wrigley" e "Field" no nome próprio "Wrigley Field" têm o atributo próprio definido como PROPER. Este campo pode conter os seguintes valores:

  • PROPER indica que o token faz parte de um nome próprio.
  • NOT_PROPER indica que o token não faz parte de um nome próprio.

• form denota formas morfológicas adicionais que não se enquadram perfeitamente no conjunto anterior de formas comuns (tense,mood,person, etc.) A maioria destas formas é específica de idiomas únicos. Este campo pode conter os seguintes valores:

  • ADNOMIAL (coreano/japonês) indica um sufixo (coreano) ou um verbo (japonês) que modifica uma expressão nominal. Exemplos: 밥을 먹는 사람 [alguém que come arroz] e 書く人 [alguém que escreve].
  • AUXILIARY (coreano) indica um sufixo que liga dois predicados principais e auxiliares adjacentes: 밥을 먹게 하다 [make (someone) to eat]
  • COMPLEMENTIZER (coreano) indica um final de palavra que liga duas ou mais cláusulas diferentes: 밥을 먹고 물을 마신다 [ (I) eat rice and drink water]
  • FINAL_ENDING (coreano/japonês) indica um final de palavra que finaliza a cláusula ou a frase que aparece no final da cláusula ou da frase. Exemplos: 밥을 먹는다 [(Eu) como arroz] e 手紙を書く [escrever uma carta].
  • GERUND (coreano/japonês) indica um final de palavra que nominaliza verbos ou adjetivos: (coreano) 밥 먹기 [comer arroz] ou liga verbos a vários verbos auxiliares: (japonês) 書きたい [querer escrever]
  • REALIS (japonês) indica formas condicionais e subjuntivas com uma partícula conjuntiva "ば": 書けば [se (eu) escrever].
  • IRREALIS (japonês) indica a ligação de verbos com verbos auxiliares negativos, passivos ou causais: 書かない [do not write], 書かれる [to be written], 書かせる [make (someone) write].
  • ORDER (japonês) indica um verbo de comando, semelhante ao imperativo: 書け! [write!]
  • SPECIFIC (japonês) indica formulários especiais que não podem ser abrangidos pelas seis categorias acima. A utilização mais comum desta forma é uma derivação de um substantivo de um adjetivo através da adição de um sufixo à forma: かわいさ [cuteness]
  • SHORT (russo) indica um adjetivo ou um particípio de forma abreviada.
  • LONG (russo) indica um adjetivo ou um particípio de forma longa, ao contrário da forma SHORT acima.

Tenha em atenção que a API Natural Language fornece informações morfológicas por token (não por expressão). As construções morfológicas que atravessam os limites das palavras podem não ser suportadas.

Árvores de dependências

Num pedido sintático, as informações morfológicas e de classe gramatical são devolvidas no campo partOfSpeech da resposta.

Para cada frase no texto fornecido à API Natural Language para análise sintática, a API cria uma árvore de dependências que descreve a estrutura sintática dessa frase. As informações sintáticas são devolvidas no campo dependencyEdge da resposta.

Um diagrama da árvore de dependências desta frase única de John F. O discurso de inauguração de Kennedy aparece abaixo:

Para cada token, o elemento dependencyEdge identifica que outro token modifica (no campo headTokenIndex) e a relação sintática entre este token e o respetivo token principal (no campo label). Por exemplo, aqui está o elemento dependencyEdge para o token "seu" na frase "o seu país" (na primeira ocorrência):

      "dependencyEdge": {
        "headTokenIndex": 4,
        "label": "POSS"
      },

Este elemento indica que "your" modifica o quinto token (headTokenIndex usa um desvio baseado em zero) e que é um modificador possessivo.

Todas as árvores de dependências incluem um elemento ROOT ("label": ROOT), que corresponde ao verbo principal na frase. No exemplo acima, o elemento ROOT é a primeira palavra na frase ("headTokenIndex": 0). Para a palavra ROOT "Pedir", o headTokenIndex é o seu próprio índice.

Embora as árvores de análise sintática não ultrapassem os limites das frases, a API Natural Language indexa frases e tokens através de valores de deslocamento baseados em zero no texto como um todo.

A API Natural Language etiqueta as relações sintáticas através de um conjunto comum de dependências que se aplicam aos idiomas suportados. As etiquetas são descritas abaixo. No texto de exemplo, "Head" e a etiqueta aparecem abaixo dos tokens aos quais se aplicam.

British Broadcasting Company (BBC)
                     Head     ABBREV

The book looks heavy.
         Head  ACOMP

The book is   heavy.
         Head ACOMP

She arrived sad.
    Head    ACOMP

I consider John intelligent.
  Head          ACOMP

The accident happened as the night was falling.
             Head                      ADVCL

If you know who did it, you should tell the teacher.
       ADVCL                       Head

He talked to him in order to secure the account.
   Head                      ADVCL

Genetically modified food.
ADVMOD      Head

less   often
ADVMOD Head

About  200 people came to the party.
ADVMOD Head

Sam eats red  meat.
         AMOD Head

Sam took out a 3 million dollar loan.
                         AMOD   Head

Sam, my brother, arrived.
Head    APPOS

Bill (John’s cousin)
Head         APPOS

He is  a doctor.
   Head ATTR

She resembles her mother.
    Head          ATTR

What is  your name?
ATTR Head     NSUBJ

What breed is   the dog?
     ATTR  Head     NSUBJ

I consider John an intelligent person.
  Head                         ATTR

Reagan has died.
       AUX Head

He should leave.
   AUX    Head

Kennedy has been    killed.
        AUX AUXPASS Head

Kennedy was/got killed.
        AUXPASS Head

Bill is big  and honest.
        Head CC

They either ski  or snowboard.
            Head CC

Bill went to Florida but Jane traveled to Alaska.
     Head            CC

He says that you like  to swim.
   Head          CCOMP

I am certain that he did   it.
     Head            CCOMP

I admire the fact that you are   honest.
             Head          CCOMP

Bill is big and honest.
        Head    CONJ

They either ski  or snowboard.
            Head    CONJ

We have apples, pears, oranges, and bananas.
        DOBJ    CONJ   CONJ         CONJ

What she said  makes sense.
         CSUBJ Head

That she lied was suspected by everyone.
         CSUBJ    Head

Then, as if  to show that he could, . . .
         DEP    Head

travel agency florence kentucky
       Head   DEP

The man is here.
DET Head

Which book do you prefer?
DET   Head

Iguazu is   in Argentina :)
       Head              DISCOURSE

She gave me a raise.
    Head      DOBJ

They win  the lottery.
     Head     DOBJ

There is   a ghost in the room.
EXPL  Head   NSUBJ

It   is clear that we should decline.
EXPL Head

She gave me   a present.
    Head IOBJ   DOBJ

Forces engaged in fighting after insurgents attacked.
                           MARK             Head

He says that you like to swim.
        MARK     Head

I like dogs as   well as  cats.
            Head MWE  MWE

He cried because of  you.
         Head    MWE

Bill is    not a scientist.
     Head  NEG

Bill is no  scientist.
        NEG Head

phone book
NN    Head

oil price futures
NN  NN    Head

The director is 65 years    old.
                   NPADVMOD Head

Six feet     long
    NPADVMOD Head

Shares eased a fraction.
       HEAD    NPADVMOD

The silence is itself   significant.
               NPADVMOD Head

90% of Australians like him, the most     of any country.
                   Head          NPADVMOD

Clinton defeated Dole.
NSUBJ   Head

The baby  is   cute
    NSUBJ Head

Dole       was defeated by Clinton.
NSUBJPASS      Head

Sam ate three sheep.
        NUM   Head

I have four   thousand sheep.
       NUMBER Head

Let's face it we're annoyed.
Head                PARATAXIS

The guy, John said,     left early in the morning.
              PARATAXIS Head

We have no information on   whether users are   at risk.
                       Head               PCOMP

They heard about you missing classes.
           Head      PCOMP

I sat on   the chair.
      Head     POBJ

What does CPR stand for?
POBJ                Head

their offices
POSS  Head

Bill’s clothes.
POSS   Head

Both    the boys and the girls are here.
PRECONJ     Head

All    the boys are here.
PREDET     Head

I saw a cat  in   a hat.
        Head PREP

I saw  a cat with a telescope.
  Head       PREP

He is responsible for  meals.
      Head        PREP

They shut down the station.
     Head PRT

He would not put  up  with it.
             Head PRT

I saw the man  you love.
          Head     RCMOD

the book that you bought
    Head          RCMOD

Bell, a company which is based in LA, makes and distributes computer products.
        Head             RCMOD

John won bronze, Mary silver, and Sandy gold.
         Head         REMNANT           REMNANT

Go to         the righ- to   the left.
   REPARANDUM           Head

Last night, I swam in the pool.
     TMOD     Head

Berries gathered on this side of the mountain are sweeter.
Head    VMOD

He sat  in the armchair reading the morning newspaper.
   Head                 VMOD

I have nothing to say  to them.
       Head       VMOD

Anna,    can you bring a tent?
VOCATIVE         Head

He says that you like to swim.
                 Head    XCOMP

I am ready to leave.
     Head     XCOMP

Para mais informações sobre árvores de dependências, consulte o projeto Universal Dependency Treebank. Além disso, a anotação de dependência universal para processamento multilingue contém informações gerais sobre a metodologia usada para interpretar uma árvore de dependência.

Analisar uma resposta de análise sintática

O seguinte pseudocódigo fornece um padrão comum a usar quando realizar operações iterativas na resposta da análise sintática:

index = 0
  for sentence in self.sentences:
    content  = sentence['text']['content']
    sentence_begin = sentence['text']['beginOffset']
    sentence_end = sentence_begin + len(content) - 1
    while index < len(self.tokens) and self.tokens[index]['text']['beginOffset'] <= sentence_end:
      # This token is in this sentence
      index += 1