CRANFIELD I

Investigou a performance operacional de quatro sistemas de indexação:

• Classificação Decimal Universal (CDU)
• classificação por facetas
• catálogo alfabético de assuntos
• sistema Unitermo

Utilizou dois instrumentos de medição:

• recall ratio - medição da capacidade de recuperação de documentos relevantes para a pesquisa;
• precision ratio - medição da capacidade de não recuperação de documentos não relevantes para a pesquisa.

Os testes de Cranfield I mostraram que quase todos os sistemas de indexação são uma amálgama de mecanismos de recall e de precisão, e que estes interagem de forma tão complexa que é impossível medir o seu efeito na performance global dos sistemas de indexação.

CRANFIELD II

Procurou-se investigar os mecanismos das linguagens de indexação isoladamente e em todas as combinações possíveis, tentando medir o efeito que cada mecanismo tem na performance.
Analisou-se uma colecção de 1400 documentos, sobretudo na área da aerodinâmica. Os documentos foram indexados de três formas:

• seleccionaram-se os mais importantes conceitos, sendo registados na linguagem natural dos documentos;
• listaram-se os termos simples de cada um dos conceitos;
• combinaram-se as formas diferentes de um mesmo conceito.

Aquando da indexação, deu-se um "peso" a cada conceito para indicar a sua importância relativa (1 para os mais importantes, 2 para os medianamente importantes, 3 para os menos importantes).

Para o teste, usaram-se 221 questões.

A primeira tarefa consistiu em determinar a relevância de cada documento na colecção para cada uma das questões, numa escala de 1 a 4:

1. documentos que respondiam cabalmente à questão;
2. documentos com um elevado grau de relevância;
3. documentos com algum interesse;
4. documentos com interesse mínimo.

Numa pesquisa, a colecção de documentos divide-se em dois grupos: os documentos recuperados e os documentos deixados no sistema. Cada um desses grupos pode subdividir-se em outros dois: os documentos relevantes e os documentos não relevantes.

Para avaliar um sistema de recuperação de informação, a performance é avaliada pela intersecção da taxa de recall com a taxa de precisão (ou com a taxa de fallout).

• Taxa de recall = 100 a / a + c
• Taxa de precisão = 100 a / a + b
• Taxa de fallout = 100 b / b + d

Foram testadas 33 linguagens de indexação, e medidos os resultados obtidos.

CONCLUSÕES

Os resultados foram inesperados. Chegou-se à conclusão de que:

• A utilização da linguagem natural dava muito bons resultados (65.00%);
• O aumento da performance só acontecia quando se juntavam sinónimos (65.23%) ou derivações de palavras (65.82%);
• Qualquer outra junção fazia diminuir a performance.

Parece absurdo dizer que, em todas as situações, a forma mais eficaz da linguagem de indexação é aquela que combina uma simples pós-coordenação com os termos de linguagem natural.

Estes resultados podem dever-se ao facto da área estudada ser uma área tecnológica (aeronáutica); o estudo ou análise de outra área (ciências sociais) poderia dar resultados diferentes destes.

Estes resultados poderiam também ser diferentes se os documentos analisados estivessem escritos em várias línguas ou se a área de estudo não fosse tão restrita.

Seria até absurdo, para qualquer organização, abandonar as linguagens de indexação controladas com base nestes testes.

No entanto, este teste de Cranfield mostrou quer o uso de termos da linguagem natural com junção de sinónimos e de raízes de palavras é uma linguagem de indexação simples e perfeitamente razoável.

BIBLIOGRAFIA

CLEVERDON, Cyril - The Cranfield Tests on Index Language Devices. In: JONES, Karen Sparck; WILLETT, Peter - «Readings in Information Retrieval», San Francisco (CA), Morgan Kaufmann, 1997, p. 47- 59.

Rosário Trindade
Manuel Montenegro
FEUP, 21/03/1999