Detección de duplicación (Dedup)

La detección de duplicaciones o el proceso de coincidencias se basa en crear un vector dedup por cada registro de Alma (y todos los registros importados desde fuentes externas). El vector incluye toda la información requerida por el algoritmo de detección de duplicación para determinar si dos registros son equivalentes. Los vectores incluyen una o más claves que identifican el registro. Las claves se basan en los campos de metadatos del registro fuente (registros MARC o DC).

En los resultados de búsqueda, los registros que están marcados como duplicados se muestran como un solo registro. Los metadatos se muestran desde el primer registro en el conjunto de resultados, y la información relacionada con la entrega se crea desde todos los registros del grupo.

FRBR

Los registros de Primo VE se agrupan utilizando los principios de los Requerimientos funcionales para los registros bibliográficos publicados por el Grupo de estudio de la IFLA en los Requerimientos funcionales para los registros bibliográficos. El proceso de agrupación crea un vector para cada registro de Alma (y todos los registros importados de fuentes externas). Este vector incluye una o más claves que identifican el grupo que representa. Las claves se basan en los campos de metadatos del registro fuente (registros MARC o DC).

Los registros que tienen una clave coincidente (Primo VE intenta hacer coincidir todas las claves en el registro) se añaden al grupo de FRBR, y a estos se les asigna un ID de FRBR. Como los registros pueden pertenecer a un grupo de FRBR solo, Primo VE completa el proceso de agrupamiento para un registro desde que coincide con un grupo.

Los ID de un grupo se clasifican y se utilizan durante las búsquedas para los resultados de búsqueda de grupo por el mismo ID de grupo. Un registro que pertenece a un grupo de FRBR muestra las Múltiples versiones existentes. El enlace Ver todas las versiones en los resultados breves permite a los usuarios ver todos los registros que se agruparon juntos. El registro que se muestra en los resultados breves se puede configurar para mostrar información para un registro preferido o información genérica que pertenezca a todos los registros del grupo. Después de realizar una búsqueda, los resultados se agrupan por ID de FRBR, así como después de seleccionar las Múltiples versiones existentes. Enlace Ver todas las versiones; los resultados se agrupan por ID de Dedup.

Cómo funcionan juntos Dedup y FRBR

Los procesos de coincidencia de Dedup y FRBR son muy similares, pero el contenido de las claves es diferente. El sistema primero busca registros duplicados y después grupos de FRBR. Dado que la ID de Dedup se utiliza como una clave para el proceso de FRBR, a un registro al que se le puede hacer la acción de Deduped, también se le puede hacer la acción de FRBR.

Calcular las claves

Las claves de Dedup y FRBR se utilizan para determinar si los registros coinciden y se generan a partir de elementos de información específica del registro bibliográfico y después combinadas en claves. Laa secciones siguientes describen primero cómo se mapea la información clave en los campos MARC21 en la base de datos en Primo VE, y después describen cómo se combinan los elementos para crear las claves de Dedup y FRBR.

Calcular el ID de grupo

El sistema convierte las claves en un número y después añade un coeficiente, que se basa en la prioridad de la clave, para garantizar que las claves con prioridades más altas tengan números más largos. Después de elegir la ID de grupo para un registro específico, todas las claves que se calcularon desde ese registro se guardan con la ID de grupo para garantizar que todas las claves apunten a él. Esto permite dar a los registros que tienen claves idénticas la misma ID de grupo.

Flujo de proceso de Dedup/FRBR

El sistema lleva a cabo los pasos siguientes tanto para los procesos de Dedup como para los de FRBR, comenzando con el proceso de Dedup:

1. Calcular todas las claves desde el registro fuente.

2. Buscar todas las claves que se calcularon en el paso 1 que ya existen en la base de datos (de cálculos previos). Si existen claves, el sistema selecciona el ID de grupo que se asocia con la clave que tiene el valor más alto (esto da prioridad a las claves con prioridad más alta). Si el registro coincide con más de un grupo y las claves tienen la misma prioridad, el sistema selecciona el ID de grupo de manera aleatoria. Si no existe una clave en la base de datos, el sistema selecciona la clave con el valor más alto y la utiliza como ID de grupo.

3. Para todas las claves calculadas en el paso 1, el sistema almacenará el ID de grupo seleccionado. Esto permite que otros registros se conecten con registros procesados recientemente.

El algoritmo no es totalmente transitivo, lo que significa que dos registros pueden tener un registro común coincidente, pero no se consideran coincidentes entre ellos. Por esto, el orden en el que los registros se procesan puede afectar a los agrupamientos. Para más información, ver Dedup y transitividad.

Dedup y transitividad

1. El registro B se añade a la base de datos y no se encuentra ninguna coincidencia.
2. El registro C se añade a la base de datos y ninguna de sus claves coincide con el registro B.
3. El registro A se añade a la base de datos y una de sus claves coincide con una clave en el registro B primero. Como se encontró una coincidencia, el sistema interrumpe el procesamiento del registro y regresa los siguientes grupos incluso si el registro A también coincide con el registro C: AB y C.

Suprimir grupos de FRBR/Dedup

Se pueden utilizar los siguientes métodos para impedir que a los registros se les realice la acción de Dedup o de FRBR:

• Definir reglas de supresión que están basadas en tipos de registros (como imágenes) que se aplican durante la reclasificación, cuando se cargan nuevos registros o cuando los metadatos de un registro existente se modifican. Para más detallegs, ver Suprimir Grupos de registros desde Dedup y FRBR. Si se desea suprimir registros existentes, ver la opción siguiente.

• Ejecutar la tarea Impedir FRBR o Dedup en descubrimiento en un conjunto de registros bibliográficos (Admin > Gestionar tareas y conjuntos > Ejecutar una tarea). Para más información, ver Ejecutar tareas manuales en conjuntos definidos.

Si se quiere impedir que se visualicen los grupos de FRBR y Dedup de todos los registros sin cambiar ninguna regla ni ejecutar ninguna tarea, se puede deshabilitar FRBR/Dedup al configurar los campos Habilitar Dedup y Habilitar FRBR en la pestaña Resultados breves en la página de Configuración de vista (Menú de configuración > Descubrimiento > Configuración de despliegue > Configurar vistas). Para más información, ver Etiqueta de Resultados breves.

Recalcular los grupos Dedup y FRBR

Es posible que las claves FRBR y Dedup, que se construyen inicialmente al crear o migrar un registro, deban recalcularse después de modificar un registro bibliográfico. Para obtener información sobre cómo volver a calcular las claves, consulte Recalcular grupos Dedup y FRBR.