Servicios LAReferencia 2019- 2020 - Lautaro Matas Buenos Aires - Diciembre 2018
←
→
Transcripción del contenido de la página
Si su navegador no muestra la página correctamente, lea el contenido de la página a continuación
Servicios LAReferencia 2019-
2020
Lautaro Matas
Responsable técnico LAReferencia
Buenos Aires – Diciembre 2018
Transferencia versión 3.3
• Máquina virtual o instalación directa
• A Octubre de 2018 la versión de 3.3 se encuentra en producción en el nodo
central y e instalada en:
– Argentina, Brasil, Chile, Costa Rica, El Salvador y Portugal
– Perú tiene la 3.2 instalada en Marzo y tiene recursos asignados para
instalación de 3.3 en Noviembre
– En test preliminar en Colombia
– México estamos iniciando transferencia en Noviembre
– Ecuador permanece con una versión antigua
• En 2018 por primera vez todos los nodos tendrán LRHarvester!!
• Nuevos desafíos, coordinar desarrollo:
– Requerimientos de los nodos, a
veces con prioridades distintas
– Diferencias en perfiles de uso
(features y config)
Hacia una – Recursos limitados de desarrollo
– Detección y resolución de
comunidad incidencias en forma ágil
– Reuniones periódicas remotas y
de presenciales
– Rediseño de la arquitectura
desarrollo
• Roadmap de desarrollo: decidir en
forma conjunta prioridades de
desarrollo y asignación de recursos
RCAAP - LAREFERENCIA
Roadmap - Proposta para trabalho
conjunto
CORE GESTÃO
Transformação multiformato Autenticação e permissões - Adição de perfis de utilizadores
XOAI; CERIF; OpenAIRE4;
Múltiplas fontes para Harvesting (outros protocolos além de
Harvesting - Através de biblioteca Java, OAI-PMH como por exemplo o ResourceSync)
reutilizável para processos de validação;
Suporte Multilingue na administração: Ter vários idiomas na
Endpoints REST com Network Acronym - interface web
Permite invocar pela linha de comandos;
Logging na interface web: Mensagens de logging na interface
Interface REST: Reformulação da API de administração
Regras de validação e transformação Export de conteúdo: para text mining
adoção de normas e guidelines
internacionais COARTypes; OpenAIRE 4,
ISO língua)
Roadmap RCAAP- trabalho conjunto
DESEMPENHO E ESCALA INTEGRAÇÕES CRIS
Retirar os ficheiros de metadados da base Entidades: acrescentar a capacidade de processar outras
de dados: de forma a evitar que a base de entidades (Organizações, Pessoas), com recurso a tabelas na
dados cresça de uma maneira que poderá base de dados e Solr;
ficar ingerível;
Ações: poder criar tasks específicas para cada instância da
entidade, exemplo: enviar email;
Processamento distribuído e paralelo:
possibilitar que o processamento possa ser Eventos e triggers: criar a possibilidade de despoletar ações
efetuado por várias máquinas de forma a com base em eventos
tornar a solução mais escalável.OpenAire - LAReferencia
OpenAire: Dashboard
OpenAire: Validador
Broker as a service • Notificaciones de la infraestructura OpenAire • Integrables via API • Trabajo conjunto con RCAAP para sumar notificaciones propias a nivel regional y nacional • Next generation repositories: avanzar con el protocolo resource sync para enviar updates a repositorios.
Mejoramiento de metadatos • Algunas necesidades : – Normalización de licencias cc – Limpieza de nombres de autores – Inferencia de disciplinas, grandes áreas • Proyecto conjunto entre MINCYT(AR), IBICYT (BR), UNA (CR), Observatorio CTS, CONCYTEC (Perú) • Objetivo: compartir técnicas de limpieza y vinculación de datos, trabajando alrededor de una plataforma común, con el objetivo final de construir indicadores
OpenAire: Broker
OpenAire: Estadísticas - Counter
OpenAire: Estadísticas
LAReferencia: ESTADÍSTICAS
Estadísticas de uso / acceso Estadísticas de metadatos Estadísticas de cosecha – Datos
históricos
Modelo distribuido – Matomo / Vufind API
OpenAire Elasticsearch• Requerimiento propio de la comunidad
LAReferencia
• Requerimiento de proyecto OpenAire,
piloto de estadísticas distribuidas,
integración con el dashboard de
estadísticas OpenAire
• OpenAire: Integración de una pieza de
Estadísticas software a Dspace y E-prints que captura
información de acceso y la envia a un
de uso servidor remoto.
– Basada en Matomo (ex Piwik)
– Requiere recompilar el software, no es
complejo pero implica soporte especial
y posibles problemas con plataformas
modificadas.1. Repositorio envía a OpenAire: los nodos país y el nodo central
LAReferencia obtienen estadísticas desde el nodo central.
– PROS: No requiere cambios, es 100% compatible con lo que
se desarrolle en OpenAire
– CONS: Los datos están solo en OpenAire y no tenemos
capacidad de generar otras estadísticas fuera de lo
propuesto por el proyecto
Estadísticas 2. Repositorio envía a OpenAire y a nodo LAReferencia: los nodos
país obtienen las estadísticas del nodo central LAReferencia o usan
subportales por país.
distribuidas – PROS: Lo mejor de los dos mundos, tenemos un respaldo y
cumplimos con el proyecto directamente, y tenemos versión
local para desarrollar otras acciones.
- – CONS: Implica modificar el plugin, pero sobre todo duplicar
los llamados y cargar más al repositorio
Alternativas 3.
–
Repositorio envía a LAReferencia: Nodos país y OpenAire obtienen
las estadísticas.
PROS: Menos carga para los repositorios, más sencillo de
implementar, solo se cambia el servidor.
– CONS: Implementar un mecanismo para el envío, o
sincronización con el servidor OpenAire (puede ser sencillo
o no)• Versiones para Eprints / Dspace 4,5,6
• Requiere recopilación, acciones riesgosas sobre un
repositorio en producción.
• No todos podrán hacerlo, será complejo convencer a
los repositorios y coordinar un proceso que implica
riesgos.
Estadísticas • Propuesta alternativa y complementaria:
– Utilizar una pieza de software que no requiere
distribuidas recompilación.
– Usa los logs de Dspace para enviar notificaciones
- Plugin en el mismo protocolo que Matomo, en tiempo
real.
– Basada en un componente liviano y opensource:
https://www.elastic.co/products/beats/filebeat
– Requiere un ciclo de desarrollo para escribir un
plugin que lea el formato de Dspace.
– Queremos presentar una prueba de concepto al
equipo técnico OpenAire en 2019• Vufind API
– Consultas que permiten usar las
facetas para alimentar gráficos y
Estadísticas tablas. Ej. Templates LR
– www.lareferencia.info/vufind/api
de
• Indexación en ElasticSearch
metadatos (experimental)
• Dashboard KibanaPlan 2019
• Desarrollo
– ROADMAP: en discusión, reunirá requerimientos de RCAAP (Portugal),
IBICT(Brasil), CONCYTEC(Perú), MINCYT(Argentina)
– Reuniones técnicas
– Rediseño de arquitectura para integrar de forma más consistente y
sustentable datos CRIS, estadísticas históricas
– Piloto de datos (rescate de producción)
– Piloto de estadísticas (test de plugin Openaire y alternativa lareferencia)
• Infraestructura: ampliación de los servicios Amazon para proveer mayor
velocidad en el procesamiento de cosecha y respaldo de datos
• Mantenimiento y transferencia: avanzar en un modelo de actualización
automático, que permita gestionar de forma más eficiente los bugfix e
instalación de nuevas versiones.También puede leer
