BilanProjetJanvier2011_fr

CRDO —> SldrWiki —> SLDR_FR —> Projet CINES/IN2P3/TGE-Adonis

(Same page in English)

Bilan du projet pilote, janvier 2011

Partie concernant CRDO-Aix. (Voir autres partenaires sur le wiki de TGE-Adonis, ou copie)

Points positifs et actions réalisées

Archivage pérenne et partage d'objets 'génériques'

• Arborescence de fichiers/répertoires déterminée par les producteurs sans limitation de profondeur ni de complexité : tous les répertoires sont « mis à plat » au moment du dépôt en archive, leur structure initiale étant préservée sur une page XHTML.
• Les types d'objets (corpus/ressource/outil/collection…) n'existent qu'au niveau des métadonnées descriptives ; tous les objets sont traités de manière identique. Une typologie différente pourra donc être utilisée sur CRDO-Aix en remplacement ou juxtaposée à celle existante.
• Les noms de fichiers respectent les encodages acceptés par le service versant (Unix, Unicode UTF8). Ces noms sont tokenisés au moment de la réalisation du paquet soumis à l'archivage et restitués lors du téléchargement.
• Il est possible de préserver le nom d'origine pour garantir la pérennité de l'URLs d'accès à un fichier en libre accès.
• Pas de limite du nombre de fichiers ni de la taille d'un objet : tout objet dépassant les limites imposées par la PAC et/ou l'environnement Fedora Commons (couramment 50 Go, 30000 fichiers) est fragmenté en plusieurs segments d'une manière invisible aux utilisateurs.
• En janvier 2011, CRDO-Aix a déposé 66 Go/40952 fichiers en mode production et 186 Go/7108 fichiers en mode test, avec des fichiers de taille jusqu'à 2.5 Go. Voir détail : http://sldr.org/archivage_hist.php

Diversification des modes d'accès

• Accès libre : un objet en entier (sous licence Creative Commons) peut être téléchargé par n'importe quel internaute et il ne sera conservé aucune trace de cette transaction.
• Accès contrôlé : les utilisateurs doivent être inscrits sur le site CRDO-Aix et appartenir à un groupe qui bénéficie de l'accès à l'objet. Une trace de cette transaction est conservée sur le site.
• Accès restreint : l'objet n'est accessible qu'aux personnes utilisant un identifiant et un mot de passe spécifiques.
• Fichiers en accès libre : pour tous les modes d'accès définis ci-dessus, un fichier peut être déclaré en accès libre. Cet accès est fourni par un lien sur la table de matières détaillée de l'objet. Voir par exemple le répertoire stream sur http://crdo.fr/crdo000525/toc
• Les modes d'accès aux objets et aux fichiers peuvent être modifiés par une simple mise à jour des leurs métadonnées.
• Champs confidentiels: certaines métadonnées (e.g. l'identité des informateurs) peuvent ne pas être diffusées publiquement avant une date fixée par le producteur de l'objet correspondant et/ou les dispositions légales concernant les données personnelles.
• Les administrateurs du site et les producteurs ont accès à toutes les versions de l'objet archivé. L'accès aux versions antérieures est bloqué pour tout autre utilisateur, dans l'anticipation d'une évolution restrictive des droits d'accès sur un fichier.

Architecture client-serveur (multi-tier) du service versant

• CRDO-Aix traite des requêtes http permettant d'exercer des actions sur les données disponibles localement ou sur le site de diffusion. Voir http://crdo.fr/wiki/Redirections
• Ce traitement permet un embedding de données (accès en streaming audio/vidéo, insertion d'images etc.) sur tout site producteur construit en « surcouche » de CRDO-Aix. Exemple vidéo : http://crdo.fr/wiki/Valbonnais-journee-patois-aout2010
• Les liens utilisés pour ce traitement peuvent être rendus indépendants du versionnage et de la localisation du site de diffusion. Voir http://crdo.fr/wiki/SmartUrls-fr
• Le service versant CRDO-Aix peut faire remonter vers les laboratoires producteurs certaines requêtes des utilisateurs permettant l'affichage de données dans le contexte du projet dont est issu l'objet concerné. Exemple : http://crdo.fr/crdo000027/source

Métadonnées descriptives

• Les métadonnées descriptives sont archivées selon un schéma préconisé par OLAC (Open Language Archives Community). Ces métadonnées sont disponibles en libre accès dans l'espace Fedora Commons du site de diffusion. Voir par exemple http://crdo.fr/crdo000014/get/olac
• Tous les objets de CRDO-Aix sont répertoriés dans un static repository mis à jour quotidiennement et moissonné par OLAC : http://crdo.fr/olac/CRDOarchive.xml
• Les producteurs sont incités à décrire leurs objets dans les quatre langues de navigation du site CRDO-Aix, plus une langue optionnelle qui peut être celle du corpus. La description multilingue concerne les champs subject, description et tableOfContents qui fournit le détail du contenu de l'objet. Voir par exemple http://crdo.fr/crdo000759/get/olac
• Les champs bibliographicCitation incluent automatiquement les références bibliographiques attribuées à l'objet sur CRDO-Aix, ainsi que des références extérieures. Des champs isReferencedBy contiennent des liens vers les projets à la source de l'objet. Voir par exemple http://crdo.fr/crdo000027/get/olac
• Lorsqu'une relation de filiation (par exemple isPartOf) est saisie dans les métadonnées de l'objet fils, la relation inverse est inférée dans l'objet père et incluse à ses métadonnées descriptives. Voir par exemple le champ hasPart dans la collection : http://crdo.fr/crdo000740/get/olac
• Les objets héritent des contenus de linguistic-field décrits dans les objets auxquels ils sont liés par une relation de filiation. Ce mécanisme d'héritage (récursif) garantit notamment l'homogénéité de description des objets appartenant à des collections.
• Le cas échéant, l'historique de versionnage est inclus dans un champ tableOfContents.

Récupération des objets

• Tout objet déposé en archive (en test ou en production) peut être reconstitué à partir des datastreams créés pour sa diffusion sous Fedora Commons. Ce dispositif reconstruit la hiérarchie du répertoire et restitue les noms de fichiers et leurs dates de modification, après avoir vérifié que leur taille est identique à celle enregistrée dans un registre (mapping.txt) dont une copie est disponible dans Fedora Commons.
• La récupération peut s'effectuer en plusieurs passes dans le cas d'objets très volumineux.
• La récupération permet de libérer l'espace du service versant de tous les objets relativement stabilisés et archivés en mode production. L'objet est récupéré s'il s'avère nécessaire d'en déposer une nouvelle version.

Informations de pérénisation

• Une première version du PPDI de CRDO-Aix a été rédigé avec l'aide des archivistes du CINES. Voir http://crdo.fr/ppdi

Accompagnement des projets

• Dès la mise en place d'un programme de recherche il est possible de décrire les objets en cours de création et d'en déposer des versions successives dans l'espace de test pour assurer leur partage entre les chercheurs concernés. Ces objets une fois stabilisés sont basculés en mode production.
• L'accès contrôlé (licence CRDO) permet de constituer autour de chaque objet une communauté d’utilisateurs qui communiquent via un environnement Web 2.0. Voir http://crdo.fr/com
• Le suivi des ressources est assuré par (1) la mise en ligne sur CRDO-Aix de références d'articles scientifiques mentionnant explicitement leur utilisation (voir http://crdo.fr/pub) ; (2) la possibilité pour les producteurs et utilisateurs d'un objet d'identifier ses téléchargements et leurs destinataires ; (3) la possibilité d'être informé par courrier de toute modification majeure d'un objet (versionnage) en l'inscrivant dans une liste de suivi.

Règles de bonne pratique

• Une documentation multilingue de toutes les possibilités techniques de CRDO-Aix est en cours de rédaction : http://crdo.fr/wiki/Guidelines_fr

Valorisation/collaborations/évaluation

• CRDO-Aix est la plateforme centrale de l'axe Corpus, Outils, Ressources du projet de Laboratoire d'Excellence Pro-Lang que les Universités d'Aix-Marseille ont déposé en novembre 2010.
• Dans ce cadre, l'architecture multi-tier de CRDO-Aix sera mise à profit pour l'archivage et la diffusion des données linguistiques de la plateforme de traitement des données culturelles et historiques (ODSAS) du Centre de Recherche et de Documentation sur l'Océanie (CREDO). Voir projet : http://crdo.fr/doc/admin/labex/Labex-CREDO.pdf
• Travaux dans le groupe WP2 de CLARIN, notamment en vue de l'implémentation de l'infrastructure CMDI.
• CRDO-Aix est présenté au Comité de visite de l'AERES dans le cadre de l'évaluation du LPL, le 15 décembre 2010. Voir diaporama : http://crdo.fr/doc/aeres/diaporama.ppsx
• Diaporama en anglais

Note d'ambiance

• Excellent climat de coopération entre tous les acteurs du projet pilote.
• Les difficultés initiales ont été en grande partie surmontées grâce aux compétences, au professionnalisme et aux qualités d'organisation de l'équipe coordinatrice (Claude Huc et Benoît Habert).
• Convivialité et efficacité du travail en équipe lors des journées de travail au CC-IN2P3, ainsi que pendant les télé-réunions.

Points négatifs et actions non réalisées (en cours)

• Mise en conformité des réglages de droits d'accès avec les récentes modifications du Code du patrimoine : voir propositions
• Installation du Policy agent d'OpenSSO.

• Validation de nouveaux formats de données :

  • tous les formats OpenDocument : il manque odt, odp et odg
  • déterminer et valider un format pour l'archivage de bases de données relationnelles
• Récupération des messages contenant sip.xml et le certificat d'archivage : développer une solution permettant le traitement automatique des messages reçus.
• Streaming vidéo : mise en place d'une solution compatible avec iRods/Fedora Commons.
• Mise en place de l’ISOcat registry et révision des champs de métadonnées à cet effet.
• Inclusion des pages wiki associées à l'objet dans le répertoire DIFFUSION. Nécessite la migration de PhpWiki vers PmWiki pour un stockage texte/UTF8 des pages.
• Révision de la liste des disciplines (hors linguistique).
• Documentation détaillée des dispositifs utilisables pour afficher la vitrine (preview) des objets.
• Interfaces et documentation à mettre à jour en langues espagnole et chinoise.
• Finalisation du PPDI : il nous manque une copie des annexes de la convention CNRS/CINES/Archives de France
• L'équipe de CRDO-Aix aurait apprécié de recevoir l'annonce de la 2^e université de TGE-Adonis en décembre 2010, si ce n'est une invitation à participer à une présentation crédible des résultats du projet pilote…