Journal
Voir aussi Tâches spécifiques
Liens utiles vers outils et documentation
1er juin 2010
Mécanisme de réécriture des URLs de fichiers qui permet :
- De déterminer la version la plus récente d'un objet
- De savoir si cet objet a été archivé ou non
- De construire en conséquence l'URL d'accès qui pointera, soit vers Fedora Commons (cas d'un objet archivé), soit vers l'objet dans son répertoire source s'il n'a pas encore été archivé.
Exemple d'objet archivé : pour l'objet
crdo000731 version 1 dont l'ID est 126669 sur la plateforme d'archivage, les deux URLs suivantes aboutissent au même fichier :- Exemple d'objet non archivé : pour l'objet crdo000716 l'URL suivante aboutit à un fichier local : http://crdo.fr/crdo000716/get/preview/stream/Derrida-Artaud.mp3
Modification du packaging des objets :
- Tout fichier contenu dans un répertoire nommé PERMANENT (ou dans un répertoire stream en accès public) est archivé avec son nom d'origine précédé du chemin d'origine ;
Les fichiers contenus dans le répertoire ''preview' sont aussi archivés de cette manière.
Exemple : dans l'objet
crdo000715 on a créé à l'intérieur de preview un répertoire stream qui contient un fichier Derrida-StateOfTheLie.mp3 et l'application Flash servant au streaming stream_dewplayer.swf. Les URLs correspondants peuvent être écrites ainsi, avec pour avantage d'utiliser le même URL pour pointer vers un fichier en accès direct avant et après archivage :- Ce dispositif permet d'afficher sur n'importe quel site une petite console pour le streaming avec le code suivant :
<object TYPE='application/x-shockwave-flash' data='/CRDOdata/preview/dewplayer.swf?son=http://crdo.fr/crdo000715/get/preview/stream/Derrida-StateOfTheLie.mp3' height= '20' width= '200'> <param NAME='movie' value='/CRDOdata/preview/dewplayer.swf?son=http://crdo.fr/crdo000715/get/preview/stream/Derrida-StateOfTheLie.mp3'> </object>
- Ce qui donne :
- Autre exemple, URL locale :
<object TYPE='application/x-shockwave-flash' data='/CRDOdata/preview/dewplayer.swf?son=/CRDOdata/preview/000033/A0101B.mp3' height= '20' width= '200'> <param NAME='movie' value='/CRDOdata/preview/dewplayer.swf?son=/CRDOdata/preview/000033/A0101B.mp3'></object>
- Ce qui donne :
10 juin 2010
- Traitement des liens vers les métadonnées métier. Pour un objet archivé, l'URL
- Cette URL simplifiée pointe toujours vers les métadonnées de la dernière version de l'objet.
- Si l'objet n'est pas encore archivé, le code OLAC est généré dynamiquement.
Suite à une erreur (corrigée) crdo000759 a été archivé directement en version 2. Voir si cela aura des conséquences sur les autres versions, et dans ce cas prévenir le CINES que le numéro de versionnage devrait être testé sur le SIP.
11 juin 2010
- Traitement de la redirection crdo.fr/ark:XXXX
- Exemple : http://crdo.fr/ark:/87895/2.7-11054
- Voir Redirections pour plus d'indications.
- Essai de dépôt d'un objet de 50 Go : blocage dans l'espace réception de la PAC. Le CINES étudie ce problème.
14 juin 2010
- Redirection "source", accès direct à l'objet sur le site du laboratoire producteur
- Exemple : http://crdo.fr/crdo000740/source pointe vers http://lpl-aix.fr/crdo/source/crdo000740
- Si le site ne traite pas l'instruction ('path' est vide) le lien pointe vers la racine du site. Exemple : http://crdo.fr/crdo000013/source pointe vers http://www.mica.edu.vn/
- Traitement d'une instruction sur le site du laboratoire producteur : cette instruction est traitée par le site.
- Exemple avec une instruction 'voir' : http://crdo.fr/crdo000740/source/voir est traité comme http://lpl-aix.fr/crdo/source/crdo000740/voir
- Voir Redirections pour plus d'indications.
16 juin 2010
- Implémentation du calcul de la volumétrie d'un objet à partir de son aip.xml. Voir le tableau AIP sur la page http://crdo.fr/archivage_hist.php
- Ce calcul est nécessaire en réponse à la demande de TGE-Adonis de faire une estimation des flux de données à déposer lors de la mise en production.
- Nous avons reçu l'information que la convention autorisant l'archivage pérenne avait été signée côté CNRS.
17 juin 2010
- Calcul de volumétrie : volumetrie_de_objet() retourne maintenant la taille totale et le nombre des fichiers archivés.
- Cette volumétrie est affichée sur la page http://crdo.fr/archivage_hist.php, ainsi que la volumétrie totale de l'archivage.
- L'instruction 'toc' traite maintenant le numéro de version, ce qui permet d'afficher tous les contenus détaillés à partir du tableau AIP sur la page http://crdo.fr/archivage_hist.php
18 juin 2010
- Réunion au Lacito pour préparer le passage en production de l'archivage pérenne avec l'accord des deux services versants (CRDO-Aix et CRDO-Paris) conformément à la lettre d'intention Lacito/LPL (18 mai 2010, voir copie et annexe).
- Voir message faisant le point sur les problèmes techniques à résoudre impérativement pour la fusion des services de distribution avant le passage en production.
22 juin 2010
- CRDO-Paris/Lacito bascule son archivage en production sans tenir aucun compte des questions soulevées en réunion le 18 juin et exposées dans le message de mise au point. Cette opération irréversible rend caduque le projet de fusion des composantes CRDO-Aix et CRDO-Paris, de par l'impossibilité d'unifier après coup les espaces de distribution sous Fedora Commons au CC-IN2P3. Aucune attention ne sera accordée à ma mise en garde du 23 juin et plusieurs centaines d'objets seront déposés jusqu'au 15 juillet.
- Correction du 'préfixe' de l'identifiant ARK qui n'est pas le même dans l'environnement TEST (fictif) et PROD (définitif).
- Le Cines utilise un code désignant l'environnement d'archivage : 1 = PROD, 2 = TEST, 3 = DEV, et un code de collection : 4 pour CRDO-Aix en PROD, 7 pour CRDO-Aix en TEST. (Voir le champ <projet> dans l'aip.xml)
- Attention : ne plus créer de relation entre des objets de ces deux environnements. Pascal Dugénie étudie une vérification de la validité qui prenne en compte l'identifiant complet et pas seulement l'id PAC.
26 juin 2010
- Par défaut, les fichiers d'extension 'htm' et 'html' ne sont plus archivés comme du texte (UTF8). Pour les inclure dans l'archivage, entrer ces extensions dans le champ "Extensions spécifiques de fichiers texte". Remarque : 'xhtml' est encore archivé comme texte.
- Tests d'archivage sur l'objet crdo000247 (4954 fichiers de formats très divers).
8 juillet 2010
- Gestion de plusieurs labos producteurs pour le même objet et révision de la procédure "source".
- Correction des extensions de fichiers dans la génération du SIP : élimination de tout caractère autre que alphanumérique pour éviter problèmes d'insertion dans Fedora Commons.
15 juillet 2010
- Créé répertoire CRDOdata/users/certificates/ pour stocker les attestations reçues au moment de l'inscription pour prouver le statut de la personne inscrite : copie de carte d'étudiant etc. Accessible uniquement en interne.
16 juillet 2010
- Premiers dépôts en production. (Voir annonce du CINES)
Corrections dans la table des matières (liste des fichiers) :
- Le calcul du lien tient compte du fait que le fichier est renommé ou non, en cherchant pour cela une occurrence de son datastream dans public.xml.
- Lorsque le fichier n'est pas renommé, c'est son URL pérenne qui est affichée.
- Mise en place d'une bascule automatique pour dépôts en test ou en prod.
- Problème avec format AIFF non traité. Olivier Rouchon assure que les formats AIFF et AAC seront acceptés en production début août.
18 juillet 2010
- Traitement et archivage des aip.xml et certificats d'archivage contenus dans 'aip_reception' : la procédure détermine si le fichier a été créé en test ou en production.
23 juillet 2010
Lors du désarchivage d'un objet (dans l'espace test), depo_identifiantDocPac est maintenant conservé dans depo_identifiantDocPac_old, ainsi que depo_listeIdDocPac_objets dans depo_listeIdDocPac_objets_old et depo_listeIdDocPac_metadonnees dans depo_listeIdDocPac_metadonnees_old. Ceci permettra :
- de fournir une liste des objets qui peuvent être effacés de la PAC (espace test)
- de reconstituer une filiation ancienne si nécessaire, lorsque par exemple des objets d'une même collection sont répartis entre l'espace test et l'espace prod.
- Vérification de l'ingestion dans Fedora des fichiers déposés : on a accès au datastream cinyras.xml sur la fiche de l'objet. Ce datastream est déclaré accès ouvert dans public.xml.
29 juillet 2010
- Au moment de produire un SIP pour mise à jour de métadonnées, on vérifie que la mise à jour est demandée dans le même espace d'archivage (test ou prod) où a déjà été stocké l'objet.
- De même, pour tout SIP de dépôt d'un objet, on vérifie qu'aucun de ses parents n'appartient à un espace d'archivage différent.
17 août 2010
- Tests de dépôts d'objets contenant des fichiers au format AAC et AIFF sur les plateformes de test et de production.
- Problème avec dépôt en production d'objets de taille supérieure à 4 Go : attendre les instructions du CINES.
- Lien en page d'accueil vers les bonnes pratiques.
1er septembre 2010
- Affichage séparé des objets en test et en production sur l'historique. => un code d'erreur apparaîtra si le mode n'est pas stocké dans la fiche de l'objet.
3 septembre 2010
- Réglé problème de création incorrecte d'URL en accès direct sur les listes de fichiers. Il s'agissait de convertir les extensions en basse casse car c'est ce qui est fait systématiquement à l'exportation. (Attention : les URLs sous Fedora sont case-sensitive !) Voir exemples sur http://crdo.fr/crdo000525/toc
- La création de la page de download a été modifiée pour faire apparaître explicitement les répertoires stream.
- Pierre-Yves va mettre en place la règle de traitement de public.xml.
7 septembre 2010
- Création du champ depo_version_hist permettant de documenter l'historique des versions.
- Ce champ est exporté dans un élément <tableOfContents> des métadonnées OLAC.
- On conserve l'historique des métadonnées métier en copiant une copie de olacN.xml dans le répertoire download de la version courante de l'objet, avec N = 1, 2... pour les versions successives de métadonnées. Cette copie est faite au moment d'archiver une version de l'objet ou une mise à jour de ses métadonnées.
8 septembre 2010
- Un fichier version.xml est maintenant exporté dans DEPOT/DESC, contenant l'historique des versions.
- Le datastream de ce fichier est déclaré en accès libre dans public.xml.
- Lors de la mise à jour de métadonnées, public.xml est repris dans le répertoire download (version courante de l'objet) mais on lui ajoute les datastreams de cinyras.xml et version.xml s'ils sont manquants.
10 septembre 2010
- Corrigé erreur : maintenant toute mise à jour de métadonnées porte sur la plus récente version de l'objet.
15 septembre 2010
- Le fichier "droits.xml" est maintenant remplacé par "groupes.xml".
- Le traitement de "public.xml" est maintenant actif dans l'espace de test.
16 septembre 2010
- Corrigé des problèmes d'encodage de sauts de ligne dans les champs textuels des données confidentielles.
- Traduit en français la page sur les bonnes pratiques.
- Rédigé une première version du PPDI pour CRDO-Aix.
17 septembre 2010
- afficher_vitrine() est maintenant récursive pour explorer les sous-répertoires du preview et traiter entre autres les fichiers exposés au streaming.
- Remplacé is_dir($file) par is_dir(realpath($file)) pour éviter problème lorsque le premier fichier trouvé porte le même nom que le répertoire contenant.
- Chaque objet a maintenant un champ depo_mode_acces qui vaut 'filtrage' (par défaut) ou 'public'. Si un objet est public tous ses fichiers sont déclarés en accès public et leurs noms sont préservés. Dans ce cas, l'instruction download se contente d'afficher la liste détaillée des fichiers pour la version demandée.
- Une copie de groupes.xml est maintenant stockée dans le répertoire download de la version courante de l'objet.
19 septembre 2010
- mode_acces est maintenant enregistré dans le fichier identifiant.php qui se trouve dans le répertoire download de la version courante de l'objet.
- La licence Creative Commons est affichée lorsqu'elle est incluse dans un fichier licence.html ou license.html dans le répertoire preview de l'objet. La fonction existe_licence_creative_commons() vérifie son existence.
- Seule est acceptée l'option Attribution-NonCommercial-ShareAlike 3.0 Unported.
- Si cette licence existe elle est mentionnée dans le Dublic Core des métadonnées du SIP et des métadonnées métier.
23 septembre 2010
- Rappel : tout fichier contenu dans un répertoire nommé 'PERMANENT' (ou dans un répertoire 'stream' en accès public) est archivé avec son nom d'origine précédé du chemin d'accès. Ce nom est toutefois corrigé pour compatibilité avec les limites de Fedora Commons concernant les noms de datastreams. Entre autres, le nom de fichier ne contient pas plus d'un point, ce qui fait que par exemple "MonFichier.2.0.pdf" est remplacé par "MonFichier.pdf". Cette disposition a été prise en compte pour générer les liens vers les fichiers en accès ouvert, par exemple sur http://crdo.fr/crdo000723/toc.
7 octobre 2010
- Sur l'historique on affiche maintenant la taille du plus gros fichier de chaque objet ainsi que celle du plus gros objet dans toute la collection archivée. Ce paramètre est critique pour le CINES.
- Essais de dépôt de grande volumétrie : échec en time-out pour 9 Go.
15 octobre 2010
- Essais infructueux de faire fonctionner un nouveau script de versement qui ne poserait pas de limite à la volumétrie des objets. À mettre au point avec le CINES.
28 octobre 2010
- Implémentation du portail PROLANG. Création du champ booléen depo_prolang pour la sélection des objets pertinents.
- Modification de sip.xml pour intégrer <structureDocument>index.xhtml</structureDocument> (suggestion du CINES) et finalisation du PPDI avec cette description.
- Script de mise à jour des métadonnées de tous les objets archivés en prod.
- Sauvegarde du répertoire download en même temps que les archives aip et sip.
29 octobre 2010
- Modification de sip.xml pour ajouter l'identifiant du producteur dans la relation de versionnage. En effet, l'identifiant PAC n'est pas unique sur toute la plateforme et le CINES devrait pouvoir vérifier la cohérence entre ces deux identifiants pour éviter un lien de versionnage vers un objet d'une collection différente. (Cette situation ne devrait jamais se présenter maintenant que dans la fabrication de sip.xml on vérifie que les objets reliés sont bien sur la même plateforme : test ou prod.)
- Adaptation de la génération du SIP à la création d'un SIP contenant le PPDI. Correction d'une erreur qui pouvait faire disparaître les empreintes md5.
- Création de la fonction convert_and_trim() pour traiter directement les certificats d'archivage encodés sur Mac et les limiter aux balises pac_avis.
30 octobre 2010
- Séparation de deux répertoires export_test et export_prod pour ne pas mélanger les objets à l'exportation.
6 novembre 2010
- Mise en place d'un bouton permettant la sélection du domaine, afin de court-circuiter la redirection en cas de filtrage intempestif.
9 novembre 2010
- Mise en ligne du PPDI : http://crdo.fr/CRDOdata/crdo_aix_ppdi/DEPOT/ppdi.xml
- CRDO-Aix sera la plateforme centrale de l'axe Corpus, Outils, Ressources du projet de Laboratoire d'Excellence Pro-Lang déposé par les Universités d'Aix-Marseille.
- Dans ce cadre, l'architecture client-verseur sera mise à profit pour l'archivage et la diffusion des données linguistiques de la plateforme de traitement des données culturelles et historiques (ODSAS) du Centre de Recherche et de Documentation sur l'Océanie (CREDO). Voir projet : http://crdo.fr/doc/admin/labex/Labex-CREDO.pdf
- On ajoute maintenant dans DEPOT/DESC un fichier XML nommé mapping.txt contenant le chemin et le nom d'origine de chaque fichier, l'index du fichier, le nom du datastream correspondant, son statut public/private, sa taille et sa date de modification. Cette liste servira à la reconstruction des objets à partir des datastreams. => Plus tard l'emplacement de ce fichier a été modifié, il est maintenant transmis dans le répertoire DIFFUSION.
- Dans voir_depot.php, corrigé placer_liens_directs() pour affichage correct des liens de http://crdo.fr/crdo000717/toc. Cette procédure est à compléter car elle devra utiliser mapping.txt lorsqu'il sera présent. Faire aussi les vérifications sur http://crdo.fr/crdo000525/toc.
16 novembre 2010
- Modification de la contrainte de parenté : si on essaie d'archiver un objet dont un parent n'est pas dans le même espace d'archivage, échec si cet objet doit être archivé en 'prod'. Par contre il peut être archivé en 'test' sous condition de ne pas mentionner la relation dans le champ DocMeta de sip.xml.
18 novembre 2010
- Mise au point du streaming vidéo à partir d'un fichier flv en accès ouvert sur Fedora. Exemple : http://crdo.fr/crdo000026.
- Le streamer Flash a été mis à jour : player_flv_maxi.swf (voir doc)
- Le streaming est lancé sur l'URL pérenne en passant par le résolveur du CRDO : <param name="FlashVars" value="flv=http://crdo.fr/crdo000026/get/preview/stream/AB_CM-15-30-extrait.flv" />.
- On peut aussi utiliser l'URL physique : <param name="FlashVars" value="flv=http://fedora-dev.tge-adonis.fr:8091/fedora/get/CRDO-Aix:18555/DIFFUSION_stream_AB_CM-15-30-extrait.flv" />.
- Exemple de code :
<object type="application/x-shockwave-flash" data="/player_flv_maxi.swf" width="200" height="150"> <param name="movie" value="/player_flv_maxi.swf" /> <param name="FlashVars" value="flv=
- Ce qui donne :
- Terminé les corrections du nouveau script de versement au CINES.
19 novembre 2010
- Test du nouveau script de versement jusqu'à 9 Go.
- Listes de fichiers dans la table des matières : les liens sur les fichiers en accès ouvert sont maintenant déterminés à partir des datastreams listés dans mapping.txt lorsque ce fichier est présent.
20 novembre 2010
- Implémentation d'une procédure permettant de (re)construire public.xml, mapping.txt et index.xhtml (page de téléchargement) sans produire une nouvelle version de l'objet.
- La procédure met en évidence les modifications qui peuvent poser un problème de cohérence. Si la cohérence est respectée, public.xml, mapping.txt peuvent être déposés par une mise à jour de métadonnées.
- Essai sur crdo000037 : le fichier public.xml n'a pas été correctement traité car http://fedora.tge-adonis.fr:8090/fedora/get/CRDO-Aix:6539/DEPOT_DESC_olac.xml retourne une erreur 403.
21 novembre 2010
- Implémentation de la procédure recuperer_objet(id,version) qui transfère tous les datastreams disponibles sous Fedora dans un répertoire de récupération.
- La hiérarchie de l'objet est intégralement restaurée.
- Les dates de modification des fichiers sont restaurées.
- Les empreintes numériques peuvent être vérifiées à partir de aip.xml (à implémenter).
- Cette procédure fonctionne si le fichier mapping.txt est disponible pour la version spécifiée. Elle ne fonctionne donc pas pour les versions archivées avant la création de mapping.txt, mais si l'objet n'a pas été modifié il est possible de construire mapping.txt à partir des données courantes puis de vérifier que la récupération fonctionne sans erreur.
- Il s'ensuit que tout objet stocké dans Fedora peut être effacé de CRDO-Aix. (À noter que mapping.txt est disponible dans DEPOT_DESC sous Fedora.) Cette procédure permet de libérer de l'espace sur le service versant pour les objets ayant atteint une bonne stabilité de version.
24 novembre 2010
- Vérification complète de la chaîne d'archivage : pour tous les objets archivés en production, on a construit mapping.txt de la dernière version (s'il était absent) et lancé la procédure de récupération de l'objet qui permet de détecter (1) une incohérence éventuelle de mapping.txt et (2) un datastream absent dans Fedora Commons.
- Il est donc possible maintenant de supprimer du serveur les objets stabilisés et archivés en production.
- Amélioration de l'affichage du mapping : on extrait tous les chemins qui contiennent 'stream', désignant des fichiers qui pourront être utilisés en streaming audio/vidéo. Début d'écriture d'une procédure permettant de choisir simplement parmi ces streams pour l'affichage en vitrine.
- Le calcul de la volumétrie totale de chaque objet ne se limite plus à la partie archivée.
1er décembre 2010
- Amélioration du lien "source" associé à un objet et un labo : on peut indiquer pour chaque objet la liste des labos pour lesquels un lien "source" est effectif. Cette liste est stockée dans depo_sources.
7 décembre 2010
- mapping.txt inclut maintenant le type MIME de chaque fichier. Ce type n'est pas calculé à partir de l'extension du fichier mais après l'appel de type_fichier($file,$id_objet) qui permet d'inclure comme fichiers texte ceux dont les extensions ont été listées dans depo_extensions.
- Après suggestion d'Olivier Rouchon, mapping.txt est transmis dans DIFFUSION et non plus dans DEPOT/DESC.
10 décembre 2010
- Les documents annexes des objets sont maintenant classés dans CRD0data/docs avec les index des objets correspondants. Des liens symboliques ont été créés pour maintenir l'accès aux répertoires précédemment créés.
- Le répertoire des documents annexes est maintenant déposé avec l'objet. Création automatique du lien symbolique '§doc' à cet effet.
- Test de streaming vidéo sur http://crdo.fr/wiki/Valbonnais-journee-patois-aout2010 à partir de fichiers Flash en libre accès sous Fedora :
<object type="application/x-shockwave-flash" data="/player_flv_maxi.swf" width="960" height="540"> <param name="movie" value="/player_flv_maxi.swf" /> <param name="FlashVars" value="flv=http://crdo.fr/crdo000736/get/preview/stream_P44.flv" /></object>
- ou, depuis une page distante du site :
<object type="application/x-shockwave-flash" data="http://crdo.fr/player_flv_maxi.swf" width="960" height="540"> <param name="movie" value="flv=http://crdo.fr/player_flv_maxi.swf" /> <param name="FlashVars" value="flv=http://crdo.fr/crdo000736/get/preview/stream_P44.flv" /></object>
11 décembre 2010
- Les répertoires $preview et §doc sont maintenant exportés avec $PUBLIC = $PERMANENT = TRUE.
- À cet effet il faudra implémenter un test de validité des noms de datastreams : (1) prévenir d'un nom incorrect et (2) renommer dans ce cas.
13 décembre 2010
- Modification de syntaxe de index.xhtml qui est maintenant en HTML 4.01 Transitional déclaré comme HTML, car FACILE n'acceptait plus la déclaration comme TXT.
19 December 2010
- Detailed query is possible on idPAC covering all versions of an item.
22 December 2010
Started implementing storage of large items chunked to several SIPs (segments). The aim is to overcome the current limitation (approx 32,000) of the number of datastreams in a Fedora object and the maxium size for SIPs set to 50 Gbytes on the CINES platform.
- depo_maxsize and depo_maxfiles indicate the limits for each segment;
- depo_parts is the number of segments in the current version;
- Index of the segment ($index_of_segment) is stored for each file/datastream in mapping.txt;
- Submission works with single segment;
- Processing aip.xml and sip.xml works with multiple segments;
- 'get' instruction works with multiple segments. It picks up index of segment in mapping.txt and generates the proper URL.
23 December 2010
Full implementation of item chunking:
- Checked SIP submission.
- Checked free-access links in table of contents.
- Checked retrieval of chunked items.
- Need to design metadata update for chunked items.
- Fixed the processing of certificat d'archivage when file names contain spaces.
24 December 2010
- Metadata update works for chunked items.
Metadata are only updated for the first segment. - As a consequence, olac.xml, version.xml and mapping.txt are only submitted along with the SIP of the first segment.
- A procedure will need to be worked out for modifying public.xml of all segments using simple metadata updating.
26 December 2010
- Metadata update now works on chunked items. It generates one update for each segment.
8 January 2011
- Verified the retrieval of a 80-Gbyte item chunked in 3 segments.
Item retrieval may now be performed in several passes:
- A file that has already been saved is not downloaded again if its size matches the one declared in mapping.txt
- If the file exists with an incorrect size, it is deleted and replaced with the downloaded version.
- In the display of mapping.txt, active URLs are now pasted over datastreams in open access.
9 January 2011
- Publication of an activity report for TGE-Adonis pilot study
13 January 2011
- Protection against duplicate files. This might occur when 2 files with identical names are in the DEPOT and in the §doc folders, while the file in DEPOT is inside a PERMANENT folder.
19 January 2011
- Processing "map" instructions, e.g. http://crdo.fr/crdo000026/map
- Explicit list on the home page, example: http://crdo.fr/list=715,crdo000526,525,000757,crdo000013/en
28 January 2011
- At the time of producing a SIP, the item folder is created in download_temp, then it is moved to download when aip.xml is being processed.
29 January 2011
- Verified the possibility of re-submitting a segment of a chunked item that had not been properly processed by Fedora despite its acceptance by the archive site. This may occur when a file name is not accepted as a datastream name. The method for solving this problem consists in reconstruction de SIPs (one for each segment) and resubmitted the faulty SIP afetr modifying its name (since the archival platform rejects duplicate names). For instance, crdo000764_v2_3 was relabelled crdo000764_v2_3bis.
- Modifying a SIP name implies that at the time of processing aip.xml the original name is taken for determining the index of the segment. Here for instance '3bis' is replaced with '3'.
- Consequently, when this problem occurs, always resubmit the SIP after appending 'bis' after its name.
7 February 2011
- Discussion with CINES, CC-IN2P3 and CRDO-Paris about the implementation of access rights in compliance with French law dated 15 July 2008 enumerating cases in which open access to a document public archive may be delayed. See http://www.archivesdefrance.culture.gouv.fr/seda/api/archives_echanges_v0-2_archive6.html
- Imbedding the scheme into sip.xml would make it possible for the distribution site (CC-IN2P3) to set up access rights to the datastreams of all documents stored in the DEPOT directory. However it will not be applicable to the datastreams of documents stored in the DIFFUSION directory. Among these documents are the 'zip' and 'tar' archives, potentially containing protected documents, that cannot be sent via DEPOT because their file formats are not eligible for long-term preservation. Therefore a complementary procedure is necessary. Currently this is accomplished on CRDO-Aix by the public.xml file transmitted via DEPOT/DESC.
- It is necessary that access rights can be modified via a simple metadata update on any version of an item, as a withdrawal from open access might be demanded at any moment by producers for documents that have been archived under a licit access restriction. For this reason the additional accessRights.xml file will be transmitted via DIFFUSION. The file will contain full access information pertinent to each datastream, namely the code of a possible derogation case to the principle of open access, the date when this derogation started and its duration, plus an indication of open access if granted by informants, and authorized groups if the access is limited to users authenticated on the distribution site.
8 February 2011
- Links to PPDI http://crdo.fr/ppdi are now displayed at the bottom of the download page.
- We will create http://crdo.fr/ppdi/fr and http://crdo.fr/ppdi/en
9 February 2011
- Follow this link at CINES: Séminaire sur l'archivage des données (projet ISAAC), http://www.cines.fr/spip.php?article800
15 February 2011
- New downloading option for an admin, the owner of an item or a special user: a "Source" link gives access to source files on CRDO-Aix instead of datastreams on the distribution site. This makes it possible for team members to access the revised version of an item before its submission to the archive.
23 February 2011
- Suppressed possible SQL code injection on $_GET['lang'].
28 February 2011
- A specific 'autorisations' directory has been created with its contents automatically linked to packages via symbolic links so that authorisations will be preserved along with the AIP.
New fields in the item database defining default access rights to documents in this item:
- derogation_categorie: as per art. L213-2
- derogation_startdate: by default, the date of creating the record
- autorisation_startdate: if a permission is found in 'autorisations' directory, its date of start
- autorisation_enddate: if a permission is found in 'autorisations' directory, its date of expiry
16 March 2011
- Derogations and legal status of items are exported to Dublin Core fields in the OAI and OLAC repositories.
- Displaying an item when identified as the owner or admin or privileged user now gives the list of users having privileged access to this item.
- On the admin users page, inconsistencies in the list of privileged users are displayed. The list is searched for missing items declared as accessible to certain users.
17 March 2011
- Implemented download/source redirection. These links are now displayed after login in as a privileged user.
21 March 2011
- Archival status is displayed in a comprehensive way on every item record and in OLAC DC code as provenance.
6 April 2011
- Extended information exported to OLAC DC: privileged users and URLs of lab producers.
- New page: Access rights management in compliance with the French Code du patrimoine.
19 April 2011
Implemented OAI-PMH queries. Examples:
20 April 2011
Completed OAI-PMH queries. The repository is now partitioned to 4 sets:
- current_data
- archive:medium-term
- archive:long-term
- admin
- Try http://crdo.fr/oai-pmh.php?verb=ListSets
Examples:
- http://crdo.fr/oai-pmh.php?verb=ListRecords&metadataPrefix=olac&from=2009-01-01&until=2011-12-31&set=archive:long-term
- http://crdo.fr/oai-pmh.php?verb=ListRecords&metadataPrefix=olac&from=2010-01-01&until=2011-05-01&set=archive:medium-term
- http://crdo.fr/oai-pmh.php?verb=ListIdentifiers&metadataPrefix=olac&from=2010-01-01&until=2011-05-01&set=current_data
- http://crdo.fr/oai-pmh.php?verb=ListIdentifiers&metadataPrefix=olac&from=2010-01-01&until=2011-05-01&set=archive
21 April 2011
- Revised http://crdo.fr/crdoXXXXXX/olac. Now it displays Fedora metadata only if crdoXXXXXX is in long-term archive. Otherwise it calls http://crdo.fr/oai-pmh.php?verb=GetRecord&identifier=oai:crdo.fr:crdoXXXXXX&metadataPrefix=olac.
Implemented OAI-PMH metadata format 'oai_dc'. Examples:
25 April 2011
- Implemented links to Google earth using Data coverage (spatial) (dcmi point).
- Now certificat d'archivage are no longer stored if they point at an item in medium-term archiving. This document has no value for CINES.
27 April 2011
- Old certificats d'archivage other than long-term have been removed.
- Opening new tabs on 'download' and '(source)' buttons: onclick="this.form.target='_blank';return true;"
- DC dc:identifier fields now include the URLs of datastreams available from Fedora in open-access. (Maximum 30 occurences)
29 April 2011
DC dc:identifier fields pointing at URLs of datastreams available from Fedora in open-access will not include:
- documents of 'application/...' MIME type
- documents contained in the 'preview' directory, unless they are 'image/...' MIME type
- These DC dc:identifier fields are not included in the descriptive metadata ('olac.xml') sent to the archive. The reason is that they contain idPAC identifiers which change with versions.
30 April 2011
- In the retrieve procedure, metadata files olac.xml, public.xml etc. are also retrieved from DEPOT_DESC and stored to $metadata directory.
1st May 2011
- It is now possible to retrieve only metadata (i.e. contents of DEPOT_DESC) from items stored in Fedora.
- A procedure retrieves all metadata information stored in Fedora.
- Created an item to send system disk image and metadata files to medium-term archiving. (See ADMIN alias on desktop.)
- Implemented ob_start(), ob_flush() and flush() instructions to improve the display of tracking long processes.
3 May 2011
- Improved metadata export for a better matching with DRIVER.
5 May 2011
- So far it was impossible to display the list of files of an item when its size exceeded an amount of approximately 1 Mbyte. The problem was with the procedure attempting to paste links over open-access files.
- Now, when creating index.xhtml (in the download directory), a text version is created and saved as index.txt. If its size is greater than $taille_maxi_affichage_toc (typically 500000) a truncated version will first be displayed. Clicking a 'more' link displays the full index text file. See for instance http://crdo.fr/crdo000379/toc
- The size of the full index text file is stored in depo_fichiers_taille. A version of the text index file not exceeding $taille_maxi_db_toc (typically 64000) is stored in depo_fichiers.
- When creating descriptive metadata, if depo_fichiers_taille is less than $taille_maxi_DC_toc (typically 5000), depo_fichiers (i.e. the full index text file) is exported to a <dc:tableOfContents> field.
11 May 2011
- RSS items now include <source> and <category> elements. <source> points at the RSS stream and <category> tells the type of an item (in the language of the feed).
- The version of the current producer licence is now assigned to an item at the time it is being created.
- Sorted out <dc:language> and <dc:subject> fields in the oai_dc and olac metadata.
15 May 2011
- Fixed errors in old index.xhtml files.
24 May 2011
- Individual users can now be elected as a priviledged user of an item. However this will not give them access to former versions nor to the editing of metadata.
27 May 2011
- List of contributors and roles is now editable on the front page of each record. Sponsors should be mentioned more systematically.
- It is now possible to specify 'exotic' extensions for XML files, in addition to text files.
- These lists of extensions are now edited on the front page of an item (admin, owner or privileged)
29 May 2011
31 May 2011
- Jhove is implemented with a recursive procedure that returns the paths of all defective files in an item. This avoids trial-and-error validations on the CINES site that terminate on the first error encountered. It has been successfully tried to identify ill-formed UTF-8 files on the Open ANC.
Improved the display of list of downloadable files for very large items, e.g. crdo000770:
- The list of open-access files is extracted and displayed on the top.
- The list is saved as 'mapping-open.txt'.
- If 'mapping-open.txt' exists its content is displayed.
- File 'mapping-open.txt' is deleted each time 'mapping.txt' is reconstructed.
- The same procedure applies to the display of mapping.
2 June 2011
- Fixed an error in mapping() that sometimes caused a wrong return of the segment and a bad Fedora URL for open-access files.
- Implemented a complete check of datastreams that saves the time of retrieving them.
- champ depo_fichiers is automatically filled while processing the aip.xml, and index.txt is created if depo_fichiers_taille is larger than $taille_maxi_db_toc.
8 June 2011
- Implemented directories specified as 'SECRET', the contents of which are only accessible from the source although they are sent to the archive and the distribution sites.
- Example: storing copies of free-consent forms on crdo000714 (see table of contents)
- Fixed an error in open-access links available from mapping()
12 June 2011
- Suppressed corp_droits, corp_droits_g3, corp_droits_g4, corp_droits_g5
- Suppressed ress_droits, ress_droits_g3, ress_droits_g4, ress_droits_g5
- Access rights are now stored in the generic table
- Access rights are set up on the home page of an item. No need to update all metadata.
22 June 2011
- Now we use Dropbox to transfer aip.xml and certificat d'archivage.
25 June 2011
- Now all files contained in $autorisations, $licence and $doc are stored (if archivable) in DEPOT/DESC instead of DEPOT.
30 June 2011
- Metadata updates modify the contents of $autorisations, $licence, $doc and $preview, including PUBLIC, PERMANENT, SECRET status. Successfully checked on multi-segment items.
3 July 2011
- Link to OpenStreetMap
10 July 2011
- Now files whose names start with '' are also ignored by copier_repertoire_dans_export().
14 July 2011
- Duplicate files/datastream produce a clear error message. Only the first occurence is sent to the SIP.
However this is a very rare case. Duplicating a datastream might only occur if:
- the source file is located in a PERMANENT or stream folder;
- the two datastreams display identical paths after deleting occurrences of TEMP_.
- An example is stream/TEMP/GAN-02-05.mp3 in http://crdo.fr/crdo000026_v19/map
- A link is available for checking the content of mapping.txt before producing SIPs.
- The algorithm producing the mapping has been checked and simplified.
mapping.txt can be edited (by admin):
- Private/public status can be modified on any datastream
- MIME type is editable
- Source path is editable (not recommended)
- Editing can be performed before sending an item to the archive (not recommended)
- Editing can be performed on older versions. Updates are sent to the archive via a metadata update.
- Thus, the private/public status of any datastream can be modified without uploading a new version.
16 July 2011
- No datastream can be created/modified via the DIFFUSION folder during a metadata update. Admin is warned against this at the time of creating the SIP.
18 July 2011
- Management of work disks: external disks can be used for packaging SIPS.
- The choice of the export disk is handled on the Admin page.
- Changing the export disk automatically modifies the export script sending SIPs to CINES.
21 July 2011
- Successful uploading of a 203-Mbyte item (in 6 segments) for medium-term preservation : crdo000764
Problems encountered and reported to the CINES team:
- saturation of the VERS space
- time-out on untar operations - resending the segment was successful
23 July 2011
- It is now possible to supply a list of prefixes indicating text files. This has been experimented with crdo000753.
- Prefixes may start with odd characters such as hyphens. This is taken care of in "mv" and "cp" commands using the '--' dummy option.
- Now mapping.txt is stored in DEPOT/DESC instead of DIFFUSION. This makes it possible to refresh its storage via a metadata update. (Metadata updates cannot modify the content of DIFFUSION.)
27 July 2011
Now the mapping.txt table stores 6 additional fields:
- derogation
- derogation start date
- duration of derogation (currently recomputed from legal information)
- autorisation (yes/no)
- autorisation start date
- autorisation end date
- If these fields are empty, values are set to default assignments for the item
- Editing the table makes it possible to modify any parameter (except duration)
- Setting the status of a document from private to public deletes all specific parameters and sets derogation to AR038
- Setting the status of a document from public to privates sets derogation (and other parameters) to default
30 July 2011
- While editing mapping.txt recommendations for modifying the public/private status of each document are displayed on the basis of its access parameters: derogation, autorisations etc.
1st August 2011
- While editing mapping.txt, access parameters for each file/datastream can be looked up from the same in the item's previous version. Each parameter is copied only if the previous value is specific: default values are not copied.
6 August 2011
- On the detailed table of contents, derogations (and their explanations) now appear as 'title' above file names in private access when these refer to a specific derogation.
- No such display for those private files whose access rights are based on default item access settings.
- While editing mapping.txt, it is now possible to inherit individual file access rights from the previous version of an item.
(file §preview/video.html, crdo000026_v19)
(file §preview/video.html, crdo000026_v19 with rights updated from version 18)
- Files are matched by their complete paths.
Access rights are inherited if:
- the current derogation is 'default' and the previous derogation was not default;
- or the previous derogation was the same as the current derogation.
- In the first case, derogation and specific dates are copied from the previous version.
- In the second case, specific dates are copied from the previous version.
7 August 2011
- 'PRIVATE' option is implemented in the packaging.
8 August 2011
- An accessRights.xml default file is automatically put into a folder at the time index.xhtml is constructed.
- Non-empty values stored in accessRights.xml modify access rights for the current folder.
9 August 2011
- accessRights.xml files are now editable. An 'edit' button is available when displaying source files - which is only possible for admin, owner and privileged users.
- Parameters left empty are inherited from the ones set higher in the file hierarchy.
10 August 2011
Version 4 of
http://crdo.fr/crdo000019_v4 has been uploaded to the archive, checking all procedures for setting access rights. See http://crdo.fr/crdo000019_v4/toc:- Access to WAV files is restricted to scholars because they are in high resolution, and low-resolution AAC files are accessible;
- Access to AAC files (and MP3 files in the preview) is granted because of autorisations signed by participants;
- The scans of autorisation files are kept secret (except to owner and admin) because they contain names of participants;
- Transcriptions are open access as granted by participants.
- For any file owning specific rights (other than the items's default ones) the explanation and comment are displayed when mouse is over the link.
- In the mapping.txt table, public/private mentions are displayed in green or red depending whether their current status is compliant with access right parameters and Code du patrimoine. See for instance http://crdo.fr/crdo000019_v2/map for incompliant status and http://crdo.fr/crdo000019_v4/map for corrected status.
13 August 2011
New management of open-access items:
- Open access is either set by declaring "AR038" derogation (owner's choice) or bypassing the IP filtering process (admin's choice).
In both cases clicking the "Download button" will result in:
- Displaying the acceptation of CRDO licence and the download form, if the user is identified and granted access to (all files in) this item;
- Displaying the table of contents from which only open-access files can be downloaded.
- This method makes it possible to define 'open-access' items in which some high-resolution files (e.g. WAV) are retained in restricted access whereas their low-resolution versions (e.g. MP3) are directly accessible.
For each file/datstream the system calculates the 'deadline' date at which its public/private status should next be revised according to its access rights attributes : derogation, derogation start date, autorisation, autorisation start and end dates.
- The nearest deadline is stored along with the item.
- The admin main page displays a list of items whose deadline is over.
Compliance with Code du patrimoine is evaluated for each item as follows:
- Count files/datastreams whose public/private status is acceptable given their access rights attribute;
- Calculate the percentage of such files;
- 100 should be achieved for full satisfaction.
- Current data has been checked with respect to compliance. Modifications have been entered in mapping.txt files and uploaded to the archive as metadata updates.
- The mapping.txt file editor has been developed to facilitate the editing of large files, notably allowing multiple simultaneous copies of selected lines.
20 August 2011
- Completed documentation of accessRightsSettings_fr.
- Now, item owners and privileged users can generate et delete SIPs for updating the metadata of items under their care:
28 August 2011
- Completed switching code from 'crdo' to 'sldr' (except for some database fields)
- 'SECRET' and '(SECRET)' directories are now locked with respect to modifying private/public status via changes in their dedicated accessRights.xml.
2 September 2011
Speeding up the site:
- 'nofollow' metatags on all pages
- it is now necessary to be identified to get access to the archive history
- Restart Apache button available for admin (it works!)
7 September 2011
- A presentation of SLDR in the CLARIN-D tutorial (Nijmegen, The Netherlands): http://www.clarin.eu/events/3443
9 September 2011
- An intervention in the AFLS colloquium (Nancy, France): Archivage intermédiaire et archivage pérenne des corpus oraux : modèle OAIS et gestion des droits d'accès.
18 September 2011
- Navigating in Chinese language now forces the use of domain "crdo.up.univ-aix.fr" during the entire session.
21 September 2011
Discussion with CINES:
- Modifying the submission script (drop tar/tgz) : Questions pour l'amélioration des procédures de dépôt
- Fix a few inconsistencies of the current OAIS implementation : Questions de cohérence du modèle OAIS
23 September 2011
- Contact with University DSII for planning the hosting of sldr.org domain
28 September 2011
- Canonical links are displayed in header of item record. Unsuccessful attemps of URL masking: using frames would be detrimental to search-engine referencing.
19 October 2011
Implemented user groups on:
- institutional producers
- individual users
- items
- If one of the item's groups matches a group of the individual user, or one among the groups of his/her institution, then access to the item is granted
- These conditions are displayed on the item record for the authenticated user.
- Group settings are done exclusively by admins.
24 October 2011
- User group management fully implemented
- Test of a shared licence for sldr000776
30 October 2011
- Implemented check of availability of idPAC on the Fedora site. This helps avoiding to process aip.xml until the item has been fully transfered from CINES to CC-IN2P3.
- This check is automatically performed before processing aip.xml so that it is ignored as long as the item is not available on the dissemination site.
31 October 2011
- OAIS incoherence: item sldr000763_v2_1 has been validated by CINES but it is rejected by CC-IN2P3 because of the change of identifier between version 1 (crdo000763) and version 2.
See: CoherenceOAIS.
3 November 2011
- Implemented idProducteur($id,$version) to fetch identifiantProducteur in the SIP or AIP of an item (whichever is found first). This solves the problem of specifying a parent item that had been stored as 'crdoXXXXXX'.
- Dublin Core of DocMeta has been modified to include parentship relations expressed with identifiantProducteur even though these are optional and not taken into account by the archival system.
20 December 2011
- Implemented and successfully checked new submission script designed by B. Watine. Now, tgz taring is no longer necessary.
- Once the iRods CINES/CC-IN2P3 link is modified to enable the transmission of DIPs without tgz taring, we will check the submission of items containing files larger than 4 Gbytes.
23 December 2011
Implemented procedures to allow the distribution of source data over several external disks:
- In the default location a "_locate" text file is stored containing the volume containing the actual data, e.g. "ExternalDisk1".
- All procedures requiring access to source data take this information into account to reach the actual source.
7 January 2012
- Implemented test_fedora_datastream_names(), a test of the lengths and well-formedness of names assigned to Fedora datastreams. This concerns files whose names are forced to remain unchanged (in a PERMANENT directory).
- This test is accessible to item owners and admins on the item record page.
- This test is performed automatically before sending a new version or updates of descriptive files. Systematic test is necessary for maintaining the OAIS consistency as incorrect datastream names would result in DIPs getting lost between CINES and CC-IN2P3.
8 January 2012
- Implemented procedure to move item source data from a volume to another one. Access to SLDRdata directory is possible via a symbolic link bearing the disk's name in the Library/WebServer/Documents folder.
- Modified access to files contained in preview directory, taking into account volume location.
Created global list of data disks (DataDisk[]) that is scanned when looking for an item's source data.
- DataDisk[0] is the reference disk that contains _locate files to indicate the actual location of an item. However, in the absence of a _locate file, other disks are searched.
- DataDisk[0] contains specific directories such as download, aip_archive, sip_archive, crdo_aix_ppdi, retrieve, convert, users, workspace. These are backed up separately.
24 January 2012
After discussion with archivists, modified the creation of SipDC and OLAC DC with respect to <creator>:
- New field depo_creator_choice with values depositor/contributor/institution.
- Option institution means that no individual producer shall be mentioned as 'creator'. In this case, the creator is the institution holding the rights. Example : http://sldr.org/sldr000776 (Buckeye Corpus)
- Option contributor will assign the names of contributors to the <creator> tags. However, rightsHolder of SLDR licence remains the depositor.
29 January 2012
Implemented a check of download files N.php:
- While performing a check of the presence of datastreams, for each datastream the existence of the N.php is verified.
- If the file is present we check the compatibility of $destination, $fichier, $nom and $index_of_segment with values stored in mapping.txt.
30 January 2012
- Hand-corrections of the DIP transmission for sldr000776_v2 are expected. Part of content of DIFFUSION folder is missing, notably all zip files.
Started implementation of procedures for reconstructing missing or inconsistent information relative to accessing datastreams:
- Reconstruction of N.php files using mapping.txt (completed and checked)
- Reconstruction of index.xhtml using mapping.txt (remains to be done)
- Check procedures are available to admins on the Administration page
- Reconstruction procedures are available to superuser on the Administration page
1st February 2012
- Sorted out problem of rejected MP4 files produced by the latest version of HandBrake: option "Create chapter markers" must be deactivated otherwise a text track will be packed along with the video and sound tracks which causes facile.cines.fr to reject the file. This has been documented on the Formats page.
En attente / on the shelf
- Créer procédure pour configurer automatiquement un nouveau DataDisk.
- Corriger problèmes signalés sur diagnostic de DRIVER : http://146.48.122.124:8380/dnet-validator-driver/prepareSummary.action?jobId=794
- Dans la procédure de vérification/correction des N.php, en cas de désaccord vérifier quel datastream est accessible (depuis mapping.txt ou N.php) et corriger mapping.txt si nécessaire.
Génération automatique des archives de répertoires (zip ou tar) :
- Le producteur insèrera "_zip" ou "_tar" dans le répertoire concerné ;
- Générer un fichier xml faisant la liste des zip/tar et de tous les datastreams qu'ils doivent contenir ;
- La génération pourrait alors être exécutée au moment de l'ingestion dans Fedora.
- Filtrer "index_en" files dans CopyDescriptiveContent().
- Vu avec Pierre-Yves : ajouter à la liste des objets supprimés une liste des relations à supprimer, car dans Fedora Commons il génère aussi la relation inverse.
- Enlever les doublons de <dc:format>.
- Dans convertTextGrid.php, inclure le marquage des locuteurs et revoir format du time-code (pour Clément Girard).
- Exporter les métadonnées au format CMDI via le serveur OAI-PMH.
- METS metadata format http://www.loc.gov/standards/mets/mets.xsd (à voir dans le cadre d'ORTOLANG).
- TEI metadata format http://www.tei-c.org/release/xml/tei/custom/schema/xsd/tei_all.xsd (à voir dans le cadre d'ORTOLANG).
- Création d'un unique accessRights.xml comme suggéré dans le projet pilote (à voir dans le cadre d'ORTOLANG).
- Remplacer corpus, resource et tool par item dans toutes les sélections de répertoire.
- Lors du dépôt de nouvelles versions il devrait être possible d'utiliser mapping.txt pour réaffecter le même index aux fichiers reconnus dans la version précédente. Voir si cela peut améliorer la pérennisation des URLs de fichiers non déclarés dans 'PERMANENT'.
- Dans la liste des langues, afficher séparément les "dialectes". Ajouter ISO 639-5, voir PANLEX et glottolog ontologie à paraître : http://aksw.org/files/okcon_openlinguistics/nordhoff_okcon2011.pdf
- Inclure les pages wiki associées à l'objet dans le répertoire DIFFUSION, ce qui permettra de les restituer en cas de crash. Anticiper pour cela la transition vers PmWiki en utilisant l'index sldrXXXXXX comme préfixe de chaque page.
- Installer le Policy agent d'OpenSSO (à voir dans le cadre d'ORTOLANG).
- Revoir la liste des disciplines (hors linguistique).
- Installer requête d'archivage par le producteur (à voir dans le cadre d'ORTOLANG).
- En cas de changement de version il faudrait avertir les utilisateurs uniquement après réception et traitement de l'aip.xml.
- Essayer conversion de EPS vers SVG avec pstoedit.
- Quand un admin change le propriétaire d'un objet, vérifier s'il doit rester dans la catégorie 3 ou aller dans la catégorie 4. Prévoir une procédure qui vérifie la cohérence des catégories sur tous les dépôts, à lancer chaque jour car des dépôts peuvent avoir été supprimés.
- Recherche de mots dans les notices et résumés des publications.
- Extraire automatiquement les URLs des champs texte pour les utiliser dans les relations.
