May 2013 - Cantharella-devel - mailman.cloud.codelutin.com

Re: [Cantharella-devel] Stockage des documents
by Adrien Cheype May 6, 2014

May 6, 2014

Bonjour, Éternel débat : stockage des fichiers dans la base ou le système de fichier ? http://wiki.postgresql.org/wiki/BinaryFilesInDB Si vous préférez stocker les fichiers dans la base, je n'y vois pas d'inconvénient. J'ai personnellement toujours enregistré les fichiers à part dans le système de fichier mais dans le contexte de Cantharella, le stockage dans la base suivrait une certaine logique. L'autre question qui se pose alors est : en bytea ou en BLOB (oid) ? Dans notre cas de fichier peu volumineux (cf. limitation de taille définie dans les spécs.), les deux alternatives peuvent convenir. La principale différence étant que pour bytea, les données restent dans une colonne de la table tandis que pour les BLOB, les données sont externalisées dans une table système et référencées par un oid. D'un côté, Bytea semblent être plus facile à mettre en place mais pourrait engendrer certains problèmes de performance lors de requête sur l'ensemble des documents (preload), de l'autre BLOB semble garder toujours de bonnes performances (on demand) même avec des données plus volumineuses mais nécessite de mettre en place un système de suppression automatique des BLOB lorsque la référence (oid) est supprimé (trigger, rule). Adrien Le 14/02/2013 03:23, Eric Chatellier a écrit : > Bonjour, > > Je viens de mettre à jour le serveur avec le début des > interfaces de gestion et visualisation des documents (seulement > pour les molécules avant de le généraliser). > > Concernant le stockage des fichiers attachés, peut-on > les stocker directement dans la base de données ? > > Cela simplifierais la gestion et la cohérence pour l'ajout > et la suppression. > > Techniquement, le modèle de données serait typé en byte[] > voire en InputStream (voire si vraiment ca ne fonctionne pas > en java.sql.Blob) et annoté en @Lob > -- Adrien Cheype Ingénieur en Systèmes d'Information Service « Informatique Scientifique et Appui aux Partenaires du Sud » Direction du Système d'Information (DSI) http://www.ird.fr/dsi/ http://www.ird.fr/informatique-scientifique/ INSTITUT DE RECHERCHE POUR LE DEVELOPPEMENT BP A5 - 98848 Nouméa - Nouvelle Calédonie Tél. +687 260 789

2 2

Re: [Cantharella-devel] Tableau "Personnes" : Export CSV
by Eric Chatellier June 1, 2013

June 1, 2013

Le 28/05/2013 21:38, Sylvain PETEK a écrit : > Bonjour, > > Je viens de remarquer que l'export CSV a été mis sur tous les tableaux, sauf > au niveau du tableau "Personnes", serait-il possible de le rajouter svp? C'est fait. -- Éric Chatellier - Code Lutin Tel: 02.40.50.29.28 - http://www.codelutin.com

2 1

Re: [Cantharella-devel] Moteur de recherche: un dernier champ à indexer + Ouverture Doc
by Eric Chatellier May 28, 2013

May 28, 2013

Bonjour, J'ai corrigé: - le menu qui reprend sa place après le survol - les mentions légales anglaise (avec les developpeurs CodeLutin dans les Crédits) Le 27/05/2013 20:54, Sylvain PETEK a écrit : > > Je suis en train de faire tester le SI par d'autres utilisateurs, histoire > d'avoir leur avis/remarques. J'ai eu le retour ci-dessous concernant > l'ouverture des docs (PDF qui s'ouvre dans le navigateur je pense): > "je remarque juste que quand on télécharge les docs ils s'ouvrent dans la > même page, ils faudrait qu'ils s'ouvrent dans un nouvel onglet ça permet > d'éviter de perdre ta page, et le site par la même occasion. Le reste à > l'air de bien marcher." Pour cela, j'ai forcé le téléchargement de la pièce jointe. Elle ne s'ouvre donc plus dans le navigateur. (c'est pas vraiment la demande, mais c'est ce qu'on fait couramment) Cordialement, Eric Chatellier. -- Éric Chatellier - Code Lutin Tel: 02.40.50.29.28 - http://www.codelutin.com

2 1

Re: [Cantharella-devel] Moteur de recherche: un dernier champ à indexer + Ouverture Doc
by Eric Chatellier May 27, 2013

May 27, 2013

> Merci pour ces ajouts, la recherche sur "Formule brute" ne me renvoie > aucun > résultat... J'avais oublire de reconstruire l'index lucene suite à cet ajout, c'est bon maintenant. > > Je suis en train de faire tester le SI par d'autres utilisateurs, histoire > d'avoir leur avis/remarques. J'ai eu le retour ci-dessous concernant > l'ouverture des docs (PDF qui s'ouvre dans le navigateur je pense): > "je remarque juste que quand on télécharge les docs ils s'ouvrent dans la > même page, ils faudrait qu'ils s'ouvrent dans un nouvel onglet ça permet > d'éviter de perdre ta page, et le site par la même occasion. Le reste à > l'air de bien marcher." Je corrigerais tous ces retours en une seule fois (plusieurs à la fois) en même temps que la version anglaise des mentions légales. C'est moins long pour moi de tout faire ne même temps. -- Éric Chatellier

1 0

Re: [Cantharella-devel] Animation des onglets
by Sylvain PETEK May 27, 2013

May 27, 2013

Bonjour, Un autre retour d'utilisateur: "Serait-il possible que les onglets reprennent leur place initiale quand on ne les survole plus?" Sylvain

1 0

Re: [Cantharella-devel] Moteur de recherche: un dernier champ à indexer + Statistiques pour molécules
by Eric Chatellier May 27, 2013

May 27, 2013

Le 25/05/2013 04:02, Sylvain PETEK a écrit : > Bonjour, > > Il ne reste plus que qqs petits détails à régler si c'est possible, et je > pense que j'aurai fait le tour... > > - Serait-il possible d'ajouter le Champs "Formule brute" à l'indexation, ce > qui permettra de faire une recherche sur les molécules au moins à partir de > la formule brute? > > - Sur la page d'accueil, au niveau des statistiques serait-il possible > d'ajouter le nombre de molécules enregistrées dans la base (entre > Purifications et Tests biologiques)? C'est pour Formule brute et les stats. -- Éric Chatellier - Code Lutin Tel: 02.40.50.29.28 - http://www.codelutin.com

2 1

Re: [Cantharella-devel] Moteur de recherche: un dernier champ à indexer + Statistiques pour molécules
by Sylvain PETEK May 25, 2013

May 25, 2013

Bonjour, Il ne reste plus que qqs petits détails à régler si c'est possible, et je pense que j'aurai fait le tour... - Serait-il possible d'ajouter le Champs "Formule brute" à l'indexation, ce qui permettra de faire une recherche sur les molécules au moins à partir de la formule brute? - Sur la page d'accueil, au niveau des statistiques serait-il possible d'ajouter le nombre de molécules enregistrées dans la base (entre Purifications et Tests biologiques)? Merci d'avance, Sylvain PETEK

1 0

Re: [Cantharella-devel] Moteur de recherche: champs non indexés?
by Eric Chatellier May 24, 2013

May 24, 2013

Le 24/05/2013 01:12, Sylvain PETEK a écrit : > Bonjour, Bonjour, > J'ai lancé des recherches sur des données des champs suivants: Pour info, quand il manque des champs, c'est que le cahier des charges ne les demandaient pas au départ. Mais je peux les ajouter à le demande. > > - Type d'organismes C'est compliqué pour celui là car dans la base de données comme des index de recherche (on ne stocke que 0, 1, 2, 3, 4) et non le vrai type. C'est le même problème que l'on avait eu pour le pays et pour lequel on avait du ajouter un champ "Pays" dans le formulaire de recherche. Ce champs est-il indispensable ? > - Partie d'organisme C'est fait. (Lot.partie.nom) > - Méthode d'extraction C'est fait (Extraction.methodeExtraction.nom) > - Méthode de purification C'est fait (Purification.methodePurification.nom) -- Éric Chatellier - Code Lutin Tel: 02.40.50.29.28 - http://www.codelutin.com

2 1

Re: [Cantharella-devel] Ajout d'un doc sur la fiche d'un Utilisateur?
by Eric Chatellier May 24, 2013

May 24, 2013

Le 23/05/2013 23:34, Sylvain PETEK a écrit : > Bonjour, > > En tant qu'Administrateur je souhaitais ajouter un doc sur la fiche d'un > utilisateur/administrateur, mais visiblement la fonctionnalité n'y est pas, > alors qu'elle y est sur la fiche "personne". J'ai ajouté les interfaces de gestion de documents pour les utilisateurs (je ne l'avais fait que pour les personnes à la base). -- Éric Chatellier - Code Lutin Tel: 02.40.50.29.28 - http://www.codelutin.com

1 0

Re: [Cantharella-devel] Creation nouvelle fiche lot, extraction, purif = erreur interne
by Eric Chatellier May 24, 2013

May 24, 2013

Le 23/05/2013 23:27, Sylvain PETEK a écrit : > > J'ai eu une erreur interne à la validation. > > J'ai également une erreur interne à la validation si je veux créer une > nouvelle extraction ou nouvelle purification à partir de l'organisme R3042 > ou d'un autre. J'ai corriger ces deux erreurs (effet de bord d'une précédente correction). -- Éric Chatellier - Code Lutin Tel: 02.40.50.29.28 - http://www.codelutin.com

1 0

Moteur de recherche: champs non indexés?
by Sylvain PETEK May 23, 2013

May 23, 2013

Bonjour, J'ai lancé des recherches sur des données des champs suivants: - Type d'organismes - Partie d'organisme - Méthode d'extraction - Méthode de purification Il ne me renvoie aucun résultat... Sylvain

1 0

Ajout d'un doc sur la fiche d'un Utilisateur?
by Sylvain PETEK May 23, 2013

May 23, 2013

Bonjour, En tant qu'Administrateur je souhaitais ajouter un doc sur la fiche d'un utilisateur/administrateur, mais visiblement la fonctionnalité n'y est pas, alors qu'elle y est sur la fiche "personne". Sylvain

1 0

Re: [Cantharella-devel] Moteur de recherche et tableau molécules
by Eric Chatellier May 23, 2013

May 23, 2013

Le 23/05/2013 05:05, Sylvain PETEK a écrit : > Bonjour, > > > > Merci ça marche bien pour Stations et Spécimens, il continue néanmoins > d'afficher les molécules (sans les provenances), si c'est trop compliqué à > résoudre, ça ne devrait pas être un pb à l’usage dans la mesure où les > molécules doivent être publiées par ailleurs avant d'être sur le site, et > que les provenances ne s'affichent pas... C'est le problème du tableau mixte Molecules avec ou sans provenances que l'on a déplacé en version 1.2 il me semble. > > > > J'ai par contre noté un "drôle" de comportement: En tant qu'Utilisateur > (avec les droits sur Exemple), > > - j'ai créé une nouvelle campagne "Bidon", au niveau de la fiche campagne > j'ai ajouté la Station prospectée "Z1-EXEMPLE" (déjà utilisée ds la Campagne > Exemple) > > - Je fais une recherche sur "Bidon", le moteur me sort toutes les données de > la campagne "Exemple", alors qu'il ne devrait me donner au mieux que les > données sur la station "Z1-exemple" et les spécimens de cette station mais > pas plus... Je ne reproduit pas le problème. En utilisateur ayant les droits seulement sur la campagne "Bidon", et en recherchant "bidon", je semble obtenir le résultat voulu: Stations: Z1-EXEMPLE Specimens X1-EXEMPLE UA_IND AC_IND C_IND SP_IND Et rien d'autre. Est-ce votre cas de test ? > > > En utilisateur et administrateur, au niveau du tableau "Molécules", si je > souhaite faire un tri sur les colonnes Embranchement, Genre, Espèce, Réf. > Lot, Programme, il me renvoie une erreur interne. Je confirme et je regarde. > > Je viens de faire un essai avec IE8, les images des molécules ne s’affichent > ni dans le tableau, ni sur les fiches… C'est normal car ChemDoodleWeb ne fonctionne que sur les navigateurs supportant le HTML5 donc les navigateurs récents à partir de IE9. En allant sur cette page: http://web.chemdoodle.com/installation/download Vous pouvez vérifier dans la partie droite de la page ("Does this browser support ChemDoodle Web components") si le support est assuré ou pas pour votre navigateur actuel. Cordialement, -- Éric Chatellier - Code Lutin Tel: 02.40.50.29.28 - http://www.codelutin.com

2 4

Re: [Cantharella-devel] Moteur de recherche et mentions légales
by Eric Chatellier May 23, 2013

May 23, 2013

Le 17/05/2013 23:21, Sylvain PETEK a écrit : > > > J'ai tout de même réussi à trouver une "faille": En tant qu'Utilisateur > (avec les droits uniquement sur la campagne "Exemple"), si je mets * ds le > champs recherche et que je sélectionne Iles Salomon, il me sort les > résultats pour Station, Spécimen et molécules de BSM-Salomon alors qu'il ne > devrait pas... > En effet, désolé pour cette erreur, la sécurité pour les Stations et Spécimens est assez particulière. C'est corrigé et en place sur démo. -- Éric Chatellier - Code Lutin Tel: 02.40.50.29.28 - http://www.codelutin.com

2 1

Moteur de recherche et mentions légales
by Eric Chatellier May 17, 2013

May 17, 2013

Bonjour, Je reste en attente de votre retour sur le moteur de recherche (les modifications de l'implémentation de la sécurité) et la traduction anglaise des mentions légales pour terminer le développement. Voulez vous prévoir une visio conférence pour mieux discuter des derniers points en attente ? Cordialement, Eric Chatellier. -- Éric Chatellier - Code Lutin Tel: 02.40.50.29.28 - http://www.codelutin.com

2 1

Re: [Cantharella-devel] [Cantharella - Anomalie #2356] Moteur de recherche: Résultats en plus sans lien a priori
by Eric Chatellier May 14, 2013

May 14, 2013

Le 07/05/2013 21:15, Sylvain PETEK a écrit : > Bonjour, > > J'ai fait un essai avec R3003, ça a l'air de marcher sauf pour "Tests Bilogiques" où le moteur de recherche continue à renvoyer les résultats pour R3033... > > Par ailleurs, j'ai l'impression que la recherche est devenu sensible à la Casse, si je tape r3100, il ne me renvoie des résultats que pour "Tests biologiques" (en mélange avec ceux de R3110), il manque les infos pour Lots, Extractions, alors qu'en tapant R3100 les infos apparaissent bien (avec tjs un mélange pour test bio) J'ai cherché un moment, et c'est bien l'analyser français utilisé dans lucene qui supprime les caractères dupliqués qui se suivent. J'ai tenté d'utiliser un autre analyser de texte, plusieurs suivant les champs ref/non ref, mais ce n'est pas satisfaisant. La dernière solution (pour vraiment fixer cela) serait de copier 3 classe Java de lucene pour supprimer (ou configurer) le bout de code qui supprime les caractères dupliqués. C'est pas très propre, mais c'est galère à faire avec hibernate search. Est-ce que ca vaut le coup de vraiment corriger ce problème pour les champs références ? -- Éric Chatellier - Code Lutin Tel: 02.40.50.29.28 - http://www.codelutin.com

1 1

Re: [Cantharella-devel] [Cantharella - Anomalie #2356] Moteur de recherche: Résultats en plus sans lien a priori
by Sylvain PETEK May 7, 2013

May 7, 2013

Bonjour, J'ai fait un essai avec R3003, ça a l'air de marcher sauf pour "Tests Bilogiques" où le moteur de recherche continue à renvoyer les résultats pour R3033... Par ailleurs, j'ai l'impression que la recherche est devenu sensible à la Casse, si je tape r3100, il ne me renvoie des résultats que pour "Tests biologiques" (en mélange avec ceux de R3110), il manque les infos pour Lots, Extractions, alors qu'en tapant R3100 les infos apparaissent bien (avec tjs un mélange pour test bio) -----Message d'origine----- De : admin(a)forge.codelutin.com [mailto:admin@forge.codelutin.com] Envoyé : lundi 6 mai 2013 04:59 À : undisclosed-recipients: Objet : [Cantharella - Anomalie #2356] Moteur de recherche: Résultats en plus sans lien a priori La demande #2356 a été mise à jour par Eric Chatellier. En fait, c'est une fonctionnalité des analysers de chaine de lucene, qui agissent un peu comme de la corrections d'erreurs. Par exemple, rechercher "R30000000000000008" retournera les mêmes résultats. Je l'ai désactivé pour les champs de type "ref" (références). ---------------------------------------- Anomalie #2356: Moteur de recherche: Résultats en plus sans lien a priori http://forge.codelutin.com/issues/2356#change-7752 * Auteur: Sylvain Petek * Statut: Nouveau * Priorité: Normal * Assigné à: Eric Chatellier * Catégorie: * Version cible: 1.1 ---------------------------------------- En tant qu'Administrateur. Je fais une recherche sur R3008, il me donne bien les résultats pour R3008 (Lots, Extractions, tests bio), mais il me sort R3088 en plus pour "Lots" alors qu'il n'y a pas de lien a priori... Si je refais une autre recherche avec R3003, le même phénomène se reproduit en me sortant le lot R3033 (avec extraction, tests bio en plus) Inversement si je fais une recherche sur R3033, il me sort des résultats pour R3003 Etc... Recherche sur R3100 = R3100 + R3110 -- You have received this notification because you have either subscribed to it, or are involved in it. To change your notification preferences, please click here: http://forge.codelutin.com/my/account

1 0

Réflexion technique concernant le moteur de recherche Cantharella
by Eric Chatellier May 6, 2013

May 6, 2013

Bonjour, Voici un petit mail qui explique le fonctionnement actuel du moteur de recherche et les problématiques rencontrées. Actuellement ------------ On dispose de 7 index lucene différents (Stations, Spécimens, Lots, Extractions, Purifications, Tests biologiques, Molécules), tous indépendamment et gérés par hibernate search. Chaque index doit contenir l'ensemble des informations nécessaires à la recherche, y compris donc les informations portant sur les entités associées à l'entité indexée. Exemple d'indexation de lot (= un document lucene) : ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ idExtraction:585 lot.campagne.idCampagne:14 lot.campagne.nom:TEST-CAMPAGNE lot.createur.idPersonne:2 lot.idLot:285 lot.ref:R3059 lot.specimenRef.embranchement lot.specimenRef.espece lot.specimenRef.famille lot.specimenRef.genre lot.specimenRef.idSpecimen:182 lot.specimenRef.ref:REF0001 lot.station.codePays lot.station.campagnes.idCampagne:14 lot.station.campagnes.nom:TEST-CAMPAGNE lot.station.createur.idPersonne:2 lot.station.idStation:24 lot.station.localite lot.station.nom ref:FF-S14 Dans un document d'extraction (= un résultat de recherche) il y a donc toutes les informations nécessaire à la recherche. Sécurité -------- Dans le premier essai d'implantation de la sécurité, les permissions était ajouter à l'indexation à chaque document lucene. La permission dans l'index autorisant ou non l'utilisateur faisant la recherche à pouvoir voir le résultat ou non. Exemple d'indexation de la sécurité ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ idExtraction:585 [...] droit.pk2:42 droit.pk2:35 droit.pk2:511 Si l'utilisateur qui fait la recherche a son identifiant qui figure dans le document lucene, il a le droit de voir le résultat. Problématique d'indexation ~~~~~~~~~~~~~~~~~~~~~~~~~~ La première problématique de cette approche est que, lors de la modification des droits, il faut reindexer, tout ce qui dépend des droits, soit les lot et les campagnes, et tout ce qui dépend à son tour des lots de des campagnes. Lors de l'ajout d'un droit sur une campagne, il faut reindexer toutes la base de données actuellement, car il n'y a qu'une campagne. Problématique de recherche ~~~~~~~~~~~~~~~~~~~~~~~~~~ Une autre problématique est que pour faire la recherche, il ne faut pas vraiment autoriser ou pas la vision sur un résultat, mais plutôt autoriser la recherche sur les champs du document que l'utilisateur à le droit de requête. Par exemple, si une molécule apparait dans plusieurs lots: produit.lot.ref:R42 produit.lot.ref:R101 produit.lot.ref:R102 produit.lot.speciment.genre:Ircinia produit.lot.speciment.genre:Batzella produit.lot.speciment.genre:Melophlus produit.lot.speciment.expece:excavans produit.lot.speciment.expece:sarassinorum produit.lot.speciment.expece:carteri L'utilisateur n'ayant les droits que sur 1 seul des trois lots dans lesquels apparait la molécule, il n'a pas le droit de se servir de tous les champs pour faire la recherche. Piste ----- Le problème est maintenant d'essayer de trouver une nouvelle façon d'implementer le moteur de recherche: - qui ne reindexe pas la base de données à chaque modification des droits - qui corrige le problème des droits pendant la recherche - qui puisse potentiellement s'adapter à hibernate search Piste de réflexion: - ne pas indexer la sécurité dans le moteur de recherche - ne plus utiliser hibernate search - ... Cordialement, Eric Chatellier. -- Éric Chatellier - Code Lutin Tel: 02.40.50.29.28 - http://www.codelutin.com

1 1

Re: [Cantharella-devel] Méthode equals() et hashCode() non redéfinie sur les entités
by Adrien Cheype May 3, 2013

May 3, 2013

Le 28/02/2013 20:47, Eric Chatellier a écrit : >>>> à moins que tu préfères charger ton objet dans la même session Hibernate que >>>> ta liste. >>> C'est un document qui n'a pas forcement d'id (par encore sauvé), donc >>> actuellement >>> je n'ai que l'instance non rechargeable. >> Ok, je comprends mieux la subtilité. Tu ne peux pas utiliser un constructeur >> qui prend en argument un id et qui charge l'objet car celui-ci peut ne pas >> exister. Cela se passe uniquement quand on crée une entité quelconque puis >> qu'on ajoute un document et qu'on revient sur son édition avant d'avoir >> valider l'entité créer. Ce n'est qu'à la validation du formulaire de cet >> entité que l'ensemble des objets sont enregistrés en base. >> Par contre, ce que je ne saisis pas tout à fait, c'est que tu sembles >> effectuer l'ajout du fichier en base lorsqu'on valide l'ajout d'un document. >> Cette ajout ne devrait-il pas se faire qu'une fois l'entité enregistré pour >> éviter de laisser des fichiers orphelins ?? (exemple du cas où l'utilisateur >> ajoute des documents puis annule ensuite l'ajout de l'entité). > Non, je fais seulement : > documentAttachable.addDocument(document); > La sauvegarde en base ne se fait que quand le "documentAttachable" sera > sauvegardé plus tard. > > À ne pas confondre avec: > documentService.addDocumentContent(document, uploadedFile.getClientFileName(), > uploadedFile > .getContentType(), uploadedFile.getBytes()); > qui fait du traitement d'image pour générer la miniature de l'image mais qui ne > sauvegarde rien. Oui, c'est bien la méthode qui m'a induit en erreur. Tu as raison le contenu du document est juste ajouté, et ce n'est qu'à la validation de l'entité qu'on a bien un save() qui en cascade sauvegarde bien le document en base. C'est une très bonne chose d'avoir fait le choix de sauvegarder les fichiers en base, cela simplifie grandement leur gestion ! > Je trouve que ce code à plus sa place dans les services que c'est l'UI. Tout à fait. >> Cela me fait penser qu'il faudrait prévenir l'utilisateur au retour de >> formulaire d'édition du document par un simple avertissement du style : >> "L'enregistrement du document s'effectuera à la validation du formulaire". > Je modifie le OK message dans ce sens. Parfait, ça sera plus clair pour l'utilisateur. Bon week-end, Adrien -- Adrien Cheype Ingénieur en Systèmes d'Information Service « Informatique Scientifique et Appui aux Partenaires du Sud » Direction du Système d'Information (DSI) http://www.ird.fr/dsi/ http://www.ird.fr/informatique-scientifique/ INSTITUT DE RECHERCHE POUR LE DEVELOPPEMENT BP A5 - 98848 Nouméa - Nouvelle Calédonie Tél. +687 260 789

2 7