Re: [Isis-fish-users] plantage simulateur par cellule
Le 10/03/2014 17:42, Yves Reecht a écrit :
Salut,
Voici les bases et paramètres de simulation. Dis moi s'il te faut davantage d'infos.
J'ai mis les paramètres avec les règles TACs2008-2011 + HCR transition MSY, mais le problème reste le même sans règle.
Les deux bases tournent correctement mais demande pas mal de mémoire pendant qu'elle tourne. Et finalement, tu les lances comme comme Loic les lance ? Il ne semble pas y avoir de spécificité, donc ça me ferais plus penser un problème ailleurs. Combien ton ordinateur a-t-il de mémoire ram au total ? -- Éric Chatellier - www.codelutin.com - 02.40.50.29.28
Merci Éric pour ces tests. Le 12/03/2014 12:26, Eric Chatellier a écrit :
Le 10/03/2014 17:42, Yves Reecht a écrit : Les deux bases tournent correctement mais demande pas mal de mémoire pendant qu'elle tourne. Et finalement, tu les lances comme comme Loic les lance ? Qu'entends-tu exactement par là ?
Je m'essaye quand même à une réponse. Les principale différence que je vois sont : 1. je me limite aux populations de poissons. Pas de benthos. 2. le simulateur, évidement. 3. moins de règles de gestion sans doute, mais celles que j'utilise le sont également par Loïc (à confirmer). 4. J'imagine que Loïc travaille avec une version snapshot, moi c'est avec la dernière stable (4.2.1.2, en 64bits, avec argument -Xmx*2048*M), sous Windows.
Il ne semble pas y avoir de spécificité, donc ça me ferais plus penser un problème ailleurs. Combien ton ordinateur a-t-il de mémoire ram au total ?
8 Go. Il faut noter que Loïc avait essayé la v11 avec simulateur par cellule sur le serveur de Steph et que ça plantait également dès le premier mois (avec ou sans règle de gestion). Autre chose qu'il me semble nécessaire de préciser. J'ai cru quelques fois réussir à faire simuler par cellule avec la v11. Hors je me suis aperçu après avoir ajouté quelques sorties dans les logs (résultat de isByCell notamment) qu'il arrivait que le changement de simulateur ne soit pas pris en compte (bug ? ou bien fausse manip' ?), et que dans ce cas là, bien sûr, la simulation arrivait à son terme. Es-tu certain que le choix de simulateur par cellule a bien été pris en compte chez toi ? Yves
-- ------------------------------------------------------------ Yves REECHT Laboratoire Ressources Halieutiques IFREMER - Centre Manche Mer du Nord 150, Quai Gambetta 62200 Boulogne-sur-Mer FRANCE tel. +33 (0)3 21 99 56 09 --------------------------------------------------)><))))°>
Le 12/03/2014 17:18, Yves Reecht a écrit :
Je m'essaye quand même à une réponse. Les principale différence que je vois sont :
1. je me limite aux populations de poissons. Pas de benthos. 2. le simulateur, évidement. 3. moins de règles de gestion sans doute, mais celles que j'utilise le sont également par Loïc (à confirmer). 4. J'imagine que Loïc travaille avec une version snapshot, moi c'est avec la dernière stable (4.2.1.2, en 64bits, avec argument -Xmx*2048*M), sous Windows.
Ha bah oui, comme j'ai oublié le simulateur, mon test n'a servit à rien :) Donc effectivement, le simulateur par cellule, c'est encore plus gourmand, dès le premier pas de temps, ca monte à 1,8Go de mémoire. J'ai regardé les différences rapidement entre la V10 et la V11, et même si la V11 est plus simple, et comme il y a moins de population, les résultats concernent des zones plus grandes, donc un nombre de cellule plus important et donc ca augmente d'autant la quantité de mémoire nécessaire par résultat. En v10, comme les zones sont plus petites, les résultats sont plus petits mais comme il y a plus de populations, il y aura plus de résultats plus petit. C'est la différence que je vois à première vue, et je ne sais pas comment contourner le problème :( -- Éric Chatellier - www.codelutin.com - 02.40.50.29.28
t'as reussi à faire tourner avec la v10? Le 12/03/2014 17:51, Eric Chatellier a écrit :
Le 12/03/2014 17:18, Yves Reecht a écrit :
Je m'essaye quand même à une réponse. Les principale différence que je vois sont :
1. je me limite aux populations de poissons. Pas de benthos. 2. le simulateur, évidement. 3. moins de règles de gestion sans doute, mais celles que j'utilise le sont également par Loïc (à confirmer). 4. J'imagine que Loïc travaille avec une version snapshot, moi c'est avec la dernière stable (4.2.1.2, en 64bits, avec argument -Xmx*2048*M), sous Windows.
Ha bah oui, comme j'ai oublié le simulateur, mon test n'a servit à rien :) Donc effectivement, le simulateur par cellule, c'est encore plus gourmand, dès le premier pas de temps, ca monte à 1,8Go de mémoire.
J'ai regardé les différences rapidement entre la V10 et la V11, et même si la V11 est plus simple, et comme il y a moins de population, les résultats concernent des zones plus grandes, donc un nombre de cellule plus important et donc ca augmente d'autant la quantité de mémoire nécessaire par résultat.
En v10, comme les zones sont plus petites, les résultats sont plus petits mais comme il y a plus de populations, il y aura plus de résultats plus petit.
C'est la différence que je vois à première vue, et je ne sais pas comment contourner le problème :(
-- ...................................................................... Stephanie MAHEVAS (Stephanie.Mahevas@ifremer.fr) IFREMER/EMH (Ecologie et Modèles pour l'Halieutique) Tel: (33) 2 40 37 41 81 Fax: (33) 2 40 37 40 75 o \ o / _ o __| \ / |__ o _ \ o / o /|\ | /\ ___\o \o | o/ o/__ /\ | /|\ / \ / \ | \ /) | ( \ /o\ / ) | (\ / | / \ / \ ......................................................................
Oui, pour la v10 c'est long mais ça tourne avec le simulateur par cellule. Le 12/03/2014 18:51, Stephanie MAHEVAS a écrit :
t'as reussi à faire tourner avec la v10? Le 12/03/2014 17:51, Eric Chatellier a écrit :
Le 12/03/2014 17:18, Yves Reecht a écrit :
Je m'essaye quand même à une réponse. Les principale différence que je vois sont :
1. je me limite aux populations de poissons. Pas de benthos. 2. le simulateur, évidement. 3. moins de règles de gestion sans doute, mais celles que j'utilise le sont également par Loïc (à confirmer). 4. J'imagine que Loïc travaille avec une version snapshot, moi c'est avec la dernière stable (4.2.1.2, en 64bits, avec argument -Xmx*2048*M), sous Windows.
Ha bah oui, comme j'ai oublié le simulateur, mon test n'a servit à rien :) Donc effectivement, le simulateur par cellule, c'est encore plus gourmand, dès le premier pas de temps, ca monte à 1,8Go de mémoire.
J'ai regardé les différences rapidement entre la V10 et la V11, et même si la V11 est plus simple, et comme il y a moins de population, les résultats concernent des zones plus grandes, donc un nombre de cellule plus important et donc ca augmente d'autant la quantité de mémoire nécessaire par résultat.
En v10, comme les zones sont plus petites, les résultats sont plus petits mais comme il y a plus de populations, il y aura plus de résultats plus petit.
C'est la différence que je vois à première vue, et je ne sais pas comment contourner le problème :(
-- ------------------------------------------------------------ Yves REECHT Laboratoire Ressources Halieutiques IFREMER - Centre Manche Mer du Nord 150, Quai Gambetta 62200 Boulogne-sur-Mer FRANCE tel. +33 (0)3 21 99 56 09 --------------------------------------------------)><))))°>
Et toi Eric? as-tu essaye de faire tourner la v11? Le 13/03/2014 09:24, Yves Reecht a écrit :
Oui, pour la v10 c'est long mais ça tourne avec le simulateur par cellule.
Le 12/03/2014 18:51, Stephanie MAHEVAS a écrit :
t'as reussi à faire tourner avec la v10? Le 12/03/2014 17:51, Eric Chatellier a écrit :
Le 12/03/2014 17:18, Yves Reecht a écrit :
Je m'essaye quand même à une réponse. Les principale différence que je vois sont :
1. je me limite aux populations de poissons. Pas de benthos. 2. le simulateur, évidement. 3. moins de règles de gestion sans doute, mais celles que j'utilise le sont également par Loïc (à confirmer). 4. J'imagine que Loïc travaille avec une version snapshot, moi c'est avec la dernière stable (4.2.1.2, en 64bits, avec argument -Xmx*2048*M), sous Windows.
Ha bah oui, comme j'ai oublié le simulateur, mon test n'a servit à rien :) Donc effectivement, le simulateur par cellule, c'est encore plus gourmand, dès le premier pas de temps, ca monte à 1,8Go de mémoire.
J'ai regardé les différences rapidement entre la V10 et la V11, et même si la V11 est plus simple, et comme il y a moins de population, les résultats concernent des zones plus grandes, donc un nombre de cellule plus important et donc ca augmente d'autant la quantité de mémoire nécessaire par résultat.
En v10, comme les zones sont plus petites, les résultats sont plus petits mais comme il y a plus de populations, il y aura plus de résultats plus petit.
C'est la différence que je vois à première vue, et je ne sais pas comment contourner le problème :(
-- ------------------------------------------------------------ Yves REECHT
Laboratoire Ressources Halieutiques IFREMER - Centre Manche Mer du Nord 150, Quai Gambetta 62200 Boulogne-sur-Mer FRANCE
tel. +33 (0)3 21 99 56 09 --------------------------------------------------)><))))°>
_______________________________________________ Isis-fish-users mailing list Isis-fish-users@list.isis-fish.org http://list.isis-fish.org/cgi-bin/mailman/listinfo/isis-fish-users
-- ...................................................................... Stephanie MAHEVAS (Stephanie.Mahevas@ifremer.fr) IFREMER/EMH (Ecologie et Modèles pour l'Halieutique) Tel: (33) 2 40 37 41 81 Fax: (33) 2 40 37 40 75 o \ o / _ o __| \ / |__ o _ \ o / o /|\ | /\ ___\o \o | o/ o/__ /\ | /|\ / \ / \ | \ /) | ( \ /o\ / ) | (\ / | / \ / \ ......................................................................
Le 13/03/2014 10:49, Stephanie MAHEVAS a écrit :
Et toi Eric? as-tu essaye de faire tourner la v11? Les deux (v10, v11) tournent.
C'est peut-être plus facile à faire tourner sous linux, car yves à l'air d'avoir un problème d'allocation mémoire dès le début de la simulation. -- Éric Chatellier - www.codelutin.com - 02.40.50.29.28
Le 13/03/2014 10:58, Eric Chatellier a écrit :
Le 13/03/2014 10:49, Stephanie MAHEVAS a écrit :
Et toi Eric? as-tu essaye de faire tourner la v11? Les deux (v10, v11) tournent. Benjamin m'a proposé une solution.
On peux essayer de faire tourner la simulation avec des matrices "creuse" qui prennent moins de mémoire, mais autant de taille pour les résultats. Dans la configuration d'IsisFish, il faut remplacer la valeur du parametre "mapped.result.matrix.vector.class", de "org.nuiton.math.matrix.DoubleBigVector" à "org.nuiton.math.matrix.DoubleVector". Tu peux tester ça Yves ? -- Éric Chatellier - www.codelutin.com - 02.40.50.29.28
Bonjour, Oui, je peux tester ça. Je ne trouve juste pas où l'on peut modifier ce paramètre. Yves Le 20/03/2014 11:02, Eric Chatellier a écrit :
Le 13/03/2014 10:58, Eric Chatellier a écrit :
Le 13/03/2014 10:49, Stephanie MAHEVAS a écrit :
Et toi Eric? as-tu essaye de faire tourner la v11? Les deux (v10, v11) tournent. Benjamin m'a proposé une solution.
On peux essayer de faire tourner la simulation avec des matrices "creuse" qui prennent moins de mémoire, mais autant de taille pour les résultats.
Dans la configuration d'IsisFish, il faut remplacer la valeur du parametre "mapped.result.matrix.vector.class", de "org.nuiton.math.matrix.DoubleBigVector" à "org.nuiton.math.matrix.DoubleVector".
Tu peux tester ça Yves ?
-- ------------------------------------------------------------ Yves REECHT Laboratoire Ressources Halieutiques IFREMER - Centre Manche Mer du Nord 150, Quai Gambetta 62200 Boulogne-sur-Mer FRANCE tel. +33 (0)3 21 99 56 09 --------------------------------------------------)><))))°>
Le 20/03/2014 11:09, Yves Reecht a écrit :
Bonjour,
Oui, je peux tester ça. Je ne trouve juste pas où l'on peut modifier ce paramètre. Dans le menu "Configuration / Configuration" (onglet "Simulations").
-- Éric Chatellier - www.codelutin.com - 02.40.50.29.28
Ok, merci. En fait en changeant ce paramètre, ça ne fonctionne pas mieux. L'erreur n'est-elle pas un peu bizarre d'ailleurs ?
Caused by: java.lang.OutOfMemoryError: Java heap space at org.nuiton.math.matrix.Double*Big*Vector.<init>(DoubleBigVector.java:46)
Mais bon, j'ai d'un autre côté modifié le paramètre simulation.sub.max.memory (que je ne savais pas être différent de l'option de ligne de commande -Xmx<mémoire>). À 2048M ça tourne bien pour le coup. Problème résolu donc ! Un grand merci à tous ceux qui ont aidé, Yves Le 20/03/2014 11:35, Eric Chatellier a écrit :
Le 20/03/2014 11:09, Yves Reecht a écrit :
Bonjour,
Oui, je peux tester ça. Je ne trouve juste pas où l'on peut modifier ce paramètre. Dans le menu "Configuration / Configuration" (onglet "Simulations").
-- ------------------------------------------------------------ Yves REECHT Laboratoire Ressources Halieutiques IFREMER - Centre Manche Mer du Nord 150, Quai Gambetta 62200 Boulogne-sur-Mer FRANCE tel. +33 (0)3 21 99 56 09 --------------------------------------------------)><))))°>
Le 20/03/2014 15:58, Yves Reecht a écrit :
Ok, merci.
En fait en changeant ce paramètre, ça ne fonctionne pas mieux. L'erreur n'est-elle pas un peu bizarre d'ailleurs ?
Caused by: java.lang.OutOfMemoryError: Java heap space at org.nuiton.math.matrix.Double*Big*Vector.<init>(DoubleBigVector.java:46) S'il y a encore "Big" c'est qu'il n'a pas pris en compte la configuration. Mais bon, j'ai d'un autre côté modifié le paramètre simulation.sub.max.memory (que je ne savais pas être différent de l'option de ligne de commande -Xmx<mémoire>). À 2048M ça tourne bien pour le coup.
Problème résolu donc ! Ha mais oui ! J’oublie toujours que la sous processus tourne à 1Go par défaut :( Bien vu.
-- Éric Chatellier - www.codelutin.com - 02.40.50.29.28
participants (3)
-
Eric Chatellier -
Stephanie MAHEVAS -
Yves Reecht