Tous les articles par Pierre Bittner

Another MapReduce issue with MacOs

I faced another macos issue w/ MapReduce on MacOs:

 

$HADOOP_HOME/bin/hadoop jar target/hadoop-tutorial-1.0-SNAPSHOT-jar-with-dependencies.jar fr.finaxys.tutorials.hadoop.TraceCount -archives /user/pierre/AtomLogs.zip tracecount

Exception in thread « main » java.io.IOException: Mkdirs failed to create /var/folders/5w/rckc21hd0kz2qg0_3r7g60b00000gn/T/hadoop-unjar3988465705021626998/META-INF/license

at org.apache.hadoop.util.RunJar.ensureDirectory(RunJar.java:128)

at org.apache.hadoop.util.RunJar.unJar(RunJar.java:104)

at org.apache.hadoop.util.RunJar.unJar(RunJar.java:81)

at org.apache.hadoop.util.RunJar.run(RunJar.java:209)

at org.apache.hadoop.util.RunJar.main(RunJar.java:136)

Solutions can be found here:

http://stackoverflow.com/questions/10522835/hadoop-java-io-ioexception-mkdirs-failed-to-create-some-path

It is a case sensitive issue with MacOs.

For now, I wasn’t able to make the trick with maven working so I’m removing the LICENCE file manually from the archive:

zip -d target/hadoop-tutorial-1.0-SNAPSHOT-jar-with-dependencies.jar META-INF/LICENSE

 

YARN Test on MacosX

Hi,

I’m currently playing a little with hdfs and yarn (Hadoop 2.7.1) on my laptop (Darwin Kernel Version 14.5.0 / OS X Yosemite Version 10.10.5) . Until then, I was mainly doing HBase development and I thought it could be nice if I learn some basic stuff such as Map Reduce programming before starting with Spark.

While I was trying the Map Reduce tutorial, I fall on this error:

15/08/17 22:59:29 INFO mapreduce.Job: Job job_1439843536878_0001 failed with state FAILED due to: Application application_1439843536878_0001 failed 2 times due to AM Container for appattempt_1439843536878_0001_000002 exited with  exitCode: 127

For more detailed output, check application tracking page:http://MacBook-Pro-de-Pierre.local:8088/cluster/app/application_1439843536878_0001Then, click on links to logs of each attempt.

Diagnostics: Exception from container-launch.

Container id: container_1439843536878_0001_02_000001

Exit code: 127

Stack trace: ExitCodeException exitCode=127:

at org.apache.hadoop.util.Shell.runCommand(Shell.java:545)

at org.apache.hadoop.util.Shell.run(Shell.java:456)

at org.apache.hadoop.util.Shell$ShellCommandExecutor.execute(Shell.java:722)

at org.apache.hadoop.yarn.server.nodemanager.DefaultContainerExecutor.launchContainer(DefaultContainerExecutor.java:211)

at org.apache.hadoop.yarn.server.nodemanager.containermanager.launcher.ContainerLaunch.call(ContainerLaunch.java:302)

at org.apache.hadoop.yarn.server.nodemanager.containermanager.launcher.ContainerLaunch.call(ContainerLaunch.java:82)

at java.util.concurrent.FutureTask.run(FutureTask.java:266)

at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1142)

at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617)

at java.lang.Thread.run(Thread.java:745)

Container exited with a non-zero exit code 127

Failing this attempt. Failing the application.

15/08/17 22:59:29 INFO mapreduce.Job: Counters: 0

This simple command fix the issue:

sudo ln -s /usr/bin/java /bin/java

Hope this helps.

Pierre

Session kitesurf au Crotoy le 9 aout 2014


Ce week-end, Ola et moi avons fait notre 1ere session de kitesurf au Crotoy, dans la baie de Somme, depuis notre stage a San Miguel de Gostoso au Brésil.

Les conditions étaient idéales pour reprendre: vent régulier pas trop fort, la mise à l eau facile, pied tout le temps et pas trop de monde sur le spot.

On a sorti notre belle Best Kahoona 10.5m2.

On espérait remettre ça le lendemain à Cayeux mais le vent s’est renforcé et avoisinait les 40 noeuds. Bien trop pour nous. La session pour les courageux fut dantesque. Nous sommes restés admirer la dizaine de costauds 2h sur le bord.

Un bon week end. On remet ça le 15 aout si la météo nous le permet.

Les photos du spot de Cayeux : le calme avant la tempète.

WP_20140810_003

Voyage Norvège Juillet 2014

Voici le carnet de route de notre semaine en Norvège.

Le parcours a consisté en un arc de cercle entre Stavanger, où se sont installés les parents d’Ola, Bergen, Flam et Oslo (ou vivent depuis 3 ans le cousin d’Ola, Pawel, avec sa femme Béata).

Il n’y a pas de mauvais temps mais un équipement inadapté. C’est vrai. Surtout en Norvège. Les nuages nous ont laissé quelques moments de répit nous permettant de jolies promenades.

L’album photo de notre voyage est disponible sur Flickr pour la famille et les amis.

Jour 1: Arrivée à Stavanger

  • Les parents nous accueillent à l’aéroport tout sourire.
  • Après un rapide encas (piérogi), on part rapidement pour voir le célèbre Preikestolen car la météo ne s’annonce pas favorable pour les jours qui suivent. Notre tentative fut arrêtée au milieu du parcours par un orage. La pluie ne gène pas les locaux qui  semblent bien motivés à aller jusqu’au bout même avec des enfants en bas âge en t-shirt…
  • Le soir, on va flâner sur le port de Stavanger où a lieu un festival gastronomique. 😛

14828296154_7ee4accacc_z

Jour 2: Alentours de Stavanger

  • Concours de « grâce mat » avec Ola que je perds évidement…
  • Visite du port (on voit les énormes plateformes d’exploitation au loin), d’un petit phare et puis un peu de glandouillage sur la plage.
  • L’après-midi, on va se promener tous ensemble au bord de la mer à partir de l appartement des parents d’Ola.
  • On termine la journée par un verre sur le quai a Stavanger.

14807663006_f313cff176_z

Jour 3: Preikestolen

  • On part tôt pour prendre le ferry sur le Lysefjord pour tenter une seconde fois  la randonnée de 5h vers Preikestolen. Gagné! Le point de vue du rocher est magnifique! On fait un picnic d’une heure là-haut. On a du mal à repartir tellement c’est beau.
  • On passe la fin d’après-midi à la plage et on fait même une petite baignade. L’eau est bonne! Il y a quelques kite-surfers.
  • Le soir, on va goutter la fameuse soupe de poisson du marché au poisson de Stavanger (fisk torget).

14644041559_a702fc90ff_z

SavedPicture-2014729195443.jpg

Jour 4 : Bergen

  • Vol pour Bergen très tôt. Par chance notre chambre à l’hôtel Augustin est disponible dès notre arrivée. On en profite pour faire une sieste.
  • Balade sur les quaies de Bergen, visite de vieilles baraques en bois et du marché aux poissons. On se laisse tenter par des fish & chips.
  • On prend le funitel vers le point de vue Floyen. Très chouette descente à pied vers le centre.
  • On visite le vieux quartier avec de belles maisons en bois / on prend un très bon capucino dans un petit café (Det-lille-Kaffekompaniet)
  • On passe à la gare prendre nos billets pour le lendemain vers Voss et on en profite pour faire les courses (on sera au camping demain)
  • On dine dans un resto Italien pas très loin du port, bon et pas trop cher (pour la Norvège): Ruccola

14644076818_f210c19053_z

SavedPicture-2014729195759.jpg

Jour 5 : Voss / Stahleim / Gudvangen

  • Départ du train vers Voss à 11h puis bus vers Stalheim (le 450!). Montée à pied vers le Stalheim hôtel. Petite pause à l’hôtel pour profiter de sa vue, de son café et de ses cakes.
  •  On laisse le sac à dos (réceptionniste très sympa) et on part sur la  randonnée « Nali » vers une petite ferme en ruine. La vue est sublime.
  • Redescente sous la pluie et bus pour le camping de Gudvangen. Nuit dans une hytte au pied du fjord. Evidement impossible d’acheter une bière au minishop du camping, la vente d’alcool étant très réglementée en Norvège.

SavedPicture-2014821206.jpgSavedPicture-20148212144.jpgSavedPicture-20148212319.jpg

Jour 6 : Flam

  • On prend le ferry jusqu’au petit village de Flam (le billet se prend sur le bateau).  Un groupe de chinois se passionne pour les mouettes tandis que nous sommes admiratifs de la vue.
  • Nous dormirons à l’Hôtel Heimly Pensionat. Le « confort » des lits est plus que limite…
  • On fait une petite marche l’après midi au bord de l eau vers un ancien village (du type skansen). C’est plutôt bruyant à cause de la route qui longe la promenade. On a une vue sur les gros ferry à touristes qui gâchent un peu l’ensemble mais ça impressionne quand même.
  • On mange au restaurant Aegir avec des plats inspirés viking (viande de chèvre) et une bonne bière brassée localement (attention bien réserver sa place, le resto est vite rempli).

SavedPicture-20148212411.jpg

Jour 7 : Flam – Oslo

  • Belle vue le matin sur le fjord de la chambre
  • Petite marche sympathique vers la cascade de Flam
  • On prend le Flamsbana vers Myrdal (le parcours est a faire en descente à vélo ou à pied!)
  • Puis on prend le train vers Oslo. Celui-ci a une bonne heure de retard donc on patiente dans la petite gare. 
  • Sur le parcours, le train s’arrête à la gare de Finse: paysage magnifique de plateau en altitude avec neiges éternelles et glaciers. Incroyable. Les nuages juste au dessus de nos têtes.
  • Idée voyage: Faire le parcours VTT qui passe à Finse sur une ancienne voie de chemin de fer.
  • Pawel et Beata nous récupèrent à la gare. Direction la petite ville de Hole avec passage devant l’ile Utoya où Breivnik a tué une soixantaine de personnes. On visite ensuite l’hôtel où travaille Beata qui se situe sur la crête d’une falaise.

WP_20140801_00320140801140850

SavedPicture-201482113820.jpg

WP_20140802_017

jour 8 : Alentours d Oslo

  • Passage au tremplin de vol a ski où le record du monde a été établi: 246 m!
  • On monte ensuite sur un point de vue à Drammen sur les fjords. On y accède par un tunnel en spirale long d’1km. On déjeune sur le pouce en prenant un hamburger dans une station essence.  Et on visite un autre tremplin de ski super moderne construit pour les JO juste à côté d’Oslo. On peut y faire des descentes en tyrolienne l’été.
  • On visite le centre-ville en commençant par le château d’Oslo puis par la grande place. On y trouve des toilettes françaises bleu blanc rouge (???). On se pause à une terrasse puis on rentre chez les cousins pour un barbecue le soir avec la soeur de Béata et son mari.

WP_20140802_002

WP_20140802_008WP_20140802_012WP_20140802_006

 

14831569904_efee038527_z

 

Jour 9 : Musée d’ Oslo  et décollage pour Paris

  • Promenade sur l’opéra d’Oslo (oui oui sur)
  • Visite de la galerie nationale avec quelques jolies peintures (Munch, Picasso…)
  • Déjeuner sur les quais (chez Albert). On croise le Dude devant l’hôtel où l’on remet le prix Nobel de la paix.
  • Route vers l’aéroport sous des trombes d’eau.
  • Le vol se passe bien. Arrivée à Paris vers 19h. La pluie nous a suivi. Nous sommes juste mal habillés. :)

WP_20140803_009

WP_20140803_035