HtmlToText
je toile ou j* au choix… a propos du blog a propos de l’auteur me contacter twitter linkedin google rss home a propos du blog a propos de l’auteur archives liens hadoop unit twitter linkedin google rss home a propos du blog a propos de l’auteur archives 2017 (4) november (1) july (3) 2016 (5) november (1) may (1) april (1) january (2) 2015 (3) october (2) june (1) 2014 (12) june (1) may (2) april (2) march (7) 2013 (5) june (1) april (2) march (2) 2012 (10) november (4) october (1) august (2) may (1) march (1) february (1) 2011 (19) december (1) november (2) october (1) september (4) july (1) june (2) may (1) march (2) february (2) january (3) 2010 (27) december (4) november (4) october (2) september (1) june (1) may (3) april (2) march (4) february (3) january (3) 2009 (2) december (2) packaging, test et livraison pour hadoop : mode d’emploi hadoop et son écosystème est un monde complexe où beaucoup de nos paradigmes de développeur java / javaee (ee4j?) sont chamboulés. d’une part les technologies utilisées diffèrent mais, en plus, d’autres questions telles que l’architecture, les tests (unitaires, intégrations, …), la gestion des logs (debug, audit, pki, …), les procédures de livraison, la gestion de la configuration de l’application, etc. viennent s’y ajouter. cet article va montrer comment il est possible de concilier simplement les tests d’intégration mais aussi le déploiement afin de tendre vers la philosophie de continuous deployment . une solution sera proposée et, même si elle est discutable et peut paraitre naïve, elle montrera comment il peut être simple de concilier ces deux points. concernant les technologies utilisées, la solution proposée utilisera : spark 2.2.0 oozie knox elasticsearch 5.6.3 hive scala 2.11 pour le langage mais java pourrait également être utilisé maven 3.5.0 pour la partie de build bien sûr, il est facilement possible d’ajouter d’autres technologies comme hbase, sqoop, hive (avec exécution de hql) ou autre. a noter qu’il sera utilisé les composants hortonworks (hdp 2.6.2) et c’est pourquoi toute la partie exécution des jobs se fera au travers d’oozie qui est, le plus souvent quand on utilise une distribution du marché, la solution par défaut. ainsi il sera traité les points suivants : description du cas d’usage et implémentation anatomie d’un livrable mise en oeuvre november 3, 2017 in hadoop , livrable , test read on → des tests d’intégration avec cassandra parce que je suis parti sur ma lancée des articles des tests d’intégration avec … , à la demande de duyhai , voilà que je me retrouve à faire un article pour apache cassandra… ;) plus sérieusement, faire des tests d’intégration avec apache cassandra est beaucoup plus simple qu’avec redis ou elasticsearch mais il existe cependant 2 projets qui simplifient énormément les tests d’intégration avec cassandra : cassandra-unit créé par jérémy sevellec achille créé par duyhai doan ce petit article résume comment utiliser ces 2 solutions. july 21, 2017 in cassandra , test read on → des tests d’intégration avec redis redis est écrit en c et faire des tests d’intégration en java peut s’avérer compliquer. en outre, le fait que redis doive être compilé lors de son installation rend les choses encore moins aisées. bien sûr, il est possible d’utiliser docker ou de l’installer préalablement sur son poste mais cette deuxième option casse un peu les bonnes pratiques des tests. il existe également de nombreux projets permettant de faire des tests avec redis mais, souvent, les solutions proposées embarquent le binaire de redis ou on besoin qu’il soit déjà présent et installer/compiler sur le poste ( https://github.com/kstyrc/embedded-redis, https://github.com/lordofthejars/nosql-unit, https://github.com/ishiis/redis-unit ). les solutions qui intègrent le binaire ne sont malheureusement souvent pas à jour et laisse assez peu la main sur la version. pour ceux qui n’aurait pas envie d’utiliser docker, cet article va montrer comment il est possible de piloter programmatiquement l’installation de redis afin de permettre les tests d’intégration. july 17, 2017 in redis , test read on → des tests d’intégration avec elasticsearch la version 5.0.0-alpha4 a signé la fin du support du mode embedded d’elasticsearch. cela a été annoncé là et la classe nodebuilder permettant de démarrer un noeud programmatiquement a été supprimée. cependant, même si la raison de l’arrêt du support de ce mode est compréhensible, cela pose le problème des tests d’intégration puisqu’il n’est plus possible de démarrer un elasticsearch pendant la phase de test. oui, elastic propose officiellement une alternative via l’utilisation de esintegtestcase mais personnellement, je ne suis pas très fan de cette approche… cet article va tenter de dresser un panorama non exhaustif de ce que j’ai pu trouver d’intéressant pour permettre de réaliser des tests d’intégration avec elasticsearch. july 11, 2017 in elasticsearch , test read on → sqoop et parquet : mode d’emploi dans le monde du bigdata (en l’occurence avec hadoop), il est parfois utile de pouvoir importer le contenu d’une base de données dans son datalake. pour ce faire, apache sqoop est une des alternatives pour le faire (peut être pas la meilleure mais bon…). en effet, sqoop permet d’importer (et exporter également) les données d’une base de données dans : hdfs au format plain text , sequencefile, avro ou parquet hive hbase en outre, il permet d’avoir un mode incrémental afin de gérer le mode delta. cependant, comme on le verra dans cet article, sqoop n’est pas aussi trivial qu’il peut le paraitre. c’est ce qui sera détaillé dans cet article : à savoir une sorte de mini retour d’expérience… et heureux en plus ;) november 28, 2016 in hadoop , parquet , sqoop read on → hadoop unit 1.3 si vous êtes un lecteur assidu (ou pas ;)), vous avez pu vous rendre compte que j’avais posté précédemment sur un composant au doux nom d’hadoop-unit. j’ai le plaisir de vous annoncer qu’il a été releasé en version 1.3 et qu’il est également disponible sur maven central. il intègre dans sa nouvelle version : support d’elasticsearch 5.0.0-alpha2 correction de bugs : la variable d’environnement hadoop_unit n’est plus nécessaire que pour les utilisateurs de windows (merci florent ;)) passage en version 0.1.6 de hadoop mini cluster a noter que pour utiliser hadoop unit en mode standalone, il est maintenant nécessaire de choisir entre hadoop-unit version solr et hadoop-unit version elasticsearch. cela est dû à un conflit de jars (lucene pour ne pas le citer…) qui oblige à gérer ces composants indépendamment… pour les téléchargements, ça se passe ici : hadoop-unit compatible elasticsearch hadoop-unit compatible solr enjoy ;) may 16, 2016 in hadoop hadoop unit dans mon dernier post , j’avais parlé d’une surcouche que j’avais développé afin de faciliter l’utilisation de quelques-uns des composants de l’écosystème hadoop, à savoir : hdfs, zookeeper, hivemetastore, hiveserver2, solr, solrcloud, oozie, kafka, hbase, mongodb [new \o/ ], et cassandra [new \o/ ]. il s’appelait alors hadoop-bootstrap mais il s’agissait aussi d’une première version qui a, bien sûr, évolué. cet article présentera donc quels ont été les améliorations qui ont été apportées. disclaimer : je tiens à repréciser que hadoop-unit n’est qu’une solution de contournement permettant de simuler une partie de l’écosystème hadoop afin de permettre de disposer en local d’un ersatz de distribution afin de fluidifier le développement mais proposant aussi d’effectuer des tests d’intégration dans un environnement dégradé. cela peut également permettre d’éviter de monter un cluster hadoop dédié aux tests d’intégration. april 16, 2016 in hadoop read on → all posts archives follow @ khanh on © 2011 je toile ou j* au choix... - khanh maudoux cette œuvre de http://blog..fr est mise à disposition selon les termes de la licence creative commons attribution 4.0 international . sauf mention contraire, le contenu de ce blog est mis à dispos
Informations Whois
Whois est un protocole qui permet d'accéder aux informations d'enregistrement.Vous pouvez atteindre quand le site Web a été enregistré, quand il va expirer, quelles sont les coordonnées du site avec les informations suivantes. En un mot, il comprend ces informations;
%%
%% This is the AFNIC Whois server.
%%
%% complete date format : YYYY-MM-DDThh:mm:ssZ
%% short date format : DD/MM
%% version : FRNIC-2.5
%%
%% Rights restricted by copyright.
%% See https://www.afnic.fr/en/products-and-services/services/whois/whois-special-notice/
%%
%% Use '-h' option to obtain more information about this service.
%%
%% [2600:3c03:0000:0000:f03c:91ff:feae:779d REQUEST] >> jetoile.fr
%%
%% RL Net [##########] - RL IP [#########.]
%%
domain: jetoile.fr
status: ACTIVE
hold: NO
holder-c: J3324-FRNIC
admin-c: J3324-FRNIC
tech-c: GR283-FRNIC
zone-c: NFC1-FRNIC
nsl-id: NSL32323-FRNIC
registrar: GANDI
Expiry Date: 2020-11-18T19:13:53Z
created: 2012-11-18T19:13:53Z
last-update: 2019-10-04T12:27:46Z
source: FRNIC
ns-list: NSL32323-FRNIC
nserver: ajay.ns.cloudflare.com
nserver: lila.ns.cloudflare.com
source: FRNIC
registrar: GANDI
type: Isp Option 1
address: 63-65 boulevard Massena
address: 75013 PARIS
country: FR
phone: +33 1 70 37 76 61
fax-no: +33 1 43 73 18 51
e-mail: support@support.gandi.net
website: https://www.gandi.net/fr/tlds/fr/
anonymous: NO
registered: 2004-03-09T12:00:00Z
source: FRNIC
nic-hdl: J3324-FRNIC
type: ORGANIZATION
contact: jetoile
address: jetoile
address: 25, rue Montrosier
address: 92200 Neuilly sur Seine
country: FR
phone: +33 6 23 40 11 85
e-mail: khanhtuong.maudoux@gmail.com
registrar: GANDI
changed: 2016-05-22T16:30:06Z nic@nic.fr
anonymous: NO
obsoleted: NO
eligstatus: not identified
reachstatus: not identified
source: FRNIC
nic-hdl: J3324-FRNIC
type: ORGANIZATION
contact: jetoile
address: jetoile
address: 25, rue Montrosier
address: 92200 Neuilly sur Seine
country: FR
phone: +33 6 23 40 11 85
e-mail: khanhtuong.maudoux@gmail.com
registrar: GANDI
changed: 2016-05-22T16:30:06Z nic@nic.fr
anonymous: NO
obsoleted: NO
eligstatus: not identified
reachstatus: not identified
source: FRNIC
nic-hdl: GR283-FRNIC
type: ROLE
contact: GANDI ROLE
address: Gandi
address: 15, place de la Nation
address: 75011 Paris
country: FR
e-mail: noc@gandi.net
trouble: -------------------------------------------------
trouble: GANDI is an ICANN accredited registrar
trouble: for more information:
trouble: Web: http://www.gandi.net
trouble: -------------------------------------------------
trouble: - network troubles: noc@gandi.net
trouble: - SPAM: abuse@support.gandi.net
trouble: -------------------------------------------------
admin-c: NL346-FRNIC
tech-c: NL346-FRNIC
tech-c: TUF1-FRNIC
notify: noc@gandi.net
registrar: GANDI
changed: 2006-03-03T14:39:12Z noc@gandi.net
anonymous: NO
obsoleted: NO
eligstatus: not identified
reachstatus: not identified
source: FRNIC
REFERRER http://www.nic.fr
REGISTRAR AFNIC
SERVERS
SERVER fr.whois-servers.net
ARGS jetoile.fr
PORT 43
TYPE domain
RegrInfo
DISCLAIMER
%
% This is the AFNIC Whois server.
%
% complete date format : YYYY-MM-DDThh:mm:ssZ
% short date format : DD/MM
% version : FRNIC-2.5
%
% Rights restricted by copyright.
% See https://www.afnic.fr/en/products-and-services/services/whois/whois-special-notice/
%
% Use '-h' option to obtain more information about this service.
%
% [2600:3c03:0000:0000:f03c:91ff:feae:779d REQUEST] >> jetoile.fr
%
% RL Net [##########] - RL IP [#########.]
%
REGISTERED yes
ADMIN
HANDLE J3324-FRNIC
TYPE ORGANIZATION
CONTACT jetoile
ADDRESS
jetoile
25, rue Montrosier
92200 Neuilly sur Seine
COUNTRY FR
PHONE +33 6 23 40 11 85
EMAIL khanhtuong.maudoux@gmail.com
SPONSOR GANDI
CHANGED 2016-05-22
ANONYMOUS NO
OBSOLETED NO
ELIGSTATUS not identified
REACHSTATUS not identified
SOURCE FRNIC
TECH
HANDLE GR283-FRNIC
TYPE ROLE
CONTACT GANDI ROLE
ADDRESS
Gandi
15, place de la Nation
75011 Paris
COUNTRY FR
EMAIL noc@gandi.net
TROUBLE
-------------------------------------------------
GANDI is an ICANN accredited registrar
for more information:
Web: http://www.gandi.net
-------------------------------------------------
- network troubles: noc@gandi.net
- SPAM: abuse@support.gandi.net
-------------------------------------------------
ADMIN-C NL346-FRNIC
TECH-C
NL346-FRNIC
TUF1-FRNIC
NOTIFY noc@gandi.net
SPONSOR GANDI
CHANGED 2006-03-03
ANONYMOUS NO
OBSOLETED NO
ELIGSTATUS not identified
REACHSTATUS not identified
SOURCE FRNIC
OWNER
HANDLE J3324-FRNIC
TYPE ORGANIZATION
CONTACT jetoile
ADDRESS
jetoile
25, rue Montrosier
92200 Neuilly sur Seine
COUNTRY FR
PHONE +33 6 23 40 11 85
EMAIL khanhtuong.maudoux@gmail.com
SPONSOR GANDI
CHANGED 2016-05-22
ANONYMOUS NO
OBSOLETED NO
ELIGSTATUS not identified
REACHSTATUS not identified
SOURCE FRNIC
DOMAIN
STATUS ACTIVE
HOLD NO
SPONSOR GANDI
EXPIRY DATE 2020-11-18T19:13:53Z
CREATED 2012-11-18
CHANGED 2019-10-04
SOURCE FRNIC
HANDLE NSL32323-FRNIC
NSERVER
AJAY.NS.CLOUDFLARE.COM 173.245.59.56
LILA.NS.CLOUDFLARE.COM 173.245.58.186
NAME jetoile.fr
Go to top
jetoile.fr rapport :
Visitez le site