Descarregar pdf - Cibernàrium

Barcelona
Activa
Àrea d’Economia, Empresa i Ocupació
Big Data: noves eines i
estratègies per a la gestió
de grans volums de dades
Marc Planagumà i Marc Pous
Data
Ajuntament
de Barcelona
Barcelona Activa: Qui som?
Barcelona Activa, integrada en l’àrea d’Economia, Empresa i Ocupació, és l’organització executora de les
polítiques de promoció econòmica de l’Ajuntament de Barcelona.
Des de fa 25 anys impulsa el creixement econòmic de Barcelona i el seu àmbit d’influència donant suport a
les empreses, la iniciativa emprenedora i l'ocupació, alhora que promociona la ciutat internacionalment i els
seus sectors estratègics; en clau de proximitat al territori.
Barcelona Activa va ser guanyadora del Gran Premi del Jurat 2011, atorgat per la DG d’Empresa i Indústria de
la Comissió Europea en el marc dels European Enterprise Awards, per la iniciativa empresarial més creativa i
inspiradora d’Europa.
www.bcn.cat/barcelonactiva
Pàg 2
Ajuntament
de Barcelona
Àrees d’activitat de Barcelona Activa
Barcelona Activa s’estructura en tres grans blocs de serveis a les Empreses, a l’Emprenedoria i
a la Ocupació. La Formació és un instrument transversal present en els tres blocs, així com
també tot el relacionat amb l’economia social.
Empresa
Emprenedoria
Capacitació
Professional
i Ocupació
Formació
Economia Social
www.bcn.cat/barcelonactiva
Pàg 3
Ajuntament
de Barcelona
Una xarxa d’Equipaments Especialitzats
Seu Central
Parc Tecnològic
BCN Nord
Centre
Iniciativa Emprenedora
Incubadora
Glòries
Almogàvers
Business Factory
Centre
Desenvolupament
Professional Porta22
Cibernàrium
MediaTIC
Convent
de Sant Agustí
Xarxa de Proximitat
Can Jaumandreu
Ca n’Andalet
13 antenes Cibernàrium a biblioteques
10 punts d’atenció en Ocupació
www.bcn.cat/barcelonactiva
Pàg 4
Barcelona Activa
Haga clic para modificar el estilo
de título del patrón
Marc Planagumà
Enginyer Telecomunicacions i investigador
www.bcn.cat/barcelonactiva
5
Barcelona Activa
Haga clic para modificar el estilo
de título del patrón
El vostre nom?
Quin interès teniu amb el món Big Data?
www.bcn.cat/barcelonactiva
6
Barcelona Activa
i dades d’interés
UnaEstadistiques
xarxa d’Equipaments
Especialitzat
Haga clic para modificar el estilo
de título del patrón
www.bcn.cat/barcelonactiva
7
Barcelona Activa
Estadistiques i dades d’interés
Haga clic para modificar el estilo
de título del patrón
www.bcn.cat/barcelonactiva
8
Barcelona Activa
Estadistiques i dades d’interés
Haga clic para modificar el estilo
de título del patrón
www.bcn.cat/barcelonactiva
9
Barcelona Activa
Haga clic para modificar el estilo
de título del patrón
www.bcn.cat/barcelonactiva
10
Barcelona Activa
Estadistiques
i dades d’interés
Una
xarxa d’Equipaments
Especialit
Haga clic para modificar el estilo
de título del patrón
www.bcn.cat/barcelonactiva
11
Barcelona Activa
Estadistiques
i dades d’interés
Una xarxa d’Equipaments
Especi
Haga clic para modificar el estilo
de título del patrón
http://www.thinkwithgoogle.com/insights/featured/new-multi-screen-world-insight/
www.bcn.cat/barcelonactiva
12
Barcelona Activa
Haga clic para modificar el estilo
Agenda
Una xarxa d’Equipaments Especia
de título del patrón
1.
Quina és la tendència de les dades?
2.
Què és el Big Data?
3.
Quins són els reptes del Big Data?
4.
Emmagatzematge massiu
5.
Processament distribuït
6.
Pràctica de Big Data
www.bcn.cat/barcelonactiva
13
Barcelona Activa
Haga
clic para
modificar el estilo
1 Bit
= Binary
Digit
de título del patrón
8 Bits = 1 Byte
1000 Bytes = 1 Kilobyte
1000 Kilobytes = 1 Megabyte
1000 Megabytes = 1 Gigabyte
1000 Gigabytes = 1 Terabyte
1000 Terabytes = 1 Petabyte
1000 Petabytes = 1 Exabyte
1000 Exabytes = 1 Zettabyte
1000 Zettabytes = 1 Yottabyte
1000 Yottabytes = 1 Brontobyte
1000 Brontobytes = 1 Geopbyte
www.bcn.cat/barcelonactiva
14
Barcelona Activa
Haga clicQuina
para modificar
el estilo
és la tendència
de título del patrón
de les dades?
www.howtogomo.com
www.bcn.cat/barcelonactiva
15
Barcelona Activa
Haga clic
modificar el estilo
Quina
éspara
la tendència
de les dades?
de título del patrón
2009 0.8 ZB
2010 1.2 ZB
2011 1.8 ZB
2012 2.7 ZB
2015 7.9 ZB
2020 35 ZB
www.bcn.cat/barcelonactiva
16
Barcelona Activa
Tot pot ser mesurat al online
Haga clic para modificar el estilo
de título del patrón
www.bcn.cat/barcelonactiva
17
Barcelona Activa
90% de les dades d'Internet dels
últims 2 anys
Haga clic para modificar el estilo
de título del patrón
www.bcn.cat/barcelonactiva
18
Barcelona Activa
Haga clic para modificar el estilo
de título del patrón
minut
www.bcn.cat/barcelonactiva
19
Barcelona Activa
Haga clic para modificar el estilo
de título del patrón
2.2
milions de TeraBytes es creen cada dia
www.bcn.cat/barcelonactiva
20
Barcelona Activa
Los
objetivos
son la
clave
Data
vs Moore's
Law
Haga clic para modificar el estilo
de título del patrón
Data
Moore
www.bcn.cat/barcelonactiva
21
Barcelona Activa
¿Quins
Los
indicadors
objetivospodem
son la mesurar?
clave
Haga clic para modificar el estilo
de título del patrón
www.bcn.cat/barcelonactiva
22
Barcelona Activa
Los...i
objetivos
son la clave
qui ho genera?
Haga clic para modificar el estilo
de título del patrón
www.bcn.cat/barcelonactiva
23
Barcelona Activa
Los
son la clave
...iobjetivos
qui ho genera?
Haga clic para modificar el estilo
de título del patrón
...però i els dipositius que
generen dades?
24
Barcelona Activa
Internet
of Things,
M2M,
ave Samrt cities
Haga clic para
modificar el estilo
de título del patrón
www.bcn.cat/barcelonactiva
25
Barcelona Activa
¿Quines aplicacions podem mesurar?
Haga clic para modificar el estilo
de título del patrón
www.bcn.cat/barcelonactiva
26
Barcelona Activa
Los
o
Haga clic para modificar el estilo
de título del patrón
www.bcn.cat/barcelonactiva
27
Barcelona Activa
Mobile
Analytics:
Mètriques
per millorar la web
Haga clic
para modificar
el estilo
de título del patrón
www.bcn.cat/barcelonactiva
28
Barcelona Activa
Amari
( Google case study)
Haga clic Exemple:
para modificar
el estilo
de título del patrón
www.bcn.cat/barcelonactiva
29
Barcelona Activa
Google
Analytics Reporting: Mobile devices
Haga clic para modificar el estilo
de título del patrón
www.bcn.cat/barcelonactiva
30
Barcelona Activa
Haga clic para modificar el estilo
de título del patrón
www.bcn.cat/barcelonactiva
31
Barcelona Activa
Google Analytics Reporting: Mobile Visitors by Service Provider
Haga clic para modificar el estilo
de título del patrón
www.bcn.cat/barcelonactiva
32
Barcelona Activa
HagaAnalytics
clic para modificar
el estilo Mobile Experience
Google
Reporting:
de título del patrón
www.bcn.cat/barcelonactiva
33
Barcelona Activa
Haga clic para modificar el estilo
de título del patrón
Los
www.bcn.cat/barcelonactiva
34
Barcelona Activa
Haga clic para modificar el estilo
de título del patrón
www.bcn.cat/barcelonactiva
35
Barcelona Activa
Haga clic para modificar el estilo
de título del patrón
Què és Big Data?
www.bcn.cat/barcelonactiva
36
Barcelona Activa
Haga clic para modificar el estilo
de título del patrón
Què és Big Data?
"Big data is high-volume, high-velocity and
high-variety information assets that demand
cost-effective, innovative forms of information
processing for enhanced insight and decision
making."
Gartner, 2012
www.bcn.cat/barcelonactiva
37
Barcelona Activa
Haga és
clic para
el estilo
Què
Bigmodificar
Data?
de título del patrón
www.bcn.cat/barcelonactiva
38
Barcelona Activa
Haga clic para modificar el estilo
Volum
de título del patrón
Terabytes,
Petabytes, ZetaBytes...
Les dimensions de les dades
ha deixat obsoletes les
tecnologies clàssiques
www.bcn.cat/barcelonactiva
39
Barcelona Activa
Haga clic para modificar el estilo
de título del patrón
Varietat
Les dades han passat de ser estructurades a ser semiestructurades o completament desestructurades:
•
•
Estructurades: BDRM, Taules
Desesctruturades: Text, Imatges, Vídeo
Semi-estructurades: XML, JSON
•
Tendència: 10% estructurat - 90% desestructurat
www.bcn.cat/barcelonactiva
40
Barcelona Activa
Haga clic para modificar el estilo
Velocitat
de título del patrón
1. Tenim una alta velocitat de generació de dades
(Streaming Data)
2. i necessitem una alta velocitat de resposta per
processar-les.
www.bcn.cat/barcelonactiva
41
Barcelona Activa
Quins
són
seus
reptes?
Haga clic
para els
modificar
el estilo
de título del patrón
www.bcn.cat/barcelonactiva
42
Barcelona Activa
Google
Analyticss
Haga clic
para els
modificar
el estilo
Quins
són
seus
reptes?
de título del patrón
Emmagatzematge Massiu
i
Processat Distribuït
www.bcn.cat/barcelonactiva
43
Barcelona Activa
Haga clic
para els
modificar
el estilo
Quins
són
seus
reptes?
de título del patrón
Teorema CAP (Brewer's theorem)
El teorema diu que és impossible per un sistema distribuït oferir
simultàniament ninguna de les tres propietats següents:
•
•
•
Consistència: tots els nodes amb la mateixa informació al mateix
temps.
Availability: una garantia de què cada Request rebrà un Response si
s'ha realitzat bé o no.
Partició o Tolerància a l'error: el sistema continua operant encara
que hi hagi una caiguda del sistema o pèrdua de missatges.
www.bcn.cat/barcelonactiva
44
Barcelona Activa
Google
Analytics
for Android
Haga clic
para modificar
el estilo & iOS App tracking
de título del patrón
www.bcn.cat/barcelonactiva
45
Barcelona Activa
10' break!
Pàg 46
Barcelona Activa
Quines
les propostes
tecnològiques?
Haga clic són
para modificar
el estilo
de título del patrón
NoSQL
i
Clustering
www.bcn.cat/barcelonactiva
47
Barcelona Activa
Haga clic para modificar el estilo
de título del patrón
Emmagatzematge
Massiu
www.bcn.cat/barcelonactiva
48
Barcelona Activa
Haga clic
para
modificarRelacionals
el estilo
Bases
de
Dades
•
•
•
•
de título del patrón
Dades estructurades en taules utilitzant columnes per
cada atribut.
Relacions amb altres taules utilitzant claus de
referència
Esquema i Normalització
SQL llenguatge query
www.bcn.cat/barcelonactiva
49
Barcelona Activa
Google
Anal
Haga clic
para modificar el estilo
s
de título del patrón
www.bcn.cat/barcelonactiva
50
Barcelona Activa
Beneficis
les RDBMS
Haga clic parade
modificar
el estilo
de título del patrón
Standarització
SQL
Transacionabilitat (ACID)
•
•
•
•
Atomicitat: Una transacció o bé finalitza correctament i
confirma o bé no deixa cap rastre de la seva execució.
Consistència: La concurrència de transaccions no pot
produir resultats anòmals.
AÏllament (o Isolament): Cada transacció del sistema
s'ha d'executar com si fos l'única que s'executa en
aquell moment en el sistema.
Definitivitat: Si es confirma una transacció, el resultat
d'aquesta ha de ser definitiu i no es pot perdre.
www.bcn.cat/barcelonactiva
51
Barcelona Activa
Problemes
deforles
Haga clic
para modificar
elRDBMS
estilo
Google
Analytics
Mobile-Specific
Sites
de título del patrón
•
•
Fácil de instalar
Consistente en webs
estáticas
•
•
•
Genera peticiones que
son muy largas
Pesado
Limitado en soporte de
dispositivos
www.bcn.cat/barcelonactiva
52
Barcelona Activa
Haga clic
para modificar
el estilo
Google
Analytics
for Mobile-Specific
Sites
NoSQL
de título del patrón
•
Más trabajo en el lado del
• servidor
Genera peticiones que son
muy
largasrobots
• No
elimina
Pesado para identificar
• • Problema
• campañas,
Limitado enreferentes
soporte dey
dispositivos
con
contenido dinámico
Not Only SQL
•
••
•
Fácil de instalar
Poco
pesado
Consistente
en webs
Universal
estáticas
www.bcn.cat/barcelonactiva
53
Barcelona Activa
Haga clic
para modificar
el estilo
Google
Analytics
for Mobile-Specific
Sites
NoSQL
de título del patrón
Clau Valor
Basades en Documents
Basades en Columnes
Basades en Graf
•
•
Fácil
• de
Noinstalar
hace falta
Consistente
en webs
desarrollo
estáticas
•
•
•
Genera
• Hace
peticiones
falta BIque son
muy
• largas
Información limitada
Pesado
• Contenido dinámico
Limitado en soporte de
dispositivos
www.bcn.cat/barcelonactiva
54
Barcelona Activa
Clau
Valor
Haga clic
para modificar
el estilo
Google
Analytics
for Mobile-Specific
Sites
de título del patrón
•
Model de dades: Parells de Claus i Valor
{ Clau : Valor }
•
•
Procesamiento por
lotes
• • Fácil
de instalar
Buena
integración
• Consistente
en webs
con soluciones
de
estáticas
medición
• Potencial para
capturar actividad
offline
•
•
Posibilidad de
restricciones
Genera
peticionesde
quedatos
son
muy largas
Pesado
Limitado en soporte de
dispositivos
•
Basat en Amazon Dynamo
paper
•
Focus en la escalabilitat
•
Dynamo: Amazon’s Highly Available Key-value Store
http://www.read.seas.harvard.edu/~kohler/class/cs239-w08/decandia07dynamo.pdf
www.bcn.cat/barcelonactiva
55
Barcelona Activa
Haga Valor
clic para modificar el estilo
Clau
de título del patrón
www.bcn.cat/barcelonactiva
56
Barcelona Activa
Basats en documents
•
Haga clic para modificar el estilo
de título del patrón
Model de Dades: Clauç/Valor on el Valor són
documents JSON o BSON
{teachers: [
{ name : "Marc" , surname : "Pous"},
{ name : "Marc" , surname : "Planagumà"}
]}
•
•
Basat en Lotus Notes
Sense esquema
www.bcn.cat/barcelonactiva
57
Barcelona Activa
Basats en documents
Haga clic para modificar el estilo
de título del patrón
www.bcn.cat/barcelonactiva
58
Barcelona Activa
Basats en columnes
•
Haga clic para modificar el estilo
de título del patrón
Model de Dades: Dades en
columnes amb índex i timestamp.
•
•
Basat en el paper de 2004 de la
Google BigTable
Sense esquema
i1
i2
i3
i4
ts
ts
ts
ts
1
0
0
0
0
1
0
0
1
1
1
0
0
0
1
1
1
1
0
1
1
0
1
0
Bigtable: A Distributed Storage System for Structured Data
1
1
http://static.googleusercontent.com/external_content/untrusted_dlcp/research.google.com/es//archive/bigtable-osdi06.pdf
www.bcn.cat/barcelonactiva
59
Barcelona Activa
Basats en columnes
Haga clic para modificar el estilo
de título del patrón
www.bcn.cat/barcelonactiva
60
Barcelona Activa
•
•
•
Haga
clic para modificar el estilo
Grafs
de título del patrón
Model de dades: relacions entre nodes
Basat en la teoria matemàtica de grafs
Focus en el modelatge de dades
www.bcn.cat/barcelonactiva
61
Barcelona Activa
Haga clic para modificar el estilo
Grafs
de título del patrón
www.bcn.cat/barcelonactiva
62
Barcelona Activa
Haga clic para modificar
el estilo tenir
Ho
podem
de título del patrón
•
•
•
•
•
tot?
Rendiment
Disponibilitat
Exactitud
Seguretat
SQL
63
www.bcn.cat/barcelonactiva
Barcelona Activa
Haga clic
para
modificar
el estilo
Com
es
fan
les queries?
de título del patrón
•
•
•
•
•
APIs: REST, Thrift, Avro
Sintaxis pròpies
GQL - SQL-like per BigTable
SPARQL - llenguatge query semàntic web
Gremlin o Cypher - llenguatge per grafs
www.bcn.cat/barcelonactiva
64
Barcelona Activa
Haga clic para modificar el estilo
Comparació
de título del patrón
www.bcn.cat/barcelonactiva
65
Barcelona Activa
Mo
Haga clic para modificar el estilo
de título del patrón
Processat Distribuït
www.bcn.cat/barcelonactiva
66
Barcelona Activa
Google
Analytics
Haga clic para
modificar
el estilo for Mobile Apps
de título del patrón
www.bcn.cat/barcelonactiva
67
Barcelona Activa
Google
Analytics
Haga clic para
modificar
el estilo for Mobile Apps
de título del patrón
100MB / seg
www.bcn.cat/barcelonactiva
68
Barcelona Activa
Google
Analytics
Haga clic para
modificar
el estilo for Mobile Apps
de título del patrón
2TB més de
5 hores
www.bcn.cat/barcelonactiva
69
Barcelona Activa
Haga clic para modificar el estilo
de título del patrón
www.bcn.cat/barcelonactiva
70
Barcelona Activa
20.000 discs
2TB en 1 segon
Mobile Apps: Instalació
HagaGoogle
clic para Analytics
modificar elfor
estilo
de título del patrón
?
www.bcn.cat/barcelonactiva
Barcelona Activa
Haga
clic para modificar
el estilo
Cal
repensar
el processament!
de título del patrón
Map Reduce
www.bcn.cat/barcelonactiva
72
Barcelona Activa
Haga clic para modificar el estilo
Què
és el
de título
delMap
patrón Reduce?
Model de programació introduït per Google als voltants del
2000 per adaptar-se a la computació distribuïda que
permeten els clústers d'ordinadors.
MapReduce: Simplied Data Processing on Large Clusters
http://static.googleusercontent.com/external_content/untrusted_dlcp/research.google.com/es//archive/mapreduce-osdi04.pdf
www.bcn.cat/barcelonactiva
73
Barcelona Activa
Haga
modificar
el estilo
Què
ésclicelpara
Map
Reduce?
de título del patrón
Volem executar una query sobre un dataset molt gran.
1. Dividim aquest conjunt total de dades en moltes parts.
2. Executem en paral·lel el processat en vàries màquines.
3. Agreguem els resultats i els tornem.
www.bcn.cat/barcelonactiva
74
Barcelona Activa
clic para modificar el estilo
QuèHaga
és
eldelMap
de título
patrónReduce?
2 fases:
•
•
Map: les dades d'entrada són processades una a una i
transformades en un dataset provisional de clau/valor.
Reduce: aquestes dades preparades pel map són
operades donant com a resultat un nou dataset
clau/valor amb els resultats.
75
www.bcn.cat/barcelonactiva
Barcelona Activa
clic para modificar el estilo
QuèHaga
és
eldelMap
de título
patrónReduce?
Batch processing
76
www.bcn.cat/barcelonactiva
Barcelona Activa
Haga clic para
modificar
el estilo
Exemple
Map
Reduce
de título del patrón
Comptem paraules
77
www.bcn.cat/barcelonactiva
Barcelona Activa
Haga clic para
modificar
el estilo
Exemple
Map
Reduce
de título del patrón
Comptem paraules
78
www.bcn.cat/barcelonactiva
Barcelona Activa
Haga clic para
modificar
el estilo
Exemple
Map
Reduce
de título del patrón
Comptem paraules
79
www.bcn.cat/barcelonactiva
Barcelona Activa
Haga clic para
modificar
el estilo
Exemple
Map
Reduce
de título del patrón
Comptem paraules
80
www.bcn.cat/barcelonactiva
Barcelona Activa
Haga clic para modificar el estilo
Hadoop
de título del patrón
És una implementació OpenSource d'entorn d'execució
Map Reduce.
Implementat entre d'altres per:
81
www.bcn.cat/barcelonactiva
Barcelona Activa
Haga
clic para
el estilo
Nou
stack
demodificar
tecnologies
de título del patrón
Tradicional
Big Data
Queries
RDBMS
Hardware
Monolític
NoSQL
Map Reduce
RDBMS
distribuït
Hadoop
Hardware distribuït
82
www.bcn.cat/barcelonactiva
Barcelona Activa
Haga clic para modificar el estilo
Comparació
de título del patrón
Dades Tradicionals
Big Data
Gigabytes / Terabytes
Petabytes / Exabytes
Centralitzat
Distribuït
Estructurat
Semi estructurat o desestructurat
Model de dades
Dades planes
Relacions complexes
Relacions escasses
83
www.bcn.cat/barcelonactiva
Barcelona Activa
Haga clic para modificar el estilo
de título del patrón
Dubtes i preguntes?
84
www.bcn.cat/barcelonactiva
Barcelona Activa
Haga clic para modificar el estilo
de título del patrón
Pràctica Big Data
85
www.bcn.cat/barcelonactiva
Barcelona Activa
Haga clic de
para Big
modificar
el estilo
Pràctica
Data
de título del patrón
Combinació de la part teòrica amb 1 pràctica:
Escolliu un problema que us agradaria resoldre.
Penseu quines dades existeixen públiques o si tindríeu accés a les
dades.
•
•
•
•
•
•
Xarxa de transport públic
El vostre ADN
Les vostres pel·lícules preferides
Sensors i actuadors
Les lleis del país
...
86
www.bcn.cat/barcelonactiva
Barcelona Activa
Haga clic de
para Big
modificar
el estilo
Pràctica
Data
de título del patrón
•
•
•
•
•
Existeixen altres fonts de dades interessants associades a les
dades que tenim?
Quin tipus de dades són? Són grans volums de dades? Com
s’haurien d’estructurar?
Com adquiriu les dades? En temps real? Cada hora? Cada dia?
Quines consultes haureu de fer sobre les vostres dades?
Quins requisits CAP teniu?
A quin problema ens enfrontem? Quina seria la millor estructura
de dades per resoldre el problema?
87
www.bcn.cat/barcelonactiva
Barcelona Activa
Haga clic para modificar el estilo
de título del patrón
Gràcies
@djkram & @gy4nt
[email protected]
[email protected]
88
www.bcn.cat/barcelonactiva
Haga clic para modificar el estilo
de título del patrón
bcn.cat/barcelonactiva
bcn.cat/cibernarium