Web traffic: analysis of navigation data and modeling at single user

Web traffic: analysis of navigation data
and modeling at single user level.
José Javier Ramasco
1
de
9
Santander Octubre 2006
Marta Sánchez de La Lama
Outline
  Internet and the Web
  Navigation traces
  Data analysis at an aggregate level
  Individual-level data: navigation trees
  Models of Web navigation
2
de
9
Santander Octubre 2006
Marta Sánchez de La Lama
Internet and the WWW (Web)
3
de
9
Santander Octubre 2006
Marta Sánchez de La Lama
Internet and the WWW (Web)
4
de
9
Santander Octubre 2006
Marta Sánchez de La Lama
Internet and the Web
Friendster.com
5
de
9
Santander Octubre 2006
Marta Sánchez de La Lama
Internet and the Web
6
de
9
Santander Octubre 2006
Marta Sánchez de La Lama
Web navigation & navigation traces
http://www.a.edu
http://www.b.edu
7
de
9
Santander Octubre 2006
Marta Sánchez de La Lama
Navigation traces
8
de
9
Santander Octubre 2006
Marta Sánchez de La Lama
Navigation traces (Web requests)
9
• 
• 
Source MAC: 03:5a:66:17:90:5e
Dest. MAC: 10:99:19:3f:51:2f
• 
• 
Source IP: 192.168.39.190
Dest. IP: 127.100.251.3
• 
• 
Source Port: 9421
Dest. Port: 80
• 
• 
• 
• 
GET /index.html HTTP/1.1
Agent: SuperCrawler-2009/beta
Referer: http://www.grumpy-puppy.com/
Host: www.happy-kitty.com
de
9
Santander Octubre 2006
Marta Sánchez de La Lama
Why to study navigation traces?
10
de
9
Santander Octubre 2006
Marta Sánchez de La Lama
Why to study navigation traces?
11
de
9
Santander Octubre 2006
Marta Sánchez de La Lama
Databases
Emory University
• Students:
• Faculty:
12,300
~ 3,200
Population: 70 k
5,6
Indiana University, Bloomington
• Students:
12
• Faculty:
42,000
~ 5,000
Population of the metro area: 5,6 million
de
9
Santander Octubre 2006
Marta Sánchez de La Lama
Databases (Emory University)
•  The database is formed by the weblogs of Emory University from Apr. 1st
2005 to Jan. 17th 2006 (41 weeks).
•  Each click in a web of the university is registered at the time resolution of 1
second.
13
de
9
Santander Octubre 2006
Marta Sánchez de La Lama
Databases (Indiana University)
•  The database is formed by the Web requests from a dorm of the University.
•  Data collected from March 5, 2008 through May 3, 2008
•  408 million HTTP requests
•  1083 unique MAC addresses (Computers).
•  29.8 million page requests
•  967 unique users
•  630,000 Web servers
•  110,000 referring hosts
14
de
9
Santander Octubre 2006
Marta Sánchez de La Lama
Aggregate results
15
de
9
Santander Octubre 2006
Marta Sánchez de La Lama
Aggregate results
16
de
9
Santander Octubre 2006
Marta Sánchez de La Lama
Aggregate results
17
de
9
Santander Octubre 2006
Marta Sánchez de La Lama
Aggregate results
18
de
9
Santander Octubre 2006
Marta Sánchez de La Lama
Aggregate results
19
de
9
Santander Octubre 2006
Marta Sánchez de La Lama
Aggregate results
20
de
9
Santander Octubre 2006
IP 
Marta Sánchez de La Lama
www.x.emory.edu/*
Individual users results
21
de
9
Santander Octubre 2006
Marta Sánchez de La Lama
Individual users results (Sessions)
22
de
9
Santander Octubre 2006
Marta Sánchez de La Lama
Models: PageRank
23
de
9
Santander Octubre 2006
Marta Sánchez de La Lama
Models: BookRank
24
de
9
Santander Octubre 2006
Marta Sánchez de La Lama
Models: bookmarks + topicality (ABC)
25
de
9
Santander Octubre 2006
Marta Sánchez de La Lama
Simulation vs empirical data
26
de
9
Santander Octubre 2006
Marta Sánchez de La Lama
Simulation vs empirical data
27
de
9
Santander Octubre 2006
Marta Sánchez de La Lama
Simulation vs empirical data
28
de
9
Santander Octubre 2006
Marta Sánchez de La Lama
Simulation vs empirical data
29
de
9
Santander Octubre 2006
Marta Sánchez de La Lama
Conclusions
  We have studied the Web navigation traces of
a large number of users.
  Some of the features seem to be relatively
universal despite natural user-user variability.
  We have proposed a family of models able to
reproduce deeper and deeper characteristics
of the users’ navigation patterns.
  How far should we go? Do this last simple
model implement topicality satisfactorily?
30
And what about real time dynamics? …
de
9
Santander Octubre 2006
Marta Sánchez de La Lama
Collaborators & papers
31
de
9
Santander Octubre 2006
Marta Sánchez de La Lama