Yahoo! e Hadoop, matrimonio vincente?

- 20 febbraio, 2008 11:35 pm

Dopo l’ondata di gossip sull’offerta di acquisto di Yahoo! da parte di Microsoft, il motore di ricerca di Sunnyvale torna a far notizia dopo aver annunciato un importante cambio di infrastruttura.
Nel cuore di Yahoo! infatti ora batte un cuore (in parte) open source, si tratta di Hadoop.
Apache Hadoop è un software che, partendo dai dati ottenuti dalle scansioni delle pagine web, restituisce la Webmap, ovvero un database conentente tutti i dati relativi alle singole pagine indicizzate.
La Webmap così ottenuta viene in seguito data in pasto al Machine Learned Ranking algorithms che, come dice il nome, ha lo scopo di ordinare le pagine in base alle query formulate dagli utenti.
Hadoop viene eseguito da una batteria di 10.000 core, ha una dimensione di 300 Tb (compressa), contiene un trillione (ovvero mille bilioni) di links e per la sua produzione sono necessari 5 petabytes (cioè 1000 terabytes se la matematica non mi inganna) di memoria.
Yahoo! annuncia che questa nuova infrastruttura permetterà di ridurre di un terzo i tempi di elaborazione necessari per la creazione della Webmap.

Postato in : Uncategorized
Print This Post Print This Post


No comments yet.

Sorry, the comment form is closed at this time.