Precomputed Caching - Web DevelopmentYouTube↗  IA↗(long shot)
Education  12.2K views 80 likes 0 dislikes   27 May 2012
Udacity 651K subscribers United States YouTube↗


Please select the problem
You must specify your email and describe the problem in detail
Describe your problem in detail if it's not obvious

Click to Play Video Click to Play Video
規模拡大のために導入した大きなアーキテクチャは
una grandes piezas de arquitectura que añadimos para ayudarnos a escalar
キャッシュの事前計算という概念です
una fue esta noción de un caché precomputado.
私たちは注目ページを作るために
ejecutamos estas solicitudes [br]una y otra y otra vez
繰り返しクエリを実行していました
para generar el "hot page"en Reddit.
1分間のキャッシュ時間が切れたら[br]事前計算が必要です
Puedes ponerla en cache un minuto pero una vez que expira, tienes que recalcular,
処理して計算したのち格納した値を
Teníamos una tarea, en la que [br]se calcula, se ejecuta, se computa
memcachedに入れる作業はうまくいきましたが
y luego se pone el valor guardado en memcached. [br]Esto funcionó bien,
すべてのユーザページについて処理をするのです
Teníamos todas las páginas de nuestros usuarios
ユーザは自分のthingリストを持っていて
Cada uno de ellos tenía sus propios listados de cosas que les gustaban y habían enviado,
リスト中の各redditには[br]さまざまな種類のページがあります
las más importantes, y cada Reddit tenía una página nueva y un "hot page" y miles de cosas más,
だから事前計算することにしました
así que comenzamos a pre-computarlo todo.
すべてを別のデータベースに格納したのです
La forma en que lo hicimos es que teníamos este otro "stack" de base de datos.
これらはリンクデータベースのレプリカです
Estos son réplicas de la base de datos de enlaces, básicamente más bases de datos de enlaces.
タイムラグは特に問題ありません
Podían tener cierto retraso, pero no era gran cosa.
投稿がある度に処理待ちリストであるキューに入れます
Cada vez que ingresaba un voto, lo poníamos en la cola, como una lista de cosas por hacer,
そしてこのマシンで膨大なデータを処理します
y teníamos esta máquina básicamente manejando [br]listas inmensas de cosas,
この他に事前計算サーバというマシンが2つあり
y otro par de máquinas que llamamos servidores de pre-cómputo.
このマシンがキューからジョブを取り出します
Lo que estas hacían era sacar trabajos fuera de la cola. "Se ha votado sobre este enlace"
このAPサーバはリンクが投稿されたら
En realidad, lo que las aplicaciones hacían era que cuando se votaba por un enlace
キューにたくさんのジョブを追加します
estas añadían un número de trabajos a la cola.
ジョブとはRedditのトップページや[br]ユーザのお気に入りページや
los trabajos podrían ser recalcular[br]la página principal de Reddit, [br]recalcular la página preferida del usuario
ユーザのトップページなどの事前計算です
recalcular la página ¨top¨de este usuario,[br]recalcular la página "top" de Reddit.
1件の投票からさまざまなリストができます
Hay toda una cantidad de listados diferentes[br]que son afectados por un voto en particular.
マシンはジョブをうまく処理し
Estas máquinas eliminaban estos trabajos
データベースにクエリを実行します
y luego ejecutaban estas consultas [br]encontra de la base de datos.
マシンがキューからジョブを迅速に取り出し
Estas sacaban trabajos de la cola sin piedad [br]y tan rápido como podían
クエリを実行するのです
ejecutaban la consulta con la base de datos.
このデータベースは最新で[br]リアルタイムリクエストはありません
Estas bases estaban asfixiadas [br]y no tenían solicitudes en tiempo real.
リクエストはこの事前計算マシンには届きません
A estas máquinas de pre-cómputo jamás [br]las tocó una solicitud que viniera de Internet.
事前計算サーバが[br]事前計算データベースを処理するのです
Sólo estos servidores de pre-cómputo tocaban estas bases pre-computadas.
ジョブ処理の結果はmemcachedに格納されます
Y cuando el trabajo se había ejecutado, se tomaban los resultados y se guardaban en memcached.
皆さんが見るRedditのページは[br]memcachedから持ってきているのです
De estas forma, casi todas las páginas que veías en Reddit se trasladaban de memcached.
Reddit上ではデータベースの直接操作はできません
Hay pocas cosas en Reddit que pueded manipularan una base de datos de forma directa.
ここまでくると拡張はとても簡単になります
Una vez que llegamos al punto de escalar, [br]las cosas resultaron mucho más fáciles.
これらは最後のとりでのようなもの[br]つまりあらゆるデータの供給源です
Estas son fuentes primarias de datos[br]sólo en último recurso,
しかしリアルタイムデータは[br]memcachedから出されます
y cualquier dato que acceses en Reddit en tiempo real en realidad sale del memcache
Redditのすべてのリストは事前計算されて[br]memcachedに格納されます
Cada listado es pre-computado y guardado [br]en memcached para todo Reddit.
これがリンクの履歴をさかのぼって
Esta es la razón por la que no puedes [br]retroceder más allá
見ることができない理由です
de unos mil enlaces en un listado en particular.
以前はRedditのトップページから次々に
Solía ser posible ir a la página principal de Reddit y oprimir "next", "next","next","next","next",
別のページへ行きそのまま戻れたのですが
y regresar por el camino hasta el principio de los tiempos, lo que de verdad
データベースがダメージを受け[br]今はもうできないのです
causaba muchos daños en nuestras bases de datos, volvía lento el sitio, etc. Ya no puedes hacer eso.
ソートごとに[br]トップの1000件しか格納されていませんが
Sólo guardamos los primeros mil de cada tipo, lo que es una de las limitaciones de hacer este
更新のサイクルが早いので問題ないようです
pre-cómputo, pero el lado positivo [br]es que el ciclo es mucho más rápido.
いずれにしても[br]履歴をさかのぼって見ることはあまりないですよね
A fin de cuentas, hay pocas razones para volver al tiempo inicial en Reddit.
この方法はうまくいったので現在も運用さています
Esto funcionó bien, y el sitio hoy tiene esta estructura general,
でも技術はいろいろ変わっているので[br]ニールに話してもらいましょう
aunque mucha de la tecnología haya cambiado, [br]y de eso nos hablará Neil.
Similar videos:

Problems with Memcachedb - Web Development
Udacity
6K views 13 likes 0 dislikes 27 May 2012100% match

Code Organization - Web Development
Udacity
7.2K views 25 likes 1 dislikes 27 May 2012100% match

More Handlers - Web Development
Udacity
9.1K views 9 likes 2 dislikes 22 Apr 2012100% match

Content Type - Web Development
Udacity
7.5K views 5 likes 1 dislikes 22 Apr 2012100% match

Inline Vs Block
Udacity
17.3K views 139 likes 5 dislikes 23 Feb 2015100% match

Paragraph Tag - Web Development
Udacity
8.6K views 4 likes 0 dislikes 23 Feb 2015100% match

Shopping List Take 1 - Web Development
Udacity
841 views 1 likes 0 dislikes 23 Feb 2015100% match

Components of the Web
Udacity
28K views 54 likes 0 dislikes 23 Feb 2015100% match

Types of Databases - Web Development
Udacity
8.5K views 43 likes 4 dislikes 25 Apr 2012100% match

Missing End Tag Solution - Web Development
Udacity
22.8K views 7 likes 0 dislikes 23 Feb 2015100% match

User Input - Web Development
Udacity
7.7K views 3 likes 0 dislikes 22 Apr 2012100% match

Database Architecture - Web Development
Udacity
8.3K views 29 likes 1 dislikes 27 May 2012100% match

Part 2 - Web Development
Udacity
643 views 2 likes 0 dislikes 07 May 2012100% match

Caching Techniques - Web Development
Udacity
34.4K views 216 likes 7 dislikes 23 Feb 2015100% match

Span and Div
Udacity
50.3K views 27 likes 1 dislikes 23 Feb 2015100% match

Stateless - Web Development
Udacity
9.2K views 35 likes 8 dislikes 23 Feb 2015100% match

The Action Attribute - Web Development
Udacity
7.5K views 7 likes 0 dislikes 22 Apr 2012100% match

Document Structure
Udacity
7.2K views 24 likes 1 dislikes 23 Feb 2015100% match

Datastore Types Solution - Web Development
Udacity
656 views 1 likes 0 dislikes 25 Apr 2012100% match

URL Encoding - Web Development
Udacity
13.7K views 17 likes 13 dislikes 22 Apr 2012100% match

Growing Reddit - Web Development
Udacity
82.7K views 484 likes 27 dislikes 27 May 2012100% match

Caching - Web Development
Udacity
12.1K views 102 likes 0 dislikes 23 Feb 201575% match

Scaling - Web Development
Udacity
12.5K views 81 likes 1 dislikes 27 May 201273% match

Introduction - Web Development
Udacity
23.3K views 107 likes 0 dislikes 23 Feb 201573% match

Best Browser - Web Development
Udacity
14.9K views 7 likes 0 dislikes 23 Feb 201567% match

Whitespace Solution - Web Development
Udacity
15.7K views 10 likes 1 dislikes 23 Feb 201567% match

Scaling Databases - Web Development
Udacity
64.3K views 795 likes 7 dislikes 25 Apr 201267% match

Course Outline - Web Development
Udacity
46.2K views 169 likes 0 dislikes 23 Feb 201567% match

Reddit Architecture - Web Development
Udacity
27.7K views 397 likes 3 dislikes 27 May 201267% match

Bold Tag - Web Development
Udacity
53K views 29 likes 0 dislikes 23 Feb 201567% match


Settings Privacy About Contact Donate