在网页上处理大量数据条目的最佳方法是什么?
假设我有一个包含 5000 条记录的数据库,其中包含 song_name、author_name、song_id、posted_by 的表;我想在一个页面上建立一个所有歌曲的播放列表。同样在该页面上,还有一个播放器可以根据页面上显示的播放列表条目播放歌曲。
我试图从该表中提取所有 5000 个条目并用它们构建一个 javascript 对象,并处理该对象我已经构建了播放列表、在播放列表中搜索等等。但这需要非常大量的资源(在用户端)和大量的页面加载时间(因为有很多条目!)并且页面非常慢。
将所有数据加载到一个对象中并通过JavaScript对播放列表的每 100 条记录进行分页更好,还是从数据库中获取分页结果并仅更新播放列表更好?(考虑到如果播放器激活了随机播放按钮,它可能会随机播放到用户数据库中的任何歌曲,而不仅仅是可见播放列表中的当前歌曲)
4 回答
我认为分页是您最好的选择。只需创建一个 100 的限制(例如)并使用 AJAX 提取下一个 100。如果客户端打开 shuffle,只需向服务器发送另一个请求并让它调用执行以下操作的函数:
- 计算数据库中的总行数
- 使用 randomize 函数获取 100 个随机数
- 现在创建一个稍微棘手的查询来根据它们的行号从数据库中获取记录:
函数 getRandomTracks($limit) {
$total = $this->db->count_all('table_tracks');
//Get random values. Speed optimization by predetermine random rownumbers using php
$arr = array();
while (count($arr) < $limit) {
$x = mt_rand(0, $total); //get random value between limit and 0
if (!isset($arr[$x])) { //Random value must be unique
//using random value as key and check using isset is faster then in_array
$arr[$x] = true;
}
}
//Create IN string
$in = implode(',', array_keys($arr));
//Selection based on random rownumbers
$query = $this->db->query('SELECT * FROM
(SELECT @row := @row + 1 as row, t.*
FROM `table_tracks` t, (SELECT @row := 0) r) AS tracks
WHERE `row` IN(' . $in . ')');
return $query->result();
}
我正在使用类似的功能,也可以处理大量曲目(超过 300.000),所以我相信这会奏效!
使用 ajax 以 100 步(或更多,只需尝试)加载数据
对记录集进行循环并每次增加限制:
<?php
$Step = 100;
$u_limit = 0;
$sql = "SELECT song_id FROM $MySQL_DB.songs";
$data = mysql_query($sql, $dblk);
$numer_of_entries = mysql_num_rows($data);
while($o_limit < $numnumer_of_entries)
{
$o_limit = u_limit + $Step;
$sql = "SELECT * FROM $MySQL_DB.songs order by id DESC LIMIT $u_limit, $o_limit";
$data = mysql_query($sql, $dblk);
while($row = mysql_fetch_array($data))
{
// built an array and return this to ajax
}
$u_limit += $Step;
}
即使您使用 jQuery 或其他库,也很难将“整个”数据加载到客户端程序,因为关键因素不是您使用的代码/sdk,而是浏览器本身!
顺便说一句,chrome 是最快的,而 IE(ver.10 之前)是最低的。
您可以参考以下链接:
http://www.infoq.com/news/2010/09/IE-Subsystems-Spends-Time
http://www.nczonline.net/blog/2009/01/05/what-确定-a-script-is-long-running/
http://www.zdnet.com/browser-benchmarks-ie-firefox-opera-and-safari-3039420732/
http://msdn.microsoft.com/ en-us/library/Bb250448
http://support.microsoft.com/kb/175500/en-us
所以你应该做的是像其他人建议的那样将你的客户端逻辑移动到服务器端。
正如您提到的那样进行分页但只对所有数据使用 javascript,它本质上与无分页相同。
试试这个:http ://www.datatables.net/
我想知道,但也许它的作品。