0

问题

大家好,

关于我的问题的一点背景...我目前有一个为我工作的 ISP 构建的站点,该站点根据用户的帐单状态向用户显示消息。当他们处于非付费状态时,我会显示一条非付费消息,如果他们处于滥用状态,我会显示一条滥用消息等。流量由思科 SCE 生成,它将最终用户的 HTTP 流量重定向到我的站点。

我看到的问题是流量过多。我相信流量可能是 P2P 流量、自动更新或其他任何类型的流量。基本上任何使用端口 80 的东西都会被 SCE 重定向到我的页面。

我试图在我的服务器上实施的解决方案是放置一个模块,根据用户的点击次数阻止用户。因此,如果它们在一定时间内超过阈值,它们将被重定向到另一个页面,这有望减轻处理器的负载,因为它不必执行所有 SQL 查找和发生在ASP.NET 页面。

但是,当我尝试强制执行我构建的模块时,它实际上会产生相反的结果(增加 CPU 负载)。该模块使用存储在应用程序状态中的内存表,用于通过 IP 跟踪请求。这是模块的代码:

public class IpHitCount : IHttpModule
{
    const string tableKey = "appIpLog";

    #region IHttpModule Members

    public void Dispose()
    {

    }

    public void Init(HttpApplication context)
    {
        context.PreRequestHandlerExecute += new EventHandler(checkHitCount);
    }

    #endregion

    private void checkHitCount(object sender, EventArgs e)
    {
        // Cast the parameter into a HttpApp object
        HttpApplication app = (HttpApplication)sender;

        // make sure that this is the user's first request for the app
        // (all first requests are routed through main)
        if (app.Request.Url.AbsolutePath.ToLower().Contains("main.aspx"))
        {
            // If the in memory table does not exist, then create it
            if (app.Application[tableKey] == null)
            {
                app.Application[tableKey] = CreateTable();
            }

            DataSet ds = (DataSet)app.Application[tableKey];
            DataTable tbl = ds.Tables["IpTable"];
            DeleteOldEntries(tbl);

            string filter = string.Format("ip = '{0}'", app.Request.UserHostAddress);
            DataRow[] matchedRows = tbl.Select(filter);

            if (matchedRows.Length > 0)
            {
                DataRow matchedRow = matchedRows[0];
                if ((int)matchedRow["hitCount"] > 4)
                {
                    app.Response.Redirect("HitCountExceeded.htm", true);
                }
                else
                {
                    matchedRow["hitCount"] = (int)matchedRow["hitCount"] + 1;
                }
            }
            else
            {
                DataRow newEntry = tbl.NewRow();
                newEntry["timestamp"] = DateTime.Now;
                newEntry["hitCount"] = 1;
                newEntry["ip"] = app.Request.UserHostAddress;
                tbl.Rows.Add(newEntry);
            }                
        }
    }

    private DataSet CreateTable()
    {
        DataSet ds = new DataSet();
        DataTable table = new DataTable("IpTable");

        DataColumn col1 = new DataColumn("timestamp", typeof(DateTime));
        col1.AutoIncrement = false;
        col1.DefaultValue = DateTime.Now;
        col1.ReadOnly = false;
        col1.Unique = false;

        DataColumn col2 = new DataColumn("ip", typeof(string));
        col1.AutoIncrement = false;
        col1.ReadOnly = false;  
        col1.Unique = false;

        DataColumn col3 = new DataColumn("hitCount", typeof(int));
        col1.AutoIncrement = false;
        col1.ReadOnly = false;
        col1.Unique = false;

        table.Columns.Add(col1);
        table.Columns.Add(col2);
        table.Columns.Add(col3);

        ds.Tables.Add(table);

        return ds;
    }

    private void DeleteOldEntries(DataTable tbl)
    {
        // build the where clause
        string filter = "timestamp < '" + DateTime.Now.AddMinutes(-5.0).ToString() + "'";

        // run the query against the table
        DataRow[] rowsToDelete = tbl.Select(filter);

        // individually delete each row returned
        foreach (DataRow row in rowsToDelete)
        {
            row.Delete();
        }
    }
}

所以我想知道的是:您是否可以看到我在模块中做错了什么,这可能导致 CPU 利用率高?是否有其他方法可以阻止此流量?

您能提供的任何帮助将不胜感激。

谢谢, C


解决方案

我已将模块中的代码更改为仅每 1 分钟运行一次删除部分:


    if (app.Application[deletedKey] == null)
    app.Application[deletedKey] = DateTime.Now;

    DateTime deletedDate = (DateTime)app.Application[deletedKey];

    if (DateTime.Now >= deletedDate.AddMinutes(1))
    {
        DeleteOldEntries(tbl);
        app.Application[deletedKey] = DateTime.Now;
    }

我还添加了一些我认为索引数据集的 IP 列的代码。但这似乎不对,所以我不确定它是否正在做我打算做的事情:


    DataColumn[] key = new DataColumn[1];
    key[0] = col1;

    table.PrimaryKey = key;

    ds.Tables.Add(table);

进行上述两项更改后,CPU 负载似乎已大幅下降。我想我们的 SQL 服务器现在也正在感谢上帝,它终于可以呼吸了。

谢谢大家的帮助!!

4

2 回答 2

2

好吧,您必须记住 DataSet 将在内存中,并且要搜索 DataSet,将花费大量 CPU 周期来查找您要查找的记录。

再加上一个事实,因为这是一个 Web 应用程序,你会得到很多点击,所以你最终会非常非常频繁地调用这个例程。

我的建议是将命中计数存储在数据库服务器中,然后更新并查询服务器以查看是否超出命中计数。它将能够处理负载,以及处理您要查询的数据集的大小。

于 2009-01-02T17:59:29.327 回答
1

我会尝试几件事:

  • 我看到的第一件事是,每次运行此代码时,您都在调用“DeleteOldEntries”子程序,这会导致它在每次通过时扫描整个 DataTable。有没有另一种方法可以限制它只在特定时间运行?如果不是每 15 秒运行一次的计时器,那么可能是状态中的第二个变量(如“ExecCount”),每次运行“CheckHitCount”时都会递增,这样您就只能每 10 次或 20 次清除一次?这样,您可以在每次运行时避免这个潜在的昂贵的代码部分。
  • 另一种选择是向您的 DataTable 添加索引。我不确定 .NET 如何处理 DataTables 中的查找,但也许您会对此感兴趣:MSDN 文章

您可以使用 ANTS Profiler 之类的工具来查看执行期间花费最多的时间吗?因为我想象这个页面被调用了很多很多次/秒,任何可以降低影响的方式,即使是一点点也会有很大的不同。

如果您得到一些结果但仍然不满意,请确保修改您的问题以添加新信息,以便我们可以继续努力寻找您满意的解决方案。

于 2009-01-02T20:51:57.437 回答