2

我正在尝试将 SQL 数据库与 Java 程序一起使用。我制作了一个 7 列宽和 250 万行的表格（我需要构建的下一个表格将是大约 2 亿行）。我有两个问题：构建 SQL 表太慢（大约 2,000 行/分钟）和搜索数据库太慢（如果可能，我需要在一秒钟内找到超过 1 亿行，目前需要一分钟以上）。我尝试创建一个 csv 文件并导入它，但我无法让它工作。

我在我的电脑（i5 + 6gb ram）上使用 xampp 和 phpMyAdmin。我正在测试三种方法：createTable()、writeSQL() 和 searchSQL()。

创建表：

public static void createTable() {
    String driverName = "org.gjt.mm.mysql.Driver";
    Connection connection = null;
    try {
        Class.forName(driverName);

    } catch (ClassNotFoundException e) {
        // TODO Auto-generated catch block
        e.printStackTrace();
    }

    String serverName = "localhost";
    String mydatabase = "PokerRanks4";
    String url = "jdbc:mysql://" + serverName + "/" + mydatabase;                                                                        
    String username = "root";
    String password = "";

    try {
        connection = DriverManager.getConnection(url, username, password);
    } catch (SQLException e) {
        // TODO Auto-generated catch block
        e.printStackTrace();
    }

    ///////////////
    String table = "CREATE TABLE ranks(deckForm bigint(10) NOT NULL,rank0 int(2) NOT NULL,rank1 int(2) NOT NULL,rank2 int(2) NOT NULL,rank3 int(2) NOT NULL,rank4 int(2) NOT NULL,rank5 int(2) NOT NULL,PRIMARY KEY (deckForm),UNIQUE id (deckForm),KEY id_2 (deckForm))";
    try {
        Statement st = connection.createStatement();
        st.executeUpdate(table);
    } catch (SQLException e) {
        // TODO Auto-generated catch block
        e.printStackTrace();
    }
    ///////////////

    try {
        connection.close();
    } catch (SQLException e) {
        // TODO Auto-generated catch block
        e.printStackTrace();
    }
}

写SQL（）：

public static void writeSQL() {
    String driverName = "org.gjt.mm.mysql.Driver";
    Connection connection = null;
    try {
        Class.forName(driverName);

    } catch (ClassNotFoundException e) {
        // TODO Auto-generated catch block
        e.printStackTrace();
    }

    String serverName = "localhost";
    String mydatabase = "PokerRanks4";
    String url = "jdbc:mysql://" + serverName + "/" + mydatabase;                                                                        
    String username = "root";
    String password = "";

    try {
        connection = DriverManager.getConnection(url, username, password);
    } catch (SQLException e) {
        // TODO Auto-generated catch block
        e.printStackTrace();
    }


    /////////////// Prepared Statement with Batch   
    PreparedStatement statement = null;
    String sql = "INSERT INTO ranks VALUES (? ,0, 0, 0, 0, 0, 0)";      
    long start = System.currentTimeMillis();
    try {
        statement = connection.prepareStatement(sql);
        for (int i = 0; i < 100; i++) {
            for (int j = 0; j < 100; j++) {
                statement.setLong(1, (i*100 + j));
                statement.addBatch();
            }
            System.out.println(i);
            statement.executeBatch();
        }
    } catch (Exception e) {
        e.printStackTrace();
    } finally {
      if (statement != null) {
        try {
          statement.close();
        } catch (SQLException e) {
        } // nothing we can do
      }
      if (connection != null) {
        try {
          connection.close();
        } catch (SQLException e) {
        } // nothing we can do
      }       
    }
    System.out.println("Total Time: " + (System.currentTimeMillis() - start) / 1000 );
    ///////////////

}

搜索SQL（）：

public static void searchSQL() {
    String driverName = "org.gjt.mm.mysql.Driver";
    Connection connection = null;
    try {
        Class.forName(driverName);

    } catch (ClassNotFoundException e) {
        // TODO Auto-generated catch block
        e.printStackTrace();
    }

    String serverName = "localhost";
    String mydatabase = "PokerRanks2";
    String url = "jdbc:mysql://" + serverName + "/" + mydatabase;                                                                        
    String username = "root";
    String password = "";

    try {
        connection = DriverManager.getConnection(url, username, password);
    } catch (SQLException e) {
        // TODO Auto-generated catch block
        e.printStackTrace();
    }



    /////////////// Option 1, Prepared Statement
    ResultSet rs = null;
    PreparedStatement pstmt = null;
    String query = "SELECT rank0, rank1, rank2, rank3, rank4, rank5 FROM ranks WHERE deckForm = ?";
    long start = System.currentTimeMillis();
    try {
        pstmt = connection.prepareStatement(query);             
        for (int i = 0; i < 100000; i++) {              
            pstmt.setLong(1, 1423354957);
            rs = pstmt.executeQuery();
            while (rs.next()) {             
                int[] arr = {rs.getInt(1), rs.getInt(2), rs.getInt(3), rs.getInt(4), rs.getInt(5), rs.getInt(6)};               
            }
        }
    } catch (SQLException e) {
        // TODO Auto-generated catch block
        e.printStackTrace();
    }                       
    System.out.println("Total Time: " + (System.currentTimeMillis() - start) / 1000 );
    ///////////////

    /*
    /////////////// Option 2
    Statement st = null;
    long start = System.currentTimeMillis(); 
    try {
        st = connection.createStatement();
        ResultSet rs = null;
        long deckForm = 1012213456;             
        for (int i = 0; i < 100000; i++) {          
            rs = st.executeQuery("SELECT rank0, rank1, rank2, rank3, rank4, rank5 FROM ranks WHERE deckForm = " + deckForm);
            while (rs.next()) {
                int[] arr = {rs.getInt(1), rs.getInt(2), rs.getInt(3), rs.getInt(4), rs.getInt(5), rs.getInt(6)}; 
            }
        }
    } catch (SQLException e) {
        // TODO Auto-generated catch block
        e.printStackTrace();
    }        
    System.out.println("Total Time: " + (System.currentTimeMillis() - start) / 1000 );
    ///////////////
    */


    try {
        connection.close();
    } catch (SQLException e) {
        // TODO Auto-generated catch block
        e.printStackTrace();
    }
}

抱歉这么久。我已经尝试了我能想到的一切来加快速度，但我无法弄清楚。有什么建议么？

4

3 回答 3

1

好吧，您可以进行一些改进：

  1. 每次要搜索、写入或创建连接时，都应使用池连接和数据源。
  2. 通过执行解释计划优化您的查询，并优化您的表关系和索引。
  3. 您可以使用存储过程并调用它们。

好吧，这就是我可以提供的全部帮助，当然还有更多提示。

于 2013-01-28T17:15:21.463 回答
0

至于插入速度，您需要在插入之前禁用所有索引，并在完成后重新启用它们。有关提高批量插入速度的大量详细信息，请参阅插入语句的速度。

查询速度可能受 CPU 和磁盘速度的限制。您可能不得不在问题上投入更多的硬件。

于 2012-06-07T22:50:10.620 回答
0

建 SQL 表太慢（大约 2000 行/分钟）

所以插入大量行的观点肯定有用Heap table，它是基本表，也被命名为通常由创建的持久页面数组CREATE TABLE，它对搜索无效，因为你的意思是搜索很慢但插入非常有效因为它将行添加到找到的第一个空闲位置或表的末尾。但另一方面，搜索效率非常低，因为不能保证项目/行的类型。

搜索数据库太慢（如果可能的话，我需要在一秒钟内找到超过 1 亿行，目前需要一分钟以上）

因此，为此您应该创建有效搜索的表。如果您使用，那么它提供了许多物理实现的结构，Oracle例如Index organized tables，-索引/哈希/排序哈希...... 我不确定，但也有集群表，我不知道确切，我不知道想告诉你最糟糕的事情。我并不是说 MySQL 像 Oracle 那样不好或更糟，只是没有提供一些物理实现技术，例如Data clusteringClustered tablesSQL ServerMySQLOracle

所以，我的意思是很难对这种方法提出一些建议，但是您认真思考和研究有关数据库系统的物理实现的一些东西，查看关系代数以优化您的语句，您应该创建哪些类型的表，@duffymo 的意思正确的是，您可以EXPLAIN PLANE FOR根据要优化的结果来解释您的查询执行计划。还有如何使用indexes，它是强大的数据库构建，但每个索引都意味着对数据库的任何修改都需要更多的操作，因此可以重新考虑为哪个属性创建索引等。

通过 Google，您可以找到许多关于数据建模、物理实现等有用的文章。

问候男人，我祝你好运

于 2012-06-07T23:18:30.967 回答