1

我需要在一个非常大的数据库中查找一个 ID。身份证是：

0167a901-e343-4745-963c-404809b74dd9

数据库有数百个表，大表中有数百万行。

我可以将日期缩小到最近 2 或 3 个月内，但仅此而已。我正在寻找有关如何缩小此类搜索范围的任何线索。

我很好奇的一件事是使用LIKE搜索是否有帮助。

即做类似的事情有帮助吗

select top 10 * 
from BIG_TABLE
where DESIRED_ID like '016%'

非常感谢任何提示/建议。正在远程访问数据库，因此这是挑战的一部分

4

3 回答 3

2

首先是什么要求，为什么您需要从整个数据库中获取特定值。查找值似乎是一次性的工作，并在此基础上采取一些行动。但这可能会耗费时间和资源。

无论如何，它看起来像一个指导栏。除非所有 guid 列都有索引，否则无法加快速度。

无论如何，这是一个小查询，它将在所有具有任何 guid 列的表上生成 select 语句（如果这是一些 varchar 列，那么这非常困难，因为您必须在每个表的每一列 i 上编写查询，您可以编写它但是我认为这不会有效）。

但是，最重要的是输出是根据以下排序的。如果 guid 列上有索引和前导键，那么首先列出这些表。然后根据数据页列出表，以便查询使用最少的资源。因此，如果您的 guid 值在前几个表中，它会非常快。如果它在最后一个表中，则根据表的大小需要时间，因此可能需要很多时间。

另外，在这个查询上声明一个游标，然后一个一个地执行语句，一旦你发现游标循环中的值出来，因为 guid 是唯一值。这将非常有效。

    select * from (
select 'select '  + ac.name +' from ' + OBJECT_SCHEMA_NAME(ac.object_id) + '.' + OBJECT_NAME(ac.object_id) + ' where ' + ac.name + '=''29490167a901-e343-4745-963c-404809b74dd9''' as querytext
--,*
,isnull(cnt,0) as numberofrows,
ROW_NUMBER() over(order by case when ic.key_ordinal = 0 then 0 else 1 end asc, isnull(si.dpages,si_1.dpages) asc) as rn,isnull(si.dpages,si_1.dpages) datapages
from sys.all_columns ac
inner join sys.all_objects ao on ac.object_id = ao.object_id
left join sys.index_columns ic on ac.object_id=ic.object_id
and ac.column_id =ic.column_id 
left join sys.sysindexes si on ac.object_id = si.id and ic.index_id=si.indid
outer apply (select SUM(rows) from sys.partitions p where ac.object_id = p.object_id and index_id in (0,1) ) a(cnt)
left join sys.sysindexes si_1 on si_1.id =ac.object_id and si_1.indid in (0,1)
where system_type_id =36
and ao.type ='U'
) dta order by rn asc
go
于 2012-07-26T19:23:11.537 回答
2

我有几年前为了类似目的而构建的这个脚本，尽管它带有文本字段。它找到符合条件的列，然后在这些列中搜索值。由于您的范围是不确定的，因此您可能无法比这样的事情做得更好。

您可能需要稍微调整一下以包含 uniqueidentifier 列 - 如果这实际上是数据类型 - 或者使用 equal 而不是 like 搜索。

如果这是你要定期重用的东西，你可以给它提供一个常用表或列的列表来找到这些东西，所以找到东西不需要很长时间。

/*This script will find any text value in the database*/
/*Output will be directed to the Messages window. Don't forget to look there!!!*/

SET NOCOUNT ON
DECLARE @valuetosearchfor varchar(128), @objectOwner varchar(64)
SET @valuetosearchfor = '%putYourGuidHere%' --should be formatted as a like search 
SET @objectOwner = 'dbo'

DECLARE @potentialcolumns TABLE (id int IDENTITY, sql varchar(4000))

INSERT INTO @potentialcolumns (sql)
SELECT 
    ('if exists (select 1 from [' +
    [tabs].[table_schema] + '].[' +
    [tabs].[table_name] + 
    '] (NOLOCK) where [' + 
    [cols].[column_name] + 
    '] like ''' + @valuetosearchfor + ''' ) print ''SELECT * FROM [' +
    [tabs].[table_schema] + '].[' +
    [tabs].[table_name] + 
    '] (NOLOCK) WHERE [' + 
    [cols].[column_name] + 
    '] LIKE ''''' + @valuetosearchfor + '''''' +
    '''') as 'sql'
FROM information_schema.columns cols
    INNER JOIN information_schema.tables tabs
        ON cols.TABLE_CATALOG = tabs.TABLE_CATALOG
            AND cols.TABLE_SCHEMA = tabs.TABLE_SCHEMA
            AND cols.TABLE_NAME = tabs.TABLE_NAME
WHERE cols.data_type IN ('char', 'varchar', 'nvchar', 'nvarchar','text','ntext')
    AND tabs.table_schema = @objectOwner
    AND tabs.TABLE_TYPE = 'BASE TABLE'
    AND (cols.CHARACTER_MAXIMUM_LENGTH >= (LEN(@valueToSearchFor) - 2) OR cols.CHARACTER_MAXIMUM_LENGTH = -1)
ORDER BY tabs.table_catalog, tabs.table_name, cols.ordinal_position

DECLARE @count int
SET @count = (SELECT MAX(id) FROM @potentialcolumns)
PRINT 'Found ' + CAST(@count as varchar) + ' potential columns.'
PRINT 'Beginning scan...'
PRINT ''
PRINT 'These columns contain the values being searched for...'
PRINT ''
DECLARE @iterator int, @sql varchar(4000)
SET @iterator = 1
WHILE @iterator <= (SELECT Max(id) FROM @potentialcolumns)
BEGIN
    SET @sql = (SELECT [sql] FROM @potentialcolumns where [id] = @iterator)
    IF (@sql IS NOT NULL) and (RTRIM(LTRIM(@sql)) <> '')
    BEGIN
        --SELECT @sql --use when checking sql output
        EXEC (@sql)
    END
    SET @iterator = @iterator + 1
END

PRINT ''
PRINT 'Scan completed'

如果这看起来很奇怪，脚本正在执行这样的语句

if exists (select 1 from [schema].[table_name] (NOLOCK) 
                    where [column_name] LIKE '%yourValue%')
begin
   print select * from [schema].[table_name] (NOLOCK) 
                    where [column_name] LIKE '%yourValue%'
end

...并且只是在循环中替换[schema], [table_name], [column_name]and 。%yourValue%

它的过滤...

  • 特定模式中的表（可以删除过滤器）
  • 只有表格，没有视图（可以调整）
  • 仅包含搜索值的列
  • (n)char//(n)varchar数据(n)text类型（添加或更改，了解数据类型转换）

最后，输出不会进入结果网格。检查消息窗口（您会看到“受影响的 N 行”）

于 2012-07-26T19:37:41.700 回答
1

设置DESIRED_ID部分Index。

如果Index此表上没有，则数据库引擎执行Table scan并reads every row检查是否DESIRED_ID类似于 '016' 并确保正确indexing始终导致性能显着提高

CREATE INDEX NameIndex ON TableName(ColumnName ASC) 
INCLUDE (ColumnName2)

实施Index将搜索从 016 开始的记录，直到 017 或 02 或 1 之类的记录。无论它首先找到什么，然后停止搜索。

准备Dynamic query在所有表中查找数据以获取示例 GUID 值。您可以使用以下查询在特定表下的列名中查找数据。

select * from sys.columns where name = 'ColumnName' OBJECT_ID = 
(Select OBJECT_ID From sys.tables Where name = 'Object Name')
于 2012-07-26T19:14:44.840 回答