1

我正在尝试用 Puppeteer Sharp 抓取淘宝网站。

这是代码：

private static async Task SurfWithPuppeteer()
    {
        var options = new LaunchOptions{ Devtools  = true };

        Console.WriteLine("Downloading chromium");

        await new BrowserFetcher().DownloadAsync(BrowserFetcher.DefaultRevision);
        Console.WriteLine("Navigating to Hacker News");
        using (var browser = await Puppeteer.LaunchAsync(options))
        using (var page = await browser.NewPageAsync())
        {
            page.DefaultNavigationTimeout = 50000;
            await page.GoToAsync("https://login.tmall.com/?spm=875.7931836/B.a2226mz.1.66144265pHmhvt&redirectURL=https%3A%2F%2Fwww.tmall.com%2F");
            var frameElement= await page.QuerySelectorAsync("#J_loginIframe");
            //var frameElement = await page.QuerySelectorAsync("div#mallPage iframe");
            //var frameElement = await page.Frames.Select(f=>f.QuerySelectorAsync("#J_loginIframe")).FirstOrDefault();
            var frame = await frameElement.ContentFrameAsync();
            var frameContent = await frame.GetContentAsync();
            await frame.TypeAsync("#TPL_username_1", "compuwizpiyu");
            await frame.TypeAsync("#TPL_password_1", "Priyanka24$");
            var btn = await frame.QuerySelectorAsync("#J_SubmitStatic");

            await btn.ClickAsync();
            var res= await frame.WaitForNavigationAsync();
           var t=  await frame.GetContentAsync();
            //var url = page.Url;
        }
    }

但我无法导航到具有登录表单的框架（框架没有名称，只有 src 和 id）。

我尝试使用 page.Frames 检查框架，但由于 iframe 没有名称，因此很难找到我正在寻找的正确框架。我也尝试了其他几个选项，例如：

var frameElement = await page.QuerySelectorAsync("div#mallPage iframe");
var frameElement = await page.Frames.Select(f=>f.QuerySelectorAsync("#J_loginIframe")).FirstOrDefault()

但仍然无法获得预期的帧。请帮我解决这里的问题。

4

1 回答 1

2

这可能是由于 CORS。

试试下面的代码。

var options = new LaunchOptions
{
    Devtools = true,
    Args = new[]
    {
        "--disable-web-security",
        "--disable-features=IsolateOrigins,site-per-process",
    },
};
于 2020-08-26T02:04:18.213 回答