我可以单击选择器,但我的问题是如何从下拉列表中选择其中一个选项?
await page.click('#telCountryInput > option:nth-child(4)')
单击使用 CSS 选择器的选项不起作用。
例如,从如下列表中选择一个国家/地区代码:
我可以单击选择器,但我的问题是如何从下拉列表中选择其中一个选项?
await page.click('#telCountryInput > option:nth-child(4)')
单击使用 CSS 选择器的选项不起作用。
例如,从如下列表中选择一个国家/地区代码:
Puppeteer v0.13.0 有page.select()方法,正是这样做的。你只需要给它选择的值。所以,假设你有<option value="my-value">
一个<select>
:
await page.select('#telCountryInput', 'my-value')
对于下拉组件,我认为我们应该考虑两种情况:
select
元素对于第二种情况,我认为click
可以解决问题。
对于第一种情况,我刚刚找到了两种方法:
page.select
elementHandle.type
(通知于 27/04/2018 更新)page.select
是 v0.12.0 中新增的功能。
例如,您有一个选择元素:
<label>Choose One:
<select name="choose1">
<option value="val1">Value 1</option>
<option value="val2">Value 2</option>
<option value="val3">Value 3</option>
</select>
</label>
您有两种方法可以选择第二个选项“值 2”。
// use page.select
await page.select('select[name="choose1"]', 'val2');
// use elementHandle.type
const selectElem = await page.$('select[name="choose1"]');
await selectElem.type('Value 2');
通常elementHandle.type
用于在输入文本框中输入文本,但由于它
聚焦元素,然后为文本中的每个字符发送 keydown、keypress/input 和 keyup 事件。
select
HTML 元素具有输入事件,因此此方法有效。
而且我个人认为elementHandle.type
更好,因为不需要知道选项值属性,只需要知道人可以看到的标签/名称。
我以前elementHandle.type
只在 Mac OSX 上使用过。最近,我的同事报告了一个与此相关的错误。他正在使用Linux/Win。此外,我们都使用 puppeteer v1.3.0。
经过反复试验,我们发现这样elementHandle.type
可以给元素赋值<select>
,但是不会触发change
元素的事件。
所以我不再推荐使用elementHandle.type
on <select>
。
最后,我们按照这条评论手动调度了 change 事件。就像是:
// use manually trigger change event
await page.evaluate((optionElem, selectElem) => {
optionElem.selected = true;
const event = new Event('change', {bubbles: true});
selectElem.dispatchEvent(event);
}, optionElem, selectElem);
对于原生选择框,我的解决方案是在页面本身上执行一些 JS:
await page.evaluate(() => {
document.querySelector('select option:nth-child(2)').selected = true;
})
结果这比我想象的要容易,因为下拉列表不是原生 HTML 选择和选项组合,因此,我实际上可以使用下面的代码来选择我想要的目标。
await page.click('#telCountryInput')
await page.click('#select2-telCountryInput-results > li:nth-child(4)')
我从一条消息中来到这里,有人询问如何从下拉列表中选择第一个选项。这就是我刚刚想出的方法:
await page.click('.select-input');
await page.waitFor(300);
await page.keyboard.press('ArrowDown');
await page.keyboard.press('Enter');
上面的代码首先选择了相关的输入。然后我设置了等待,因为我的加载速度不够快。然后我使用键盘按下导航到第一个选项。
Page.select 并不总是对我有用,而且 page.type 也不可靠。今天我想出了:
await page.evaluate((css, text) => {
let sel = document.querySelector(css)
for(let option of [...document.querySelectorAll(css + ' option')]){
if(text === option.text){
sel.value = option.value
}
}
}, '#telCountryInput', 'my-value')
在pyppeteer中,当按文本选择时,我可以这样做:
带有 fastapi 服务器的示例页面
"""
filename: example.py
Note:
When run this example, recommend create a virtualenv by tools, like pipenv. And install dependencies.
Install dependencies:
```shell
pipenv install fastapi uvicorn python-multipart
```
Run server:
```shell
pipenv run python example.py
# pipenv run uvicorn --reload example:app
```
"""
import logging
import uvicorn
from fastapi import FastAPI, Form
from pydantic import BaseModel
from starlette.responses import HTMLResponse
HTML = """
<!DOCTYPE html>
<html lang="en">
<head>
<meta charset="UTF-8">
<title>example</title>
</head>
<body>
<form id="add" method="post" action="/add">
<label for="title"></label>
<input id="title" name="title">
<label for="tag">Tag</label>
<select id="tag" name="tag">
<option>java</option>
<option>python</option>
<option>kotlin</option>
</select>
</form>
<button id="submit" onclick="submitHandle()">Submit</button>
<script>
const submitHandle = () => {
document.getElementById('add').submit()
}
</script>
</body>
</html>
"""
console_handler = logging.StreamHandler()
console_handler.setLevel(level=logging.DEBUG)
logger = logging.getLogger(__name__)
logger.setLevel(level=logging.INFO)
logger.addHandler(console_handler)
app = FastAPI()
class PostModel(BaseModel):
title: str
tag: str
@app.get('/posts')
def posts():
return HTMLResponse(content=HTML)
@app.post('/add')
def detail(title: str = Form(...), tag: str = Form(...)) -> PostModel:
post = PostModel(title=title, tag=tag)
logger.info(f'Add a blog. Detail: "{post.json()}"')
return post
if __name__ == '__main__':
uvicorn.run(app) # noqa
示例 python 蜘蛛代码
import asyncio
import logging
from pyppeteer import launch
console_handler = logging.StreamHandler()
console_handler.setLevel(level=logging.DEBUG)
logger = logging.getLogger(__name__)
logger.setLevel(level=logging.INFO)
logger.addHandler(console_handler)
async def post_spider():
"""Open page and add value in form, then submit."""
browser = await launch(headless=False)
try:
page = await browser.newPage()
await page.goto('http://127.0.0.1:8000/posts')
expect_value = 'python'
title_element = await page.querySelector('#title')
await title_element.type('I love python, and python love me.')
# # If it does not work.
# await page.select('#tag', expect_value)
tag_element = await page.querySelector('#tag')
# #Extract all options value
# options_text = await page.querySelectorAllEval(
# '#tag > option',
# 'options => options.map(option => option.value)'
# )
options_text = await tag_element.querySelectorAllEval(
'option',
'options => options.map(option => option.value)'
)
# # Check expect value in options
if expect_value in options_text:
# # Use JavaScript set select element value that in options.
await page.querySelectorEval('#tag', f'element => element.value = "{expect_value}"')
tag_selected_value = await page.querySelectorEval('#tag', 'element => element.value')
logger.info(f'Selected tag element value is "{tag_selected_value}"')
submit_ele = await page.querySelector('#submit')
await submit_ele.click()
finally:
await browser.close()
if __name__ == '__main__':
asyncio.run(post_spider())
笔记:
您可以使用评估 JavaScript 将选项文本之一设置为其选择,如果文本不在选项中,则选择的值不会更改。
这是python的例子,它的使用类似于puppeteer,我想把它记录在这里帮助更多的人。
我的环境:
@华刚
你的想法太棒了,我扩展了 value 属性
<!DOCTYPE html>
<html lang="en">
<head>
<meta charset="UTF-8">
<title>example</title>
</head>
<body>
<form id="add" method="post" action="/detail">
<label for="title"></label>
<input id="title" name="title">
<label for="tag">Tag</label>
<select id="tag">
<option value="1">java</option>
<option value="2">python</option>
<option value="3">kotlin</option>
</select>
</form>
<button id="submit" onclick="submitHandle()">Submit</button>
<script>
const submitHandle = () => {
document.getElementById('add').submit()
}
</script>
</body>
</html>
expect_value = '3'
select_tag = '#tag'
# extract all options value
option_texts = []
for option_ele in await page.querySelectorAll(f'{select_tag} > option'):
text = await page.evaluate('(element) => ({"value":element.value,"text":element.textContent})', option_ele)
option_texts.append(text)
value = ''
for v in option_texts:
if v.get('text') == expect_value:
value = v.get('value')
break
await page.select(select_tag, value)