影刀RPA 网页跳转与URL监控页面变化检测作者林焱什么情况用你的影刀流程点击提交后需要知道页面是否跳转到了成功页你想监控一个页面的URL变化当URL包含特定关键词时触发操作你需要判断当前是在列表页还是详情页来决定走不同分支逻辑网页跳转与URL监控是流程分支控制的基础。通过检测URL变化可以判断操作是否成功、页面是否跳转、当前处于什么页面状态。很多新手只看页面元素不看URL导致流程逻辑混乱。本文讲清楚怎么获取和判断URL、怎么检测页面跳转、怎么根据URL做流程分支。怎么做一、获取当前URL在影刀中获取当前页面URL【获取网页地址】→ 变量: current_url拼多多店群自动化报活动上架# Selenium方式current_urldriver.current_urlprint(f当前URL{current_url})# 获取URL的各个部分fromurllib.parseimporturlparse,parse_qs urlhttps://www.example.com/search?keyword手机page2sortpriceparsedurlparse(url)print(f协议{parsed.scheme})# httpsprint(f域名{parsed.netloc})# www.example.comprint(f路径{parsed.path})# /searchprint(f参数{parsed.query})# keyword手机page2sortpriceprint(f锚点{parsed.fragment})# (空)# 解析查询参数paramsparse_qs(parsed.query)print(f关键词{params.get(keyword,[])[0]})# 手机print(f页码{params.get(page,[1])[0]})# 2print(f排序{params.get(sort,[])[0]})# price二、检测页面跳转importtimedefwait_for_url_change(driver,old_url,timeout30,interval1): 等待URL发生变化 old_url: 操作前的URL timeout: 超时秒数 elapsed0whileelapsedtimeout:current_urldriver.current_urlifcurrent_url!old_url:print(fURL已变化{old_url}→{current_url})returncurrent_url time.sleep(interval)elapsedintervalprint(f等待URL变化超时{timeout}秒URL未变)returnold_urldefwait_for_url_contains(driver,keyword,timeout30,interval1): 等待URL包含特定关键词 elapsed0whileelapsedtimeout:current_urldriver.current_urlifkeywordincurrent_url:print(fURL包含{keyword}{current_url})returnTruetime.sleep(interval)elapsedintervalprint(f等待URL包含{keyword}超时)returnFalse# 使用示例# 点击登录按钮前记录URLold_urldriver.current_url# 点击登录driver.find_element(By.ID,login-btn).click()# 等待URL变化new_urlwait_for_url_change(driver,old_url,timeout15)# 判断是否跳转到了成功页ifdashboardinnew_urlorhomeinnew_url:print(登录成功已跳转到主页)eliflogininnew_urlorerrorinnew_url:print(登录失败仍在登录页或跳到了错误页)三、URL模式匹配importredefmatch_url_pattern(url,patterns): 判断URL匹配哪个模式 patterns: {模式名: 正则表达式} 字典 返回匹配的模式名不匹配返回None forname,patterninpatterns.items():ifre.search(pattern,url):returnnamereturnNone# 定义URL模式URL_PATTERNS{login_page:r/login,dashboard:r/dashboard,product_list:r/products?(/|$|\?),product_detail:r/product/\d,search_result:r/search\?,cart:r/cart,order:r/order/\d,error_page:r/(error|404|500),}# 使用current_urlhttps://shop.example.com/product/12345page_typematch_url_pattern(current_url,URL_PATTERNS)print(f当前页面类型{page_type})# product_detail# 根据页面类型执行不同逻辑defroute_by_url(driver):根据URL路由到不同处理逻辑current_urldriver.current_url page_typematch_url_pattern(current_url,URL_PATTERNS)ifpage_typelogin_page:print(在登录页执行登录流程)do_login()elifpage_typedashboard:print(在主页执行数据采集)scrape_data()elifpage_typeproduct_detail:print(在商品详情页采集商品信息)scrape_product()elifpage_typeerror_page:print(在错误页需要处理异常)handle_error()else:print(f未知页面类型{current_url})四、监控URL参数变化fromurllib.parseimporturlparse,parse_qsdefget_url_params(url):获取URL的查询参数字典parsedurlparse(url)return{k:v[0]ifvelsefork,vinparse_qs(parsed.query).items()}defmonitor_page_change(driver,old_url,timeout30): 监控页面变化URL和参数 返回变化信息字典 old_paramsget_url_params(old_url)old_pathurlparse(old_url).path elapsed0whileelapsedtimeout:current_urldriver.current_url current_paramsget_url_params(current_url)current_pathurlparse(current_url).path changes{}# 检查路径变化ifcurrent_path!old_path:changes[path_changed]Truechanges[old_path]old_path changes[new_path]current_path# 检查参数变化all_keysset(old_params.keys())|set(current_params.keys())param_changes{}forkeyinall_keys:old_valold_params.get(key,)new_valcurrent_params.get(key,)ifold_val!new_val:param_changes[key]{old:old_val,new:new_val}ifparam_changes:changes[params_changed]param_changesifchanges:changes[old_url]old_url changes[new_url]current_urlreturnchanges time.sleep(1)elapsed1returnNone# 使用示例old_urldriver.current_url# 记录操作前URL# 执行操作如点击筛选按钮# driver.find_element(By.ID, filter-btn).click()changesmonitor_page_change(driver,old_url,timeout10)ifchanges:print(检测到页面变化)ifpath_changedinchanges:print(f 路径{changes[old_path]}→{changes[new_path]})ifparams_changedinchanges:forkey,valsinchanges[params_changed].items():print(f 参数{key}{vals[old]}→{vals[new]})五、页面加载完成检测defwait_page_load(driver,timeout30):等待页面完全加载# 方法1检查document.readyStateelapsed0whileelapsedtimeout:ready_statedriver.execute_script(return document.readyState)ifready_statecomplete:print(页面加载完成)returnTruetime.sleep(0.5)elapsed0.5print(f页面加载超时{timeout}秒readyState{ready_state})returnFalsedefsmart_wait_navigation(driver,old_url,timeout30):  智能等待页面跳转完成 1. 等URL变化 2. 等页面加载完成 3. 等关键元素出现 # 1. 等URL变化new_urlwait_for_url_change(driver,old_url,timeout)# 2. 等页面加载完成wait_page_load(driver,timeout10)# 3. 额外等待1秒让JS渲染time.sleep(1)returnnew_url六、实战表单提交后的跳转检测defsubmit_and_verify(driver,form_data):提交表单并验证跳转结果# 1. 记录当前URLold_urldriver.current_urlprint(f提交前URL{old_url})# 2. 填写表单并提交forfield,valueinform_data.items():driver.find_element(By.NAME,field).send_keys(value)driver.find_element(By.CSS_SELECTOR,button[typesubmit]).click()# 3. 等待URL变化new_urlwait_for_url_change(driver,old_url,timeout15)# 4. 等待页面加载完成wait_page_load(driver,timeout10)time.sleep(1)# 5. 判断结果ifsuccessinnew_urlorcompleteinnew_url:print(提交成功跳转到成功页)return{success:True,url:new_url}elifold_urlnew_url:# URL没变可能表单验证失败print(URL未变化可能提交失败)# 检查错误提示try:error_msgdriver.find_element(By.CSS_SELECTOR,.error-message).textprint(f错误信息{error_msg})return{success:False,error:error_msg}except:return{success:False,error:未知错误}else:print(f跳转到未知页面{new_url})return{success:False,url:new_url,error:意外跳转}有什么坑坑1SPA单页应用URL不变化现象在单页应用如Vue/React中点击导航后页面内容变了但URL没变或者只变了hash部分。原因SPA通过JavaScript动态渲染内容不一定触发URL变化。或者只改变了#后面的hash部分。解决不要只看URL还要看页面内容变化。检测hash变化url.split(#)[1] if # in url else 。或者检测特定元素的出现/消失来判断页面是否切换了。坑2URL变化但页面还没渲染完现象URL已经变了但立刻获取元素发现元素不存在过1秒又出现了。原因URL变化表示浏览器开始导航但新页面的DOM还没渲染完成。解决URL变化后先等待document.readyState complete再等待目标元素出现。不要URL一变就去操作元素。TEMU店群矩阵自动化运营核价报活动坑3重定向导致URL多次变化现象点击后URL先变成A又变成B最后停在C。检测到URL变化后就去操作但页面还在跳转。原因服务器端重定向301/302或JavaScript重定向会导致URL多次变化。解决等待URL稳定——连续2秒URL不再变化才算跳转完成。或者在document.readyState complete后再开始检测URL。坑4URL编码导致匹配失败现象URL中有中文参数keyword手机用手机 in url匹配失败。原因URL中的中文会被编码为%E6%89%8B%E6%9C%BA不是原始中文。解决用urllib.parse.unquote()解码URL后再匹配fromurllib.parseimportunquote decoded_urlunquote(driver.current_url)if手机indecoded_url:print(URL包含手机)坑5影刀的【获取网页地址】返回的不是最终URL现象影刀获取的URL和浏览器地址栏显示的不一致。原因可能是页面还在跳转中就获取了URL或者影刀获取的是初始URL而不是跳转后的URL。解决获取URL前确保页面已加载完成。如果不确定连续获取两次间隔1秒两次相同才算稳定。在影刀中在【获取网页地址】前加一个【延时等待】1秒。