Loop detection (same action has been called over and over again)

[gaomeng1900]

[QAQmmttyyy]

我也遇到了循环问题

[QAQmmttyyy]

网页：bilibili 网站

task：在搜索框中输入“安静的音乐”，并点击搜索按钮。

出现循环步骤，一直无法正确输入：

[gaomeng1900]

我感觉可以加个简单的算法来根据历史来判断当前是否在循环操作，比如同一个按钮点了很多次，或者页面内容一直没有变化，加到 observation 里。

[gaomeng1900]

网页：bilibili 网站

task：在搜索框中输入“安静的音乐”，并点击搜索按钮。

出现循环步骤，一直无法正确输入：

你这个建议先换个更好的模型看会不会改善。如果不会的话，看那个搜索框是不是比较特殊，一直输入不进去。

[QAQmmttyyy]

好的，我看下那个搜索框

[QAQmmttyyy]

我看了B站的搜索按钮，它没有任何语义属性，和我在 #123 里提到的一样，在给llm的上下文里根本识别不到，还有 #124 里，使用 include_attributes class时又不会包含class 在传给llm 上下文里，就一直找不到这个搜素按钮

<div class="nav-search-btn"><svg width="17" height="17" viewBox="0 0 17 17" fill="none" xmlns="http://www.w3.org/2000/svg"><path fill-rule="evenodd" clip-rule="evenodd" d="M16.3451 15.2003C16.6377 15.4915 16.4752 15.772 16.1934 16.0632C16.15 16.1279 16.0958 16.1818 16.0525 16.2249C15.7707 16.473 15.4456 16.624 15.1854 16.3652L11.6848 12.8815C10.4709 13.8198 8.97529 14.3267 7.44714 14.3267C3.62134 14.3267 0.5 11.2314 0.5 7.41337C0.5 3.60616 3.6105 0.5 7.44714 0.5C11.2729 0.5 14.3943 3.59538 14.3943 7.41337C14.3943 8.98802 13.8524 10.5087 12.8661 11.7383L16.3451 15.2003ZM2.13647 7.4026C2.13647 10.3146 4.52083 12.6766 7.43624 12.6766C10.3517 12.6766 12.736 10.3146 12.736 7.4026C12.736 4.49058 10.3517 2.1286 7.43624 2.1286C4.50999 2.1286 2.13647 4.50136 2.13647 7.4026Z" fill="currentColor"></path></svg></div>

[gaomeng1900]

我看了B站的搜索按钮，它没有任何语义属性，和我在 #123 里提到的一样，在给llm的上下文里根本识别不到，还有 #124 里，使用 include_attributes class时又不会包含class 在传给llm 上下文里，就一直找不到这个搜素按钮

<div class="nav-search-btn"><svg width="17" height="17" viewBox="0 0 17 17" fill="none" xmlns="http://www.w3.org/2000/svg"><path fill-rule="evenodd" clip-rule="evenodd" d="M16.3451 15.2003C16.6377 15.4915 16.4752 15.772 16.1934 16.0632C16.15 16.1279 16.0958 16.1818 16.0525 16.2249C15.7707 16.473 15.4456 16.624 15.1854 16.3652L11.6848 12.8815C10.4709 13.8198 8.97529 14.3267 7.44714 14.3267C3.62134 14.3267 0.5 11.2314 0.5 7.41337C0.5 3.60616 3.6105 0.5 7.44714 0.5C11.2729 0.5 14.3943 3.59538 14.3943 7.41337C14.3943 8.98802 13.8524 10.5087 12.8661 11.7383L16.3451 15.2003ZM2.13647 7.4026C2.13647 10.3146 4.52083 12.6766 7.43624 12.6766C10.3517 12.6766 12.736 10.3146 12.736 7.4026C12.736 4.49058 10.3517 2.1286 7.43624 2.1286C4.50999 2.1286 2.13647 4.50136 2.13647 7.4026Z" fill="currentColor"></path></svg></div>

这种很难解了，只能注入脚本之类的方法对网站定向patch，或者使用多模态模型，把网页截图加上。
chrome 插件在考虑后者，页面内估计只能用前者了。
死循环检测恐怕帮不上什么忙，这里是网页语义化的问题。

[QAQmmttyyy]

include_attributes class 这样可以，class 里面有nav-search-btn 语义，我试了很快找到，但是是我自己hack了 include_attributes 的实现。