项目选项

项目选项是适用于整个项目的选项。最常用的项目选项与以下三个方面相关:

• 开始的urls
• 连接
• 代理

您可以通过单击project options工具栏按钮打开项目选项屏幕。

Project Options

特殊的URL参数开始
添加URL参数 ??Post 指定应该贴在网站上的数据。
添加URL参数 ??Headers 以指定应该发送到网站的附加头信息。

注意: Post参数必须在头参数之前出现。每个参数是可选的。

例子:
本例中的URL将向站点post par2=val2&par3=val3，而 par1=val1 只是一个普通的查询参数。

http://www.sequentum.com?par1=val1??post=par2=val2&par3=val3??headers=Content-Type: application/x-www-form-urlencoded

模板样式

Visual Web Ripper有许多不同类型的模板。大多数模板类型在打开模板时执行操作，比如导航到新页面或提交表单。PageArea模板是不同的，因为它们在当前的网页中定义了一个区域，但是不执行操作。选择模板也不执行任何操作。相反，它们会从现有的列表模板中添加或删除选定的元素。

设计模板最困难的部分是为给定的场景选择正确的模板选项。例如，如果您正在从一个AJAX站点提取数据，您可能需要使用一些与AJAX操作相关的选项，以确保Visual Web Ripper能够正确地导航网站。

一些模板选项可以用于所有模板类型，但是其他模板类型只适用于特定的模板类型。

下面的子主题描述了Visual Web Ripper所支持的每种类型的模板。

页面区域模板（PageArea Templates）

在几乎所有的Visual Web Ripper 项目中都使用了PageArea模板。它们不执行动作，而是在网页中定义一个区域。在打开PageArea模板时，选中的区域会变成淡绿色，只有在页面区域内才可以选择元素。

一个PageArea模板通常用来定义一个元素列表。例如，如果你在旅游网站上搜索酒店，搜索结果会包含酒店列表。每一家酒店都是搜索结果中的一项，每一家酒店都有一些特定的属性，比如名字、描述和价格。可以使用PageArea模板来定义搜索结果中的一个条目的区域，并且可以设置列表选项来遍历所有条目。

Lists Area

一旦打开了PageArea模板，就可以将内容元素添加到模板中。内容元素只能从定义的页面区域中提取内容。如果PageArea模板是一个列表模板，那么内容元素将自动应用到列表中的所有页面区域。

image.png

所有列表模板都生成一个新的输出数据表，因此上面的示例的数据输出将是一个包含数据行的数据表，其中包含提取的内容“Price/night”。

继续上面的示例，您可能想要导航到酒店的详细信息页面，以提取关于上市酒店的详细信息。这可以通过在导航到酒店详细信息页面的PageArea模板中添加一个链接子模板来实现。同样，如果PageArea模板是一个列表模板，那么只需要定义一个单独的细节链接，而 Visual Web Ripper将会自动跟踪列表中的每个酒店的详细链接。

image.png

PageArea选项（PageArea Options）

创建PageArea模板时最常用的选项是与列表模板相关的列表选项和选项。做一个完美的列表选择是很困难的，所以请阅读创建列表以获取更多信息。
以下的选项可用于PageArea模板:

• List options 列表选项
• Misc template options 杂项模板选项
• Xpath options Xpath选项
• Filter options 过滤选项
• Condition options 条件选项
• Duplicate data options 重复数据选项

链接模板 Links Template

链接模板是最常用的模板。它被用来点击链接并在一个网站上导航。当打开一个链接模板时，Visual Web Ripper会点击一个链接，然后导航到一个新的网页。如果模板是一个列表模板，那么Visual Web Ripper就会遍历列表中的所有链接，从而导航到所有的链接。

链接模板通常是一个PageArea列表模板的子模板。例如，如果一个PageArea模板迭代一个搜索结果列表，那么可以使用一个链接模板导航到每个搜索结果的细节页面。在这种情况下，链接模板不是一个列表模板。然而，由于PageArea模板是一个列表模板，所以Visual Web Ripper 仍然可以导航所有的链接。

链接选项（Link Options）

在创建链接模板时，操作选项是最重要的一组选项。两个主要的选择是:

• Full page load
• AJAX or JavaScript

当点击选择的链接导航到一个新页面时，会使用完整的页面加载选项。当单击链接时，应该使用AJAX或JavaScript选项，而不是导航到新页面，而是动态地在当前页面上更改内容。

选择“Full Page load”选项提供了以下选项:

下面的选项也可以用于链接模板:

• Advanced action options
• List options
• Misc template options
• XPath options
• Filter options
• Condition options
• Duplicate data options

LinkArea模板

LinkArea模板类型与标准链接模板非常相似，但是它会导航到页面选择区域的所有链接，而不是一个链接。

许多新手用户使用LinkArea模板来浏览一个链接列表，因为很容易选择一个区域，并让Visual Web Ripper解决剩下的问题。然而，这很少是一个好主意，因为很难控制哪些链接是导航的。如果您想要浏览一个链接列表，您应该几乎总是使用一个标准链接模板，并将其作为一个列表模板。这使您可以更大程度地控制哪些链接实际上是被选中的。在少见的情况下，选择list是不切实际的，您可以使用LinkArea模板。

LinkArea Options
LinkArea模板使用与链接模板相同的选项，因此请查看链接选项以获得更多信息。

LinkArea模板有两个独特的选择:

The following groups of options can also be used with LinkArea templates:

• Advanced action options
• Misc template options
• Xpath options
• Filter options
• Condition options
• Duplicate data options

FormSubmit 模板

一个FormSubmit模板提交一个web表单来导航到一个新页面。FormField内容元素可以与FormSubmit模板关联，以指定输入值。

FormSubmit模板可用于提交任何web表单，如登录或搜索表单。可以将多个输入值提供给表单，然后 Visual Web Ripper提交所有这些输入值的组合的表单。

FormSubmit模板通常选择提交类型的输入HTML元素。Visual Web Ripper点击输入元素来提交表单。有时，网站会使用JavaScript提交表单。在这种情况下，提交HTML元素可能是任何HTML元素。如果网站不使用输入HTML元素作为提交元素，那么Visual Web Ripper可能会识别被选中的HTML元素作为链接，你需要将模板类型从链接更改为FormSubmit。

FormSubmit模板通常有相关的FormField内容元素。这些内容元素选择表单输入元素，并指定表单输入值。

FormSubmit

FormSubmit Options

Visual Web Ripper可以以三种方式提交一种形式:

• Submit button
• Auto submit
• Direct URL

提交表单的标准方式是使用提交按钮。当模板打开时，FormSubmit模板选择并单击submit按钮。

有时一个网站在下拉菜单中选择一个值时自动提交表单。在这种情况下，应该将FormSubmit模板设置为Auto submit。自动提交表单提交模板不需要选择HTML元素，模板也不执行任何操作。模板简单地用作子模板和子内容元素的容器。如果您使用的是Auto submit FormSubmit模板，那么至少有一个相关的FormField内容元素必须执行一个操作。否则，在打开FormSubmit模板时不会发生任何动作。请参阅FormField内容以获得更多信息。

有时，表单可以通过简单地导航一个静态URL并将表单输入值作为URL参数来提交。如果您选择了直接URL选项，则必须输入完整的URL，其中包括带有示例值的所有参数。当Visual Web Ripper 提交表单时，它会自动地将样本值与FormField内容元素的实际输入值交换。FormField内容元素的名称必须与直接URL中的参数名称匹配。虽然很少使用，但是直接URL选项对于提高数据提取性能或者提交表单是非常有用的。

请参阅提交Web表单以获得关于在表单提交上下载文件的更多信息。

The following groups of options can also be used with FormSubmit templates:

• Misc template options
• XPath options
• Filter options
• Condition options
• Duplicate data options

Web Form Examples

• 提交一个输入值列表的Web表单
• AJAX级联下拉菜单
• 提交带有单选按钮或复选框列表的Web表单

PageNavigation模板

分页导航模板用于在页面导航中遍历所有页面。分页导航模板不能包含内容元素或模板，但只需打开页面导航的新页面，就可以打开父模板。

下面的例子展示了一个PageArea列表模板的项目结构。对于列表中的每个页面区域，它提取一个内容元素，然后移动到一个细节页面，并提取两个额外的内容元素。整个PageArea列表模板在页面导航中重复出现。

PageNavigation

PageNavigation Options
页面导航有四种类型:

• Next Page navigation 下一页导航
• Single Link navigation 单链接导航
• List of Links navigation 列表链接导航
• Dynamic List of Links navigation 动态列表链接导航

下一页导航是最常用的导航类型。当页面上的页面导航有一个“下一页”链接时，它就会被使用，这个链接会把你带到导航的下一个页面。pagenavi领航模板应该选择网页上的“下一页”链接。下一个页面的pagenavigaton 导航模板会自动地对选择应用一个过滤器，因此选择XPath通常最后看起来是这样的://A[.= 'next> > ']。您不需要知道XPath语法来使用该特性，但是这样的XPath确保了一个很好的、健壮的选择，它对未来的更改非常宽容。

单个链接导航类似于下一个页面导航，但是它不应用选择过滤器。尽管很少使用，但是在选择过滤器自动应用到下一个页面选择的情况下，单链接pagenavigation导航模板可以很有用。

当没有“下一页”链接时，链接导航列表就会被使用，而只是一个页面链接的列表。链接导航模板的列表选择了导航中的每个链接，因此应该是一个列表模板。

一些网站显示了前10个导航页面，然后有一个“下一个”链接进入下一个10个导航页面。在这种情况下，您必须使用两个分页导航模板。第一个模板必须是一个链接pagenavigation导航模板的列表，该模板选择了前10个导航页面。第二个模板必须是选择下一个链接的下一个页面或单个链接pagenavigation导航模板。

当没有“下一页”链接时，链接导航的动态列表会被使用，但是当你在导航中向前移动时，列表中的页面链接和列表中的页码会动态变化。动态页面导航的一个很好的例子就是Google搜索。请注意，Google搜索也有一个“下一页”链接。在这种情况下，您应该使用下一个页面导航，但是链接导航的动态列表也会起作用。
The following groups of options can also be used with PageNavigation templates:

• Advanced action options
• Misc template options
• XPath options
• Filter options
• Condition options
• Duplicate data options

Redirect重定向模板

重定向模板简单地重定向到一个新网页。如果一个网页包含一个框架，并且在一个新模板中处理框架内容更加实用，这是很有用的。另外，web爬虫收集器不支持框架，因此在使用web爬虫收集器时，需要重定向来处理框架内容。

Redirect Options
重定向模板可以以两种方式重定向到另一个网页:

• URL redirect
• Frame

如果您选择URL重定向选项，您还必须输入一个固定的URL，模板将始终重定向到那个固定的URL。
如果选择帧选项，则必须选择希望模板重定向的框架。模板将在处理的时候从框架中提取URL，并重定向到URL。框架可以是HTML框架或HTML框架集的框架。

Special URL Parameters
添加URL参数 ??Post 应该被发布在网站上的数据。
添加URL参数 ??Header 以指定应该发送到网站的附加头信息。

注意:Post参数必须在头参数之前出现。每个参数是可选的。

例子:
本例中的URL将向站点发送par2=val2&par3=val3，而par1=val1只是一个普通的查询参数。

http://www.sequentum.com?par1=val1??post=par2=val2&par3=val3??headers=Content-Type: application/x-www-form-urlencoded 

Selection 模板

选择模板修改另一个模板的选择。选择模板可以从目标列表模板中的选择中添加或删除元素。

有时，当你有一个列表模板来选择一个链接列表时，你不会想要遵循一些特定的链接，或者你想要添加一些链接到网页的不同区域。选择模板是从列表模板中添加或删除链接的一种简单方法。

Selection Options
选择模板可以用两种方式修改列表模板:

• Add to a selection 添加一个选择
• Remove from a selection 移除一个选择

您必须始终选择希望修改的目标列表模板。目标列表模板是通过名称来选择的。如果您更改目标列表模板的名称，您还必须更改任何相关的选择模板。

Back模板

Visual Web Ripper web浏览器收集器使用Internet Explorer导航目标站点并提取数据。当Visual Web Ripper导航到一个新网页时，它有时需要导航回到先前的网页，以便处理列表模板中的下一个链接。

返回（Back）模板指定了Visual Web Ripper 如何回到上一个的模板。如果没有添加返回模板，则使用默认的返回模板。默认的返回模板使用浏览器历史导航到前一个模板的网页，但是如果浏览器的历史没有将Visual Web Ripper 带回预期的URL，它就会导航到预期的URL。返回模板对不导航到新页面的模板没有影响。

web爬虫收集器每次打开新网页时都会打开一个新的web爬虫，所以它不需要回到以前（上一个）的网页。因此，后退模板对web爬虫模式没有影响。

Back Options
一个Back模板有以下独特的选项:

下面的选项也可以用于返回模板:

• Advanced action options 高级操作选项
• Misc template options 杂项模板选项
• Xpath options Xpath选项
• Filter options 过滤选项

RepeatParent 模板

重复父模板用于为列表中的每个链接重复当前模板。该模板经常用于具有不同深度的菜单层次结构的网站。例如，网站可能包含一个产品目录，产品可以放置在任何类别级别，因此可能有一个类别Computers包含一些产品，但是Computers类别也可能有更多产品的子类别。
显示Computers类别的网页可能在顶部有一个列表，上面有所有子类别的链接，然后是属于Computers类别的产品列表。如果所有类别和子类别都使用布局，那么您可以使用相同的模板来处理所有类别页面。然后您可以使用一个重复的父模板来导航所有的子类别链接。

重复父模板是递归的，所以只要模板选择在网页上找到，Visual Web Ripper就会继续处理重复的父模板。

重复父模板类似于分页导航模板，但它们不是相同的。重复父模板不应该用于页面导航。当一个重复父模板导航到一个新网页时，它会寻找一组新的子类别链接并处理它所找到的所有链接。重复父模板不应该用于页面导航。当一个重复父模板导航到一个新网页时，它会寻找一组新的子类别链接并处理它所找到的所有链接。一个pagenavigation导航模板还可以导航到一个新的页面，并寻找一组新的页面导航链接，但是它会记住它已经访问过的页面，所以它不会在导航中一次性处理一个页面。

Group模板

可以使用group模板来组织内容和模板，从而使项目更容易从逻辑的角度理解。一个组模板不执行操作，它不会影响子元素的选择XPath。

使用输入数据源 Using an Input Data Source
当您为一个项目分配一个输入数据源时，整个项目将为每个输入数据行运行一次。有时，您可能希望一次运行某个项目的某些部分，以及项目的其他部分用于每个输入数据行。例如，您可能希望一个项目登录到一个网站，然后在输入CSV文件中为每个值提交一个web表单。如果您将输入文件分配给项目，那么这个项目将会在每个输入数据行中登录一次。每次登陆后，网站可能会显示一个验证码(CAPTCHA )的屏幕，如果你登录网站的次数过多，网站可能会锁定你。您可以将表单提交模板放在一个组模板中，并将输入数据源分配给group模板，而不是将输入数据源分配给项目。该项目只运行一次，但是组模板将为每个输入数据行运行一次。

您可以在模板选项中使用Advanced选项卡，将输入数据源分配给一个组模板。

Advanced Options

杂项模板选项 Miscellaneous Template Options

杂项模板选项可用于大多数模板类型，并且经常在web抓取项目中使用。

模板操作 Template Actions

模板可以执行两种操作:

• Full page load
• JavaScript

完整的页面加载（Full page load）操作用于导航到一个全新的web页面，JavaScript操作用于在当前web页面上触发JavaScript事件和AJAX请求。

自动检测适当的动作 Detecting the Appropriate Action Automatically
Visual Web Ripper 通常可以自动检测到最合适的模板动作。如果您将模板动作设置为自动检测，Visual Web Ripper将自动配置模板动作。当您第一次在编辑器中打开模板时，将配置模板操作。

Full Page Load Options
选择完整的页面加载选项将使您能够访问以下操作选项:

JavaScript Options
有三种不同类型的JavaScript操作。

• 异步(Asynchronous) 所有JavaScript都是在默认情况下同步执行的，但是JavaScript可以在给定的超时后使用函数setTimeout来执行JavaScript代码，JavaScript函数或事件可能会在所有相关的JavaScript代码执行之前返回。Visual Web Ripper 不能自动等待异步JavaScript的执行，所以您需要做额外的配置来帮助可视化的Visual Web Ripper 确定何时完成了JavaScript的执行。
• 同步(Synchronous)。在所有JavaScript代码执行之前，同步JavaScript不会返回，因此Visual Web Ripper可以自动等待同步JavaScript执行。
• AJAX。AJAX是一种特殊的异步JavaScript形式。Visual Web Ripper 通常可以钩住AJAX请求，因此自动决定何时完成异步AJAX请求。Visual Web Ripper 不会总是能够钩住AJAX请求，在这种情况下应该使用异步JavaScript。

选择异步Asynchronous JavaScript选项可以让您访问以下操作选项:

Advanced Options
下面的高级操作选项很少使用，但是可能需要从一些网站提取数据: