1、求采集侠域名授权，草根站长真心不容易啊！
嗯 好，我给你授权
2、如何抓取一个网址下的所有页面链接 ？
由于题目是放在【编程语言】栏目下的，但没有指定希望使用哪种编程语言，我选择使用java语言来实现。
在Java中，使用HttpURLConnection即可连接URL，随后可以使用InputStreamReader获取网页内容文本。然后，使用正则表达式解析网页内容文本，找到所有的<a>标签即实现需求。
以下是详细代码：
import java.io.BufferedReader;
import java.io.IOException;
import java.io.InputStreamReader;
import java.net.HttpURLConnection;
import java.net.URL;
import java.util.ArrayList;
import java.util.regex.Matcher;
import java.util.regex.Pattern;
public class HtmlParser {
/**
* 要分析的网页
*/
String htmlUrl;
/**
* 分析结果
*/
ArrayList<String> hrefList = new ArrayList();
/**
* 网页编码方式
*/
String charSet;
public HtmlParser(String htmlUrl) {
// TODO 自动生成的构造函数存根
this.htmlUrl = htmlUrl;
}
/**
* 获取分析结果
*
* @throws IOException
*/
public ArrayList<String> getHrefList() throws IOException {
parser();
return hrefList;
}
/**
* 解析网页链接
*
* @return
* @throws IOException
*/
private void parser() throws IOException {
URL url = new URL(htmlUrl);
HttpURLConnection connection = (HttpURLConnection) url.openConnection();
connection.setDoOutput(true);
String contenttype = connection.getContentType();
charSet = getCharset(contenttype);
InputStreamReader isr = new InputStreamReader(
connection.getInputStream(), charSet);
BufferedReader br = new BufferedReader(isr);
String str = null, rs = null;
while ((str = br.readLine()) != null) {
rs = getHref(str);
if (rs != null)
hrefList.add(rs);
}
}
/**
* 获取网页编码方式
*
* @param str
*/
private String getCharset(String str) {
Pattern pattern = Pattern.compile("charset=.*");
Matcher matcher = pattern.matcher(str);
if (matcher.find())
return matcher.group(0).split("charset=")[1];
return null;
}
/**
* 从一行字符串中读取链接
*
* @return
*/
private String getHref(String str) {
Pattern pattern = Pattern.compile("<a href=.*</a>");
Matcher matcher = pattern.matcher(str);
if (matcher.find())
return matcher.group(0);
return null;
}
public static void main(String[] arg) throws IOException {
HtmlParser a = new HtmlParser("http://news.163.com/");
ArrayList<String> hrefList = a.getHrefList();
for (int i = 0; i < hrefList.size(); i++)
System.out.println(hrefList.get(i));
}
}
3、有软件可以批量采集同IP网址采集，和整个C段网址采集的吗？
你可以试试马风窝超级爬虫，全自动采集网址，也可以自己导入网址后查询同IP网址，c段网址，还有关键词网址无线采集器，一键采集，无需设置
4、如何采集导航里面网站域名和网站名字？
有很多采集器可以使用，如果只要采集标题和链接的话，很容易 的。建议用火车头
5、有没有关键词采集器这种东西？爱站上采集关键词的，想要。
前言：此版本的软件安装包附加破解教程我可以给您一份，不过仅供个人使用，切勿传播，希望可以帮助您
软件功能
1、百度结果采集，域名的排名、网页标题、网页URL、PR值、BR值、外链数、百度流量、出站链接、内链、百度收录数、百度反向链接。
2、可采集爱站、站长网、7C站三个站的信息，输入域名，采集：关键词、排名、搜索量、PC端搜索量、移动端搜索量、收录量、链接地址、标题（自动入库data.mdb，还可以导出EXCEL），入库是为了方便关键词筛选功能。
3、关键词筛选功能，也可以说是关
点击下载关键词采集器
6、如何采集一个国家的所有域名.fr
这个还真不好统计，可能要联系注册商或者注册局问了，可以看看top
7、做一个能够实时采集到新注册域名的工具
怎么加你啊
8、求一个匹配域名采集的正则表达式，比如 www.yuming.com 我要匹配页面中所有包含域名 ：yuming 的链接
string pattern="(http://){0,1}(/w/d)*.yuming.(com|cn|net)";
解析：(http://){0,1}指示无论域名出现时是否带有http://字样都要进行匹配。
(/w/d)*：指示无论出现二级域名与否，只要带有yuming字样都要进行匹配
yuming指你要采集的域名，你自行替换吧。
(com|net|cn):要取域名的后缀，根据需要，你可以自行添加或删减。
这个表达式相比较来说比做蜘蛛程序的表达式容易写，你应当研究一下。做.net采集，不会正则无疑是瘸了条腿。
9、批量域名采集器的真正用处是什么?
信息时代一个好的域名够给您的网站带来超大的访问量、也就给你的企业带来超大的利益，通常人们会一个一个去手工查询，这样非常慢也非常费力。只要你设置域名位数，如前缀或后缀，加上你自定义的字母或数字，软件即可批量采集出相关的域名来进行查询。