html - 从html中提取基本信息？

Question

我有一个项目，用户提交许多指向外部站点的链接，我需要解析这些提交链接的 HTML 并从页面中提取基本信息，就像 Digg 和 Facebook 在提交链接时所做的那样。

我想检索：

1. 主标题或标题（可以在标题h1、、、h2等p...）
2. 介绍或描述文本（可能在div等p...）
3. 主图

我的主要问题是，这里似乎有太多可供探索的选择，而且我至少坐下来有点困惑。到目前为止，我看过的许多解决方案似乎都不够充分或过度矫枉过正。

Answer 1

您将选择一种服务器端语言来执行此操作。

例如，使用 PHP，您可以使用get_meta_tags()元标记...

$meta = get_meta_tags('http://google.com');

你可以使用 DOMDocument 来获取title元素（有些人可能会争论如果需要title元素，你也可以使用 DOMDocument 来获取元标记）。

$dom = new DOMDocument;

$dom->loadHTML('http://google.com');

$title = $dom
           ->getElementsByTagName('head')
           ->item(0)
           ->getElementsByTagName('title')
           ->item(0)
           ->nodeValue;

至于获取主图像，这将需要对可能被视为主图像的内容进行某种提取。您可以获取所有img元素并在页面上查找最大的元素。

$dom = new DOMDocument;

$dom->loadHTML('http://google.com');

$imgs = $dom
         ->getElementsByTagName('body')
         ->item(0)
         ->getElementsByTagName('img');

$imageSizes = array();

foreach($imgs as $img) {

  if ( ! $img->hasAttribute('src')) {
     continue;
  }

  $src = $img->getAttribute('src');

  // May need to prepend relative path
  // Assuming Apache, http and port 80

  $relativePath = rtrim($_SERVER['SERVER_NAME'] . $_SERVER['REQUEST_URI'], '/') . '/';

  if (substr($src, 0, strlen($relativePath) !== $relativePath) {
     $src = $relativePath . $src;
  }

  $imageInfo = getimageinfo($src);

  if ( ! $imageInfo) {
     continue;
  }    

  list($width, $height) = $imageInfo;

  $imageSizes[$width * $height] = $img;

}

$mainImage = end($imageSizes);