от
У меня есть список URL, который я хочу выскоблить, так что я положил его в
startUrls
такой
"startUrls": [
    {
      "url": "https://www.example.com/sample#000000",
      "method": "GET"
    },
    {
      "url": "https://www.example.com/sample#111111",
      "method": "GET"
    }
  ]
А это отрывок из моего кода
pageFunction
.
async function pageFunction(context) {
  const { request } = context;
  var name;
  try {
     name = document.querySelector('h1').textContent;
  } catch (e) {
     name = "null";
  }
  return {
     link: request.url,
     name
  };
}
Он нормально работает с URL-адреса, которые могут быть дифференцированы с домена, или путь. Но если разница только в этом фрагменте, только первый URL-адрес обрабатывается как второй URL-адрес является дублирующим и поэтому пропускаются. я пробовал добавлять этот код на второй линии
pageFunction
await context.enqueueRequest({
  url: context.request.url,
  keepUrlFragment: true,
});
Но это ведет к другой проблеме, что он производит повторяющиеся результаты для каждого URL-адреса. Так что я должен сделать, чтобы сделать эту работу правильно? Есть ли другой способ, чем вызов
enqueueRequest
установить
keepUrlFragment
в
true
?

Ваш ответ

Отображаемое имя (по желанию):
Конфиденциальность: Ваш электронный адрес будет использоваться только для отправки уведомлений.
Анти-спам проверка:
Чтобы избежать проверки в будущем, пожалуйста войдите или зарегистрируйтесь.
...