URL-Scanner, um Links bei Google zu finden

Kann jemand eine Software zum Suchen von Links bei Google und anderen Suchmaschinen empfehlen?

Sie würden zB einen regulären Ausdruck für einen Link angeben und die Software würde nach einem Zeitplan ausgeführt. Dann würde es Ihnen die Liste der Seiten mit den gefundenen URLs per E-Mail zusenden.

Insbesondere bin ich daran interessiert, Links zu finden, die den folgenden ähneln:

https://www.youtube.com/watch?v=J6vIS8jb6Fs

wobei die URL vor = immer gleich ist, gefolgt von einer eindeutigen ID.

Sie können eine GROSSE E-Mail erhalten , wenn Sie nicht weiter spezifizieren. Kannst du codieren? Wenn ja, kann ich einen Ansatz vorschlagen
@Mawg Sicher kann ich codieren, das Problem ist, dass die Google-API veraltet ist ... E-Mail wird in meinem Fall nicht groß sein, ich füge nicht alle YouTube-Videos hinzu, dies ist nur ein Beispiel. Mein Unternehmen hat eine Anwendung und Leute posten von Zeit zu Zeit Links online, wir müssen diese erkennen.
Was ist mit Pyton und scrapy.org (oder schöner Suppe)? Das Problem ist, dass Sie Seiten wiederholt abrufen müssen, bis Sie alle Ergebnisse haben, aber das ist nur eine Frage des Hinzufügens &start=Xzur URL.
@Mawg Das Problem ist, dass ich nicht weiß, wo die Leute diese Hyperlinks posten würden. Das heißt, es ist ein zweistufiger Prozess - 1) Übereinstimmungen in der Suchmaschine finden 2) Seiten aus den Ergebnissen entfernen und die Links auf der Seite finden, um zu bestätigen, dass sie vorhanden sind.
Haben Sie darüber nachgedacht, die Besucher zu verfolgen und zu sehen, woher der Verkehr kommt? Google Analytics wäre eine Möglichkeit, dies zu tun ...
@rovr138 das ist ein sehr guter Ruf! Im Idealfall würde ich natürlich wissen, BEVOR sie auf die Website gelangen. Dies ist ein Teil der Betrugspräventionslösung, nach der ich eigentlich suche. Einige Benutzer veröffentlichen Links offen im Internet und sie werden von einigen zwielichtigen Personen missbraucht.

Antworten (1)

Da es die Google-API nicht mehr gibt, könnten Sie vielleicht eine andere Suchmaschine ausprobieren?

Die API von DuckDuckGo könnte helfen, aber vielleicht auch nicht ...

Unsere Sofortantwort-API bietet Ihnen kostenlosen Zugriff auf viele unserer Sofortantworten wie: Themenzusammenfassungen, Kategorien, Begriffsklärung und !bang-Weiterleitungen.

Diese API enthält jedoch nicht alle unsere Links .

Das heißt, es ist keine vollständige Suchergebnis-API oder eine Möglichkeit, DuckDuckGo-Ergebnisse über unsere sofortigen Antworten hinaus in Ihre Anwendungen zu bringen.

Aufgrund der Art und Weise, wie wir unsere Suchergebnisse generieren, haben wir leider nicht das Recht, unsere Ergebnisse vollständig zu syndizieren. Aus dem gleichen Grund können wir es nicht zulassen, dass unsere Ergebnisse ohne unser Branding dargestellt werden.

.

Die Bing-API sieht vielversprechender aus

Bringen Sie eine intelligente Suche in Ihre Apps und nutzen Sie die Möglichkeit, Milliarden von Webseiten, Bildern, Videos und Nachrichten mit einem einzigen API-Aufruf zu durchsuchen.

ABER , sehen Sie sich die Preise an und entscheiden Sie, ob Sie bereit sind zu zahlen.

.

Was ist mit Yahoo! (so wie es war; was wird jetzt passieren, nachdem es aufgekauft wurde?)

Hoppla,

wir werden die BOSS JSON Search API am 31. März 2016 einstellen.

Schauen Sie sich andere Suchmaschinen an?

Oder suchen Sie nach anderen APIs, die nützlich sein könnten? Zum Beispiel auf Programmable Web , das Tausende hat .

Die aktuelle Lösung verwendet die Bing-API (die anscheinend nicht alle Ergebnisse zurückgibt, die wir mit der manuellen Google-Suche erhalten). Außerdem wird Folgendes anstelle von Google Web Search API googleapis.com/customsearch/v1 verwendet , aber es liefert keine zufriedenstellenden Ergebnisse ...
Alles, was ich mir vorstellen kann, ist eine Kombination von Websites
Oder codieren Sie Ihre eigene Spinne
Sicherlich würde mein Crawler Bing nicht schlagen, ganz zu schweigen von Google. Vielen Dank für Ihre Vorschläge, vielleicht hat die Frage im Moment keine wirkliche Antwort darauf. Brauche noch einen Suchgiganten mit API :)
Definiere "Beat" - schneller oder effizienter sein? Das bezweifle ich. Machen Sie, was Sie wollen – das liegt ganz bei Ihnen. Was hält dich auf?
Ich habe keine Rechenzentren wie Google oder Microsoft mit Tonnen von Speicher- und Rechenleistung. Ich kann GLÜCKLICH sein, einige Ergebnisse zu finden, aber meine Chancen sind wirklich gering. Wir sind leider nicht in den frühen 90ern. Mein Crawler wäre millionenfach langsamer, um das Web zu indizieren.
Einverstanden, aber du könntest es tun. Sie müssen jeweils nur eine Seite bearbeiten und diejenigen verwerfen, die Ihnen nicht passen. Vielleicht Rechenleistung von AWS oder Google mieten? Es ist das oder unvollständige Ergebnisse. Nur Sie können entscheiden
URL-Scanner, um Links bei Google zu finden
AntwortenHierDatenschutz-Bestimmungen1y, 0v