Python 3 Script to Check Bulk Domains or URLs is Valid or Exists or Not Using fake_useragent Library Full Project For Beginners

 

 

pip install fake_useragent

 

 

 

app.py

 

 

import requests
import fake_useragent

user = fake_useragent.UserAgent().random
headers = {
    'user-agent': user
}

with open('Get_url.txt') as file:
    lines = [line.strip() for line in file]

    for line in lines:
        try:
            r = requests.head(line, headers=headers, timeout=4)
            if r.ok:
                print('ok')
                result = r
                with open('save_url/status_code_200.txt', 'a', encoding='utf-8') as file:
                    file.write(line + '\n')

        except requests.ConnectionError as e:
            print('OOPS!! Connection Error')
            with open('save_url/status_code_404.txt', 'a', encoding='utf-8') as file:
                file.write(line + '\n')

 

 

get_url.txt

 

 

http://www.obrnadzor.gov.ru
http://www.rost.False
http://stat.edu.ru
http://www.fipi.ru
http://www.lexed.ru
http://www.False
http://www.edu.ru
http://www.ecsocman.edu.ru
http://minobr.khb.ru
http://www.minomos.ru
http://www.edunso.ru
http://www.educom.ru
http://www.avorontcov.ru
http://bogoslovie.pro/
http://www.vlgregedu.ru
http://www.baikalnarobraz.ru
http://www.websib.ru
http://www.omsk.edu.ru
http://www.sochi.edu.ru
http://webinar.pgsga.ru
http://www.edukbr.ru
http://www.stavedu.ru
http://abc.edu-net.khb.ru
http://www.edu.yar.ru
http://iso.karelia.ru
http://imc.ocpi.ru
http://sputnik.mto.ru

http://www.vestniknews.ru
http://www.elw.ru
http://vio.fio.ru
http://www.eed.ru
http://www.eidos.ru
http://news.abiturcenter.ru
http://kvant.mccme.ru
http://www.psyedu.ru
http://www.akademkniga.ru
http://www.lbz.ru
http://www.verbum-m.ru
http://www.vlados.ru
http://www.mnemozina.ru
http://www.msbook.ru
http://www.prosv.ru http://www.titul.ru http://www.edu-expo.ru http://ito.edu.ru http://www.ito.su http://www.relarn.ru http://www.mce.biophys.msu.ru http://www.edu-it.ru http://www.znanie.info http://www.it-education.ru http://bestschool.org.ru http://eidos.ru http://konkurs.lgo.ru http://teacher.org.ru http://www.olimpiada.ru http://www.iicavers.ru http://www.prometeus.ru http://www.learnware.ru http://www.e-osnova.ru http://www.websoft.ru http://museum.edu.ru http://www.slovari.ru http://www.glossary.ru http://www.krugosvet.ru http://www.elementy.ru http://www.sokr.ru http://www.vestniknews.ru http://www.eurekanet.ru http://zakon.edu.ru http://www.kpmo.ru http://www.iteach.ru http://mou.bsu.edu.ru http://www.profile-edu.ru http://www.setilab.ru http://www.boards-edu.ru http://www.teachpro.ru http://oso.rcsz.ru http://www.eidos.ru http://ege.edu.ru http://www.egesakha.ru http://basicenglish.ru http://www.rcoi.net http://www.irro.ru http://www.znania.ru http://www.detiplus.ru http://www.obrazovan.ru http://www.abiturcenter.ru http://www.moscow-high.ru http://www.astronet.ru http://www.astrolab.ru http://heritage.sai.msu.ru http://www.m31.spb.ru http://www.astro.websib.ru http://www.space.vsi.ru http://www.meteorite.narod.ru http://moscowaleks.narod.ru http://www.allplanets.ru http://www.galspace.spb.ru http://school.astro.spbu.ru http://www.astrolib.ru http://www.herba.msu.ru http://www.biodat.ru http://www.kozlenkoa.narod.ru http://www.biodan.narod.ru http://www.biolog188.narod.ru http://www.livt.net http://learnbiology.narod.ru http://med.claw.ru http://www.palaeoentomolog.ru http://www.aseko.ru http://evolution.powernet.ru http://www.geosite.com.ru http://www.rgo.ru http://www.geografia.ru http://geo-tur.narod.ru http://uroki5.ru http://www.karty.narod.ru http://www.terrus.ru http://afromberg.narod.ru http://geo.metodist.ru http://www.abc-english-grammar.com http://www.fluent-english.ru http://www.englishclub.narod.ru http://lib.ru http://englishaz.narod.ru http://kinder-english.narod.ru http://lessons.study.ru http://uztranslations.net.ru http://clubfr.narod.ru http://www.toefl.ru http://teach-learn.narod.ru http://www.studygerman.ru http://www.vzmakh.ru http://www.computer-museum.ru http://comp-science.narod.ru http://lib.ru http://infoschool.narod.ru http://book.kbsu.ru http://trushinov.chat.ru http://www.nethistory.ru http://www.edu-it.ru http://ekochelaeva.narod.ru http://www.child.ru http://www.botik.ru http://www.citforum.ru http://www.sinf2000.narod.ru http://pofizike.ru http://algolist.manual.ru http://acm.timus.ru http://inform-school.narod.ru http://algorithm.narod.ru http://www.mathprog.narod.ru http://www.olympiads.ru http://cyber-net.spb.ru http://neerc.ifmo.ru http://tests.academy.ru http://www.ecdl.ru http://historydoc.edu.ru http://glory.rin.ru http://www.1941-1945.ru http://decemb.hobby.ru http://www.warheroes.ru http://www.moscowkremlin.ru http://blokada.otrok.ru http://www.praviteli.org http://www.rkka.ru http://battle.volgadmin.ru http://www.oldgazette.ru http://www.biografia.ru http://www.worldhist.ru http://www.1939-1945.net http://www.ellada.spb.ru http://lesson-history.narod.ru http://www.hrono.ru http://litera.edu.ru http://www.bibliogid.ru http://www.likt590.ru http://skolakras.narod.ru http://www.foxdesign.ru http://edu-mipt.ru http://likhachev.lfond.spb.ru http://www.gercen.net.ru http://www.dobrolyubov.net.ru http://www.kuprin.org.ru http://www.aleksandrpushkin.net.ru http://www.saltykov.net.ru http://www.antonchehov.org.ru http://www.math.ru http://www.allmath.ru http://eqworld.ipmnet.ru http://graphfunk.narod.ru http://comp-science.narod.ru http://www.speaklan.com http://www.mathtest.ru http://school.msu.ru http://www.mathprog.narod.ru http://methmath.chat.ru http://artclassic.edu.ru http://music.edu.ru http://www.ru http://www.museum.ru http://petrov-gallery.narod.ru http://www.museum-online.ru http://www.tretyakov.ru http://www.impressionism.ru http://www.arthistory.ru http://www.moscowkremlin.ru http://www.cbook.ru http://www.encspb.ru http://www.gov.ru http://www.president.kremlin.ru http://economicus.ru http://econom.nsc.ru http://www.economics.ru http://hsemacro.narod.ru http://danur-w.narod.ru http://www.hro.org http://www.seprava.ru http://afromberg.narod.ru http://language.edu.ru http://english-and-home.ru http://www.mapryal.org http://www.ru http://yamal.org/ook/ http://www.ropryal.ru

Leave a Reply