Komentarze do: Parser HTML: Python vs PHP

Autor: DDarko

DDarko — Wed, 05 Jan 2011 20:04:40 +0000

test.py:

from BeautifulSoup import BeautifulSoup
page = open(‘file.html’).read()
tmp = „Title: %s\nDescription: %s\nLink: %s\nUrl: %s\n—-\n”
for element in BeautifulSoup(page).findAll(‘div’):
element_link = element.find(‘a’)
print tmp % (
element.find(‘p’, {‘class’ : ‘title’}).contents,
element.find(‘p’, {‘class’ : ‘description’}).contents,
element_link.contents, element_link['href'])

and run it by:
$ time python test.py

Autor: DDarko

DDarko — Wed, 05 Jan 2011 20:02:32 +0000

Autor: pats

pats — Sat, 10 Jul 2010 18:29:25 +0000

@Chłopiec HTMLowo-Windowsowy: a możesz powiedzieć dlaczego?

Autor: Chłopiec HTMLowo-Windowsowy

Chłopiec HTMLowo-Windowsowy — Tue, 18 May 2010 14:10:28 +0000

Świetny przykład na to, że znajomość języka programowania nie oznacza umiejętności programowania.

Niezależnie od tego co chciałeś pokazać, to HTMLa w ten sposób po prostu się nie parsuje!

Autor: on

on — Thu, 07 Jan 2010 14:32:34 +0000

nowłacha!

Autor: uk

uk — Sun, 29 Nov 2009 14:02:16 +0000

Autor: Egz

Egz — Fri, 30 Oct 2009 08:49:13 +0000

I dlaczego nie DOM (SimpleXML od biedy)? Sądzę, że głupim expatem wykonam te działania szybciej niż Twój kod i błędnych wyników nie będzie. Ewidetna stronniczość LUB brak odpowiedniej wiedzy do przeprowadzania takich testów.

Autor: marcin

marcin — Thu, 20 Aug 2009 08:22:11 +0000

Hmm, na twoim miejscu trochę rzetelniej podszedłbym do tego typu testów. Przede wszystkim główny narzut czasowy pochodzi od bibliotek / nakładek, niemniej w żaden sposób nie podajesz czy to są najpopularniejsze, najlepsze i w ogóle dlaczego te. Rzetelniej byłoby napisać skrypty parsujące z palca.

Druga sprawa – patrz komentarz Kuby. W ostatnim teście różnica wynosiła 0,4 sekundy! To żadna różnica (szczególnie patrząc na poprzednie rezultaty). Zawsze wykonuje się serię testów i na końcu podaje się średni czas.

Ostatnia rzecz – cytując: „wydaje mi się że można napisać skrypt tak, aby plik html traktował jak xml, ale ja to ominąłem”, a potem zarzucasz PHP, że wypluwa błędne dane. Bez komentarza.

Ewidetnie próbowałeś udowodnić konkretną tezę. Trochę więcej obiektywności następnym razem.

Autor: Kuba

Kuba — Wed, 22 Jul 2009 18:15:15 +0000

Fajny test, najpierw stwierdziłeś że Python musi wygrać, a potem zmieniałeś środowisko testowe dopuki faktycznie nie wygrał. Gratuluję ;)

Autor: Mateusz Żeromski

Mateusz Żeromski — Sun, 29 Jun 2008 06:48:26 +0000

Masz rację – tak sobie myślę że taki kod w php nie jest możliwy w tym przypadku. A z tym kodem to wiem, a moze byc tak porównać omry z php i sqlalchemy – tutaj będzie widać najlepiej potęgę pythona – może mi sie uda przed połową lipca, zobaczymy. Dzieki i pzdr.

Autor: Alek

Alek — Sat, 28 Jun 2008 21:52:12 +0000

Czytelnosc to sprawa wzgledna. Ja sadze, ze moj kod jest bardziej czytelny dla tych, ktorzy znaja Pythona. Nie o to jednak chodzi.

Do napisania mojej wersji sklonilo mnie to, ze w tekscie porownujesz i wielkosc kodu i szybkosc wykonania. Wiec jesli chodzi o wielkosc kodu to pokazalem Ci, ze w Pythonie mozna pisac bardzo zwiezly i czytelny kod. To jedna z wazniejszych cech Pythona.

pozdrawiam

Autor: Mateusz Żeromski

Mateusz Żeromski — Sat, 28 Jun 2008 20:12:37 +0000

Owszem masz rację, ale ja celowo robilem dwie pętle po to aby kody php’a i pythona były podobne, i czytelniejsze, Twój kod jest dobry, pewnie troszke jest szybszy niż mój ale też troszke bardziej skomplikowany a mi zależało aby również osoby nie znający dobrze pythona zrozumiały moje wypociny :).
Każdą procedurę można zapisac na milion sposobów, gdybyś użył metody timeit() jak napisał ranza wtedy by było widać przewagę pythona nad php, a tak moim zdaniem, po prostu skompresowałeś mój kod, przez co, moze byc on bardziej nieczytelny, pzdr i dzieki :)

Autor: Alek

Alek — Sat, 28 Jun 2008 17:52:19 +0000

Na PHP nie znam sie, ale w Pythonie napisal bym to tak:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16

from __future__ import with_statement
import time
start = time.time()
from BeautifulSoup import BeautifulSoup

with open('file.html') as f:
page = f.read()

for element in BeautifulSoup(page).findAll('div'):
element_link = element.find('a')
print "Title: %s\nDescription: %s\nLink: %s\nUrl: %s\n----\n" \
% (element.find('p', {'class' : 'title'}).contents,
element.find('p', {'class' : 'description'}).contents,
element_link.contents, element_link['href'])

print time.time() - start

Autor: Mateusz Żeromski

Mateusz Żeromski — Thu, 26 Jun 2008 15:15:48 +0000

Nie sądze aby to poprawiło jakkolwiek działanie procedury, ale swoją droga dość ciekawe to timeit() – dzięki za info.

Autor: ranza

ranza — Thu, 26 Jun 2008 11:14:42 +0000

Fajne.
Nie wiem jak to wygląda w php, ale w pythonie do mierzenia czasu powinieneś użyć timeit()