datafeeds inladen

[rmfloris]

Waarschijnlijk weet ik het antwoord al, maar ik wilde het toch even met jullie checken. Ik heb een aantal feeds (10-15 feeds) welke ik iedere avond wil inladen. Nu heb ik twee mogelijkheden, een bulk load (dus alle feeds tegelijk) of de feeds per stuk. Beide opties gaan via een cronjob.

Optie 1) via een loop in PHP, een functie aanroepen welke de specifieke datafeed inleest en daarna doorgaat naar de volgende feed. HIerbij worden eventuele errors afgevangen, zodat ze het process niet verstoren.

Optie 2) iedere shop, krijgt zijn eigen cronjob, en wordt ook apart aangeroepen. Niet tegelijkertijd, maar met 5 minuten interval (o.i.d.).

Bij optie 1 krijgt ik volgens mij te maken met timeout issues van het systeem, maar heeft als voordeel dat ik aan het einde een mooi overzichtsemail kan creeren met alle geupdate informatie.

Bij optie 2 krijg ik geen last van timeout issues (tenzij het bestand zeer groot is), maar krijg ik voor iedere aanbieder een apart emailtje met de update (10+ emails).

Wat geniet jullie voorkeur en welke optie (eventuele een derde en vierde) gebruiken jullie zelf.

Alvast bedankt

 

[DvK]

Ik weet niet of je host nog beperkingen stelt aan het maximale aantal cronjobs? Anders is optie 2 niet eens een optie.

Zelf gebruik ik altijd optie 1, mits je php configuratie kunt aanpassen vanuit je script. Ik zet meestal de timeout wat hoger, en print tussendoor steeds de vorderingen zodat als er wat mocht foutgaan, ik gemakkelijk kan zien waar het precies gestopt is..

Onafhankelijke shop-scriptjes heb ik dan al klaarliggen, zodat als ik een fout zie in de mail alleen nog maar even de scripts van die shop te runnen (komt zelden voor eigenlijk.)

 

[ouwesmurf]

Ik verdeel het over de maand, heb je niet een speciale aspirinedag.
Toch zitten er wel dagen tussen van meerdere feeds, in de nacht meestal , wil er ook niet van wakker liggen.
Dus stuurt elk script van het succes of de misser mij een mailtje, heb ik de volgende dag overzicht van de ins en outs.
Maar voor het zelfde "gebaar" kun je het script ook de resultaten laten vastleggen in een log-bestand, en heb je het overzicht wat je graag wilt. Maak het je gemakkelijk, adverteerders en netwerken zorgen wel voor de moeizamere zaken. 8)

 

[Beachboy]

Ik ben zo'n sukkel die 2x per week de feeds van +200 websites handmatig ververst.
Cronjob geprobeerd, server overbelast.
PHP geprobeerd, server overbelast.
Veel last van "weglopende"en verdwenen feeds ( TT en Zanox )
Hou het liever allemaal in de gaten.
Zucht.

 

[brbrbr]

weglopende feeds (velden) zijn redelijk goed automatisch in de gaten te houden.

Voor het load probleem gebruik ik sys_getloadavg om te kijken of de load niet te hoog wordt, zo ja:sleep

 

[SISPnl]

Ik ben zo'n sukkel die 2x per week de feeds van +200 websites handmatig ververst.

Zo, dan mag je wel een boel vrijetijd hebben ;-)
Lijkt mij dat wel anders moet kunnen...

 

[ilmar]

Ik gebruik optie 1 (alle feeds in een loop inladen). Daarbij zet ik de timeout omhoog, voor sommige sites naar enkele uren. Tot nu toe werkt dat allemaal als een zonnetje.

 

[Petermb]

Ik heb een compleet systeem ontwikkeld voor mijn site http://www.xshops.nl

Feeds welke zijn veranderd krijg ik een email van. Update interval, enz is allemaal te regelen plus welke categorie ze moeten, alles automatisch. (mag ook wel met een site van 5000 categorieen)

Heb goed gekeken naar hoe andere sites het doen en gewoon het beste genomen. Feed draait 24/7 dus hoef zelf alleen de slechte appels eruit te halen.

 

[ilmar]

Zoek de fout:

X-shops is een onderdeeel van Clear Communications

Site ziet er verder netjes uit, chapeau!

 

[Solc]

Wij doen het per winkel en sommige dan ook per uur. Ze worden in een wachtrij gezet die vervolgens alles afwerkt.

 

[Petermb]

Chris is bij ons ook zo. Worden de rotte appels er ook automatisch uitgehaald?

Tevens zit ook in het systeem een klik interval. per aanbieder komen de clicks in een stats bestand. Als er dan dan een aanbieder over zoveel dagen x% minder doet krijg je een email. Dit is om te kijken of de clicks goed worden gemeten. Zijn nu nog bezig om een interval te maken voor de sales. En deze dan aan de hand van de aantal sales te checken.

 

[Solc]

Chris is bij ons ook zo. Worden de rotte appels er ook automatisch uitgehaald?

Tevens zit ook in het systeem een klik interval. per aanbieder komen de clicks in een stats bestand. Als er dan dan een aanbieder over zoveel dagen x% minder doet krijg je een email. Dit is om te kijken of de clicks goed worden gemeten. Zijn nu nog bezig om een interval te maken voor de sales. En deze dan aan de hand van de aantal sales te checken.

Met rotte appels doen we in beginsel al geen zaken als ze geen goede feed aanleveren. Terugleggen bij netwerk/merchant om het te fixen. Zij hebben de techniek en de mensen en zijn ook gebaat met goede feeds voor meer omzet.

 

[DvK]

Met rotte appels doen we in beginsel al geen zaken als ze geen goede feed aanleveren. Terugleggen bij netwerk/merchant om het te fixen. Zij hebben de techniek en de mensen en zijn ook gebaat met goede feeds voor meer omzet.

Mijn idee. Zodra ik een feed tegenkom waar echt niets van te maken valt ga ik hier echt niet mee aan de slag. Zo moeilijk hoeft het niet te zijn voor een merchant om hun database (gedeeltelijk) netjes in een csv / xml bestand te exporteren.

En kunnen ze het niet zelf dan is het laten doen ook zo terugverdiend door de verschillende affiliates die je feed dan wél oppikken.