Lightrun
question-mark
Stuck on an issue?

Lightrun Answers was designed to reduce the constant googling that comes with debugging 3rd party libraries. It collects links to all the places you might be looking at while hunting down a tough bug.

And, if you’re still stuck at the end, we’re happy to hop on a call to see how we can help out.

Remove input fields from merge, otherwise request doesn't work

See original GitHub issue

Version of the custom_component

6.3.1

Configuration

multiscrape:
  - resource: 'https://www.mercatoelettrico.org/It/default.aspx'
    scan_interval: 30
    log_response: true
    form_submit:
      submit_once: True
      resource: 'https://www.mercatoelettrico.org/It/Tools/Accessodati.aspx'
      select: "#form1"
      input:
        'ctl00$ContentPlaceHolder1$CBAccetto1': 'true'
        'ctl00$ContentPlaceHolder1$CBAccetto2': 'true'
        'ctl00$ContentPlaceHolder1$Button1': 'Accetto'
    sensor:
      - select: '#ContentPlaceHolder1_lblMedia'
        name: 'PUN medio giornaliero'
        unit_of_measurement: '€/kWh'

Describe the bug

I would like to grab a single value from the URL above:

Page with cookie set

but unfortunately it requires accepting a TOS until a cookie is set. Without the cookie, the page looks like this:

Page without cookie

However, even though I set the YAML like above, it doesn’t seem to work, as page_response_body.txt looks like it’s missing the cookie:

immagine

If I open a new anonymous session in Firefox, navigate to https://www.mercatoelettrico.org/It/Tools/Accessodati.aspx, check the 2 checkboxes and submit, I’m redirected to https://www.mercatoelettrico.org/It/default.aspx automatically and I can see the value correctly. Subsequent requests, in the same sessions, to the default page still display the value.

So can you suggest me what I’m doing wrong?

Debug log

2022-08-20 08:26:49.361 DEBUG (MainThread) [custom_components.multiscrape] # Start loading multiscrape
2022-08-20 08:26:49.361 DEBUG (MainThread) [custom_components.multiscrape] # Reload service registered
2022-08-20 08:26:49.361 DEBUG (MainThread) [custom_components.multiscrape] # Start processing config from configuration.yaml
2022-08-20 08:26:49.362 DEBUG (MainThread) [custom_components.multiscrape] # Found no name for scraper, generated a unique name: Scraper_noname_0
2022-08-20 08:26:49.362 DEBUG (MainThread) [custom_components.multiscrape] Scraper_noname_0 # Setting up multiscrape with config:
 OrderedDict([('resource', 'https://www.mercatoelettrico.org/It/default.aspx'), ('scan_interval', datetime.timedelta(seconds=30)), ('log_response', True), ('form_submit', OrderedDict([('submit_once', True), ('resource', 'https://www.mercatoelettrico.org/It/Tools/Accessodati.aspx'), ('select', '#form1'), ('input', OrderedDict([('ctl00$ContentPlaceHolder1$CBAccetto1', 'true'), ('ctl00$ContentPlaceHolder1$CBAccetto2', 'true'), ('ctl00$ContentPlaceHolder1$Button1', 'Accetto')])), ('resubmit_on_error', True)])), ('sensor', [OrderedDict([('select', Template("#ContentPlaceHolder1_lblMedia")), ('name', 'PUN medio giornaliero'), ('unit_of_measurement', '€/kWh'), ('force_update', False)])]), ('verify_ssl', True), ('method', 'GET'), ('parser', 'lxml'), ('timeout', 10)])
2022-08-20 08:26:49.362 DEBUG (MainThread) [custom_components.multiscrape] Scraper_noname_0 # Log responses enabled, creating logging folder: /config/multiscrape/scraper_noname_0/
2022-08-20 08:26:49.511 DEBUG (MainThread) [custom_components.multiscrape.http] Scraper_noname_0 # Initializing http wrapper
2022-08-20 08:26:49.511 DEBUG (MainThread) [custom_components.multiscrape.form] Scraper_noname_0 # Initializing form submitter
2022-08-20 08:26:49.512 DEBUG (MainThread) [custom_components.multiscrape] Scraper_noname_0 # Initializing scraper
2022-08-20 08:26:49.512 DEBUG (MainThread) [custom_components.multiscrape.scraper] Scraper_noname_0 # Initializing scraper
2022-08-20 08:26:49.512 DEBUG (MainThread) [custom_components.multiscrape.http] Scraper_noname_0 # Initializing http wrapper
2022-08-20 08:26:49.512 DEBUG (MainThread) [custom_components.multiscrape] Scraper_noname_0 # Initializing coordinator
2022-08-20 08:26:49.697 DEBUG (MainThread) [custom_components.multiscrape.coordinator] Scraper_noname_0 # New run: start (re)loading data from resource
2022-08-20 08:26:49.697 DEBUG (MainThread) [custom_components.multiscrape.coordinator] Scraper_noname_0 # Deleting logging files from previous run
2022-08-20 08:26:49.793 DEBUG (MainThread) [custom_components.multiscrape.form] Scraper_noname_0 # Starting with form-submit
2022-08-20 08:26:49.793 DEBUG (MainThread) [custom_components.multiscrape.form] Scraper_noname_0 # Requesting page with form from: https://www.mercatoelettrico.org/It/Tools/Accessodati.aspx
2022-08-20 08:26:49.793 DEBUG (MainThread) [custom_components.multiscrape.http] Scraper_noname_0 # Executing form_page-request with a GET to url: https://www.mercatoelettrico.org/It/Tools/Accessodati.aspx.
2022-08-20 08:26:55.089 DEBUG (MainThread) [custom_components.multiscrape.http] Scraper_noname_0 # Response status code received: 200
2022-08-20 08:26:55.123 DEBUG (MainThread) [custom_components.multiscrape.http] Scraper_noname_0 # response_headers written to file: form_page_response_headers.txt
2022-08-20 08:26:55.213 DEBUG (MainThread) [custom_components.multiscrape.http] Scraper_noname_0 # response_body written to file: form_page_response_body.txt
2022-08-20 08:26:55.213 DEBUG (MainThread) [custom_components.multiscrape.form] Scraper_noname_0 # Parse page with form with BeautifulSoup parser lxml
2022-08-20 08:26:55.434 DEBUG (MainThread) [custom_components.multiscrape.form] Scraper_noname_0 # The page with the form parsed by BeautifulSoup has been written to file: form_page_soup.txt
2022-08-20 08:26:55.434 DEBUG (MainThread) [custom_components.multiscrape.form] Scraper_noname_0 # Try to find form with selector #form1
2022-08-20 08:26:55.435 DEBUG (MainThread) [custom_components.multiscrape.form] Scraper_noname_0 # Found the form, now finding all input fields
2022-08-20 08:26:55.436 DEBUG (MainThread) [custom_components.multiscrape.form] Scraper_noname_0 # Form looks like this: 
<form action="Accessodati.aspx" autocomplete="off" id="form1" method="post" name="form1">
<input id="__VIEWSTATE" name="__VIEWSTATE" type="hidden" value="/wEPDwULLTIwNTEyNDQzNzQPZBYCZg9kFgICAw9kFgICAQ9kFgQCDA9kFgJmD2QWAmYPZBYCAgkPD2QWAh4Kb25rZXlwcmVzcwUccmV0dXJuIGludmlhUFdEKHRoaXMsZXZlbnQpO2QCFQ9kFgICAQ8PFgIeDU9uQ2xpZW50Q2xpY2sFJmphdmFzY3JpcHQ6d2luZG93Lm9wZW4oJz9zdGFtcGE9dHJ1ZScpZGQYAQUeX19Db250cm9sc1JlcXVpcmVQb3N0QmFja0tleV9fFgUFDGN0bDAwJEltYWdlMQUSY3RsMDAkSW1hZ2VCdXR0b24xBSBjdGwwMCRDb250ZW50UGxhY2VIb2xkZXIxJHN0YW1wYQUkY3RsMDAkQ29udGVudFBsYWNlSG9sZGVyMSRDQkFjY2V0dG8xBSRjdGwwMCRDb250ZW50UGxhY2VIb2xkZXIxJENCQWNjZXR0bzJNtS4sA9RJwH/PD4f1Is1XjNk/hfv08nJ9fqA7MOTPJg=="/>
<script src="/It/WebResource.axd?d=j1e9NF64SGK1uLuRJYc-iOyROCCDPXU3q3-9FG9ClZiAndnmTqWscjizFkXLB3N7hWL6uQR8Q77cZmn-FOmJziuhJ0YJWxolJI4FpZEq0YY1&amp;t=635589471476784022" type="text/javascript"></script>
<input id="__VIEWSTATEGENERATOR" name="__VIEWSTATEGENERATOR" type="hidden" value="BD5243C0"/>
<input id="__PREVIOUSPAGE" name="__PREVIOUSPAGE" type="hidden" value="cZ9asoMdEhcsdMTrKLddyuDgUqrpgV44mkItwJfPMdC5pTBV2YSxs8G-heXd_cSe0LgJT2dUbmEwn5EAxW2CKqwwsuEEvSwkj_TDS8XqtiFWyG906u2-XjhdXsqvVULm0"/>
<input id="__EVENTVALIDATION" name="__EVENTVALIDATION" type="hidden" value="/wEdABMeHtrPw0BxfeOLjZYxcYS7cS/s8I39AyxLz4tn+AkBiEW+okpiqwYG+B4aTa9o+s43drX32rKpFiwqoHxZnWEOD4zZrxX92uOlyIx1SyGTQmV8haT0EfVomfKCKov4HgnZl/Xwcz7QqxVnz+OmFVuWzNBM98trssXld5dD73vgQX4H/0z/058uP3NmytG8PXozrkfQ7SmiPGgdsZPdEEV8g/gu4+zhSeI0ttI2ADLh/wU7Nz/6FKjnm2sSszw4FMr8VEDvc+zuMc1oKpjHdCosjDu35o5CUn6umW4JNpE1p4raaQaFnXKaLuO1sKRm4e9ZUwtJIYRkZxZmb4HmgHR6ltkgVwReXnm+EHOYvXjKP0Sd1PBpsO2hEyKj10xH8juA+rwVNruExpEBEKBupGso4x47SW2jKg/IDRnJbkPHzpqBlMP9tr/+lEKTjOwD3Ts="/>
<a href="#" name="top"></a>
<div>
<div style="text-align: left">
<div>
<input align="middle" border="5" id="Image1" name="ctl00$Image1" onclick='javascript:WebForm_DoPostBackWithOptions(new WebForm_PostBackOptions("ctl00$Image1", "", true, "", "../default.aspx", false, false))' src="../App_Themes/TemaGME/titolo.gif" type="image"/></div>
<table border="0" cellpadding="0" cellspacing="0">
<tr>
<td style="background-color: #006600; padding-right: 7px; padding-left: 7px; padding-bottom: 7px;
                        padding-top: 10px;">
<table width="100%">
<tr>
<td align="left" colspan="3" valign="bottom">
<table border="0" cellpadding="2" cellspacing="0">
<tr>
<td>
<input border="1" id="tbTitolo" name="ctl00$tbTitolo" onclick="this.value=''" type="text" value="cerca nel sito"/>
</td>
<td>
<input border="1" class="button" id="vai" name="ctl00$vai" onclick='javascript:WebForm_DoPostBackWithOptions(new WebForm_PostBackOptions("ctl00$vai", "", true, "", "", false, false))' type="submit" value="vai"/>
</td>
<td>
</td>
</tr>
</table>
</td>
<td align="right" rowspan="2" style="width: 494px; padding: 4">
<div style="font-size: 9px; left: -80px; width: 140px; color: white; font-family: verdana;
                                        position: relative; top: 5px; height: 15px; background-color: #006600; text-align: center;">
<input border="0" id="ImageButton1" name="ctl00$ImageButton1" onclick='javascript:WebForm_DoPostBackWithOptions(new WebForm_PostBackOptions("ctl00$ImageButton1", "", true, "", "", false, false))' src="../Images/pulsante_mail.gif" type="image"/>
</div>
<table border="0" cellpadding="1" cellspacing="0" id="tblLogin">
<tr>
<td style="border-right: white 1px solid; padding-right: 2px; border-top: white 1px solid;
                                                padding-left: 2px; padding-bottom: 2px; border-left: white 1px solid; width: 228px;
                                                padding-top: 2px; border-bottom: white 1px solid">
<table border="0" cellpadding="0" width="100%">
<tr>
<td align="right" colspan="2" style="color: white; background-color: #006600; height: 16px;">
                                                             
                                                        </td>
</tr>
<tr>
<td align="right">
<label for="UserName" id="UserNameLabel"><font color="White" face="verdana">nome </font></label> 
                                                        </td>
<td>
<input border="1" id="UserName" name="ctl00$UserName" type="text"/>
</td>
</tr>
<tr>
<td align="right">
<label for="Password" id="PasswordLabel"><font color="White" face="verdana">password</font></label> 
                                                        </td>
<td>
<input border="1" id="Password" name="ctl00$Password" onkeypress="return inviaPWD(this,event);" type="password"/>
</td>
</tr>
<tr>
<td colspan="2" style="font-size: 11px; color: white">
<input class="button" id="LinkButton2" name="ctl00$LinkButton2" onclick='javascript:WebForm_DoPostBackWithOptions(new WebForm_PostBackOptions("ctl00$LinkButton2", "", true, "", "", false, false))' type="submit" value="registrati"/>  
                                                            <input class="button" id="LoginButton" name="ctl00$LoginButton" onclick='javascript:WebForm_DoPostBackWithOptions(new WebForm_PostBackOptions("ctl00$LoginButton", "", true, "", "", false, false))' type="submit" value="login"/>
</td>
</tr>
</table>
</td>
</tr>
</table>
</td>
</tr>
<tr>
<td colspan="3" style="height: 70px; white-space: nowrap;" valign="bottom">
<a href="#Menu3_SkipLink"><img alt="Skip Navigation Links" border="0" height="0" src="/It/WebResource.axd?d=RYTXDlwgBcaTDzMwHW63aS6Pn_VjUbSxLDKJMZ3VLHc1RWAxM_MWu2PX7Z3DKEYHg146WnHLNrMIMNbuddlRm3zUAOkRllCEn7n9APP26Dg1&amp;t=635589471476784022" width="0"/></a><table bgcolor="#006600" border="0" cellpadding="0" cellspacing="0" id="Menu3">
<tr>
<td id="Menu3n0" onkeyup="Menu_Key(event)" onmouseout="Menu_Unhover(this)" onmouseover="Menu_HoverStatic(this)"><table border="0" cellpadding="0" cellspacing="0" width="100%">
<tr>
<td nowrap="nowrap"><a href="../Default.aspx"><font color="White" face="verdana">Home</font></a></td>
</tr>
</table></td><td width="3"></td><td><img alt="" src="../App_Themes/TemaGME/separatoreWhite.gif"/></td><td id="Menu3n1" onkeyup="Menu_Key(event)" onmouseout="Menu_Unhover(this)" onmouseover="Menu_HoverStatic(this)"><table border="0" cellpadding="0" cellspacing="0" width="100%">
<tr>
<td nowrap="nowrap"><a href="javascript:__doPostBack('ctl00$Menu3','English')"><font color="White" face="verdana">English</font></a></td>
</tr>
</table></td>
</tr>
</table><a id="Menu3_SkipLink"></a>
<a href="#Menu1_SkipLink"><img alt="Skip Navigation Links" border="0" height="0" src="/It/WebResource.axd?d=RYTXDlwgBcaTDzMwHW63aS6Pn_VjUbSxLDKJMZ3VLHc1RWAxM_MWu2PX7Z3DKEYHg146WnHLNrMIMNbuddlRm3zUAOkRllCEn7n9APP26Dg1&amp;t=635589471476784022" width="0"/></a><table bgcolor="#006600" border="0" cellpadding="0" cellspacing="0" id="Menu1">
<tr>
<td id="Menu1n0" onkeyup="Menu_Key(event)" onmouseout="Menu_Unhover(this)" onmouseover="Menu_HoverStatic(this)"><table border="0" cellpadding="0" cellspacing="0" width="100%">
<tr>
<td nowrap="nowrap"><a href="Job.aspx"><font color="White" face="verdana">lavorare con noi</font></a></td>
</tr>
</table></td><td width="3"></td><td><img alt="" src="../App_Themes/TemaGME/separatoreWhite.gif"/></td><td id="Menu1n1" onkeyup="Menu_Key(event)" onmouseout="Menu_Unhover(this)" onmouseover="Menu_HoverStatic(this)"><table border="0" cellpadding="0" cellspacing="0" width="100%">
<tr>
<td nowrap="nowrap"><a href="bandi.aspx"><font color="White" face="verdana">bandi, avvisi e pubblicazioni</font></a></td>
</tr>
</table></td><td width="3"></td><td><img alt="" src="../App_Themes/TemaGME/separatoreWhite.gif"/></td><td id="Menu1n2" onkeyup="Menu_Key(event)" onmouseout="Menu_Unhover(this)" onmouseover="Menu_HoverStatic(this)"><table border="0" cellpadding="0" cellspacing="0" width="100%">
<tr>
<td nowrap="nowrap"><a href="../GME/Info/trasparenza.aspx"><font color="White" face="verdana">società trasparente</font></a></td>
</tr>
</table></td><td width="3"></td><td><img alt="" src="../App_Themes/TemaGME/separatoreWhite.gif"/></td><td id="Menu1n3" onkeyup="Menu_Key(event)" onmouseout="Menu_Unhover(this)" onmouseover="Menu_HoverStatic(this)"><table border="0" cellpadding="0" cellspacing="0" width="100%">
<tr>
<td nowrap="nowrap"><a href="Glossario.aspx"><font color="White" face="verdana">glossario</font></a></td>
</tr>
</table></td><td width="3"></td><td><img alt="" src="../App_Themes/TemaGME/separatoreWhite.gif"/></td><td id="Menu1n4" onkeyup="Menu_Key(event)" onmouseout="Menu_Unhover(this)" onmouseover="Menu_HoverStatic(this)"><table border="0" cellpadding="0" cellspacing="0" width="100%">
<tr>
<td nowrap="nowrap"><a href="links.aspx"><font color="White" face="verdana">links</font></a></td>
</tr>
</table></td><td width="3"></td><td><img alt="" src="../App_Themes/TemaGME/separatoreWhite.gif"/></td><td id="Menu1n5" onkeyup="Menu_Key(event)" onmouseout="Menu_Unhover(this)" onmouseover="Menu_HoverStatic(this)"><table border="0" cellpadding="0" cellspacing="0" width="100%">
<tr>
<td nowrap="nowrap"><a href="pressroom.aspx"><font color="White" face="verdana">press room</font></a></td>
</tr>
</table></td><td width="3"></td><td><img alt="" src="../App_Themes/TemaGME/separatoreWhite.gif"/></td><td id="Menu1n6" onkeyup="Menu_Key(event)" onmouseout="Menu_Unhover(this)" onmouseover="Menu_HoverStatic(this)"><table border="0" cellpadding="0" cellspacing="0" width="100%">
<tr>
<td nowrap="nowrap"><a href="../Download/DownloadDati.aspx?val=MGP_Prezzi"><font color="White" face="verdana">download</font></a></td>
</tr>
</table></td><td width="3"></td><td><img alt="" src="../App_Themes/TemaGME/separatoreWhite.gif"/></td><td id="Menu1n7" onkeyup="Menu_Key(event)" onmouseout="Menu_Unhover(this)" onmouseover="Menu_HoverStatic(this)"><table border="0" cellpadding="0" cellspacing="0" width="100%">
<tr>
<td nowrap="nowrap"><a href="ftp.aspx"><font color="White" face="verdana">ftp</font></a></td>
</tr>
</table></td><td width="3"></td><td><img alt="" src="../App_Themes/TemaGME/separatoreWhite.gif"/></td><td id="Menu1n8" onkeyup="Menu_Key(event)" onmouseout="Menu_Unhover(this)" onmouseover="Menu_HoverStatic(this)"><table border="0" cellpadding="0" cellspacing="0" width="100%">
<tr>
<td nowrap="nowrap"><a href="newsletter.aspx"><font color="White" face="verdana">newsletter</font></a></td>
</tr>
</table></td>
</tr>
</table><a id="Menu1_SkipLink"></a>
</td>
</tr>
</table>
</td>
</tr>
<tr>
<td>
<table border="0" cellpadding="0" cellspacing="0" style="border-collapse: collapse" width="100%">
<tr>
<td style="height: 2px">
</td>
</tr>
<tr>
<td>
<div id="primary_nav_wrap">
<ul>
<li id="info"><a href="../GME/Info/ProfiloAziendale.aspx" id="A1">GME-info
                                                societarie</a></li>
<li id="mercati"><a href="../Mercati/MercatoElettrico/MC_QuadroNormativo.aspx">
                                                I mercati - market coupling</a></li>
<li id="esiti"><a href="../Esiti/MGP/EsitiMGP.aspx">Esiti dei mercati
                                                e statistiche</a>
<ul>
<li><a href="../Esiti/MGP/EsitiMGP.aspx">Esiti</a></li>
<li><a href="../Statistiche/ME/DatiSintesi.aspx">Statistiche</a></li>
</ul>
</li>
<li id="mon"><a href="../Monitoraggio/Monitoraggio.aspx">Monitoraggio
                                                e Remit</a> </li>
</ul>
</div>
</td>
</tr>
</table>
<table cellpadding="0" cellspacing="0" class="contentplace" width="100%">
<tr>
<td style="vertical-align: top; height: 500px;" valign="top">
<table border="0" cellpadding="0" cellspacing="0" width="100%">
<tr>
<td align="left" style="height: 100%" valign="top">
<table border="0" cellpadding="0" cellspacing="0" style="height: 100%" width="100%">
<tr>
<th align="left" class="contenuto">
<table width="100%"><tr><td>
                            disclaimer
                        </td><td style="text-align:right">
<input align="right" border="0" id="ContentPlaceHolder1_stampa" name="ctl00$ContentPlaceHolder1$stampa" onclick="javascript:window.open('?stampa=true');WebForm_DoPostBackWithOptions(new WebForm_PostBackOptions(&quot;ctl00$ContentPlaceHolder1$stampa&quot;, &quot;&quot;, true, &quot;&quot;, &quot;&quot;, false, false))" src="../App_Themes/TemaGME/stampa.gif" type="image"/>
</td></tr></table>
</th>
</tr>
<tr>
<td>
</td>
</tr>
<tr>
<td style="padding-right: 3px; padding-left: 3px; padding-bottom: 3px; padding-top: 3px">
<div id="ContentPlaceHolder1_Panel1">
<table border="0" cellpadding="10" cellspacing="0" width="98%">
<tr>
<td> <!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.1//EN" "http://www.w3.org/TR/xhtml11/DTD/xhtml11.dtd">

<link href="../../GmeWebItaliano.css" rel="stylesheet"/>
<title>www.mercatoelettrico.org</title>
<div style="text-align: center">
<strong>CONDIZIONI GENERALI DI UTILIZZO DEL SITO INTERNET</strong></div>
<div style="text-align: center">
             </div>
<div style="text-align: center">
<strong>WWW.MERCATOELETTRICO.ORG</strong></div>
<div>
             </div>
<div>
<strong>L'utilizzo del sito www.mercatoelettrico.ORG (il "Sito") comporta l'accettazione
                da parte dell'utente delle condizioni generali di contratto di seguito riportate
                (le "Condizioni Generali"). Prima dell'accettazione, è responsabilità dell'utente
                procedere alla lettura attenta e consapevole delle Condizioni Generali. Ove l'utente
                non intenda accettare le Condizioni Generali, quest'ultimo non potrà avere accesso
                alle informazioni, ai dati e, in generale, ai contenuti informativi di proprietà
                del Gestore dei Mercati Energetici S.p.A. pubblicati all'interno del Sito.</strong></div>
<div>
             </div>
<div>
<strong>1 - PARTI</strong> - Le presenti Condizioni Generali sono stipulate tra
            il Gestore dei Mercati Energetici S.p.A., con sede legale in Viale Maresciallo Pilsudski, 122/124,
            00197 Roma, Partita IVA e C.F. n. 06208031002 (GME) ed il singolo utente del
            Sito (sia esso una persona fisica, persona giuridica o altro ente), il quale agisca
            per conto proprio e/o per conto dell'ente che rappresenta (l'Utente).</div>
<div>
             </div>
<div>
<strong>2 - ACCETTAZIONE</strong> - Le Condizioni Generali si intendono accettate
            nel momento in cui l'Utente valorizza gli appositi campi "ACCETTO" contenuti in
            calce alle Condizioni Generali stesse.</div>
<div>
             </div>
<div>
<strong>3 - OGGETTO</strong> - Oggetto delle presenti Condizioni Generali è la fornitura
            all'Utente a titolo gratuito ed a tempo indeterminato del Sito e dei Contenuti Protetti
            (come di seguito definiti) da parte del GME, secondo i termini e con i limiti di
            seguito stabiliti.</div>
<div>
             </div>
<div>
<strong>
            4 - PROPRIETÀ INTELLETTUALE</strong> - L'Utente riconosce ed accetta che tutte le informazioni
            ed i dati (a mero titolo esemplificativo e non esaustivo, le banche di dati, gli
            algoritmi, le formule e/o i metodi statistici e matematici, gli indici, i prezzi,
            i risultati, i grafici, le tabelle, le notizie, i titoli, gli articoli, i disegni,
            le liste, le statistiche, i segni distintivi, i nomi di prodotti e/o servizi, i
            loghi, ecc.) pubblicati all'interno del Sito (i "Contenuti Protetti") ed il Sito
            stesso, sono di esclusiva proprietà del GME ovvero da quest'ultimo detenuti in licenza
            e, in quanto tali, sono protetti dalle norme nazionali e dalle convenzioni internazionali
            in materia di proprietà intellettuale e/o industriale.</div>
<div>
             </div>
<div>
<strong>
            5 - LICENZA</strong> - L'accettazione delle Condizioni Generali comporta il rilascio all'Utente
            da parte del GME esclusivamente di una licenza personale, gratuita, non esclusiva,
            non cedibile, non sub-licenziabile, limitata al solo diritto di visualizzazione
            e di utilizzo del Sito e dei Contenuti Protetti per uso meramente informativo e
            di carattere privato, con espresso divieto per l'Utente di utilizzare i Contenuti
            Protetti ed il Sito per finalità, direttamente o indirettamente, di carattere economico
            e/o commerciale. La licenza è revocabile, in tutto o in parte, in qualsiasi momento
            ed a propria discrezione, da parte del GME senza preavviso. In ogni caso, l’utilizzo
            legittimo da parte dell'Utente dei Contenuti Protetti deve essere effettuato mediante
            menzione della fonte dei Contenuti Protetti (i.e. "Fonte: Gestore dei Mercati Energetici
            S.p.A.").</div>
<div>
             </div>
<div>
<strong>
            6 - USI NON CONSENTITI</strong> - é fatto divieto all'Utente, in assenza del preventivo consenso
            scritto del GME, di pubblicare, riprodurre in copie, memorizzare, trasmettere in
            forma elettronica o con altri mezzi, creare riassunti e/o estratti, distribuire,
            commercializzare, tradurre e/o comunque utilizzare, in tutto o in parte, il Sito
            e/o i Contenuti Protetti, per qualunque finalità di tipo economico e/o commerciale
            e/o comunque di carattere lucrativo. La violazione della presente disposizione -
            oltre ad esporre l'Utente a responsabilità contrattuale - comporta la segnalazione
            da parte del GME all'Autorità Giudiziaria per l'accertamento delle relative responsabilità
            penali e/o amministrative e la conseguente eventuale applicazione delle sanzioni
            previste dalla legge.</div>
<div>
             </div>
<div>
<strong>
            7 - ACCURATEZZA DEI DATI PUBBLICATI DAL GME</strong> - In considerazione della natura meramente
            informativa dei Contenuti Protetti pubblicati sul Sito, l'Utente riconosce ed accetta
            che il GME non possa essere ritenuto responsabile, salvi i casi accertati di dolo
            o colpa grave, per gli eventuali danni che possano derivare dall'uso del Sito o
            dai Contenuti Protetti tratti da quest'ultimo. Il GME impiega ogni ragionevole sforzo
            per pubblicare sul Sito informazioni accurate ed aggiornate. In ogni caso, il GME
            non fornisce alcuna garanzia in merito all'accuratezza ed aggiornamento dei Contenuti
            Protetti pubblicati all'interno delle pagine del Sito, né si assume alcuna responsabilità
            in merito ad eventuali errori od omissioni ad esso relative.</div>
<div>
             </div>
<div>
<strong>
            8 - ACCURATEZZA DEGLI ALTRI DATI </strong>- L'Utente prende atto ed accetta che il GME non
            ha alcun controllo sui siti esterni accessibili tramite collegamento e, pertanto,
            non è responsabile dei contenuti degli stessi. L'Utente dichiara di conoscere che
            il GME non può garantire la completezza e/o esattezza delle informazioni contenute
            nel Sito che provengono da fonti diverse dal GME, né può evitare che informazioni
            provenienti da fonti comunque ritenute attendibili possano in alcune circostanze
            risultare inesatte, incomplete o non aggiornate per problemi tecnici o cause esterne
            al controllo del GME.</div>
<div>
             </div>
<div>
<strong>
            9 - SOSPENSIONE DEL SERVIZIO </strong>- L'Utente prende atto ed accetta che il GME non è
            responsabile per i danni derivanti da eventuali interruzioni, sospensioni, ritardi
            o anomalie nella fornitura del Sito, dipendenti dalla fornitura di energia elettrica
            o del servizio telefonico, dovuti a caso fortuito o forza maggiore oppure ad altre
            cause collegate al mezzo tramite il quale il Sito viene pubblicato.</div>
<div>
<br/>
<strong>
            10 - ESCLUSIONE DI GARANZIA </strong>- L'utilizzo e la navigazione nel Sito avviene sotto
            la responsabilità dell'Utente. Il GME ed i suoi dipendenti, amministratori, agenti,
            collaboratori o terzi impegnati nella creazione, produzione o messa on line del
            Sito non potranno essere considerati responsabili per ogni e qualsiasi danno che
            dovesse derivare all'Utente dall'accesso o da qualsivoglia utilizzo del Sito. Fermo
            restando quanto sopra, il GME dichiara che il Sito viene messo a disposizione dell'Utente
            così com'è, senza nessuna garanzia, espressa o implicita, incluse, a mero titolo
            esemplificativo, adattabilità o fruibilità ad un fine specifico.</div>
<div>
             </div>
<div>
<strong>
            11 - SOLLECITAZIONE ALL'INVESTIMENTO </strong>- Nessuno dei Contenuti Protetti presenti sul
            Sito costituisce o può essere inteso come sollecitazione all'investimento e non
            deve costituire presupposto od elemento di valutazione da parte dell'Utente per
            eventuali investimenti e/o operazioni di carattere finanziario.</div>
<div>
             </div>
<div>
<strong>
            12 - MARCHI </strong>- L'Utente prende atto ed accetta che (i) i marchi Gestore Mercati Energetici,
            GME e PUN INDEX GME sono di proprietà del GME; (ii) il marchio GSE è di proprietà
            del Gestore dei Servizi Energetici - GSE S.p.A.; (iii) il marchio AU è di proprietà
            dell’Acquirente Unico S.p.A.; (iv) il marchio TERNA Rete Elettrica Nazionale è di
            proprietà di TERNA S.p.A.. L'Utente dichiara di essere consapevole che i marchi
            sopra elencati, al pari di tutti gli eventuali ulteriori marchi che dovessero essere
            pubblicati all'interno del Sito, appartengono ai rispettivi proprietari e si impegna
            a non utilizzarli senza il preventivo consenso scritto di questi ultimi.</div>
<div>
             </div>
<div>
<strong>
            13 - VARIAZIONI </strong>- Il GME si riserva il diritto di modificare le Condizioni Generali
            in qualunque momento e senza preavviso. Al fine di garantire la pubblicità delle
            eventuali variazioni delle Condizioni Generali, in occasione di ciascun accesso
            al Sito da parte dell'Utente, a quest'ultimo sarà richiesto di visionare e di accettare
            le Condizioni Generali in quel momento vigenti. L'Utente prende atto ed accetta,
            altresì, che il GME ha il diritto di modificare e/o oscurare, in qualsiasi momento
            ed a propria discrezione, in tutto o in parte, i contenuti del Sito, senza obbligo
            di preavviso.</div>
<div>
             </div>
<div>
<strong>
            14 - TRATTAMENTO DATI PERSONALI TRAMITE INTERNET </strong>– Come da informativa sul trattamento dei dati personali pubblicata sul Sito ai sensi degli artt. 13 e 14 del Regolamento UE 679/2016, il GME potrà venire a conoscenza e memorizzare l'indirizzo IP dell'Utente utilizzato per la connessione al Sito. Il GME potrà, altresì, memorizzare informazioni dal computer dell'Utente sotto forma di file (comunemente denominati "cookies"). La memorizzazione di tali informazioni rende possibile una maggiore personalizzazione dei servizi informativi offerti all'Utente e facilita la procedura di accesso al Sito da parte di quest'ultimo. L'Utente conserva, in ogni caso, la facoltà di limitare o di bloccare la memorizzazione dei cookies attraverso la modifica dei parametri del proprio browser, come meglio specificato nell’informativa pubblicata sul Sito.</div>
<div>
             </div>
<div>
<strong>
            15 - CONTATTI </strong>- Per ulteriori informazioni relative alle presenti Condizioni Generali,
            nonché ai limiti di utilizzo dei Contenuti Protetti nonché per il rilascio di licenze
            di utilizzo per finalità di carattere commerciale sui Contenuti Protetti, l'Utente
            può contattare il GME al seguente indirizzo: Gestore dei Mercati Energetici S.p.A., Viale
            Maresciallo Pilsudski, 122/124, 00197 Roma (Italia), tel: +39 06 8012 1, fax: +39
            06 8012 4524. </div>
<div>
             </div>
<div>
<strong>
            16 - LEGGE APPLICABILE </strong>- Le Condizioni Generali del Sito sono regolate dalla Legge
            Italiana, dalla normativa Comunitaria e dalle Convenzioni Internazionali applicabili.<br/>
<br/>
<br/>
</div>
<div style="height:10px"> </div>
</td>
</tr></table>
</div>
</td>
</tr>
<tr>
<td align="center" id="ContentPlaceHolder1_mnuAccept" style="height: 26px">
<table border="0" cellpadding="0" cellspacing="0" width="98%">
<tr>
<td style="text-align: left" valign="top">
<hr/>
                                            L'Utente dichiara di aver letto le Condizioni Generali sopra riportate e dichiara
                                            di <br/>
<br/>
<span><font face="verdana"><input id="ContentPlaceHolder1_CBAccetto1" name="ctl00$ContentPlaceHolder1$CBAccetto1" type="checkbox"/><label for="ContentPlaceHolder1_CBAccetto1">Accettarne il contenuto</label></font></span> 
                                             <br/>
<br/>
                                            Ai sensi e per gli effetti degli artt. 1341 e 1342 del codice civile, l'Utente dichiara
                                            di accettare espressamente le seguenti clausole delle Condizioni Generali sopra
                                            riportate: 7, 8, 10, 13<br/>
<br/>
<span><font face="verdana"><input id="ContentPlaceHolder1_CBAccetto2" name="ctl00$ContentPlaceHolder1$CBAccetto2" type="checkbox"/><label for="ContentPlaceHolder1_CBAccetto2">Accetto</label></font></span> 
                                            <br/>
</td>
</tr>
<tr>
<td style="height: 45px; text-align: center" valign="middle">
<input class="button" id="ContentPlaceHolder1_Button1" name="ctl00$ContentPlaceHolder1$Button1" type="submit" value="Accetto"/>
<input class="button" id="ContentPlaceHolder1_Button2" name="ctl00$ContentPlaceHolder1$Button2" onclick='javascript:WebForm_DoPostBackWithOptions(new WebForm_PostBackOptions("ctl00$ContentPlaceHolder1$Button2", "", true, "", "", false, false))' type="submit" value="Rifiuto"/></td>
</tr>
</table>
</td>
</tr>
</table>
<br/>
<br/>
</td>
</tr>
</table>
</td>
</tr>
<tr>
<td style="height: 3px">
</td>
</tr>
</table>
</td>
</tr>
<tr>
<td colspan="6" style="width: 100%; height: 20px">
<table style="width: 100%">
<tr>
<td style="height: 18px; background-color: #006600; padding-left: 15px">
<a href="#Menu2_SkipLink"><img alt="Skip Navigation Links" border="0" height="0" src="/It/WebResource.axd?d=RYTXDlwgBcaTDzMwHW63aS6Pn_VjUbSxLDKJMZ3VLHc1RWAxM_MWu2PX7Z3DKEYHg146WnHLNrMIMNbuddlRm3zUAOkRllCEn7n9APP26Dg1&amp;t=635589471476784022" width="0"/></a><table bgcolor="#006600" border="0" cellpadding="0" cellspacing="0" id="Menu2">
<tr>
<td id="Menu2n0" onkeyup="Menu_Key(event)" onmouseout="Menu_Unhover(this)" onmouseover="Menu_HoverStatic(this)"><table border="0" cellpadding="0" cellspacing="0" width="100%">
<tr>
<td nowrap="nowrap"><a href="javascript:__doPostBack('ctl00$Menu2','datisocietari.htm')"><font color="White" face="verdana">dati societari</font></a></td>
</tr>
</table></td><td width="3"></td><td><img alt="" src="../App_Themes/TemaGME/separatoreWhite.gif"/></td><td id="Menu2n1" onkeyup="Menu_Key(event)" onmouseout="Menu_Unhover(this)" onmouseover="Menu_HoverStatic(this)"><table border="0" cellpadding="0" cellspacing="0" width="100%">
<tr>
<td nowrap="nowrap"><a href="mailto:gme@pec.mercatoelettrico.org"><font color="White" face="verdana">PEC: gme@pec.mercatoelettrico.org</font></a></td>
</tr>
</table></td><td width="3"></td><td><img alt="" src="../App_Themes/TemaGME/separatoreWhite.gif"/></td><td id="Menu2n2" onkeyup="Menu_Key(event)" onmouseout="Menu_Unhover(this)" onmouseover="Menu_HoverStatic(this)"><table border="0" cellpadding="0" cellspacing="0" width="100%">
<tr>
<td nowrap="nowrap"><a href="javascript:__doPostBack('ctl00$Menu2','datisocietari.htm')"><font color="White" face="verdana">P.IVA: n. 06208031002</font></a></td>
</tr>
</table></td><td width="3"></td><td><img alt="" src="../App_Themes/TemaGME/separatoreWhite.gif"/></td><td id="Menu2n3" onkeyup="Menu_Key(event)" onmouseout="Menu_Unhover(this)" onmouseover="Menu_HoverStatic(this)"><table border="0" cellpadding="0" cellspacing="0" width="100%">
<tr>
<td nowrap="nowrap"><a href="javascript:__doPostBack('ctl00$Menu2','disclaimer.htm')"><font color="White" face="verdana">disclaimer</font></a></td>
</tr>
</table></td><td width="3"></td><td><img alt="" src="../App_Themes/TemaGME/separatoreWhite.gif"/></td><td id="Menu2n4" onkeyup="Menu_Key(event)" onmouseout="Menu_Unhover(this)" onmouseover="Menu_HoverStatic(this)"><table border="0" cellpadding="0" cellspacing="0" width="100%">
<tr>
<td nowrap="nowrap"><a href="javascript:__doPostBack('ctl00$Menu2','privacy.htm')"><font color="White" face="verdana">privacy</font></a></td>
</tr>
</table></td><td width="3"></td><td><img alt="" src="../App_Themes/TemaGME/separatoreWhite.gif"/></td><td id="Menu2n5" onkeyup="Menu_Key(event)" onmouseout="Menu_Unhover(this)" onmouseover="Menu_HoverStatic(this)"><table border="0" cellpadding="0" cellspacing="0" width="100%">
<tr>
<td nowrap="nowrap"><a href="javascript:__doPostBack('ctl00$Menu2','copyright.htm')"><font color="White" face="verdana">copyright</font></a></td>
</tr>
</table></td><td width="3"></td><td><img alt="" src="../App_Themes/TemaGME/separatoreWhite.gif"/></td><td id="Menu2n6" onkeyup="Menu_Key(event)" onmouseout="Menu_Unhover(this)" onmouseover="Menu_HoverStatic(this)"><table border="0" cellpadding="0" cellspacing="0" width="100%">
<tr>
<td nowrap="nowrap"><a href="Mappa.aspx"><font color="White" face="verdana">mappa</font></a></td>
</tr>
</table></td><td width="3"></td><td><img alt="" src="../App_Themes/TemaGME/separatoreWhite.gif"/></td><td id="Menu2n7" onkeyup="Menu_Key(event)" onmouseout="Menu_Unhover(this)" onmouseover="Menu_HoverStatic(this)"><table border="0" cellpadding="0" cellspacing="0" width="100%">
<tr>
<td nowrap="nowrap"><a href="Contatti.aspx"><font color="White" face="verdana">contatti</font></a></td>
</tr>
</table></td><td><img alt="" src="../App_Themes/TemaGME/separatoreWhite.gif"/></td>
</tr>
</table><a id="Menu2_SkipLink"></a>
</td>
</tr>
</table>
<br/>
</td>
</tr>
</table>
</div>
</div>
<script type="text/javascript">
//<![CDATA[
var Menu3_Data = new Object();
Menu3_Data.disappearAfter = 500;
Menu3_Data.horizontalOffset = 0;
Menu3_Data.verticalOffset = 0;
Menu3_Data.iframeUrl = '/It/WebResource.axd?d=_d-q1gFS7WFNEhqOMb1RHeFfNzP0F1kSnYPffO7XeUqjA_BQ_Chz4o1hsWfdMSeb-pJwnGpt_zRqbkD09Ea9-n8Wz8ya6KUnSfPI5WbegUk1&t=635589471476784022';
var Menu1_Data = new Object();
Menu1_Data.disappearAfter = 500;
Menu1_Data.horizontalOffset = 0;
Menu1_Data.verticalOffset = 0;
Menu1_Data.iframeUrl = '/It/WebResource.axd?d=_d-q1gFS7WFNEhqOMb1RHeFfNzP0F1kSnYPffO7XeUqjA_BQ_Chz4o1hsWfdMSeb-pJwnGpt_zRqbkD09Ea9-n8Wz8ya6KUnSfPI5WbegUk1&t=635589471476784022';
var Menu2_Data = new Object();
Menu2_Data.disappearAfter = 500;
Menu2_Data.horizontalOffset = 2;
Menu2_Data.verticalOffset = 0;
Menu2_Data.iframeUrl = '/It/WebResource.axd?d=_d-q1gFS7WFNEhqOMb1RHeFfNzP0F1kSnYPffO7XeUqjA_BQ_Chz4o1hsWfdMSeb-pJwnGpt_zRqbkD09Ea9-n8Wz8ya6KUnSfPI5WbegUk1&t=635589471476784022';
//]]>
</script>
</form>
2022-08-20 08:26:55.500 DEBUG (MainThread) [custom_components.multiscrape.form] Scraper_noname_0 # Found the following input fields: {'__VIEWSTATE': '/wEPDwULLTIwNTEyNDQzNzQPZBYCZg9kFgICAw9kFgICAQ9kFgQCDA9kFgJmD2QWAmYPZBYCAgkPD2QWAh4Kb25rZXlwcmVzcwUccmV0dXJuIGludmlhUFdEKHRoaXMsZXZlbnQpO2QCFQ9kFgICAQ8PFgIeDU9uQ2xpZW50Q2xpY2sFJmphdmFzY3JpcHQ6d2luZG93Lm9wZW4oJz9zdGFtcGE9dHJ1ZScpZGQYAQUeX19Db250cm9sc1JlcXVpcmVQb3N0QmFja0tleV9fFgUFDGN0bDAwJEltYWdlMQUSY3RsMDAkSW1hZ2VCdXR0b24xBSBjdGwwMCRDb250ZW50UGxhY2VIb2xkZXIxJHN0YW1wYQUkY3RsMDAkQ29udGVudFBsYWNlSG9sZGVyMSRDQkFjY2V0dG8xBSRjdGwwMCRDb250ZW50UGxhY2VIb2xkZXIxJENCQWNjZXR0bzJNtS4sA9RJwH/PD4f1Is1XjNk/hfv08nJ9fqA7MOTPJg==', '__VIEWSTATEGENERATOR': 'BD5243C0', '__PREVIOUSPAGE': 'cZ9asoMdEhcsdMTrKLddyuDgUqrpgV44mkItwJfPMdC5pTBV2YSxs8G-heXd_cSe0LgJT2dUbmEwn5EAxW2CKqwwsuEEvSwkj_TDS8XqtiFWyG906u2-XjhdXsqvVULm0', '__EVENTVALIDATION': '/wEdABMeHtrPw0BxfeOLjZYxcYS7cS/s8I39AyxLz4tn+AkBiEW+okpiqwYG+B4aTa9o+s43drX32rKpFiwqoHxZnWEOD4zZrxX92uOlyIx1SyGTQmV8haT0EfVomfKCKov4HgnZl/Xwcz7QqxVnz+OmFVuWzNBM98trssXld5dD73vgQX4H/0z/058uP3NmytG8PXozrkfQ7SmiPGgdsZPdEEV8g/gu4+zhSeI0ttI2ADLh/wU7Nz/6FKjnm2sSszw4FMr8VEDvc+zuMc1oKpjHdCosjDu35o5CUn6umW4JNpE1p4raaQaFnXKaLuO1sKRm4e9ZUwtJIYRkZxZmb4HmgHR6ltkgVwReXnm+EHOYvXjKP0Sd1PBpsO2hEyKj10xH8juA+rwVNruExpEBEKBupGso4x47SW2jKg/IDRnJbkPHzpqBlMP9tr/+lEKTjOwD3Ts=', 'ctl00$Image1': None, 'ctl00$tbTitolo': 'cerca nel sito', 'ctl00$vai': 'vai', 'ctl00$ImageButton1': None, 'ctl00$UserName': None, 'ctl00$Password': None, 'ctl00$LinkButton2': 'registrati', 'ctl00$LoginButton': 'login', 'ctl00$ContentPlaceHolder1$stampa': None, 'ctl00$ContentPlaceHolder1$CBAccetto1': None, 'ctl00$ContentPlaceHolder1$CBAccetto2': None, 'ctl00$ContentPlaceHolder1$Button1': 'Accetto', 'ctl00$ContentPlaceHolder1$Button2': 'Rifiuto'}
2022-08-20 08:26:55.501 DEBUG (MainThread) [custom_components.multiscrape.form] Scraper_noname_0 # Merged input fields with input data in config. Result: {'__VIEWSTATE': '/wEPDwULLTIwNTEyNDQzNzQPZBYCZg9kFgICAw9kFgICAQ9kFgQCDA9kFgJmD2QWAmYPZBYCAgkPD2QWAh4Kb25rZXlwcmVzcwUccmV0dXJuIGludmlhUFdEKHRoaXMsZXZlbnQpO2QCFQ9kFgICAQ8PFgIeDU9uQ2xpZW50Q2xpY2sFJmphdmFzY3JpcHQ6d2luZG93Lm9wZW4oJz9zdGFtcGE9dHJ1ZScpZGQYAQUeX19Db250cm9sc1JlcXVpcmVQb3N0QmFja0tleV9fFgUFDGN0bDAwJEltYWdlMQUSY3RsMDAkSW1hZ2VCdXR0b24xBSBjdGwwMCRDb250ZW50UGxhY2VIb2xkZXIxJHN0YW1wYQUkY3RsMDAkQ29udGVudFBsYWNlSG9sZGVyMSRDQkFjY2V0dG8xBSRjdGwwMCRDb250ZW50UGxhY2VIb2xkZXIxJENCQWNjZXR0bzJNtS4sA9RJwH/PD4f1Is1XjNk/hfv08nJ9fqA7MOTPJg==', '__VIEWSTATEGENERATOR': 'BD5243C0', '__PREVIOUSPAGE': 'cZ9asoMdEhcsdMTrKLddyuDgUqrpgV44mkItwJfPMdC5pTBV2YSxs8G-heXd_cSe0LgJT2dUbmEwn5EAxW2CKqwwsuEEvSwkj_TDS8XqtiFWyG906u2-XjhdXsqvVULm0', '__EVENTVALIDATION': '/wEdABMeHtrPw0BxfeOLjZYxcYS7cS/s8I39AyxLz4tn+AkBiEW+okpiqwYG+B4aTa9o+s43drX32rKpFiwqoHxZnWEOD4zZrxX92uOlyIx1SyGTQmV8haT0EfVomfKCKov4HgnZl/Xwcz7QqxVnz+OmFVuWzNBM98trssXld5dD73vgQX4H/0z/058uP3NmytG8PXozrkfQ7SmiPGgdsZPdEEV8g/gu4+zhSeI0ttI2ADLh/wU7Nz/6FKjnm2sSszw4FMr8VEDvc+zuMc1oKpjHdCosjDu35o5CUn6umW4JNpE1p4raaQaFnXKaLuO1sKRm4e9ZUwtJIYRkZxZmb4HmgHR6ltkgVwReXnm+EHOYvXjKP0Sd1PBpsO2hEyKj10xH8juA+rwVNruExpEBEKBupGso4x47SW2jKg/IDRnJbkPHzpqBlMP9tr/+lEKTjOwD3Ts=', 'ctl00$Image1': None, 'ctl00$tbTitolo': 'cerca nel sito', 'ctl00$vai': 'vai', 'ctl00$ImageButton1': None, 'ctl00$UserName': None, 'ctl00$Password': None, 'ctl00$LinkButton2': 'registrati', 'ctl00$LoginButton': 'login', 'ctl00$ContentPlaceHolder1$stampa': None, 'ctl00$ContentPlaceHolder1$CBAccetto1': 'true', 'ctl00$ContentPlaceHolder1$CBAccetto2': 'true', 'ctl00$ContentPlaceHolder1$Button1': 'Accetto', 'ctl00$ContentPlaceHolder1$Button2': 'Rifiuto'}
2022-08-20 08:26:55.501 DEBUG (MainThread) [custom_components.multiscrape.form] Scraper_noname_0 # Found form action Accessodati.aspx and method post
2022-08-20 08:26:55.501 DEBUG (MainThread) [custom_components.multiscrape.form] Scraper_noname_0 # Determined the url to submit the form to: https://www.mercatoelettrico.org/It/Tools/Accessodati.aspx
2022-08-20 08:26:55.501 DEBUG (MainThread) [custom_components.multiscrape.form] Scraper_noname_0 # Submitting the form
2022-08-20 08:26:55.501 DEBUG (MainThread) [custom_components.multiscrape.http] Scraper_noname_0 # Executing form_submit-request with a post to url: https://www.mercatoelettrico.org/It/Tools/Accessodati.aspx.
2022-08-20 08:26:57.325 DEBUG (MainThread) [custom_components.multiscrape.http] Scraper_noname_0 # Response status code received: 200
2022-08-20 08:26:57.334 DEBUG (MainThread) [custom_components.multiscrape.http] Scraper_noname_0 # response_headers written to file: form_submit_response_headers.txt
2022-08-20 08:26:57.346 DEBUG (MainThread) [custom_components.multiscrape.http] Scraper_noname_0 # response_body written to file: form_submit_response_body.txt
2022-08-20 08:26:57.346 DEBUG (MainThread) [custom_components.multiscrape.form] Scraper_noname_0 # Form seems to be submitted succesfully (to be sure, use log_response and check file). Now continuing to retrieve target page.
2022-08-20 08:26:57.346 DEBUG (MainThread) [custom_components.multiscrape.coordinator] Scraper_noname_0 # Request data from https://www.mercatoelettrico.org/It/default.aspx
2022-08-20 08:26:57.346 DEBUG (MainThread) [custom_components.multiscrape.http] Scraper_noname_0 # Executing page-request with a get to url: https://www.mercatoelettrico.org/It/default.aspx.
2022-08-20 08:26:58.251 DEBUG (MainThread) [custom_components.multiscrape.http] Scraper_noname_0 # Response status code received: 200
2022-08-20 08:26:58.253 DEBUG (MainThread) [custom_components.multiscrape.http] Scraper_noname_0 # response_headers written to file: page_response_headers.txt
2022-08-20 08:26:58.258 DEBUG (MainThread) [custom_components.multiscrape.http] Scraper_noname_0 # response_body written to file: page_response_body.txt
2022-08-20 08:26:58.258 DEBUG (MainThread) [custom_components.multiscrape.scraper] Scraper_noname_0 # Loading the content in BeautifulSoup.
2022-08-20 08:26:59.018 DEBUG (MainThread) [custom_components.multiscrape.scraper] Scraper_noname_0 # page_soup written to file: page_soup.txt
2022-08-20 08:26:59.018 DEBUG (MainThread) [custom_components.multiscrape.coordinator] Scraper_noname_0 # Data succesfully refreshed. Sensors will now start scraping to update.
2022-08-20 08:26:59.018 DEBUG (MainThread) [custom_components.multiscrape.coordinator] Finished fetching multiscrape data in 9.321 seconds (success: True)
2022-08-20 08:26:59.035 DEBUG (MainThread) [custom_components.multiscrape.sensor] Scraper_noname_0 # PUN medio giornaliero # Setting up sensor
2022-08-20 08:26:59.036 DEBUG (MainThread) [custom_components.multiscrape.sensor] Scraper_noname_0 # PUN medio giornaliero # Start scraping to update sensor
2022-08-20 08:26:59.132 DEBUG (MainThread) [custom_components.multiscrape.scraper] Scraper_noname_0 # PUN medio giornaliero # Tag selected: None
2022-08-20 08:26:59.133 DEBUG (MainThread) [custom_components.multiscrape.form] Scraper_noname_0 # Exception occurred while scraping, will try to resubmit the form next interval.
2022-08-20 08:26:59.133 ERROR (MainThread) [custom_components.multiscrape.sensor] Scraper_noname_0 # PUN medio giornaliero # Unable to scrape data: Could not find a tag for given selector. 
Consider using debug logging and log_response for further investigation.
2022-08-20 08:26:59.141 DEBUG (MainThread) [custom_components.multiscrape.sensor] Scraper_noname_0 # PUN medio giornaliero # On-error, set value to None
2022-08-20 08:26:59.141 DEBUG (MainThread) [custom_components.multiscrape.entity] Scraper_noname_0 # PUN medio giornaliero # Updated sensor and attributes, now adding to HA

Issue Analytics

  • State:closed
  • Created a year ago
  • Comments:6 (2 by maintainers)

github_iconTop GitHub Comments

1reaction
danieldotnlcommented, Sep 16, 2022

Great, you found it already before I released it. Good to hear it’s working very well!

0reactions
virtualdjcommented, Sep 15, 2022

Wow, 97354e3 is working very well for the scope, thank you!

Read more comments on GitHub >

github_iconTop Results From Across the Web

Set the rules for a mail merge - Microsoft Support
Before you run the merge, right-click the Set field, select Edit Field, and enter the text you want in the Text box. Select...
Read more >
Common Mail Merge Problems in Microsoft Word and ... - GMass
Mail merge can be a frustrating task for most MS Word users. it doesn't always work and sometimes the formatting is improperly rendered, ......
Read more >
Git pull - Please move or remove them before you can merge
Please move or remove them before you can merge. There are no untracked files, but it seems like it has issues with the...
Read more >
Mail Merge in Gmail doesn't work · Issue #155 - GitHub
Found a solution. ... It worked for me. When pasting the names of the columns in the email body. Paste them as plain...
Read more >
Making your mail merge “intelligent” by using IF fields
Almost any mail merge will work better if you use IF fields, ... works as follows: If a condition is met display one...
Read more >

github_iconTop Related Medium Post

No results found

github_iconTop Related StackOverflow Question

No results found

github_iconTroubleshoot Live Code

Lightrun enables developers to add logs, metrics and snapshots to live code - no restarts or redeploys required.
Start Free

github_iconTop Related Reddit Thread

No results found

github_iconTop Related Hackernoon Post

No results found

github_iconTop Related Tweet

No results found

github_iconTop Related Dev.to Post

No results found

github_iconTop Related Hashnode Post

No results found
Previous page

Tab index issue with aria-hidden vs. hidden

Next page

SSL Error even when skipping SSL verification