01-cellar-daily

import%20marimo%0A%0A__generated_with%20%3D%20%220.16.5%22%0Aapp%20%3D%20marimo.App(width%3D%22full%22)%0A%0A%0A%40app.cell%0Adef%20_()%3A%0A%20%20%20%20import%20pandas%20as%20pd%0A%20%20%20%20import%20marimo%20as%20mo%0A%20%20%20%20import%20requests%0A%0A%20%20%20%20from%20pandas%20import%20json_normalize%0A%20%20%20%20from%20SPARQLWrapper%20import%20SPARQLWrapper%2C%20JSON%0A%20%20%20%20return%20JSON%2C%20SPARQLWrapper%2C%20mo%2C%20pd%2C%20requests%0A%0A%0A%40app.cell%0Adef%20_(mo%2C%20selected_date)%3A%0A%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20rf%22%22%22%0A%20%20%20%20%23%20Cellar%20Notice%20Statistics%20for%20a%20single%20day%0A%0A%20%20%20%20Choose%20the%20date%20for%20your%20analysis.%20The%20dashboard%20will%20automatically%20update%20based%20on%20your%20selection.%0A%0A%20%20%20%20Select%20a%20date%3A%20%7Bselected_date%7D%0A%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(do_query%2C%20notices_per_day_query)%3A%0A%20%20%20%20notices_raw%20%3D%20do_query(notices_per_day_query)%0A%20%20%20%20return%20(notices_raw%2C)%0A%0A%0A%40app.cell%0Adef%20_(form_type_dict%2C%20mo%2C%20notice_type_dict%2C%20notices_raw)%3A%0A%20%20%20%20notices%20%3D%20notices_raw.copy()%0A%20%20%20%20if%20(len(notices))%3A%0A%20%20%20%20%20%20%20%20notices%5B'noticeType'%5D%20%3D%20notices%5B'noticeTypeUri'%5D.map(notice_type_dict)%0A%20%20%20%20%20%20%20%20notices%5B'formType'%5D%20%3D%20notices%5B'formTypeUri'%5D.map(form_type_dict)%0A%0A%20%20%20%20%20%20%20%20%23%20Create%20TED%20URL%20for%20each%20notice%0A%20%20%20%20%20%20%20%20notices%5B'tedUrl'%5D%20%3D%20notices%5B'publicationNumber'%5D.apply(%0A%20%20%20%20%20%20%20%20%20%20%20%20lambda%20x%3A%20f%22https%3A%2F%2Fted.europa.eu%2Fen%2Fnotice%2F-%2Fdetail%2F%7Bx%7D%22%0A%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20%20%20%20%20%23%20Remove%20URI%20columns%0A%20%20%20%20%20%20%20%20notices%20%3D%20notices.drop(columns%3D%5B'noticeTypeUri'%2C%20'formTypeUri'%5D)%0A%0A%20%20%20%20%20%20%20%20%23%20Reorder%20columns%0A%20%20%20%20%20%20%20%20notices%20%3D%20notices%5B%5B'publicationNumber'%2C%20'noticeType'%2C%20'formType'%2C%20'tedUrl'%5D%5D%0A%0A%20%20%20%20mo.ui.table(notices%2C%20selection%3DNone)%0A%20%20%20%20return%20(notices%2C)%0A%0A%0A%40app.cell%0Adef%20_(%0A%20%20%20%20chart1%2C%0A%20%20%20%20chart2%2C%0A%20%20%20%20mo%2C%0A%20%20%20%20notice_types%2C%0A%20%20%20%20notices%2C%0A%20%20%20%20selected_date%2C%0A%20%20%20%20ted_daily%2C%0A%20%20%20%20ted_daily_same_set%2C%0A)%3A%0A%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20rf%22%22%22%0A%20%20%20%20%23%23%20Comparison%20with%20TED%20API%0A%0A%20%20%20%20%23%23%23%20Day%3A%20%7Bselected_date.value.isoformat()%7D%0A%0A%20%20%20%20-%20Cellar%0A%20%20%20%20%20%20%20%20-%20Number%20of%20notices%3A%20**%7Blen(notices)%7D**%0A%20%20%20%20%20%20%20%20-%20Notice%20types%20found%3A%20%7Bnotice_types%7D%0A%20%20%20%20-%20TED%20API%0A%20%20%20%20%20%20%20%20-%20Notices%20matching%20these%20types%3A%20**%7Bted_daily_same_set%5B%22totalNoticeCount%22%5D%7D**%0A%20%20%20%20%20%20%20%20-%20Total%20notices%20reported%3A%20**%7Bted_daily%5B%22totalNoticeCount%22%5D%7D**%0A%0A%20%20%20%20%23%23%20Notice%20distribution%0A%0A%20%20%20%20%7Bmo.hstack(%5Bchart1%2C%20chart2%5D)%7D%0A%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo%2C%20notices_per_day_query)%3A%0A%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20rf%22%22%22%0A%20%20%20%20%23%23%20Queries%0A%0A%20%20%20%20The%20following%20SPARQL%20query%20was%20used%20in%20Cellar%0A%0A%20%20%20%20%60%60%60sparql%0A%20%20%20%20%7Bnotices_per_day_query%7D%0A%20%20%20%20%60%60%60%0A%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(selected_date)%3A%0A%20%20%20%20notices_per_day_query%20%3D%20%22%22%22%0A%20%20%20%20PREFIX%20epo%3A%20%3Chttp%3A%2F%2Fdata.europa.eu%2Fa4g%2Fontology%23%3E%0A%20%20%20%20PREFIX%20xsd%3A%20%3Chttp%3A%2F%2Fwww.w3.org%2F2001%2FXMLSchema%23%3E%0A%0A%20%20%20%20SELECT%20%3FpublicationNumber%20%3FnoticeTypeUri%20%3FformTypeUri%0A%0A%20%20%20%20WHERE%20%7B%0A%20%20%20%20%20%20GRAPH%20%3Fg%20%7B%0A%20%20%20%20%20%20%20%20%3Fnotice%20a%20epo%3ANotice%20%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20epo%3AhasPublicationDate%20%3FpublicationDate%20%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20epo%3AhasNoticePublicationNumber%20%3FpublicationNumber%20%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20epo%3AhasNoticeType%20%3FnoticeTypeUri%20%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20epo%3AhasFormType%20%3FformTypeUri%20.%20%20%20%20%0A%20%20%20%20%20%20%7D%0A%20%20%20%20%20%20FILTER%20(%3FpublicationDate%20%3D%20%22%25s%22%5E%5Exsd%3Adate)%0A%20%20%20%20%7D%0A%20%20%20%20%22%22%22%20%25%20(selected_date.value.isoformat())%0A%20%20%20%20return%20(notices_per_day_query%2C)%0A%0A%0A%40app.cell%0Adef%20_(do_query)%3A%0A%20%20%20%20%23%20Fetch%20notice%20type%20labels%20(cached)%0A%20%20%20%20notice_type_query%20%3D%20%22%22%22%0A%20%20%20%20PREFIX%20euvoc%3A%20%3Chttp%3A%2F%2Fpublications.europa.eu%2Fontology%2Feuvoc%23%3E%0A%20%20%20%20PREFIX%20xsd%3A%20%3Chttp%3A%2F%2Fwww.w3.org%2F2001%2FXMLSchema%23%3E%0A%20%20%20%20PREFIX%20epo%3A%20%3Chttp%3A%2F%2Fdata.europa.eu%2Fa4g%2Fontology%23%3E%0A%20%20%20%20PREFIX%20cdm%3A%20%3Chttp%3A%2F%2Fpublications.europa.eu%2Fontology%2Fcdm%23%3E%0A%20%20%20%20PREFIX%20skos%3A%20%3Chttp%3A%2F%2Fwww.w3.org%2F2004%2F02%2Fskos%2Fcore%23%3E%0A%0A%20%20%20%20SELECT%20%3FnoticeTypeUri%20%3Flabel%0A%20%20%20%20WHERE%20%7B%0A%20%20%20%20%20%20%3FnoticeTypeUri%20a%20skos%3AConcept%20%3B%0A%20%20%20%20%20%20%20%20%20%20skos%3AtopConceptOf%20%3Chttp%3A%2F%2Fpublications.europa.eu%2Fresource%2Fauthority%2Fnotice-type%3E%20%3B%0A%20%20%20%20%20%20%20%20%20%20skos%3AprefLabel%20%3Flabel%20.%0A%20%20%20%20%20%20FILTER%20(lang(%3Flabel)%20%3D%20%22en%22)%20.%0A%20%20%20%20%7D%0A%20%20%20%20%22%22%22%0A%0A%20%20%20%20notice_type_labels%20%3D%20do_query(notice_type_query)%0A%20%20%20%20notice_type_dict%20%3D%20dict(zip(notice_type_labels%5B'noticeTypeUri'%5D%2C%20notice_type_labels%5B'label'%5D))%0A%20%20%20%20return%20(notice_type_dict%2C)%0A%0A%0A%40app.cell%0Adef%20_(do_query)%3A%0A%20%20%20%20%23%20Fetch%20form%20type%20labels%20(cached)%0A%20%20%20%20form_type_query%20%3D%20%22%22%22%0A%20%20%20%20PREFIX%20euvoc%3A%20%3Chttp%3A%2F%2Fpublications.europa.eu%2Fontology%2Feuvoc%23%3E%0A%20%20%20%20PREFIX%20xsd%3A%20%3Chttp%3A%2F%2Fwww.w3.org%2F2001%2FXMLSchema%23%3E%0A%20%20%20%20PREFIX%20epo%3A%20%3Chttp%3A%2F%2Fdata.europa.eu%2Fa4g%2Fontology%23%3E%0A%20%20%20%20PREFIX%20cdm%3A%20%3Chttp%3A%2F%2Fpublications.europa.eu%2Fontology%2Fcdm%23%3E%0A%20%20%20%20PREFIX%20skos%3A%20%3Chttp%3A%2F%2Fwww.w3.org%2F2004%2F02%2Fskos%2Fcore%23%3E%0A%0A%20%20%20%20SELECT%20%3FformTypeUri%20%3Flabel%0A%20%20%20%20WHERE%20%7B%0A%20%20%20%20%20%20%3FformTypeUri%20a%20skos%3AConcept%20%3B%0A%20%20%20%20%20%20%20%20%20%20skos%3AtopConceptOf%20%3Chttp%3A%2F%2Fpublications.europa.eu%2Fresource%2Fauthority%2Fform-type%3E%20%3B%0A%20%20%20%20%20%20%20%20%20%20skos%3AprefLabel%20%3Flabel%20.%0A%20%20%20%20%20%20FILTER%20(lang(%3Flabel)%20%3D%20%22en%22)%20.%0A%20%20%20%20%7D%0A%20%20%20%20%22%22%22%0A%0A%20%20%20%20form_type_labels%20%3D%20do_query(form_type_query)%0A%20%20%20%20form_type_dict%20%3D%20dict(zip(form_type_labels%5B'formTypeUri'%5D%2C%20form_type_labels%5B'label'%5D))%0A%20%20%20%20return%20(form_type_dict%2C)%0A%0A%0A%40app.cell%0Adef%20_(get_default_date%2C%20mo)%3A%0A%20%20%20%20selected_date%20%3D%20mo.ui.date(value%3Dget_default_date().isoformat())%0A%20%20%20%20return%20(selected_date%2C)%0A%0A%0A%40app.cell%0Adef%20_(fetch_ted_daily_notices%2C%20selected_date)%3A%0A%20%20%20%20ted_daily%20%3D%20fetch_ted_daily_notices(selected_date.value.isoformat())%0A%20%20%20%20return%20(ted_daily%2C)%0A%0A%0A%40app.cell%0Adef%20_(fetch_ted_daily_notices%2C%20notices_raw%2C%20selected_date)%3A%0A%20%20%20%20notice_types%20%3D%20get_distinct_notice_types(notices_raw)%0A%0A%20%20%20%20ted_daily_same_set%20%3D%20(%0A%20%20%20%20%20%20%20%20%7B%22totalNoticeCount%22%3A%200%2C%20%22results%22%3A%20%5B%5D%7D%0A%20%20%20%20%20%20%20%20if%20not%20notice_types%0A%20%20%20%20%20%20%20%20else%20fetch_ted_daily_notices(selected_date.value.isoformat()%2C%20notice_types)%0A%20%20%20%20)%0A%20%20%20%20return%20notice_types%2C%20ted_daily_same_set%0A%0A%0A%40app.function%0Adef%20build_ted_query(date%2Cnotice_types)%3A%0A%20%20%20%20date_formatted%20%3D%20date.replace(%22-%22%2C%20%22%22)%0A%20%20%20%20%23%20Base%20condition%0A%20%20%20%20conditions%20%3D%20%5Bf%22publication-date%20%3D%20%7Bdate_formatted%7D%22%5D%0A%0A%20%20%20%20%23%20Add%20notice%20type%20filter%20if%20provided%0A%20%20%20%20if%20notice_types%3A%0A%20%20%20%20%20%20%20%20type_conditions%20%3D%20%5Bf%22notice-type%20%3D%20%7Bnt%7D%22%20for%20nt%20in%20notice_types%5D%0A%20%20%20%20%20%20%20%20conditions.append(%22(%22%20%2B%20%22%20or%20%22.join(type_conditions)%20%2B%20%22)%22)%0A%0A%20%20%20%20query_str%20%3D%20%22%20and%20%22.join(conditions)%0A%20%20%20%20return%20query_str%0A%0A%0A%40app.cell%0Adef%20_(requests)%3A%0A%20%20%20%20def%20fetch_ted_daily_notices(date%3A%20str%2C%20notice_types%3A%20list%5Bstr%5D%20%7C%20None%20%3D%20None)%20-%3E%20dict%3A%0A%20%20%20%20%20%20%20%20api_url%20%3D%20%22https%3A%2F%2Fapi.acceptance.ted.europa.eu%2Fv3%2Fnotices%2Fsearch%22%0A%0A%20%20%20%20%20%20%20%20query_str%20%3D%20build_ted_query(date%2Cnotice_types)%0A%0A%20%20%20%20%20%20%20%20request_body%20%3D%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22query%22%3A%20query_str%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22scope%22%3A%20%22ALL%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22fields%22%3A%20%5B%22publication-date%22%2C%20%22notice-type%22%5D%2C%0A%20%20%20%20%20%20%20%20%7D%0A%0A%20%20%20%20%20%20%20%20response%20%3D%20requests.post(%0A%20%20%20%20%20%20%20%20%20%20%20%20api_url%2C%20headers%3D%7B%22Accept%22%3A%20%22application%2Fjson%22%7D%2C%20json%3Drequest_body%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20response.raise_for_status()%0A%0A%20%20%20%20%20%20%20%20return%20response.json()%0A%20%20%20%20return%20(fetch_ted_daily_notices%2C)%0A%0A%0A%40app.cell%0Adef%20_()%3A%0A%20%20%20%20from%20datetime%20import%20datetime%2C%20timedelta%0A%0A%20%20%20%20def%20get_default_date()%3A%0A%20%20%20%20%20%20%20%20%22%22%22Get%20yesterday's%20date%2C%20but%20if%20today%20is%20Sunday%2C%20get%20Friday%20instead%22%22%22%0A%20%20%20%20%20%20%20%20today%20%3D%20datetime.now()%0A%20%20%20%20%20%20%20%20if%20today.weekday()%20%3D%3D%206%3A%20%20%23%20Sunday%20is%206%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20(today%20-%20timedelta(days%3D2)).date()%20%20%23%20Friday%0A%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20(today%20-%20timedelta(days%3D1)).date()%20%20%23%20Yesterday%0A%20%20%20%20return%20(get_default_date%2C)%0A%0A%0A%40app.function%0Adef%20get_distinct_notice_types(notices_raw)%20-%3E%20list%5Bstr%5D%3A%0A%20%20%20%20uris%20%3D%20getattr(notices_raw%2C%20%22noticeTypeUri%22%2C%20None)%0A%20%20%20%20if%20uris%20is%20None%3A%0A%20%20%20%20%20%20%20%20return%20%5B%5D%0A%20%20%20%20return%20sorted(%7Buri.rsplit(%22%2F%22%2C%201)%5B-1%5D%20for%20uri%20in%20uris%7D)%0A%0A%0A%40app.cell%0Adef%20_(notices)%3A%0A%20%20%20%20import%20altair%20as%20alt%0A%0A%20%20%20%20%23%20Chart%201%20-%20Notice%20Type%20(Bar%20Chart)%0A%20%20%20%20chart1%20%3D%20(%0A%20%20%20%20%20%20%20%20alt.Chart(notices)%0A%20%20%20%20%20%20%20%20.mark_bar()%0A%20%20%20%20%20%20%20%20.encode(%0A%20%20%20%20%20%20%20%20%20%20%20%20x%3Dalt.X(%22count()%3AQ%22%2C%20title%3D%22Count%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20y%3Dalt.Y(%22noticeType%3AN%22%2C%20title%3D%22Notice%20Type%22%2C%20sort%3D%22-x%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20color%3Dalt.Color(%22noticeType%3AN%22%2C%20title%3D%22Notice%20Type%22%2C%20legend%3DNone)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20tooltip%3D%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20alt.Tooltip(%22count()%22%2C%20title%3D%22Count%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20alt.Tooltip(%22noticeType%3AN%22%2C%20title%3D%22Notice%20Type%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%5D%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20.properties(%0A%20%20%20%20%20%20%20%20%20%20%20%20height%3D290%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20width%3D400%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20title%3D%22Notice%20Type%20Distribution%22%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20)%0A%0A%20%20%20%20%23%20Chart%202%20-%20Form%20Type%20(Bar%20Chart)%0A%20%20%20%20chart2%20%3D%20(%0A%20%20%20%20%20%20%20%20alt.Chart(notices)%0A%20%20%20%20%20%20%20%20.mark_bar()%0A%20%20%20%20%20%20%20%20.encode(%0A%20%20%20%20%20%20%20%20%20%20%20%20x%3Dalt.X(%22count()%3AQ%22%2C%20title%3D%22Count%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20y%3Dalt.Y(%22formType%3AN%22%2C%20title%3D%22Form%20Type%22%2C%20sort%3D%22-x%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20color%3Dalt.Color(%22formType%3AN%22%2C%20title%3D%22Form%20Type%22%2C%20legend%3DNone)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20tooltip%3D%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20alt.Tooltip(%22count()%22%2C%20title%3D%22Count%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20alt.Tooltip(%22formType%3AN%22%2C%20title%3D%22Form%20Type%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%5D%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20.properties(%0A%20%20%20%20%20%20%20%20%20%20%20%20height%3D290%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20width%3D400%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20title%3D%22Form%20Type%20Distribution%22%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20)%0A%20%20%20%20return%20chart1%2C%20chart2%0A%0A%0A%40app.cell%0Adef%20_(JSON%2C%20SPARQLWrapper%2C%20pd)%3A%0A%20%20%20%20sparql_service_url%20%3D%20%22https%3A%2F%2Fpublications.europa.eu%2Fwebapi%2Frdf%2Fsparql%22%0A%0A%20%20%20%20def%20do_query(sparql_query)%3A%0A%20%20%20%20%20%20%20%20sparql%20%3D%20SPARQLWrapper(sparql_service_url%2C%20agent%3D%22Sparql%20Wrapper%22)%0A%0A%20%20%20%20%20%20%20%20sparql.setQuery(sparql_query)%0A%20%20%20%20%20%20%20%20sparql.setReturnFormat(JSON)%0A%0A%20%20%20%20%20%20%20%20%23%20ask%20for%20the%20result%0A%20%20%20%20%20%20%20%20result%20%3D%20sparql.query().convert()%0A%20%20%20%20%20%20%20%20pd.DataFrame(result%5B%22results%22%5D%5B%22bindings%22%5D)%0A%20%20%20%20%20%20%20%20return%20pd.DataFrame(result%5B%22results%22%5D%5B%22bindings%22%5D).map(lambda%20x%3A%20x%5B%22value%22%5D)%0A%20%20%20%20return%20(do_query%2C)%0A%0A%0Aif%20__name__%20%3D%3D%20%22__main__%22%3A%0A%20%20%20%20app.run()%0A