Skripti jolla saa Y-tunnukella kaikki firman omistamat .fi -verkkotunnukset

getdomains.sh

## Y-Tunnukseen perustuva domainejen haku (.fi)

## Esimerkki: getdomains 1093944-1 # MTV Oy
# Laita tämä .bashrc tai .zshrc

# Käyttöesimerkkejä:

# Looppaa Y-tunnuksetn kaikki domainit läpi ja tee kysely
# for i in $(getdomains 1093944-1); do echo $i && host -t cname www.$i; done

function getdomains() {
    curl 'https://odata.domain.fi/OpenDomainData.svc/Domains()?$orderby=GrantDate%20desc&$top=500&$filter=OrganizationId%20eq%20%27'$1'%27' -s| grep -oP "<d:Name>\K([a-å]+)<"|sed 's/</.fi/g'
}

# Hae domainiin perustuen: domain_getdomains
function domain_getdomains() {
    CODE=`whois $1|grep -oP "register number(.*): \K(.*)"`
    getdomains $CODE
}

Ficoran rajotteista ei tarjoile kuin 100 domainia. Varmaan saa jollakin offsetilla säädettyä.

Asentaminen Macille

Tarvitanaan pcregrep, jonka saa asennettua Hombrewia käyttäen brew install pcregrep. Korvaa grep -oP -kohdat vain: pcregrep -M.

Kiitoksia https://twitter.com/tomikoski vinkistä!

Toimii macOS:llä myös GNU Grepin kanssa: brew install grep.

Ohessa versio sed+grep, joka toimii melko varmasti kaikilla sed ja grep versioilla. Ei käytä GNU ym. laajennuksia eikä regexp laajennuksia.

• lisätään kunkin avaavan elementin eteen rivinvaihto, kukin elementti omalla rivillään
• grep:llä haetaan d:Name elementtirivit
• sed:llä siivotaan elementin nimet pois, vain arvo jätetään ja lisätään siihen .fi

curl 'https://odata.domain.fi/OpenDomainData.svc/Domains()?$orderby=GrantDate%20desc&$top=500&$filter=OrganizationId%20eq%20%27'$1'%27' -s \ | sed -e 's/<\([a-zA-Z0-9:][a-zA-Z0-9:]*\)>/\n<\/\1>/g' | grep "d:Name>" | sed 's/.*>\([^<][^<]*\).*/\1.fi/'
tai hieman toisella tavalla xml elementti kaivettuna
| sed -e 's/<\([a-zA-Z0-9:\/ ][a-zA-Z0-9:\/ ]*\)>/\n<\1>/g' | grep "<d:Name>" | sed 's/.*>\(.*\)/\1.fi/'

Toki xml, xml2, ... komennoilla saa suoraan kaivettua, mutta em. ns. tosi perinteisillä välineillä xml:stä kaivellen. Pitäisi toimia kaikissa sed+grep versioissa.

Joten missä tahansa ns. Bourne shell jälkeläisessä (ksh, posix-sh, dash, bash, zsh, ...) ja jokin sed+grep, niin oheinen haedomain.sh script toimii - vahva veikkaus:
curl 'https://odata.domain.fi/OpenDomainData.svc/Domains()?$orderby=GrantDate%20desc&$top=500&$filter=OrganizationId%20eq%20%27'$1'%27' -s \ | sed -e 's/<\([a-zA-Z0-9:\/ ][a-zA-Z0-9:\/ ]*\)>/\n<\1>/g' | grep "<d:Name>" | sed 's/.*>\(.*\)/\1.fi/'

Käytä em. haedomain.sh
jokush haedomain.sh 1093944-1

Toki XML:n parserointi joko XSLT (Stylesheet) tai Xpath menetelmin on usein tehokkainta xml-dataan. (xmlstarlet, xml, xml2, xmllint, xsltproc, ...).

Ohessa Xpath haulla haetaan tarvittavat elementit ja sitten viimeistellään ulkoasua grep+sed avulla - helpompaa kuin xmllint:llä.

haedomain2.sh

# suorita:  jokush haedomain2.sh Y-tunnus
# - haetaan aputiedostoon tulos
curl -s 'https://odata.domain.fi/OpenDomainData.svc/Domains()?$orderby=GrantDate%20desc&$top=500&$filter=OrganizationId%20eq%20%27'$1'%27'   > $$.tmp.xml
# NS pitää asettaa, jotta elementti löytyy. xmllint --shell on aika heikosti dokumentoitu ominaisuus, mutta sen avulla voi "kävellä"
# xml puussa ja tehdä joitain toimintoja
# 
# xmllint:llä xpath syntaksilla
# toimii muut paitsi dash:
# echo -e 'setns d=http://schemas.microsoft.com/ado/2007/08/dataservices\ncat //d:Name/text()' | xmllint --shell $$.tmp.xml | grep "^[a-z0-9]"  | sed 's|\(.*\)|\1.fi|'

# toimii kaikissa sh shelleissä, käyttää HERE input mekanismiä:
# xmllint laittaa hieman turhaa kamaa, mutta grep:llä haetaan vain tekstirivit
xmllint --shell $$.tmp.xml <<XML  |  grep "^[a-z0-9]"  |  sed 's|\(.*\)|\1.fi|'
setns d=http://schemas.microsoft.com/ado/2007/08/dataservices
cat //d:Name/text()
XML

rm -f $$.tmp.xml 2>/dev/null

Ohessa XSLT Stylesheet:llä tuotettuna sama lopputulos, ei tarvita silloin mitään muuta komentoa kaveriksi.
Henkilökohtaisesti en ole koskaan tykästynyt xslt syntaksiin, mutta XML parserointi on tehokasta Xpath tai XSLT avulla. Ne on suunniteltu XML:n käsittelyyn.

Joko ko. XML:n namespece huomioituna, haedomain1.xsl

<xsl:stylesheet version="1.0" 
       xmlns:xsl="http://www.w3.org/1999/XSL/Transform"
       xmlns:d="http://schemas.microsoft.com/ado/2007/08/dataservices"
       >
<xsl:output method="text"/>

<!-- ylikirjoitetaan oletus aina tulostus -->
<xsl:template match="text()|@*">
        <!--<xsl:value-of select="."/>-->
</xsl:template>

<!-- etsitaan kaikki d:name elementit -->
<xsl:template match="//d:Name">
        <xsl:value-of select="concat(.,'.fi')" /> <!-- liimataan yhteen vastaus + .fi -->
        <xsl:text>&#10;</xsl:text> <!-- lf -->
</xsl:template>

</xsl:stylesheet>

Tai namespace ei kiinnosta -versio, haedomain2.xsl

<?xml version="1.0"?>
<xsl:stylesheet version="1.0" xmlns:xsl="http://www.w3.org/1999/XSL/Transform" >

<!-- mjat-->
<xsl:param name="lf" select="'&#xA;'" />  

<xsl:output method="text"/>

<!-- tuhotaan oletus template, joka tulostaa kaiken  -->
<xsl:template match="text()|@*">
        <!--<xsl:value-of select="."/>-->
</xsl:template>

<!-- haetaan vain haluttu elementti ja tulostetaan se 
      - lisätään .fi arvon perään
      - ko. haku soveltuu vain kun ei ole kuin yksi jokin Name niminen elementti
-->
<xsl:template match="//*[local-name()='Name']">
        <!-- hieman eri tavalla output kuin edellä vain malliksi -->
        <xsl:value-of select="." /><!-- elementin arvo -->
        <xsl:text>.fi</xsl:text>
        <xsl:value-of select="$lf" />
</xsl:template>

</xsl:stylesheet>

Haetaan aputiedostoon:

curl -s 'https://odata.domain.fi/OpenDomainData.svc/Domains()?$orderby=GrantDate%20desc&$top=500&$filter=OrganizationId%20eq%20%27'$1'%27'   > $$.tmp.xml

ja jollakin xslt prosessorilla käsitellään, xsltproc on siihen hyvin sopiva. On useissa *nix jakeluissa valmiina.

xsltproc haedomain1.xsl  $$.tmp.xml
xsltproc haedomain2.xsl  $$.tmp.xml

Myös awk on ihan ok väline tähänkin. Sekin on tarjolla kaikissa *nix jakeluissa.

awk -v elem="d:Name" '
BEGIN {
    RS="<"
    FS=">"
}
$1 == elem { print $2 ".fi" }
'  $$.tmp.xml