81 lines
2.6 KiB
TypeScript
81 lines
2.6 KiB
TypeScript
import axios from 'axios';
|
|
import * as cheerio from 'cheerio';
|
|
import * as fs from 'fs';
|
|
import * as path from 'path';
|
|
|
|
interface FaberKabelData {
|
|
url: string;
|
|
verwendung: string;
|
|
technischeDaten: { [key: string]: string };
|
|
}
|
|
|
|
async function scrapeFaberKabel(url: string): Promise<FaberKabelData> {
|
|
try {
|
|
const response = await axios.get(url);
|
|
const $ = cheerio.load(response.data);
|
|
|
|
// Extract Verwendung
|
|
const verwendung = $('#applicationdata .text-module--light').text().trim();
|
|
|
|
// Extract Technische Daten
|
|
const technischeDaten: { [key: string]: string } = {};
|
|
$('#technicaldata table.attributes tr').each((i, el) => {
|
|
const tds = $(el).find('td');
|
|
if (tds.length === 2) {
|
|
const key = $(tds[0]).text().trim();
|
|
const value = $(tds[1]).text().trim();
|
|
if (key && value) {
|
|
technischeDaten[key] = value;
|
|
}
|
|
}
|
|
});
|
|
|
|
return {
|
|
url,
|
|
verwendung,
|
|
technischeDaten,
|
|
};
|
|
} catch (error) {
|
|
console.error('Error scraping:', url, error);
|
|
return {
|
|
url,
|
|
verwendung: '',
|
|
technischeDaten: {},
|
|
};
|
|
}
|
|
}
|
|
|
|
async function scrapeAll(urls: string[]): Promise<FaberKabelData[]> {
|
|
const results: FaberKabelData[] = [];
|
|
for (const url of urls) {
|
|
console.log('Scraping:', url);
|
|
const data = await scrapeFaberKabel(url);
|
|
results.push(data);
|
|
}
|
|
return results;
|
|
}
|
|
|
|
// List of Faber Kabel URLs for KLZ products
|
|
const faberKabelUrls = [
|
|
'https://shop.faberkabel.de/Starkstromkabel-1-30-kV/Mittelspannungskabel/Mittelspannungskabel-N2XS-FL-2Y/',
|
|
'https://shop.faberkabel.de/Starkstromkabel-1-30-kV/Mittelspannungskabel/Mittelspannungskabel-N2XS2Y/',
|
|
'https://shop.faberkabel.de/Starkstromkabel-1-30-kV/Mittelspannungskabel/Mittelspannungskabel-N2XSF2Y/',
|
|
'https://shop.faberkabel.de/Starkstromkabel-1-30-kV/Mittelspannungskabel/Mittelspannungskabel-N2XSY/',
|
|
'https://shop.faberkabel.de/Starkstromkabel-1-30-kV/Mittelspannungskabel/Mittelspannungskabel-NA2XS2Y/',
|
|
'https://shop.faberkabel.de/Starkstromkabel-1-30-kV/Mittelspannungskabel/Mittelspannungskabel-NA2XSF2Y/',
|
|
'https://shop.faberkabel.de/Starkstromkabel-1-30-kV/Mittelspannungskabel/Mittelspannungskabel-NA2XS-FL-2Y/',
|
|
'https://shop.faberkabel.de/Starkstromkabel-1-30-kV/Mittelspannungskabel/Mittelspannungskabel-NA2XSY/',
|
|
];
|
|
|
|
async function main() {
|
|
const data = await scrapeAll(faberKabelUrls);
|
|
const outputPath = path.join(__dirname, '..', 'faber-kabel-data.json');
|
|
fs.writeFileSync(outputPath, JSON.stringify(data, null, 2));
|
|
console.log('Data saved to:', outputPath);
|
|
}
|
|
|
|
if (require.main === module) {
|
|
main();
|
|
}
|
|
|
|
export { scrapeFaberKabel, scrapeAll }; |